Xây dựng Bộ Dữ liệu Huấn luyện AI Tốt hơn với Mô phỏng Đa tác nhân

TL;DR

•Sự tạo ra dữ liệu của một tác nhân đơn lẻ hội tụ trên một giọng nói; cuộc tranh luận giữa nhiều tác nhân với các nhân vật khác nhau tạo ra sự đa dạng và mâu thuẫn mà các tập dữ liệu thực cần
•Bốn kỹ thuật: đối thoại đối kháng, giải quyết vấn đề hợp tác, biến thể dựa trên nhân vật và kịch bản leo thang
•Triển khai là một vòng lặp 5 bước — định nghĩa các nhân vật, tạo khung cho các kịch bản có thể tranh luận, chạy các cuộc tranh luận đa dạng, xem xét các bản ghi cấu trúc, xuất và lọc — được đo lường bởi sự đa dạng, tính nhất quán, tính đồng nhất và phạm vi bao phủ

Please provide the text you would like to have translated.

Có một chế độ thất bại âm thầm trong các quy trình dữ liệu tổng hợp: các tập dữ liệu huấn luyện AI được xây dựng với một tác nhân sinh ra duy nhất đều nghe giống như cùng một người. Khi yêu cầu một mô hình tạo ra mười nghìn cuộc trò chuyện của khách hàng, bạn sẽ nhận được mười nghìn biến thể của khách hàng có khả năng cao nhất — cùng một cách lịch sự, cùng một mẫu phản đối, cùng một cách giải quyết gọn gàng. Các mô hình được huấn luyện trên dữ liệu đó hoạt động rất tốt trên dữ liệu trông giống như nó, nhưng lại vấp ngã khi gặp người dùng thực, những người phức tạp hơn, tức giận hơn, bối rối hơn và đa dạng hơn bất kỳ trí tưởng tượng nào của một tác nhân đơn lẻ.

Mô phỏng đa tác nhân tấn công vấn đề từ gốc rễ. Thay vì một tác nhân tạo ra cả hai bên của một tương tác, nhiều nhân vật AI với những đặc điểm thực sự khác biệt — một người hoài nghi, một người lạc quan, một người thực dụng, một người bảo vệ quan điểm trái ngược — tương tác, tranh luận và thương lượng với nhau. Dữ liệu thu được mang lại những gì mà các hệ thống AI trong thế giới thực thực sự cần học: sự bất đồng, thuyết phục, thất vọng, sửa chữa, và hàng ngàn sự ma sát nhỏ của con người không chia sẻ một kịch bản.

Hướng dẫn này đề cập đến lý do tại sao việc tạo ra nhiều tác nhân lại vượt trội hơn so với tác nhân đơn, bốn kỹ thuật mô phỏng cốt lõi, một quy trình thực hiện từng bước với ArgumenTroupe, và các chỉ số chất lượng cho bạn biết liệu tập dữ liệu tổng hợp của bạn có đáng để đào tạo hay không.

Tại sao lại sử dụng Multi-Agent cho Dữ liệu Đào tạo?

Sự chuyển đổi dữ liệu tổng hợp không còn là suy đoán — Gartner dự đoán rằng 75% các doanh nghiệp sẽ sử dụng dữ liệu tổng hợp cho AI vào năm 2026, và nghiên cứu dữ liệu tổng hợp hiện đã trở thành một lĩnh vực tiêu chuẩn. Câu hỏi mở không phải là có nên tạo ra hay không, mà là làm thế nào để tạo ra dữ liệu đa dạng đủ để có ích.

Vấn đề Đa dạng

Việc tạo ra bằng một tác nhân đơn có một giới hạn cấu trúc. Một mô hình, dù có khả năng đến đâu, cũng chỉ lấy mẫu từ một phân phối:

✗Biến thể đồng nhất — các diễn đạt bề mặt của cùng một cuộc trò chuyện cơ bản, không phải là những tương tác thực sự khác biệt
✗Thiếu cấu trúc đa góc nhìn — các cuộc trò chuyện thực sự liên quan đến các bên có mục tiêu, kiến thức và tâm trạng khác nhau; một tác nhân duy nhất đóng vai trò cả hai bên sẽ làm lộ một thế giới quan vào cả hai.
✗Không có mẫu xung đột hoặc đàm phán — bộ phát điện giải quyết căng thẳng quá hợp tác, vì vậy mô hình đã được đào tạo không bao giờ học cách xử lý một người dùng không dễ chịu.
✗Các trường hợp biên ít được đại diện — những tương tác không thể xảy ra nhưng quan trọng vẫn không thể xảy ra trong đầu ra, chính xác là nơi mà các mô hình thất bại trong sản xuất

Lợi ích của Đa tác nhân

Đưa những nhân cách khác nhau vào tương tác chân thật lật ngược từng điểm yếu:

✓Biến thể tự nhiên từ các nhân cách khác nhau — một người hoài nghi và một người lạc quan phản ứng với cùng một tình huống sẽ tạo ra ngôn ngữ cấu trúc khác nhau, không phải là cách diễn đạt lại.
✓Động lực đối thoại thực tế — sự ngắt lời, hiểu lầm, làm rõ và sự lệch chủ đề xuất hiện từ sự tương tác chứ không phải được viết sẵn.
✓Các hành vi và mô hình nổi lên — các cuộc đàm phán, sự thay đổi liên minh và nhượng bộ xuất hiện mà không ai thúc đẩy, vì chúng phát sinh từ các mục tiêu mâu thuẫn.
✓Độ bao phủ trường hợp biên có hệ thống — gán một nhân vật để trở thành trường hợp khó (khách hàng tức giận, người mới bối rối) và các trường hợp biên trở thành một tham số cấu hình thay vì một tai nạn may mắn.

Kỹ thuật mô phỏng đa tác nhân

Bốn kỹ thuật đáp ứng hầu hết nhu cầu dữ liệu đào tạo. Chúng kết hợp — một quy trình trưởng thành thường chạy vài kỹ thuật khác nhau trên cùng một thư viện kịch bản.

Kỹ thuật 1: Đối thoại đối kháng

Một đại lý đề xuất; một đại lý thứ hai phê bình. Người đề xuất phải bảo vệ, tinh chỉnh hoặc nhượng bộ, và mỗi cuộc trao đổi tạo ra một bộ ba đề xuất-phản đối-phản hồi. Đây là nguồn dữ liệu xử lý phản đối phong phú nhất — mẫu mà các mô hình đối diện với khách hàng và tư vấn cần nhất và các tập dữ liệu tự nhiên chứa ít nhất. Bởi vì nhà phê bình được cấu hình để không ngừng nghỉ, dữ liệu bao phủ các chuỗi phản biện sâu hơn nhiều so với những cuộc trò chuyện lịch sự của con người. Một tập dữ liệu được xây dựng theo cách này dạy cho một mô hình không chỉ những gì cần nói, mà còn cách giữ vững lập trường dưới áp lực và khi nào nên nhượng bộ.

Kỹ thuật 2: Giải quyết vấn đề hợp tác

Nhiều tác nhân làm việc hướng tới một mục tiêu chung — lập kế hoạch cho một dự án, chẩn đoán một lỗi, soạn thảo một tài liệu. Sự tương tác này ghi lại ngôn ngữ phối hợp: đề xuất các bước tiếp theo, phân bổ các nhiệm vụ con, kiểm tra sự hiểu biết, xây dựng trên một câu trả lời phần nào. Nó cũng mô phỏng việc thay phiên thực tế và sự không đối xứng trong đóng góp, vì một nhóm được cấu hình tốt bao gồm một giọng nói chiếm ưu thế, một người tóm tắt cẩn thận, và một thành viên im lặng cần được khơi gợi. Các mô hình trợ lý được đào tạo với dữ liệu này xử lý các chủ đề đa bên và các nhiệm vụ kéo dài tốt hơn đáng kể so với những mô hình chỉ được đào tạo dựa trên các cuộc trao đổi một đối một.

Kỹ thuật 3: Biến thể Dựa trên Nhân vật

Cùng một kịch bản được lặp lại nhiều lần với các nhân vật khác nhau. Một yêu cầu hoàn tiền được xử lý bởi một người nghỉ hưu kiên nhẫn, một giám đốc ngắn gọn, và một người mua lần đầu lo lắng tạo ra ba cuộc trò chuyện có cấu trúc khác nhau từ một định nghĩa kịch bản — sự biến đổi về nhân khẩu học và phong cách với chi phí sáng tác biên soạn gần như bằng không. Đây là kỹ thuật chủ lực cho việc bao phủ: định nghĩa thư viện kịch bản của bạn một lần, sau đó áp dụng nó trên một ma trận nhân vật được xây dựng từ các hồ sơ AI persona thực. Đây cũng là cách trung thực để kiểm tra xem một mô hình phục vụ tất cả người dùng của bạn, không chỉ người dùng trung bình.

Kỹ thuật 4: Kịch bản leo thang

Sự khó khăn và xung đột gia tăng một cách có chủ đích trong suốt quá trình tương tác — một câu hỏi nhẹ nhàng trở thành một lời phàn nàn, trở thành một mối đe dọa để thay đổi, trở thành một yêu cầu cho một quản lý. Sự leo thang ghi lại các mẫu thích ứng (cách ngôn ngữ thay đổi khi mức độ quan trọng tăng lên) và các chiến lược giải quyết (cái gì làm giảm căng thẳng, cái gì làm bùng phát). Các nhật ký thực tế chứa ít cung đường leo thang hoàn chỉnh vì hầu hết các cuộc trò chuyện kết thúc sớm; mô phỏng có thể tạo ra cung đường hoàn chỉnh mỗi lần, bao gồm cả việc phục hồi. Đối với các mô hình quan trọng về an toàn và hỗ trợ, kỹ thuật này tạo ra các ví dụ đào tạo quan trọng nhất cho mỗi token.

Hướng dẫn thực hiện: Tạo dữ liệu đa tác nhân với ArgumenTroupe

ArgumenTroupe được xây dựng cho việc thảo luận đa nhân cách, điều này khiến nó trở thành một động cơ tạo ra tự nhiên: bạn tập hợp một nhóm các nhân cách, cho họ một điều gì đó để không đồng ý, và thu hoạch cuộc tranh luận có cấu trúc. Không cần viết kịch bản — toàn bộ quy trình chạy qua cấu hình. Dưới đây là quy trình làm việc từ đầu đến cuối.

Định nghĩa nhóm nhân vật của bạn

Bắt đầu từ các vai trò cơ bản — người hoài nghi, người lạc quan, người thực dụng, người biện hộ — và mở rộng chúng với các hồ sơ mà tập dữ liệu của bạn cần: một khách hàng lâu năm thất vọng, một người mới không có kỹ thuật, một quản lý chú trọng tuân thủ. Đối với mỗi nhân vật, bạn chỉ định một cái tên, một vài đặc điểm (thiếu kiên nhẫn, chú ý đến chi tiết, tránh rủi ro), và một câu ngữ cảnh để xác định tình huống của họ. Sự khác biệt là điều quan trọng nhất: nếu hai nhân vật sẽ nói cùng một điều, hãy hợp nhất chúng và thêm một nhân vật sẽ không nói như vậy.

Đặt các kịch bản dưới dạng câu hỏi có thể tranh luận.

Dữ liệu đa tác nhân chỉ phong phú như mức độ căng thẳng trong yêu cầu. Chuyển đổi mỗi kịch bản trong thư viện của bạn thành điều mà các nhân vật có thể thực sự không đồng ý — không phải "thảo luận về chính sách hoàn tiền của chúng tôi" mà là "liệu khoản hoàn tiền gần như này có nên được chấp thuận không?" Đặt các tham số cho mỗi lần chạy: những nhân vật nào tham gia, khoảng bao nhiêu vòng trao đổi, và những trường hợp biên nào phải xuất hiện (một sự gián đoạn, một sự sửa chữa thông tin, một kết thúc chưa được giải quyết).

Chạy các cuộc tranh luận và thay đổi cấu hình

Khởi động mô phỏng và để nhóm diễn ra tranh cãi. Sau đó, chạy lại cùng một kịch bản với dàn diễn viên hoán đổi (biến thể dựa trên nhân vật), thêm một nhà phê bình (đối thoại đối kháng), hoặc với mức độ rủi ro tăng lên (leo thang). Mỗi cấu hình là một phần mới của tập dữ liệu của bạn từ cùng một khoản đầu tư kịch bản. Gán thẻ cho mỗi lần chạy với kịch bản, dàn nhân vật và kết quả dự kiến khi bạn thực hiện — siêu dữ liệu được thêm vào trong thời gian tạo ra gần như miễn phí, và việc tái tạo nó sau này thì không bao giờ miễn phí.

Xem lại các bản sao có cấu trúc

Đây là nơi mà một nền tảng thảo luận chứng minh giá trị của nó so với một vòng lặp mô hình thô. ArgumenTroupe ghi lại mỗi phiên như một biên bản lập luận có cấu trúc — ai đã nói gì, phản ứng với điểm nào, đứng về phía nào — thay vì một bức tường văn bản không phân biệt. Xem qua các phiên ở cấp độ lập luận: kiểm tra xem các nhân vật có giữ đúng tính cách không, rằng sự bất đồng thực sự đã xảy ra, và rằng các cuộc trò chuyện kết thúc theo nhiều cách khác nhau. Loại bỏ hoặc đánh dấu các phiên mà nhóm đã đồng ý quá sớm — sự đồng thuận là chế độ thất bại của sự đa dạng tổng hợp.

Xuất khẩu và lọc cho đào tạo

Xuất các bản sao đã được phê duyệt cùng với siêu dữ liệu của chúng, sau đó áp dụng quy trình vệ sinh tiêu chuẩn: các bộ lọc tự động cho nội dung trống, lặp lại hoặc không phù hợp với chính sách; loại bỏ trùng lặp giữa các lần chạy gần giống nhau; một cuộc đánh giá của con người đối với một mẫu ngẫu nhiên. Chia thành các tập huấn luyện, xác thực và kiểm tra — và giữ lại dữ liệu thực, do con người tạo ra để đánh giá cuối cùng, để bạn đo lường mô hình so với thực tế thay vì so với dữ liệu tổng hợp hơn. Quy trình tương tự được mô tả từ phía sản phẩm trong <a href="/use-cases/training-data-generation">trường hợp sử dụng tạo dữ liệu huấn luyện</a> của chúng tôi.

Chỉ số chất lượng cho dữ liệu đa tác nhân

Việc tạo ra là rẻ; biết những gì bạn đã tạo ra mới là kỷ luật. Bốn nhóm chỉ số bao gồm các tập dữ liệu đa tác nhân:

•Điểm đa dạng — sự phân bố từ vựng và ngữ nghĩa trong toàn bộ tập hợp. Nếu các nhúng của cuộc trò chuyện của bạn tập trung chặt chẽ, các nhân cách của bạn đang hợp nhất thành một giọng nói và lợi ích đa tác nhân đã biến mất.
•Chỉ số tính nhất quán — mỗi lượt có phản hồi với những gì đã xảy ra trước đó không? Các phiên chạy đa tác nhân có thể trôi vào những độc thoại song song; các kiểm tra tính nhất quán phát hiện các bản sao nơi các tác nhân nói chuyện vượt qua nhau.
•Độ nhất quán của nhân vật — người hoài nghi ở lượt 2 phải vẫn là người hoài nghi ở lượt 20. Những nhân vật không nhất quán dạy cho mô hình phía dưới rằng danh tính người nói là vô nghĩa, điều này làm hỏng chính tín hiệu mà bạn đã tạo ra dữ liệu cho.
•Phân tích độ bao phủ — bản đồ được tạo ra chạy theo ma trận kịch bản-theo-nhân vật của bạn và các trường hợp biên cần thiết. Các khoảng trống trong ma trận sẽ không được phát hiện cho đến khi một mô hình sản xuất gặp phải ô mà bạn chưa bao giờ tạo ra.

Nghiên cứu trường hợp: Đào tạo Bot Dịch vụ Khách hàng

Xem xét một ví dụ đại diện (tổng hợp): một đội đang xây dựng một trợ lý dịch vụ khách hàng cho một sản phẩm đăng ký. Bộ dữ liệu huấn luyện đầu tiên của họ được tạo ra bởi một tác nhân đơn lẻ — một mô hình đóng vai cả khách hàng và đại lý qua hàng nghìn vé. Bot đã hoạt động tốt trong nội bộ và sau đó đã không đạt yêu cầu với khách hàng thực, theo một mô hình rõ ràng: nó xử lý tốt các yêu cầu lịch sự, được hình thành tốt và đã thất bại khi khách hàng tức giận, không rõ ràng, hoặc phản đối câu trả lời đầu tiên của nó. Dữ liệu huấn luyện gần như không chứa bất kỳ sự phản đối thực sự nào, vì một tác nhân đơn lẻ đóng vai cả hai bên giải quyết các vé của chính nó một cách hợp tác.

Việc tái xây dựng đã sử dụng mô phỏng đa tác nhân. Một nhóm nhân vật — người dùng quyền lực thất vọng, người mới bối rối, người săn tìm giảm giá, khách hàng đã liên hệ với hỗ trợ hai lần — đã được chạy đối kháng với một nhân vật tác nhân trong cùng một thư viện kịch bản, với các cấu hình đối kháng và leo thang được thêm vào. Tập dữ liệu mới chứa các cấu trúc còn thiếu: chuỗi phản đối nhiều lượt, các tình huống leo thang, sửa chữa sau khi có câu trả lời sai, và các cuộc trò chuyện kết thúc mà không được giải quyết.

Được đào tạo lại trên tập dữ liệu đa tác nhân, hành vi của bot đã thay đổi đúng ở những chỗ dữ liệu đã thay đổi: nó ngừng lặp lại câu trả lời đầu tiên của mình với những khách hàng không hài lòng, học cách thừa nhận sự thất vọng trước khi giải quyết vấn đề, và chuyển lên cho con người vào những thời điểm hợp lý hơn. Bài học chung có thể áp dụng không chỉ cho bot hỗ trợ: các mô hình học các mẫu tương tác có trong dữ liệu của chúng, và mô phỏng đa tác nhân hiện là cách kiểm soát nhất để đưa các mẫu khó vào. Để biết thêm về phương pháp tạo ra dữ liệu, hãy xem hướng dẫn của chúng tôi về tạo dữ liệu cuộc trò chuyện tổng hợp.

Câu hỏi Thường gặp

Mô phỏng đa tác nhân cải thiện dữ liệu đào tạo AI như thế nào?

Nó thay thế một máy phát điện đơn lẻ — cái mà lấy mẫu mọi cuộc trò chuyện từ một phân phối và một giọng nói — bằng nhiều nhân cách khác nhau thực sự tương tác. Dữ liệu thu được chứa sự bất đồng, thương lượng, leo thang và sự biến đổi nhân khẩu học mà việc tạo ra từ một tác nhân đơn lẻ thiếu một cách hệ thống, điều này chính xác là tài liệu mà các mô hình thế giới thực cần để xử lý người dùng khó khăn và động lực đa bên.

Sự khác biệt giữa việc tạo dữ liệu bằng một tác nhân đơn và nhiều tác nhân là gì?

Việc tạo ra một tác nhân đơn lẻ có một mô hình sản xuất tất cả các khía cạnh của một tương tác, vì vậy cả hai bên đều bí mật chia sẻ một thế giới quan và các xung đột được giải quyết quá hợp tác. Việc tạo ra nhiều tác nhân phân công mỗi bên cho một nhân cách được cấu hình khác nhau — người hoài nghi, người lạc quan, người thực dụng, người biện hộ cho quỷ — vì vậy căng thẳng, hiểu lầm và sự thích nghi phát sinh từ chính tương tác chứ không phải được viết kịch bản.

Làm thế nào để tôi tạo dữ liệu huấn luyện với AI đa tác nhân?

Theo một vòng lặp năm bước: xác định một nhóm các nhân vật khác nhau, định hình các kịch bản của bạn thành những câu hỏi có thể tranh luận, tổ chức các cuộc tranh luận trong khi thay đổi dàn nhân vật và mức độ xung đột, xem xét các bản sao đã được cấu trúc để kiểm tra tính nhất quán của nhân vật và sự bất đồng chân thật, sau đó xuất, lọc, loại bỏ trùng lặp và chia tách dữ liệu. Luôn đánh giá mô hình cuối cùng dựa trên dữ liệu thực đã được giữ lại, không phải dựa trên dữ liệu tổng hợp hơn.

Tôi có cần dữ liệu thực tế nếu tôi sử dụng mô phỏng đa tác nhân không?

Có. Mô phỏng đa tác nhân là lớp quy mô, không phải là sự thay thế cho sự thật thực tế. Dữ liệu thực phục vụ hai vai trò không thể thay thế: nó gắn kết cấu hình nhân vật với cách mà người dùng thực tế hành xử, và nó cung cấp bộ đánh giá giữ lại cho bạn biết liệu việc đào tạo trên dữ liệu tổng hợp có cải thiện hiệu suất trong thế giới thực hay không. Hãy coi dữ liệu tổng hợp và dữ liệu thực là những phần bổ sung cho nhau.

Tạo Dữ liệu Huấn luyện Phản hồi

Lắp ráp một nhóm nhân vật, chạy các cuộc tranh luận có cấu trúc và xuất bản ghi mà các mô hình của bạn thực sự có thể học từ.

Bắt đầu Thử nghiệm Miễn phí