TL;DR
- •Формування даних одним агентом зводиться до одного голосу; багатокритерійна дискусія між різними персонажами створює варіацію та конфлікт, яких потребують реальні набори даних
- •Чотири техніки: супротивний діалог, спільне вирішення проблем, варіація на основі персонажа та сценарії ескалації
- •Реалізація являє собою 5-ступінчастий цикл — визначення персонажів, формування спірних сценаріїв, проведення різноманітних дебатів, перегляд структурованих транскриптів, експорт та фільтрація — вимірюється різноманітністю, узгодженістю, послідовністю та охопленням
Please provide the text you would like to have translated.
У синтетичних даних є тихий режим невдачі: навчальні набори даних для ШІ, створені з використанням одного генератора, звучать так, ніби їх створила одна й та ж особа. Якщо попросити одну модель згенерувати десять тисяч розмов з клієнтами, ви отримаєте десять тисяч варіацій її найімовірнішого клієнта — однаковий рівень ввічливості, однакові патерни заперечень, однакові охайні рішення. Моделі, навчальні на таких даних, показують чудові результати на даних, які на них схожі, але спотикаються на реальних користувачах, які є більш неохайними, сердитими, заплутаними та різноманітними, ніж може уявити будь-який окремий агент.
Багатоагентне моделювання атакує проблему в її корені. Замість того, щоб один агент генерував обидві сторони взаємодії, кілька AI персонажів з дійсно відмінними характеристиками — скептик, оптиміст, прагматик, адвокат диявола — взаємодіють, сперечаються та ведуть переговори один з одним. Отримані дані містять те, що справжнім AI системам насправді потрібно навчитися: незгода, переконання, розчарування, виправлення та тисячу дрібних тертя між людьми, які не мають спільного сценарію.
Цей посібник охоплює, чому генерація з кількома агентами перевершує генерацію з одним агентом, чотири основні техніки моделювання, покрокову реалізацію з ArgumenTroupe та метрики якості, які вкажуть, чи варто навчатися на вашому синтетичному наборі даних.
Чому мультиагентний підхід для навчальних даних?
Синтетичний зсув даних більше не є спекулятивним — Gartner прогнозує, що 75% підприємств використовуватимуть синтетичні дані для ШІ до 2026 року, а дослідження синтетичних даних тепер є стандартною дисципліною. Відкритим питанням є не те, чи генерувати, а як генерувати дані, достатньо різноманітні, щоб бути корисними.
Проблема різноманіття
Генерація з одним агентом має структурний верх. Одна модель, якою б здатною вона не була, вибирає з одного розподілу:
- ✗Гомогенна варіація — поверхневі перефразування однієї й тієї ж основної розмови, а не справді різні взаємодії
- ✗Відсутня багатоперспективна структура — справжні розмови залучають сторони з різними цілями, знаннями та настроями; один агент, що грає обидві сторони, проникає в обидва світогляди.
- ✗Немає конфліктів або патернів переговорів — генератор занадто співпрацює для розв'язання напруги, тому навчена модель ніколи не вчиться справлятися з користувачем, якого не вдається заспокоїти.
- ✗Недостатньо представлені крайні випадки — малоймовірні, але критично важливі взаємодії залишаються малоймовірними у виході, саме там, де моделі зазнають невдач у виробництві
Переваги багатагентних систем
Введення різних персонажів у справжню взаємодію перевертає кожну слабкість:
- ✓Природна варіація від різних персонажів — скептик і оптиміст, які реагують на одну й ту ж ситуацію, використовують структурно різну мову, а не перефразування.
- ✓Реалістична динаміка діалогу — переривання, непорозуміння, уточнення та зміщення теми виникають з взаємодії, а не є заздалегідь написаними.
- ✓Емерджентні поведінки та патерни — з'являються переговори, зміни альянсів та поступки, які ніхто не ініціював, оскільки вони виникають з конфліктуючих цілей.
- ✓Систематичне покриття крайових випадків — призначте персонажа для складного випадку (розлючений клієнт, збентежений новачок), і крайові випадки стають параметром конфігурації замість щасливого випадку.
Техніки багатагентного моделювання
Чотири техніки покривають більшість потреб у навчальних даних. Вони складають — зріла конвеєрна система зазвичай запускає кілька з них проти однієї й тієї ж бібліотеки сценаріїв.
Техніка 1: Суперечливий діалог
Один агент пропонує; другий агент критикує. Пропонент повинен захищати, уточнювати або поступатися, і кожен обмін генерує трійку пропозиція-заперечення-відповідь. Це найцінніше джерело даних про обробку заперечень — шаблон, який найбільше потрібен моделям, що працюють з клієнтами та консалтинговим моделям, і який найменше містять органічні набори даних. Оскільки критик налаштований бути невпинним, дані охоплюють ланцюги спростувань набагато глибше, ніж ввічливі людські розмови коли-небудь фіксують. Набір даних, побудований таким чином, навчає модель не лише тому, що говорити, але й як тримати позицію під тиском і коли поступитися.
Техніка 2: Спільне вирішення проблем
Кілька агентів працюють над спільною метою — плануванням проекту, діагностикою несправності, складанням документа. Взаємодія відображає мову координації: пропонування наступних кроків, розподіл підзадач, перевірка розуміння, розвиток часткової відповіді. Вона також моделює реалістичний обмін репліками та асиметрію внесків, оскільки добре налаштована група включає домінуючий голос, уважного підсумовувача та тихого учасника, якого потрібно залучити до розмови. Моделі асистентів, навчений на цих даних, значно краще справляються з багатосторонніми темами та тривалими завданнями, ніж ті, що навчалися виключно на обмінах один на один.
Техніка 3: Варіація на основі персонажа
Той самий сценарій повторюється з різними персонажами. Запит на повернення коштів, оброблений терплячим пенсіонером, різким керівником і тривожним покупцем-початківцем, дає три структурно різні розмови з одного визначення сценарію — демографічна та стилістична варіація з фактично нульовими додатковими витратами на авторство. Це основна техніка для охоплення: визначте свою бібліотеку сценаріїв один раз, а потім застосуйте її до матриці персонажів, побудованої на основі реальних AI персонажів. Це також чесний спосіб перевірити, чи модель обслуговує всіх ваших користувачів, а не лише середнього.
Техніка 4: Сценарії ескалації
Складність і конфлікт навмисно зростають під час взаємодії — м'яке запитання стає скаргою, стає загрозою для відтоку, стає вимогою до менеджера. Ескалація фіксує патерни адаптації (як змінюється мова в міру зростання ставок) та стратегії вирішення (що деескалує, що розпалює). Реальні журнали містять небагато повних ескалаційних дуг, оскільки більшість розмов закінчується рано; симуляція може генерувати повну дугу щоразу, включаючи відновлення. Для моделей, критичних для безпеки та підтримки, ця техніка виробляє навчальні приклади, які мають найбільше значення на токен.
Посібник з впровадження: Генерація даних з кількома агентами за допомогою ArgumenTroupe
ArgumenTroupe був створений для багатоперсональної дискусії, що робить його природним генератором: ви збираєте трупу персонажів, даєте їм тему для суперечки і отримуєте структуровану дебати. Сценарії не потрібні — весь процес проходить через налаштування. Ось робочий процес від початку до кінця.
Визначте свою персональну трупу
Почніть з основних ролей — скептик, оптиміст, прагматик, адвокат диявола — і розширте їх профілями, які потрібні вашому набору даних: розчарований давній клієнт, нетехнічний новачок, менеджер, орієнтований на дотримання норм. Для кожної персони вкажіть ім'я, кілька рис (нетерплячий, орієнтований на деталі, схильний до ризику) та контекстний рядок, який закріплює їхню ситуацію. Відмінність — це основна мета: якщо дві персони скажуть одне й те саме, об'єднайте їх і додайте одну, яка б цього не сказала.
Формулюйте сценарії як спірні питання
Багатоагентні дані є настільки ж багатими, як і напруга в запиті. Перетворіть кожен сценарій у вашій бібліотеці на щось, з приводу чого персонажі можуть дійсно не погоджуватися — не "обговорюємо нашу політику повернення", а "чи слід надати це граничне повернення?" Встановіть параметри для кожного запуску: які персонажі беруть участь, приблизно скільки раундів обміну, і які крайні випадки повинні з'явитися (перерва, фактична корекція, незавершений кінець).
Проводьте дебати та змінюйте конфігурацію
Запустіть симуляцію і дайте трупі сперечатися. Потім повторіть той же сценарій з поміняними акторами (варіація на основі персонажів), з доданим критиком (суперечливий діалог) або з підвищеними ставками (ескалація). Кожна конфігурація є новим зрізом вашого набору даних з одного й того ж інвестиційного сценарію. Позначте кожен запуск його сценарієм, складом персонажів і запланованим результатом під час роботи — метадані, додані під час генерації, майже безкоштовні, а відновлення їх пізніше ніколи не є таким.
Перегляньте структуровані транскрипти
Це те місце, де платформа для обговорень виправдовує свою цінність у порівнянні з сирим циклом моделі. ArgumenTroupe записує кожну сесію у вигляді структурованого транскрипту аргументів — хто що сказав, у відповідь на який пункт, займаючи яку сторону — а не як нерозрізнений текстовий потік. Переглядайте сесії на рівні аргументів: перевіряйте, чи персонажі залишалися в образі, чи дійсно відбувалася незгода, і чи закінчувалися розмови різними способами. Викидайте або позначайте сесії, де трупа занадто рано дійшла до згоди — консенсус є режимом невдачі синтетичної різноманітності.
Експорт і фільтрація для навчання
Експортуйте затверджені транскрипти з їх метаданими, а потім застосуйте стандартний гігієнічний прохід: автоматизовані фільтри для порожнього, повторюваного або такого, що не відповідає політиці, контенту; дедуплікація серед майже ідентичних запусків; людський перегляд випадкової вибірки. Розділіть на навчальні, валідаційні та тестові набори — і залиште реальні, створені людьми дані для фінальної оцінки, щоб ви могли виміряти модель проти реальності, а не проти більш синтетичних даних. Такий же процес описується з боку продукту в нашому <a href="/use-cases/training-data-generation">випадку використання генерації навчальних даних</a>.
Метрики якості для даних з багатьма агентами
Генерація є дешевою; знання того, що ви згенерували, є дисципліною. Чотири метричні сім'ї охоплюють багатагенераторні набори даних:
- •Оцінки різноманітності — лексичне та семантичне розповсюдження по корпусу. Якщо вектори ваших розмов щільно згруповані, ваші персонажі зливаються в один голос, і перевага багатокористувацького режиму зникає.
- •Метрики когерентності — чи відповідає кожен хід тому, що передувало йому? Багатоагентні запуски можуть перетворитися на паралельні монологи; перевірки когерентності виявляють транскрипти, де агенти говорили один повз одного.
- •Послідовність персонажа — скептик на ході 2 повинен залишатися скептиком на ході 20. Непослідовні персонажі вчать подальшу модель, що ідентичність мовця не має значення, що спотворює саме той сигнал, для якого ви згенерували дані.
- •Аналіз покриття — карта, що генерує запуски відповідно до вашої матриці сценаріїв за персонами та вашими необхідними крайніми випадками. Прогалини в матриці залишаються непоміченими, поки виробнича модель не зустріне клітинку, яку ви ніколи не генерували.
Кейс: Навчання чат-бота служби підтримки клієнтів
Розгляньте репрезентативний (композитний) приклад: команда, що створює асистента служби підтримки для підписного продукту. Їхній перший навчальний набір був згенерований одним агентом — одна модель виконувала роль як клієнта, так і агента в тисячах запитів. Бот добре протестувався всередині компанії, але показав погані результати з реальними клієнтами, у характерному шаблоні: він добре справлявся з ввічливими, добре сформульованими запитами, але не витримував, коли клієнти були сердитими, неясними або заперечували його першу відповідь. Навчальні дані майже не містили справжніх заперечень, оскільки один агент, граючи обидві сторони, вирішує свої власні запити співпрацюючи.
Перебудова використовувала багатагенерну симуляцію. Група персонажів — розчарований потужний користувач, збентежений новачок, мисливець за знижками, клієнт, який вже двічі звертався до служби підтримки — була протестована проти персонажа агента в одній і тій же бібліотеці сценаріїв, з додатковими конфігураціями суперництва та ескалації. Новий набір даних містив відсутні структури: багатоповторні ланцюги заперечень, ескалації, виправлення після неправильної відповіді та розмови, які закінчилися без вирішення.
Перенавчений на багатагентному корпусі, поведінка бота змінилася саме в тих місцях, де змінилися дані: він перестав повторювати свою першу відповідь незадоволеним клієнтам, навчився визнавати розчарування перед вирішенням проблеми та ескалював до людей у більш доцільні моменти. Загальний урок поширюється не лише на підтримку ботів: моделі вивчають патерни взаємодії, присутні в їхніх даних, а багатагентне моделювання наразі є найконтрольованішим способом впровадження жорстких патернів. Для більш широкої методології генерації дивіться наш посібник з генерації синтетичних розмовних даних.
Часто задавані питання
Як багатоагентне моделювання покращує дані для навчання ШІ?
Він замінює один генератор — який вибирає кожну розмову з одного розподілу та одного голосу — на кілька різних персонажів, які дійсно взаємодіють. Отримані дані містять незгоду, переговори, ескалацію та демографічну варіацію, яких систематично бракує генерації з одним агентом, що є саме тим матеріалом, який реальні моделі потребують для роботи з важкими користувачами та багатосторонньою динамікою.
У чому різниця між генерацією даних з одним агентом і генерацією даних з кількома агентами?
Генерація з одним агентом має одну модель, яка створює всі сторони взаємодії, тому обидві сторони таємно ділять одну світогляд і конфлікти вирішуються занадто співпрацюючи. Генерація з кількома агентами призначає кожній стороні по-різному налаштовану персону — скептик, оптиміст, прагматик, адвокат диявола — тому напруга, непорозуміння та адаптація виникають з самої взаємодії, а не прописуються заздалегідь.
Як створити навчальні дані з багатокористувацьким ШІ?
Слідуйте п'ятиетапному циклу: визначте групу різних персонажів, сформулюйте свої сценарії як спірні питання, проводьте дебати, змінюючи склад персонажів і рівні конфлікту, переглядайте структуровані транскрипти на предмет узгодженості персонажів і справжньої незгоди, а потім експортуйте, фільтруйте, усувайте дублікати та розділяйте дані. Завжди оцінюйте фінальну модель на основі відкладених реальних даних, а не на основі більш синтетичних даних.
Чи все ще потрібні реальні дані, якщо я використовую багатагентне моделювання?
Так. Мультиагентне моделювання є масштабним шаром, а не заміною реальних даних. Реальні дані виконують дві незамінні ролі: вони забезпечують основу для конфігурації персонажів на основі поведінки реальних користувачів і надають відкладений набір для оцінки, який показує, чи покращило навчання на синтетичних даних реальну продуктивність. Слід розглядати синтетичні та реальні дані як доповнення одне до одного.
Пов'язані статті
Як створити синтетичні дані розмов для навчання ШІ
Чотири методи генерації в порівнянні, плюс робочий процес забезпечення якості.
Що таке дослідження синтетичних даних?
Основи: що таке синтетичні дані, де вони працюють і де вводять в оману.
Випадок використання генерації навчальних даних
Як команди використовують ArgumenTroupe як двигун генерації даних з кількома персонами.
Що таке багатагентне моделювання?
Як кілька AI-персон взаємодіють у структурованих обговореннях — двигун, що стоїть за цими навчальними даними.
Що таке AI персонажі?
Відмінні персонажі ШІ, які керують навчальними даними з багатьма агентами — розуміння того, як розробити персонажі, які забезпечують різноманітність, необхідну вашому набору даних.
Генеруйте набори даних для навчання, які сперечаються
Зіберіть трупу персоналій, запустіть структуровані дискусії та експортуйте транскрипти, яких ваші моделі можуть дійсно вивчити.