Membangun Dataset Pelatihan AI yang Lebih Baik dengan Simulasi Multi-Agen

TL;DR

•Pembangkitan data tunggal-agen berkonvergensi pada satu suara; debat multi-agen antara persona yang berbeda menghasilkan variasi dan konflik yang dibutuhkan dataset nyata
•Empat teknik: dialog kontraktif, pemecahan masalah kolaboratif, variasi berbasis persona, dan skenario eskalasi
•Implementasi adalah loop 5-langkah — definisikan persona, kerangka skenario debatable, jalankan debat bervariasi, tinjau transkrip terstruktur, ekspor dan filter — diukur oleh keragaman, kohesi, konsistensi, dan cakupan

This is a test.

Ada satu kelemahan tersembunyi dalam alur kerja data sintetis: kumpulan data pelatihan AI yang dibuat dengan menggunakan satu agen generator terdengar seperti berasal dari orang yang sama. Jika Anda meminta sebuah model untuk menghasilkan sepuluh ribu percakapan pelanggan, Anda akan mendapatkan sepuluh ribu variasi dari profil pelanggan yang paling mungkin—tingkat kesopanan yang sama, pola keberatan yang sama, dan solusi yang terstruktur dengan baik. Model yang dilatih pada data tersebut bekerja dengan sangat baik pada data yang serupa, tetapi kemudian mengalami kesulitan ketika berhadapan dengan pengguna nyata, yang lebih beragam, lebih marah, lebih bingung, dan tidak dapat diprediksi dibandingkan dengan apa pun yang dapat dibayangkan oleh satu agen.

Simulasi multi-agen mengatasi masalah ini dari akarnya. Alih-alih satu agen yang menghasilkan kedua sisi interaksi, beberapa persona AI dengan karakteristik yang benar-benar berbeda — seorang skeptis, seorang optimis, seorang pragmatis, seorang penentang pendapat — berinteraksi, berdebat, dan bernegosiasi satu sama lain. Data yang dihasilkan mengandung apa yang sebenarnya dibutuhkan oleh sistem AI di dunia nyata untuk dipelajari: ketidaksepakatan, persuasi, frustrasi, perbaikan, dan ribuan gesekan kecil dari manusia yang tidak memiliki tujuan yang sama.

Panduan ini membahas mengapa pembuatan data menggunakan banyak agen lebih baik daripada hanya satu agen, empat teknik simulasi utama, implementasi langkah demi langkah dengan ArgumenTroupe, dan metrik kualitas yang menunjukkan apakah kumpulan data sintetis Anda layak digunakan untuk pelatihan.

Mengapa Menggunakan Sistem Multi-Agen untuk Data Pelatihan?

Pergeseran menuju penggunaan data sintetis bukan lagi sekadar spekulasi — Gartner memprediksi bahwa 75% perusahaan akan menggunakan data sintetis untuk AI pada tahun 2026, dan penelitian data sintetis kini menjadi disiplin ilmu yang umum. Pertanyaan utamanya bukanlah apakah data perlu dihasilkan, melainkan bagaimana cara menghasilkan data yang cukup beragam sehingga bermanfaat.

Masalah Keberagaman

Generasi agen tunggal memiliki batasan struktural. Satu model, betapapun mumpuninya, hanya mengambil sampel dari satu distribusi:

✗Variasi yang homogen — parafrasa tingkat permukaan dari percakapan dasar yang sama, bukan interaksi yang benar-benar berbeda.
✗Tidak adanya struktur multiperspektif — percakapan yang sebenarnya melibatkan pihak-pihak dengan tujuan, pengetahuan, dan suasana hati yang berbeda; satu agen yang memainkan kedua belah pihak akan mencampurkan satu pandangan dunia ke dalam keduanya.
✗Tidak ada pola konflik atau negosiasi — generator menyelesaikan ketegangan dengan terlalu kooperatif, sehingga model yang dilatih tidak pernah belajar menangani pengguna yang sulit ditenangkan.
✗Kasus ekstrem yang kurang terwakili — interaksi yang tidak mungkin terjadi namun penting tetap tidak mungkin terjadi dalam hasil keluaran, dan justru di situlah letak kegagalan model saat digunakan.

Keunggulan Sistem Multi-Agen

Menempatkan persona yang berbeda dalam interaksi nyata akan mengubah setiap kelemahan menjadi kekuatan:

✓Variasi alami dari berbagai persona—seorang skeptis dan seorang optimis yang menanggapi situasi yang sama menghasilkan bahasa yang berbeda secara struktural, bukan parafrasa.
✓Dinamika dialog yang realistis—interupsi, kesalahpahaman, klarifikasi, dan perubahan topik muncul dari interaksi daripada ditulis sebelumnya.
✓Perilaku dan pola yang muncul — negosiasi, perubahan aliansi, dan konsesi muncul tanpa ada pihak yang memintanya, karena hal ini timbul dari tujuan yang saling bertentangan.
✓Cakupan kasus ekstrem yang sistematis — tetapkan sebuah persona untuk mewakili kasus sulit (pelanggan yang marah, pengguna pemula yang bingung), dan kasus ekstrem menjadi parameter konfigurasi alih-alih hanya terjadi secara kebetulan.

Teknik Simulasi Multi-Agen

Empat teknik mencakup sebagian besar kebutuhan data pelatihan. Teknik-teknik ini dapat digabungkan—alur kerja yang matang biasanya menjalankan beberapa teknik terhadap kumpulan skenario yang sama.

Teknik 1: Dialog Adversarial

Satu agen mengajukan; agen kedua memberikan kritik. Pengaju harus mempertahankan, menyempurnakan, atau mengalah, dan setiap pertukaran menghasilkan rangkaian tiga bagian: usulan-keberatan-tanggapan. Ini adalah sumber data penanganan keberatan yang paling kaya—pola yang paling dibutuhkan oleh model yang berinteraksi langsung dengan pelanggan dan memberikan saran, tetapi paling sedikit terdapat dalam kumpulan data organik. Karena pengkritik dikonfigurasi untuk terus-menerus memberikan kritik, data mencakup rangkaian sanggahan yang jauh lebih mendalam daripada percakapan manusia yang sopan. Kumpulan data yang dibuat dengan cara ini mengajarkan kepada sebuah model tidak hanya apa yang harus dikatakan, tetapi juga bagaimana mempertahankan suatu posisi di bawah tekanan dan kapan harus mengalah.

Teknik 2: Pemecahan Masalah Secara Kolaboratif

Beberapa agen bekerja untuk mencapai tujuan bersama—merencanakan sebuah proyek, mendiagnosis kesalahan, menyusun dokumen. Interaksi ini mencerminkan bahasa koordinasi: mengusulkan langkah selanjutnya, membagi tugas-tugas kecil, memastikan pemahaman, dan mengembangkan jawaban sebagian. Hal ini juga mencontohkan giliran bicara yang realistis dan ketidakseimbangan kontribusi, karena kelompok yang dikonfigurasi dengan baik mencakup suara dominan, seorang penyusun ringkasan yang teliti, dan anggota yang pendiam yang harus didorong untuk berpartisipasi. Model asisten yang dilatih dengan data ini menangani percakapan multipihak dan tugas-tugas jangka panjang dengan lebih baik dibandingkan model yang hanya dilatih pada interaksi satu lawan satu.

Teknik 3: Variasi Berdasarkan Persona

Skenario yang sama dijalankan berulang kali dengan berbagai karakter. Permintaan pengembalian dana yang ditangani oleh seorang pensiunan yang sabar, seorang eksekutif yang tegas, dan pembeli pemula yang cemas menghasilkan tiga percakapan berbeda secara struktural dari satu definisi skenario—variasi demografis dan stilistik dengan biaya pembuatan tambahan yang hampir nol. Ini adalah teknik utama untuk cakupan: definisikan perpustakaan skenario Anda sekali saja, lalu terapkan pada matriks karakter yang dibuat dari profil karakter AI yang sebenarnya. Ini juga merupakan cara jujur untuk menguji apakah suatu model melayani semua pengguna Anda, bukan hanya rata-rata pengguna.

Teknik 4: Skenario Eskalasi

Tingkat kesulitan dan konflik meningkat secara bertahap selama interaksi — pertanyaan sederhana berubah menjadi keluhan, kemudian menjadi ancaman untuk menghentikan layanan, lalu menjadi permintaan untuk berbicara dengan manajer. Analisis eskalasi menangkap pola adaptasi (bagaimana bahasa berubah seiring dengan meningkatnya ketegangan) dan strategi resolusi (apa yang meredakan, apa yang memperburuk). Catatan percakapan nyata biasanya hanya berisi sedikit contoh lengkap dari proses eskalasi karena sebagian besar percakapan berakhir lebih awal; simulasi dapat menghasilkan seluruh rangkaian peristiwa setiap saat, termasuk tahap pemulihan. Untuk model yang berfokus pada keselamatan dan dukungan pelanggan, teknik ini menghasilkan contoh pelatihan yang paling relevan untuk setiap interaksi.

Panduan Implementasi: Pembuatan Data Multi-Agen dengan ArgumenTroupe

ArgumenTroupe dirancang untuk diskusi dengan banyak persona, yang menjadikannya mesin pembuatan konten alami: Anda menyusun sekelompok persona, memberikan mereka topik untuk diperdebatkan, dan mengumpulkan hasil debat terstruktur. Tidak diperlukan penulisan skrip—seluruh proses berjalan melalui konfigurasi. Berikut adalah alur kerja dari awal hingga akhir.

Tentukan kelompok karakter Anda.

Mulailah dengan peran dasar—skeptis, optimis, pragmatis, pembela pendapat yang berbeda—dan perluas dengan profil yang dibutuhkan oleh kumpulan data Anda: pelanggan lama yang frustrasi, pengguna awam yang tidak memiliki pengetahuan teknis, manajer yang berorientasi pada kepatuhan. Untuk setiap persona, tentukan nama, beberapa karakteristik (tidak sabar, berorientasi pada detail, menghindari risiko), dan kalimat konteks yang menjelaskan situasi mereka. Keunikan adalah poin utamanya: jika dua persona akan mengatakan hal yang sama, gabungkan keduanya dan tambahkan satu lagi yang tidak akan melakukannya.

Sajikan skenario sebagai pertanyaan yang dapat diperdebatkan.

Data multi-agen hanya akan memberikan hasil yang baik jika ada ketegangan dalam perintahnya. Ubah setiap skenario dalam perpustakaan Anda menjadi sesuatu yang benar-benar dapat diperdebatkan oleh berbagai persona — bukan “diskusikan kebijakan pengembalian dana kami”, tetapi “haruskah pengembalian dana parsial ini diberikan?” Tetapkan parameter untuk setiap simulasi: persona mana yang berpartisipasi, perkiraan jumlah putaran percakapan, dan kasus ekstrem apa yang harus muncul (gangguan, koreksi faktual, akhir yang tidak terselesaikan).

Selenggarakan debat dan variasikan konfigurasinya.

Jalankan simulasi dan biarkan para pemain beradu argumen. Kemudian, ulangi skenario yang sama dengan mengubah susunan pemain (variasi berdasarkan karakter), tambahkan seorang kritikus (dialog antagonis), atau tingkatkan taruhannya (eskalasi). Setiap konfigurasi adalah bagian baru dari kumpulan data Anda dari investasi skenario yang sama. Tandai setiap simulasi dengan skenarionya, susunan karakternya, dan hasil yang diinginkan saat Anda melakukannya — metadata yang ditambahkan pada waktu pembuatan hampir tidak memerlukan biaya, dan merekonstruksinya nanti akan sangat mahal.

Tinjau transkrip yang telah diformat.

Di sinilah sebuah platform deliberasi menunjukkan manfaatnya dibandingkan dengan model dasar. ArgumenTroupe mencatat setiap sesi sebagai transkrip argumen terstruktur—siapa yang mengatakan apa, sebagai tanggapan terhadap poin mana, dan mengambil posisi di pihak siapa—bukan sekadar kumpulan teks yang tidak terpilah. Tinjau sesi pada tingkat argumen: periksa apakah karakter tetap konsisten, bahwa perbedaan pendapat benar-benar terjadi, dan bahwa percakapan berakhir dengan berbagai cara. Buang atau tandai sesi di mana kelompok tersebut terlalu cepat mencapai kesepakatan—konsensus adalah kegagalan dari keberagaman sintetis.

Ekspor dan saring untuk pelatihan.

Ekspor transkrip yang telah disetujui beserta metadata-nya, lalu terapkan langkah-langkah standar untuk memastikan kualitas: filter otomatis untuk konten kosong, berulang, atau yang tidak sesuai dengan kebijakan; penghapusan duplikasi di antara hasil yang hampir identik; dan peninjauan oleh manusia terhadap sampel acak. Bagi data menjadi set pelatihan, validasi, dan pengujian — serta simpan data asli yang dibuat oleh manusia untuk evaluasi akhir, sehingga Anda dapat mengukur kinerja model berdasarkan data nyata, bukan hanya pada data sintetis. Alur kerja yang sama dijelaskan dari sisi produk dalam <a href="/use-cases/training-data-generation">studi kasus pembuatan data pelatihan</a> kami.

Metrik Kualitas untuk Data Multi-Agen

Menghasilkan data itu murah; mengetahui apa yang Anda hasilkan adalah disiplin ilmu. Empat kelompok metrik mencakup kumpulan data multi-agen:

•Skor keragaman — penyebaran leksikal dan semantik di seluruh korpus. Jika representasi vektor dari percakapan Anda cenderung berkelompok secara ketat, persona Anda akan menyatu menjadi satu suara dan keunggulan multi-agen akan hilang.
•Metrik koherensi—apakah setiap giliran percakapan merespons apa yang terjadi sebelumnya? Simulasi multi-agen dapat berkembang menjadi serangkaian monolog paralel; pemeriksaan koherensi mendeteksi transkrip di mana agen berbicara tanpa saling memperhatikan.
•Konsistensi persona—karakter skeptis pada giliran ke-2 harus tetap menjadi karakter skeptis pada giliran ke-20. Persona yang tidak konsisten mengajarkan kepada model hilir bahwa identitas pembicara tidak berarti, yang justru merusak sinyal yang Anda hasilkan datanya.
•Analisis cakupan — petakan hasil pengujian terhadap matriks skenario berdasarkan persona dan kasus ekstrem yang Anda butuhkan. Kesenjangan dalam matriks tidak akan terdeteksi sampai model produksi memenuhi sel yang belum pernah Anda buat.

Studi Kasus: Pelatihan Bot Layanan Pelanggan

Pertimbangkan sebuah contoh representatif (komposit): sebuah tim yang membuat asisten layanan pelanggan untuk produk berlangganan. Set pelatihan pertama mereka dihasilkan oleh satu agen—satu model berperan sebagai pelanggan dan agen dalam ribuan tiket. Bot tersebut berfungsi dengan baik secara internal, tetapi kemudian menunjukkan kinerja buruk ketika digunakan oleh pelanggan sebenarnya, mengikuti pola yang jelas: bot tersebut menangani permintaan yang sopan dan terstruktur dengan baik, tetapi gagal ketika pelanggan marah, memberikan respons yang ambigu, atau menolak jawaban pertama bot tersebut. Data pelatihan hampir tidak mengandung tanggapan balik yang nyata, karena satu agen yang berperan sebagai kedua belah pihak menyelesaikan tiketnya sendiri secara kooperatif.

Proses pembangunan kembali menggunakan simulasi multi-agen. Sekelompok persona — pengguna berpengalaman yang frustrasi, pendatang baru yang bingung, pemburu diskon, dan pelanggan yang sudah menghubungi dukungan dua kali — diuji terhadap persona agen dalam serangkaian skenario yang sama, dengan konfigurasi adversarial dan eskalasi ditambahkan. Dataset baru berisi struktur yang hilang: rangkaian keberatan multi-giliran, eskalasi, perbaikan setelah jawaban yang salah, dan percakapan yang berakhir tanpa penyelesaian.

Setelah dilatih ulang menggunakan korpus multi-agen, perilaku bot berubah pada bagian yang datanya juga telah diubah: bot berhenti mengulangi jawaban pertamanya kepada pelanggan yang tidak puas, belajar untuk mengakui rasa frustrasi sebelum memecahkan masalah, dan meningkatkan eskalasi ke manusia pada momen yang lebih tepat. Pelajaran umum ini dapat diterapkan di luar bot dukungan: model mempelajari pola interaksi yang ada dalam datanya, dan simulasi multi-agen saat ini adalah cara paling terkontrol untuk menerapkan pola-pola tersebut. Untuk metodologi pembuatan yang lebih luas, lihat panduan kami tentang membuat data percakapan sintetis.

Pertanyaan yang Sering Diajukan

Bagaimana simulasi multi-agents meningkatkan data pelatihan AI?

Menggantikan satu generator — yang mengambil setiap percakapan dari satu distribusi dan satu suara — dengan beberapa persona berbeda yang secara nyata berinteraksi. Data hasilnya mengandung ketidaksetujuan, negosiasi, eskalasi, dan variasi demografi yang pembangkitan tunggal secara sistematis kurang, yang tepatnya merupakan bahan yang dibutuhkan model dunia nyata untuk menangani pengguna yang sulit dan dinamika multi-pihak.

Apa perbedaan antara generasi data single-agent dan multi-agent?

Pembangkitan tunggal-agennya memiliki satu model yang menghasilkan semua sisi dari interaksi, sehingga kedua belah pihak secara diam-diam berbagi satu pandangan dunia dan konflik terselesaikan terlalu kooperatif. Pembangkitan multi-agennya mengassign setiap sisi ke persona yang dikonfigurasi berbeda — skeptik, optimis, pragmatis, advokat setan — sehingga ketegangan, kesalahpahaman, dan adaptasi muncul dari interaksi itu sendiri daripada diskenario.

Bagaimana saya membuat data pelatihan dengan AI multi-agents?

Ikuti loop lima langkah: definisikan sebuah grup orang dengan kepribadian yang berbeda, kerangka skenario Anda sebagai pertanyaan yang dapat diperdebatkan, jalankan debat sambil mengubah pemain dan tingkat konflik, tinjau transkrip yang terstruktur untuk konsistensi kepribadian dan ketidaksetujuan yang tulus, kemudian ekspor, filter, hapus duplikat, dan pisahkan data. Selalu evaluasi model akhir melawan data nyata yang dipegang, bukan melawan data sintetis lebih lanjut.

Apakah saya masih memerlukan data nyata jika saya menggunakan simulasi multi-agents?

Ya. Simulasi multi-agents adalah lapisan skala, bukan pengganti kebenaran dasar. Data nyata memainkan dua peran yang tidak dapat digantikan: itu memperkuat konfigurasi persona dalam bagaimana pengguna sebenarnya berperilaku, dan itu menyediakan himpunan evaluasi yang dipegang yang memberitahu Anda apakah pelatihan pada data sintetis meningkatkan kinerja dunia nyata. Perlakukan data sintetis dan nyata sebagai pelengkap.

Hasilkan Data Pelatihan yang Bisa Berdebat

Rakit troupe persona, jalankan debat terstruktur, dan ekspor transkrip yang model Anda benar-benar bisa pelajari.

Mulai Percobaan Gratis