Trace Id is missing
Lompati ke konten utama
Azure

Apa itu retrieval-augmented generation (RAG)?

Pelajari cara teknologi retrieval-augmented generation (RAG) meningkatkan akurasi dan relevansi respons yang dihasilkan oleh model bahasa besar (LLM).

RAG meningkatkan akurasi AI dengan mengintegrasikan pengetahuan eksternal, yang memastikan respons yang relevan dan terkini

Dengan meningkatkan kemampuan komputasi cloud dan memengaruhi kemajuan AI, RAG membantu meningkatkan akurasi dan relevansi respons yang dihasilkan AI, sehingga sistem AI menjadi lebih andal dan efektif di berbagai aplikasi.

Poin-poin utama

  • Riwayat dan evolusi RAG dalam AI mencerminkan tren yang lebih luas menuju sistem yang lebih cerdas dan sadar konteks yang dapat secara efektif menggabungkan sejumlah besar informasi dengan kemampuan pembuatan yang canggih.
  • Arsitektur RAG memungkinkan sistem AI menghasilkan konten yang lebih berpengetahuan dan andal dengan mendasarkan pembuatan terlatih sebelumnya dalam pengetahuan eksternal yang diambil.
     
  • Manfaat RAG menjadikannya teknik canggih untuk membuat sistem AI yang lebih akurat, andal, dan serbaguna, dengan aplikasi luas di seluruh domain, industri, dan tugas.
     
  • Pengembang menggunakan RAG untuk membangun sistem AI yang dapat membuat konten berdasarkan informasi yang akurat, yang menjadikan aplikasi lebih andal, sadar konteks, dan berpusat pada pengguna.

  • Sistem RAG menggabungkan pengambilan dan pembuatan, menjadikannya alat yang efektif untuk berbagai aplikasi, industri, dan kasus penggunaan.

  • Seiring kemajuan model RAG, model tersebut diharapkan dapat memainkan peran penting dalam berbagai aplikasi, dari layanan pelanggan hingga riset dan pembuatan konten.

  • RAG disiapkan untuk memainkan peran penting di masa depan LLM dengan meningkatkan integrasi proses pengambilan dan pembuatan.

RAG: Mekanik, riwayat, dan dampak

Cara kerja RAG

Retrieval-augmented generation (RAG) adalah kerangka kerja AI yang menggabungkan dua teknik; Pertama, mengambil informasi yang relevan dari sumber eksternal, seperti database, dokumen, atau web. Setelah terkumpul, informasi ini digunakan untuk menginformasikan dan menyempurnakan pembuatan respons. Pendekatan ini memanfaatkan kekuatan teknik pengambilan dan pembuatan, yang memastikan bahwa respons sudah akurat, relevan, dan diperkaya secara kontekstual oleh informasi terkini dan spesifik yang tersedia. Kemampuan ganda ini memungkinkan sistem RAG menghasilkan output yang lebih berpengetahuan dan bernuansa daripada model generatif murni.

Riwayat RAG

RAG berakar pada sistem awal pengambilan informasi dasar. Seiring kemajuan teknologi AI generatif yang cepat dan munculnya model bahasa generatif seperti GPT-2 dan BERT, kebutuhan akan respons yang lebih akurat dan relevan pun berkembang.   Pada 2020, arsitektur RAG diperkenalkan, menandai kemajuan yang signifikan. Dengan menggunakan pembelajaran mesin untuk menggabungkan modul retriever dan generator—yang mengintegrasikan basis pengetahuan internal LLM dengan sumber pengetahuan eksternal—RAG dapat menghasilkan teks yang lebih akurat, terkini, koheren, dan akurat secara kontekstual.   Dengan pembelajaran mendalam sebagai intinya, model RAG dapat dilatih secara menyeluruh, memungkinkan output yang mengoptimalkan respons, meningkatkan kualitas konten yang dihasilkan saat model belajar mengambil informasi yang paling andal dan berguna secara kontekstual.

Pentingnya RAG bagi AI

RAG memainkan peran krusial dalam memajukan kemampuan AI, yang mencerminkan tren menuju sistem yang lebih cerdas dan sadar konteks yang dapat secara efektif menggabungkan sejumlah besar informasi dengan kemampuan pembuatan yang canggih. Berikut adalah alasan utama RAG menjadi dasar bagi AI:

 
  • Peningkatan akurasi: Dengan mengintegrasikan sumber daya pengetahuan eksternal, RAG secara signifikan meningkatkan akurasi dan relevansi respons yang dihasilkan oleh LLM.
  • Relevansi kontekstual: RAG memungkinkan sistem AI menghasilkan respons yang lebih sesuai secara kontekstual dengan mengambil informasi tertentu yang terkait dengan permintaan.

  • Efektivitas biaya: Mengimplementasikan RAG akan lebih efisien daripada terus melatih ulang LLM dengan data baru. 

  • Transparansi: Dengan menyediakan sumber untuk informasi yang digunakan dalam respons, RAG meningkatkan kredibilitas dan kepercayaan.
     
  • Keserbagunaan: RAG dapat diterapkan di berbagai sektor, seperti sektor layanan kesehatan, pendidikan, dan keuangan, serta untuk berbagai tujuan seperti layanan pelanggan, riset, dan pembuatan konten.

  • Peningkatan pengalaman: Dengan memberikan respons yang lebih akurat dan relevan, teknologi RAG menghasilkan interaksi yang lebih memuaskan dan produktif bagi pengguna.
 

Arsitektur RAG

Arsitektur sistem RAG adalah kombinasi dari dua modul utama plus mekanisme penyatu yang bekerja sama untuk menghasilkan output yang akurat dan relevan secara kontekstual. Modul RAG dapat dilatih secara menyeluruh, memungkinkan algoritma mengoptimalkan pengambilan dan pembuatan secara bersamaan, sehingga hasilnya lebih berpengetahuan dan dapat diandalkan.

Berikut cara kerja arsitektur RAG:

Modul retriever mencari melalui himpunan data besar untuk menemukan bagian informasi yang paling relevan berdasarkan kueri.

Setelah pengambilan, modul generator menggunakan informasi yang diambil sebagai konteks tambahan untuk menghasilkan respons yang relevan dan koheren. Biasanya, modul generator adalah model bahasa yang terlatih sebelumnya seperti Generative Pre-trained Transformer (GPT) atau Bidirectional and Auto-regressive transformers (BART) yang telah disempurnakan untuk menghasilkan teks berdasarkan input dan informasi yang diambil.

Mekanisme fusi memastikan bahwa informasi yang diambil digabungkan secara efektif dalam proses generatif. Interaksi antarmodul ini memungkinkan sistem RAG menghasilkan konten yang lebih berpengetahuan dan andal dengan mendasarkan pembuatan dalam pengetahuan yang diambil. 

Keuntungan RAG

Arsitektur canggih untuk meningkatkan AI

Pengembang menggunakan arsitektur RAG untuk membuat sistem AI yang lebih akurat, andal, dan serbaguna, dengan aplikasi yang luas di berbagai industri dan tugas. Keuntungan RAG adalah:
   
  • Peningkatan akurasi, relevansi, dan presisi kontekstual: Dengan mengambil dokumen atau data yang relevan, RAG memastikan bahwa output yang dihasilkan didasarkan pada informasi faktual dan terkait, yang meningkatkan akurasi keseluruhan dan relevansi respons.

  • Pengurangan halusinasi melalui pembuatan berbasis fakta: RAG mengurangi kemungkinan halusinasi—yang menghasilkan informasi yang masuk akal tetapi salah—mendasarkan output model generatif pada konten aktual yang aktual, sehingga memberikan hasil yang lebih tepercaya.

  • Peningkatan performa dalam tugas domain terbuka dengan akses pengetahuan yang luas: RAG unggul dalam jawaban pertanyaan domain terbuka dan tugas serupa dengan mengambil informasi secara efisien dari sumber yang luas dan beragam, memungkinkannya menangani berbagai topik dengan kedalaman dan keluasan.

  • Skalabilitas dan kapasitas untuk menangani basis pengetahuan besar: RAG dapat mencari dan mengambil informasi yang relevan secara efisien dari himpunan data yang sangat besar, membuatnya dapat diskalakan dan cocok untuk aplikasi yang memerlukan akses pengetahuan yang ekstensif. Database NoSQL memungkinkan model RAG memanfaatkan sejumlah besar data untuk menghasilkan respons yang diperkaya secara kontekstual.

  • Kustomisasi dan aplikasi spesifik domain: Model RAG dapat disesuaikan dan dapat disempurnakan untuk domain tertentu, yang memungkinkan pengembang membuat sistem AI khusus yang disesuaikan dengan industri atau tugas tertentu, seperti nasihat hukum, diagnostik medis, atau analisis keuangan.

  • Pembelajaran interaktif dan adaptif: Melalui adaptasi yang berpusat pengguna, sistem RAG dapat belajar dari interaksi pengguna, mengambil informasi yang lebih relevan dari waktu ke waktu dan menyesuaikan respons untuk memenuhi kebutuhan pengguna dengan lebih baik, sehingga meningkatkan pengalaman dan pelibatan pengguna.

  • Integrasi keserbagunaan dan multimodal: RAG dapat diperluas untuk bekerja dengan data multimodal (teks, gambar, data terstruktur), yang meningkatkan kekayaan dan keragaman informasi yang digunakan dalam pembuatan serta memperluas aplikasi model.

  • Penulisan berdasarkan informasi untuk pembuatan konten yang efisien: RAG menyediakan alat canggih dengan mengambil fakta dan referensi yang relevan, yang memastikan bahwa konten yang dihasilkan tidak hanya kreatif tetapi juga akurat dan berpengetahuan luas.

Tipe sistem RAG

Keserbagunaan di seluruh aplikasi

Retrieval-augmented generation adalah arsitektur AI yang adaptif dan serbaguna dengan berbagai kasus penggunaan di seluruh domain dan industri. Berikut adalah  aplikasi utama RAG:
 
  •  Jawaban atas pertanyaan domain terbuka (ODQA)
    Kasus penggunaan:
    RAG sangat efektif dalam sistem ODQA, tempat pengguna dapat mengajukan pertanyaan tentang hampir semua topik.
    Contoh: Chatbot dukungan pelanggan menggunakan RAG untuk memberikan jawaban yang akurat dengan mengambil informasi dari basis pengetahuan atau FAQ yang besar.

  • Kueri khusus spesifik domain 
    Kasus penggunaan:
    Untuk industri hukum, RAG dapat membantu menganalisis dan membuat ringkasan hukum kasus, preseden, dan undang-undang dengan mengambil dokumen yang relevan.
    Contoh: Alat asisten hukum mengambil dan meringkas dokumen untuk tujuan spesifik.

  • Ringkasan dokumen
    Kasus penggunaan:
    RAG dapat membantu menghasilkan konten berkualitas tinggi, seperti catatan rapat asisten virtual, atau ringkasan artikel, laporan, atau postingan blog, dengan mengambil informasi yang relevan dan mengintegrasikannya ke dalam teks yang dihasilkan.
    Contoh: Seorang jurnalis menggunakan RAG untuk membuat ringkasan artikel berita terkini dengan menarik rincian utama dari berbagai sumber.

  • Rekomendasi yang dipersonalisasi
    Kasus penggunaan:
    RAG dapat meningkatkan sistem rekomendasi dengan mengambil informasi spesifik pengguna dan menghasilkan saran yang dipersonalisasi.
    Contoh: Platform e-niaga menggunakan RAG untuk merekomendasikan produk berdasarkan riwayat dan preferensi penjelajahan pengguna, menawarkan penjelasan yang dihasilkan dari ulasan atau deskripsi produk yang relevan.

  • Analisis skenario kompleks dan pembuatan konten 
    Kasus penggunaan:
    Model RAG hibrid dapat digunakan untuk membuat dan mensintesis laporan atau analisis mendetail dengan mengambil data, dokumen, atau berita yang relevan dari beberapa sumber kompleks.
    Contoh: Alat analisis keuangan menghasilkan proyeksi, analisis, atau laporan investasi dengan mengambil dan meringkas tren pasar terbaru, data keuangan historis, kinerja saham, komentar ahli, dan indikator ekonomi.

  • Informasi dan sintesis riset
    Kasus Penggunaan:
    Peneliti dapat menggunakan RAG untuk mengambil dan mensintesis informasi dari makalah, laporan, atau database akademik, yang memfasilitasi tinjauan dan proyek penelitian.
    Contoh: Alat akademik menghasilkan ringkasan makalah riset yang relevan dengan mengambil temuan utama dari berbagai penelitian.

  • Aplikasi multibahasa dan lintas bahasa
    Kasus Penggunaan:
    RAG dapat disebarkan di lingkungan multibahasa untuk mengambil informasi dalam berbagai bahasa dan menghasilkan konten lintas bahasa.
    Contoh: Alat penerjemahan menerjemahkan teks sekaligus mengambil informasi yang relevan secara budaya untuk memastikan terjemahan sesuai konteks.

RAG akan mendukung AI masa depan

Meningkatkan akurasi dalam output AI

Retrieval-augmented generation disiapkan untuk memainkan peran penting di masa depan LLM dengan meningkatkan integrasi proses pengambilan dan pembuatan. Kemajuan yang diharapkan di area ini akan menghasilkan perpaduan komponen ini yang lebih lancar dan canggih, memungkinkan LLM memberikan output yang sangat akurat dan relevan secara kontekstual di berbagai aplikasi dan industri yang lebih luas.

Seiring perkembangan RAG, kita dapat memperkirakan adopsinya dalam domain baru seperti pendidikan yang dipersonalisasi, yang dapat menyesuaikan pengalaman pembelajaran berdasarkan kebutuhan individu, dan alat riset tingkat lanjut, yang menawarkan pengambilan informasi yang akurat dan komprehensif untuk pertanyaan kompleks.

Mengatasi keterbatasan saat ini, seperti meningkatkan akurasi pengambilan dan mengurangi bias, akan menjadi kunci untuk memaksimalkan potensi sistem RAG. Perulangan RAG di masa mendatang kemungkinan akan menghadirkan sistem yang lebih interaktif dan sadar konteks, sehingga meningkatkan pengalaman pengguna dengan menyesuaikan input pengguna secara dinamis.

Selain itu, pengembangan model RAG multimodal, yang menggunakan visi komputer untuk mengintegrasikan teks, gambar, dan jenis data lainnya, akan memperluas dan membuka lebih banyak kemungkinan, sehingga LLM lebih serbaguna dan canggih dari sebelumnya.
Tanya Jawab Umum

Tanya jawab umum

  • Retrieval-augmented generation (RAG) adalah teknik AI yang menggabungkan model pengambilan dengan model generatif. RAG mengambil informasi terkait dari database atau kumpulan dokumen dan menggunakannya untuk menghasilkan respons yang lebih akurat dan relevan secara kontekstual. Pendekatan ini meningkatkan kualitas teks yang dihasilkan AI dengan mendasarkannya pada data di dunia nyata, membuatnya sangat berguna untuk tugas seperti menjawab pertanyaan, meringkas, dan membuat konten.
  • RAG meningkatkan konten yang dihasilkan AI dengan menggabungkan data eksternal. RAG mengambil informasi yang relevan dari database lalu menggunakan data tersebut untuk menghasilkan respons yang lebih akurat dan sadar konteks. Proses ini memastikan bahwa output sistem AI lebih berpengetahuan dan lebih dapat diandalkan.
  • RAG menggabungkan model bahasa besar (LLM) dengan mekanisme pengambilan. Meskipun LLM menghasilkan teks berdasarkan data terlatih sebelumnya, RAG menyempurnakan hal ini dengan mengambil informasi yang relevan dari sumber eksternal secara real time, sehingga akurasi dan relevansi pun meningkat. Pada dasarnya, LLM bergantung pada pola yang dipelajari, sementara RAG secara aktif menarik informasi terkini untuk menginformasikan responsnya.