Cara membangun solusi RAG menggunakan Azure AI Search
Seri tutorial ini menunjukkan pola untuk membangun solusi RAG di Azure AI Search. Ini mencakup komponen yang dibangun dalam Azure AI Search, dependensi, dan pengoptimalan untuk memaksimalkan relevansi dan meminimalkan biaya.
Data sampel adalah kumpulan PDF yang diunggah ke Azure Storage. Kontennya berasal dari e-book gratis Bumi NASA.
Kode sampel dapat ditemukan di notebook Python ini, tetapi sebaiknya gunakan artikel dalam seri ini untuk konteks, wawasan, dan untuk menjelajahi pendekatan alternatif.
Latihan dalam seri ini
Pilih model Anda untuk penyematan dan obrolan
Mendesain indeks untuk pencarian percakapan
Merancang alur pengindeksan yang memuat, memotong, menyematkan, dan menyerap konten yang dapat dicari
Mengambil konten yang dapat dicari menggunakan kueri dan model obrolan
Memaksimalkan relevansi
Meminimalkan penyimpanan dan biaya
Kami menghilangkan beberapa aspek pola RAG untuk mengurangi kompleksitas:
Tidak ada manajemen riwayat dan konteks obrolan. Riwayat obrolan biasanya disimpan dan dikelola secara terpisah dari data grounding Anda, yang berarti langkah dan kode tambahan. Tutorial ini mengasumsikan pertanyaan dan jawaban atomik dari LLM dan pengalaman LLM default.
Tidak ada keamanan pengguna per pengguna atas hasil (apa yang kami sebut sebagai "pemangkasan keamanan"). Untuk informasi dan sumber daya selengkapnya, mulailah dengan Pemangkasan keamanan dan pastikan untuk meninjau tautan di akhir artikel.
Seri ini mencakup dasar-dasar pengembangan solusi RAG. Setelah Anda memahami dasar-dasarnya, lanjutkan dengan akselerator dan sampel kode lain yang memberikan lebih banyak abstraksi atau lebih cocok untuk lingkungan produksi dan beban kerja yang lebih kompleks.
Mengapa menggunakan Azure AI Search for RAG?
Model obrolan menghadapi batasan pada jumlah data yang dapat mereka terima berdasarkan permintaan. Anda harus menggunakan Azure AI Search karena kualitas konten yang diteruskan ke LLM dapat membuat atau merusak solusi RAG.
Untuk memberikan input berkualitas tertinggi ke model obrolan, Azure AI Search menyediakan mesin pencarian terbaik di kelasnya dengan integrasi AI dan penyetelan relevansi komprehensif. Mesin pencari mendukung pencarian kesamaan vektor (beberapa algoritma), pencarian kata kunci, pencarian fuzzy, pencarian geospasial, dan filter. Anda dapat membuat permintaan kueri hibrid yang menyertakan semua komponen ini, dan Anda dapat mengontrol berapa banyak setiap kueri berkontribusi pada permintaan keseluruhan.