Pencarian Vektor AI Mosaik

Artikel ini memberikan gambaran umum tentang solusi database vektor Databricks, Mosaic AI Vector Search, termasuk apa itu dan cara kerjanya.

Apa itu Mosaic AI Vector Search?

Mosaic AI Vector Search adalah database vektor yang dibangun ke dalam Databricks Data Intelligence Platform dan terintegrasi dengan alat tata kelola dan produktivitasnya. Database vektor adalah database yang dioptimalkan untuk menyimpan dan mengambil embedding. Penyematan adalah representasi matematika dari konten semantik data, biasanya data teks atau gambar. Penyematan dihasilkan oleh model bahasa besar dan merupakan komponen utama dari banyak aplikasi AI generatif yang bergantung pada menemukan dokumen atau gambar yang mirip satu sama lain. Contohnya adalah sistem RAG, sistem pemberi rekomendasi, dan pengenalan gambar dan video.

Dengan Mosaic AI Vector Search, Anda membuat indeks pencarian vektor dari tabel Delta. Indeks mengandung data yang tertanam dengan metadata. Anda kemudian dapat mengkueri indeks menggunakan REST API untuk mengidentifikasi vektor yang paling mirip dan mengembalikan dokumen terkait. Anda dapat menyusun indeks untuk disinkronkan secara otomatis saat tabel Delta yang mendasar diperbarui.

Mosaic AI Vector Search mendukung hal berikut:

• Pencarian kesamaan kata kunci hibrid.
• Pemfilteran.
• Daftar kontrol akses (ACL) untuk mengelola titik akhir pencarian vektor.
• Sinkronkan hanya kolom yang dipilih.
• Simpan dan sinkronkan penyematan yang dihasilkan.

Bagaimana cara kerja Pencarian Vektor Mosaik AI?

Mosaic AI Vector Search menggunakan algoritma Hierarchical Navigable Small World (HNSW) untuk perkiraan pencarian tetangga terdekatnya dan metrik jarak L2 untuk mengukur kesamaan vektor embedding. Jika Anda ingin menggunakan kesamaan kosinus, Anda perlu menormalkan penyematan titik data Anda sebelum memberinya umpan ke pencarian vektor. Ketika titik data dinormalisasi, peringkat yang dihasilkan oleh jarak L2 sama dengan peringkat yang dihasilkan oleh kesamaan kosinus.

Mosaic AI Vector Search juga mendukung pencarian kesamaan kata kunci hibrid, yang menggabungkan pencarian penyematan berbasis vektor dengan teknik pencarian berbasis kata kunci tradisional. Pendekatan ini cocok dengan kata-kata yang tepat dalam kueri sekaligus menggunakan pencarian kesamaan berbasis vektor untuk menangkap hubungan semantik dan konteks kueri.

Dengan mengintegrasikan kedua teknik ini, pencarian kesamaan kata kunci hibrid mengambil dokumen yang tidak hanya berisi kata kunci yang tepat tetapi juga yang secara konseptual mirip, memberikan hasil pencarian yang lebih komprehensif dan relevan. Metode ini sangat berguna dalam aplikasi RAG di mana data sumber memiliki kata kunci unik seperti SKU atau pengidentifikasi yang tidak cocok untuk pencarian kesamaan murni.

Untuk detail tentang API, lihat Python SDK reference dan Melakukan kueri pada endpoint pencarian vektor.

Perhitungan pencarian kesamaan

Perhitungan pencarian kesamaan menggunakan rumus berikut:

di mana dist adalah jarak Euclidean antara q kueri dan entri indeks x:

Algoritma pencarian kata kunci

Skor relevansi dihitung menggunakan Okapi BM25. Semua kolom teks atau string dicari, termasuk penyematan teks sumber dan kolom metadata dalam format teks atau string. Fungsi tokenisasi membagi teks pada perbatasan kata, menghapus tanda baca, dan mengubah semua teks menjadi huruf kecil.

Bagaimana pencarian kesamaan dan pencarian kata kunci digabungkan

Hasil pencarian kesamaan dan pencarian kata kunci dikombinasikan menggunakan fungsi Reciprocal Rank Fusion (RRF).

RRF menilai ulang setiap dokumen dari setiap metode menggunakan skor:

Dalam persamaan di atas, peringkat dimulai pada 0, menjumlahkan skor untuk setiap dokumen dan mengembalikan dokumen penilaian tertinggi.

rrf_param mengontrol tingkat kepentingan relatif dokumen berperingkat tinggi dan rendah. Berdasarkan literatur, rrf_param ditetapkan menjadi 60.

Skor dinormalisasi sehingga skor tertinggi adalah 1 dan skor terendah adalah 0 menggunakan persamaan berikut:

Opsi untuk menyediakan representasi vektor

Untuk membuat database vektor di Databricks, Anda harus terlebih dahulu memutuskan cara menyediakan penyematan vektor. Databricks mendukung tiga opsi:

• Opsi 1: Indeks Sinkronisasi Delta dengan penyematan yang dihitung oleh Databricks Anda menyediakan tabel Delta sumber yang berisi data dalam format teks. Databricks menghitung penyematan, menggunakan model yang Anda tentukan, dan secara opsional menyimpan penyematan ke tabel di Katalog Unity. Saat tabel Delta diperbarui, indeks tetap disinkronkan dengan tabel Delta.

  Diagram berikut menggambarkan proses tersebut:

  1. Menghitung penggabungan kueri. Kueri dapat menyertakan filter metadata.
  2. Lakukan pencarian kesamaan untuk mengidentifikasi dokumen yang paling relevan.
  3. Mengembalikan dokumen yang paling relevan dan menambahkannya ke kueri.

  

• Opsi 2: Indeks Sinkronisasi Delta dengan penyematan yang dikelola sendiri Anda menyediakan tabel Delta sumber yang berisi penyematan yang telah dihitung sebelumnya. Saat tabel Delta diperbarui, indeks tetap disinkronkan dengan tabel Delta.

  Diagram berikut menggambarkan proses tersebut:

  1. Kueri terdiri dari penyematan dan dapat menyertakan filter metadata.
  2. Lakukan pencarian kesamaan untuk mengidentifikasi dokumen yang paling relevan. Mengembalikan dokumen yang paling relevan dan menambahkannya ke kueri.

  

• Opsi 3: Indeks Akses Vektor Langsung Anda harus memperbarui indeks secara manual menggunakan REST API saat tabel penyematan berubah.

  Diagram berikut menggambarkan proses tersebut:

  

Cara mengatur Mosaic AI Vector Search

Untuk menggunakan Mosaic AI Vector Search, Anda harus membuat hal berikut:

• Titik akhir pencarian vektor. Titik akhir ini melayani indeks pencarian vektor. Anda dapat mengkueri dan memperbarui titik akhir menggunakan REST API atau SDK. Lihat Membuat endpoint pencarian vektor untuk petunjuknya.

  Titik akhir ditingkatkan secara otomatis untuk mendukung ukuran indeks atau jumlah permintaan bersamaan. Endpoint tidak melakukan pengurangan skala secara otomatis.

• Indeks pencarian vektor. Indeks pencarian vektor dibuat dari tabel Delta dan dioptimalkan untuk memberikan perkiraan real time pencarian tetangga terdekat. Tujuan pencarian adalah untuk mengidentifikasi dokumen yang mirip dengan kueri. Indeks pencarian vektor muncul di dan diatur oleh Katalog Unity. Lihat Membuat indeks pencarian vektor untuk instruksi.

Selain itu, jika Anda memilih untuk membuat Databricks menghitung penyematan, Anda dapat menggunakan titik akhir API Model Foundation yang telah dikonfigurasi sebelumnya atau membuat model yang melayani titik akhir untuk melayani model penyematan pilihan Anda. Lihat API Model Foundation bayar per token atau Membuat model fondasi yang melayani titik akhir untuk instruksi.

Untuk mengkueri titik akhir penyajian model, Anda menggunakan REST API atau Python SDK. Kueri Anda dapat menentukan filter berdasarkan kolom apa pun dalam tabel Delta. Untuk detailnya, lihat Menggunakan filter pada kueri, referensi API, atau referensi Python SDK.

Persyaratan

• Ruang kerja yang menggunakan Katalog Unity.
• Komputasi tanpa server diaktifkan. Untuk petunjuknya, lihat Menyambungkan ke komputasi tanpa server.
• Tabel sumber harus memiliki Change Data Feed yang diaktifkan. Untuk petunjuknya, lihat Menggunakan umpan data perubahan Delta Lake di Azure Databricks.
• Untuk membuat indeks pencarian vektor, Anda harus memiliki hak istimewa CREATE TABLE pada skema katalog tempat indeks akan dibuat.

Izin untuk membuat dan mengelola titik akhir pencarian vektor dikonfigurasi menggunakan daftar kontrol akses. Lihat Daftar Kontrol Akses titik akhir pencarian vektor.

Perlindungan dan autentikasi data

Databricks menerapkan kontrol keamanan berikut untuk melindungi data Anda:

• Setiap permintaan pelanggan ke Mosaic AI Vector Search secara logis diisolasi, diautentikasi, dan diotorisasi.
• Mosaic AI Vector Search mengenkripsi semua data tidak aktif (AES-256) dan saat transit (TLS 1.2+).

Mosaic AI Vector Search mendukung dua mode autentikasi:

• Token prinsipal layanan. Admin dapat menghasilkan token perwakilan layanan dan meneruskannya ke SDK atau API. Lihat prinsipal layanan. Untuk kasus penggunaan produksi, Databricks merekomendasikan penggunaan token layanan utama.

  # Pass in a service principal
  vsc = VectorSearchClient(workspace_url="...",
          service_principal_client_id="...",
          service_principal_client_secret="..."
          )
  

• Token akses pribadi. Anda dapat menggunakan token akses pribadi untuk mengautentikasi dengan Mosaic AI Vector Search. Lihat token autentikasi akses pribadi. Jika Anda menggunakan SDK di lingkungan notebook, SDK secara otomatis menghasilkan token PAT untuk autentikasi.

  # Pass in the PAT token
  client = VectorSearchClient(workspace_url="...", personal_access_token="...")
  

Customer Managed Keys (CMK) didukung pada endpoint yang dibuat pada atau setelah 8 Mei 2024.

Memantau penggunaan dan biaya

Tabel sistem penggunaan yang dapat ditagih memungkinkan Anda memantau penggunaan dan biaya yang terkait dengan indeks pencarian vektor dan titik akhir. Berikut adalah kueri contoh:

WITH all_vector_search_usage (
  SELECT *,
         CASE WHEN usage_metadata.endpoint_name IS NULL THEN 'ingest'
              WHEN usage_type = "STORAGE_SPACE" THEN 'storage'
              ELSE 'serving'
        END as workload_type
    FROM system.billing.usage
   WHERE billing_origin_product = 'VECTOR_SEARCH'
),
daily_dbus AS (
  SELECT workspace_id,
       cloud,
       usage_date,
       workload_type,
       usage_metadata.endpoint_name as vector_search_endpoint,
       CASE WHEN workload_type = 'serving' THEN SUM(usage_quantity)
            WHEN workload_type = 'ingest' THEN SUM(usage_quantity)
            ELSE null
            END as dbus,
       CASE WHEN workload_type = 'storage' THEN SUM(usage_quantity)
            ELSE null
            END as dsus
 FROM all_vector_search_usage
 GROUP BY all
ORDER BY 1,2,3,4,5 DESC
)
SELECT * FROM daily_dbus

Untuk detail tentang isi tabel penggunaan tagihan, lihat Referensi tabel sistem penggunaan tagihan yang dapat dikenakan biaya. Kueri tambahan ada dalam contoh buku catatan berikut.

Sistem pencarian vektor: tabel, kueri, dan buku catatan

Dapatkan buku catatan

Batas ukuran sumber daya dan data

Tabel berikut ini meringkas batas sumber daya dan ukuran data untuk titik akhir dan indeks pencarian vektor:

Batas berikut berlaku untuk pembuatan dan pembaruan indeks pencarian vektor:

Batas berikut berlaku untuk API kueri.

Batasan

Tingkat izin baris dan kolom tidak didukung. Namun, Anda dapat menerapkan ACL tingkat aplikasi Anda sendiri menggunakan API filter.

Sumber Daya Tambahan:

• Terapkan Chatbot LLM Anda dengan Retrieval Augmented Generation (RAG), Model Dasar, dan Pencarian Vektor.
• Cara membuat dan mengkueri indeks pencarian vektor.
• Contoh buku catatan