AnlamSal Çekirdek Vektör Deposu bağlayıcıları nedir? (Önizleme)

Vektör Depoları ile Artırılmış Nesil (RAG) Alma

Vektör deposu soyutlamaları, vektör depolarından veri eklemeye ve almaya yönelik düşük düzeyli bir api'dir. Semantik Çekirdek, RAG için Vektör Deposu uygulamalarından herhangi birini kullanmak için yerleşik desteğe sahiptir. Bu, IVectorizedSearch<TRecord>'ı sararak ve bir Metin Arama uygulaması olarak sunarak elde edilir.

Vektör Deposu Soyutlaması

Vektör Deposu soyutlamasında ana arabirimler şunlardır.

Microsoft.Extensions.VectorData.IVectorStore

IVectorStore , vektör deposundaki tüm koleksiyonlara yayılan işlemler içerir; örneğin, ListCollectionNames. Ayrıca örnekleri alma IVectorStoreRecordCollection<TKey, TRecord> olanağı da sağlar.

Microsoft.Extensions.VectorData.IVectorStoreRecordCollection<TKey, TRecord>

IVectorStoreRecordCollection<TKey, TRecord> bir koleksiyonu temsil eder. Bu koleksiyon var olabilir veya olmayabilir ve arabirim, koleksiyonun var olup olmadığını denetlemek, oluşturmak veya silmek için yöntemler sağlar. Arabirim ayrıca kayıtları eklemek, almak ve silmek için yöntemler sağlar. Son olarak, arabirim vektör arama özellikleri sağlamayı IVectorizedSearch<TRecord> devralır.

Microsoft.Extensions.VectorData.IVectorizedSearch<TRecord>

IVectorizedSearch<TRecord> vektör araması yapmak için bir yöntem içerir. IVectorStoreRecordCollection<TKey, TRecord>yalnızca aramanın gerekli olduğu ve kayıt veya koleksiyon yönetimi gerekmeyen durumlarda kendi başına kullanılmasını IVectorizedSearch<TRecord> mümkün kılmayı IVectorizedSearch<TRecord> devralır.

IVectorizableTextSearch<TRecord>

IVectorizableTextSearch<TRecord> , vektör veritabanının otomatik olarak ekleme oluşturma özelliğine sahip olduğu vektör aramaları yapmak için bir yöntem içerir. Örneğin, bu yöntemi bir metin dizesiyle çağırabilirsiniz; veritabanı sizin için ekleme oluşturur ve bir vektör alanında arama yapabilir. Bu, tüm vektör veritabanları tarafından desteklenmez ve bu nedenle yalnızca belirli bağlayıcılar tarafından uygulanır.

Vektör Depoları ile Artırılmış Nesil (RAG) Alma

Vektör deposu soyutlamaları, vektör depolarından veri eklemeye ve almaya yönelik düşük düzeyli bir api'dir. Semantik Çekirdek, RAG için Vektör Deposu uygulamalarından herhangi birini kullanmak için yerleşik desteğe sahiptir. VectorSearchBase[TKey, TModel], VectorizedSearchMixin[Tmodel], VectorizableTextSearchMixin[TModel] veya VectorTextSearch[TModel] ile sarmalanıp bir Metin Arama uygulaması olarak sunulduğunda bu elde edilir.

Vektör Deposu Soyutlaması

Vektör Deposu soyutlamasında ana arabirimler şunlardır.

com.microsoft.semantickernel.data.vectorstorage.VectorStore

VectorStore , vektör deposundaki tüm koleksiyonlara yayılan işlemleri (ör. listCollectionNames) içerir. Ayrıca örnekleri alma VectorStoreRecordCollection<Key, Record> olanağı da sağlar.

com.microsoft.semantickernel.data.vectorstorage.VectorStoreRecordCollection<Anahtarı, Kayıt>

VectorStoreRecordCollection<Key, Record> bir koleksiyonu temsil eder. Bu koleksiyon var olabilir veya olmayabilir ve arabirim, koleksiyonun var olup olmadığını denetlemek, oluşturmak veya silmek için yöntemler sağlar. Arabirim ayrıca kayıtları eklemek, almak ve silmek için yöntemler sağlar. Son olarak, arabirim vektör arama özellikleri sağlamayı VectorizedSearch<Record> devralır.

com.microsoft.semantickernel.data.vectorsearch.VectorizedSearch<Record>

VectorizedSearch<Record> vektör araması yapmak için bir yöntem içerir. VectorStoreRecordCollection<Key, Record>yalnızca aramanın gerekli olduğu ve kayıt veya koleksiyon yönetimi gerekmeyen durumlarda kendi başına kullanılmasını VectorizedSearch<Record> mümkün kılmayı VectorizedSearch<Record> devralır.

com.microsoft.semantickernel.data.vectorsearch.VectorizableTextSearch<Kaydı>

VectorizableTextSearch<Record> , vektör veritabanının otomatik olarak ekleme oluşturma özelliğine sahip olduğu vektör aramaları yapmak için bir yöntem içerir. Örneğin, bu yöntemi bir metin dizesiyle çağırabilirsiniz; veritabanı sizin için ekleme oluşturur ve bir vektör alanında arama yapabilir. Bu, tüm vektör veritabanları tarafından desteklenmez ve bu nedenle yalnızca belirli bağlayıcılar tarafından uygulanır.

Gerekli nuget paketlerini içeri aktarma

Tüm vektör deposu arabirimleri ve soyutlamayla ilgili tüm sınıflar nuget paketinde Microsoft.Extensions.VectorData.Abstractions kullanılabilir. Her vektör deposu uygulaması kendi nuget paketinde kullanılabilir. Bilinen uygulamaların listesi için kullanıma hazır bağlayıcılar sayfasına bakın.

Soyutlama paketi aşağıdaki gibi eklenebilir.

dotnet add package Microsoft.Extensions.VectorData.Abstractions --prerelease

using Microsoft.Extensions.VectorData;

public class Hotel
{
    [VectorStoreRecordKey]
    public ulong HotelId { get; set; }

    [VectorStoreRecordData(IsFilterable = true)]
    public string HotelName { get; set; }

    [VectorStoreRecordData(IsFullTextSearchable = true)]
    public string Description { get; set; }

    [VectorStoreRecordVector(Dimensions: 4, DistanceFunction.CosineSimilarity, IndexKind.Hnsw)]
    public ReadOnlyMemory<float>? DescriptionEmbedding { get; set; }

    [VectorStoreRecordData(IsFilterable = true)]
    public string[] Tags { get; set; }
}

from dataclasses import dataclass, field
from typing import Annotated
from semantic_kernel.data import (
    DistanceFunction,
    IndexKind,
    VectorStoreRecordDataField,
    VectorStoreRecordDefinition,
    VectorStoreRecordKeyField,
    VectorStoreRecordVectorField,
    vectorstoremodel,
)

@vectorstoremodel
@dataclass
class Hotel:
    hotel_id: Annotated[str, VectorStoreRecordKeyField()] = field(default_factory=lambda: str(uuid4()))
    hotel_name: Annotated[str, VectorStoreRecordDataField(is_filterable=True)]
    description: Annotated[str, VectorStoreRecordDataField(is_full_text_searchable=True)]
    description_embedding: Annotated[list[float], VectorStoreRecordVectorField(dimensions=4, distance_function=DistanceFunction.COSINE, index_kind=IndexKind.HNSW)]
    tags: Annotated[list[str], VectorStoreRecordDataField(is_filterable=True)]

import com.microsoft.semantickernel.data.vectorstorage.annotations.VectorStoreRecordData;
import com.microsoft.semantickernel.data.vectorstorage.annotations.VectorStoreRecordKey;
import com.microsoft.semantickernel.data.vectorstorage.annotations.VectorStoreRecordVector;
import com.microsoft.semantickernel.data.vectorstorage.definition.DistanceFunction;
import com.microsoft.semantickernel.data.vectorstorage.definition.IndexKind;

import java.util.Collections;
import java.util.List;

public class Hotel {
    @VectorStoreRecordKey
    private String hotelId;

    @VectorStoreRecordData(isFilterable = true)
    private String name;

    @VectorStoreRecordData(isFullTextSearchable = true)
    private String description;

    @VectorStoreRecordVector(dimensions = 4, indexKind = IndexKind.HNSW, distanceFunction = DistanceFunction.COSINE_DISTANCE)
    private List<Float> descriptionEmbedding;

    @VectorStoreRecordData(isFilterable = true)
    private List<String> tags;

    public Hotel() { }

    public Hotel(String hotelId, String name, String description, List<Float> descriptionEmbedding, List<String> tags) {
        this.hotelId = hotelId;
        this.name = name;
        this.description = description;
        this.descriptionEmbedding = Collections.unmodifiableList(descriptionEmbedding);
        this.tags = Collections.unmodifiableList(tags);
    }

    public String getHotelId() { return hotelId; }
    public String getName() { return name; }
    public String getDescription() { return description; }
    public List<Float> getDescriptionEmbedding() { return descriptionEmbedding; }
    public List<String> getTags() { return tags; }
}

Bu örnekte Qdrant kullanacağız. Bu nedenle Qdrant nuget paketini içeri aktarmanız gerekir.

dotnet add package Microsoft.SemanticKernel.Connectors.Qdrant --prerelease

Qdrant'ı Docker kullanarak yerel olarak çalıştırmak istiyorsanız, Qdrant kapsayıcısını bu örnekte kullanılan ayarlarla başlatmak için aşağıdaki komutu kullanın.

docker run -d --name qdrant -p 6333:6333 -p 6334:6334 qdrant/qdrant:latest

Qdrant örneğinizin düzgün çalıştığını doğrulamak için, Qdrant docker kapsayıcısının içinde yerleşik olarak bulunan Qdrant panosunu ziyaret edin: http://localhost:6333/dashboard

Veritabanları birçok farklı türde anahtarı ve kaydı desteklediğinden, genel değerleri kullanarak koleksiyonunuz için anahtarın ve kaydın türünü belirtmenize olanak sağlarız. Bizim örneğimizde, kayıt türü zaten tanımladığımız sınıf olacak Hotel ve özellik a ulong olduğundan ve Qdrant yalnızca veya HotelId anahtarlarını desteklediğinden ulong anahtar Guidulong türü olacaktır.

using Microsoft.SemanticKernel.Connectors.Qdrant;
using Qdrant.Client;

// Create a Qdrant VectorStore object
var vectorStore = new QdrantVectorStore(new QdrantClient("localhost"));

// Choose a collection from the database and specify the type of key and record stored in it via Generic parameters.
var collection = vectorStore.GetCollection<ulong, Hotel>("skhotels");

Veritabanları birçok farklı türde anahtarı ve kaydı desteklediğinden, genel değerleri kullanarak koleksiyonunuz için anahtarın ve kaydın türünü belirtmenize olanak sağlarız. Bizim örneğimizde, kayıt türü zaten tanımladığımız sınıf olacak Hotel ve özellik a str olduğundan ve Qdrant yalnızca veya HotelId anahtarlarını desteklediğinden str anahtar strint türü olacaktır.

from semantic_kernel.connectors.memory.qdrant import QdrantStore

# Create a Qdrant VectorStore object, this will look in the environment for Qdrant related settings, and will fall back to the default, which is to run in-memory.
vector_store = QdrantStore()

# Choose a collection from the database and specify the type of key and record stored in it via Generic parameters.
collection = vector_store.get_collection(
    collection_name="skhotels", 
    data_model_type=Hotel
)

Veritabanları birçok farklı türde anahtarı ve kaydı desteklediğinden, genel değerleri kullanarak koleksiyonunuz için anahtarın ve kaydın türünü belirtmenize olanak sağlarız. Bizim örneğimizde, kayıt türü zaten tanımladığımız sınıf olacak Hotel ve özellik bir String olduğundan ve JDBC deposu yalnızca anahtarları desteklediğinden hotelId anahtar türü olacaktırStringString.

import com.microsoft.semantickernel.data.jdbc.JDBCVectorStore;
import com.microsoft.semantickernel.data.jdbc.JDBCVectorStoreOptions;
import com.microsoft.semantickernel.data.jdbc.JDBCVectorStoreRecordCollectionOptions;
import com.microsoft.semantickernel.data.jdbc.mysql.MySQLVectorStoreQueryProvider;
import com.mysql.cj.jdbc.MysqlDataSource;

import java.util.List;

public class Main {
    public static void main(String[] args) {
        // Create a MySQL data source
        var dataSource = new MysqlDataSource();
        dataSource.setUrl("jdbc:mysql://localhost:3306/sk");
        dataSource.setPassword("root");
        dataSource.setUser("root");

        // Create a JDBC vector store
        var vectorStore = JDBCVectorStore.builder()
            .withDataSource(dataSource)
            .withOptions(
                JDBCVectorStoreOptions.builder()
                    .withQueryProvider(MySQLVectorStoreQueryProvider.builder()
                        .withDataSource(dataSource)
                        .build())
                    .build()
            )
            .build();

        // Get a collection from the vector store
        var collection = vectorStore.getCollection("skhotels",
            JDBCVectorStoreRecordCollectionOptions.<Hotel>builder()
                .withRecordClass(Hotel.class)
                .build()
        );
    }
}

Koleksiyonu oluşturma ve kayıt ekleme

// Placeholder embedding generation method.
async Task<ReadOnlyMemory<float>> GenerateEmbeddingAsync(string textToVectorize)
{
    // your logic here
}

// Create the collection if it doesn't exist yet.
await collection.CreateCollectionIfNotExistsAsync();

// Upsert a record.
string descriptionText = "A place where everyone can be happy.";
ulong hotelId = 1;

// Create a record and generate a vector for the description using your chosen embedding generation implementation.
await collection.UpsertAsync(new Hotel
{
    HotelId = hotelId,
    HotelName = "Hotel Happy",
    Description = descriptionText,
    DescriptionEmbedding = await GenerateEmbeddingAsync(descriptionText),
    Tags = new[] { "luxury", "pool" }
});

// Retrieve the upserted record.
Hotel? retrievedHotel = await collection.GetAsync(hotelId);

Koleksiyonu oluşturma ve kayıt ekleme

# Create the collection if it doesn't exist yet.
await collection.create_collection_if_not_exists()

# Upsert a record.
description = "A place where everyone can be happy."
hotel_id = "1"

await collection.upsert(Hotel(
    hotel_id = hotel_id,
    hotel_name = "Hotel Happy",
    description = description,
    description_embedding = await GenerateEmbeddingAsync(description),
    tags = ["luxury", "pool"]
))

# Retrieve the upserted record.
retrieved_hotel = await collection.get(hotel_id)

// Create the collection if it doesn't exist yet.
collection.createCollectionAsync().block();

// Upsert a record.
var description = "A place where everyone can be happy";
var hotelId = "1";
var hotel = new Hotel(
    hotelId, 
    "Hotel Happy", 
    description, 
    generateEmbeddingsAsync(description).block(), 
    List.of("luxury", "pool")
);

collection.upsertAsync(hotel, null).block();

// Retrieve the upserted record.
var retrievedHotel = collection.getAsync(hotelId, null).block();

Vektör araması yapma

// Placeholder embedding generation method.
async Task<ReadOnlyMemory<float>> GenerateEmbeddingAsync(string textToVectorize)
{
    // your logic here
}

// Generate a vector for your search text, using your chosen embedding generation implementation.
ReadOnlyMemory<float> searchVector = await GenerateEmbeddingAsync("I'm looking for a hotel where customer happiness is the priority.");

// Do the search.
var searchResult = await collection.VectorizedSearchAsync(searchVector, new() { Top = 1 });

// Inspect the returned hotel.
await foreach (var record in searchResult.Results)
{
    Console.WriteLine("Found hotel description: " + record.Record.Description);
    Console.WriteLine("Found record score: " + record.Score);
}

Vektör araması yapma

# Generate a vector for your search text, using your chosen embedding generation implementation.
# Just showing a placeholder method here for brevity.
search_vector = await GenerateEmbedding("I'm looking for a hotel where customer happiness is the priority.");
# Do the search.
search_result = await collection.vectorized_search(vector=searchVector, VectorSearchOptions(top = 1 ))

# Inspect the returned hotels.
async for result in search_result.results:
    print(f"Found hotel description: {result.record.description}")

// Generate a vector for your search text, using your chosen embedding generation implementation.
// Just showing a placeholder method here for brevity.
var searchVector = generateEmbeddingsAsync("I'm looking for a hotel where customer happiness is the priority.").block();

// Do the search.
var searchResult = collection.searchAsync(searchVector, VectorSearchOptions.builder()
    .withTop(1).build()
).block();

Hotel record = searchResult.getResults().get(0).getRecord();
System.out.printf("Found hotel description: %s\n", record.getDescription());