Vektortároló az Azure Cosmos DB for MongoDB virtuális magban

A DiskANN-indexek M40-szinteken és magasabb szinteken érhetők el. A DiskANN-index létrehozásához állítsa a paramétert "kind" az alábbi sablon követésére "vector-diskann" :

{ 
    "createIndexes": "<collection_name>",
    "indexes": [
        {
            "name": "<index_name>",
            "key": {
                "<path_to_property>": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-diskann", 
                "dimensions": <integer_value>,
                "similarity": <string_value>,
                "maxDegree" : <integer_value>, 
                "lBuild" : <integer_value>, 
            } 
        } 
    ] 
}

Vektorkeresés végrehajtása a DiskANN használatával

Vektorkeresés végrehajtásához használja az $search aggregációs folyamat szakaszát, és kérdezze le az cosmosSearch operátort. A DiskANN nagy teljesítményű keresést tesz lehetővé nagy teljesítményű adathalmazokban opcionális szűréssel, például térinformatikai vagy szövegalapú szűrőkkel.

{
  "$search": {
    "cosmosSearch": {
      "path": "<path_to_property>",
      "query": "<query_vector>",  
      "k": <num_results_to_return>,  
      "filter": {"$and": [
        { "<attribute_1>": { "$eq": <value> } },
        {"<location_attribute>": {"$geoWithin": {"$centerSphere":[[<longitude_integer_value>, <latitude_integer_value>], <radius>]}}}
      ]}
    }
  }
},

A DiskANN engedélyezése új fürtön

Ha engedélyezni szeretné a DiskANN Vector Indexet egy újonnan kiépített Azure Cosmos DB for MongoDB (vCore) fürtön, kövesse az alábbi lépéseket egy fürtszintű regisztráció végrehajtásához az Azure CLI-n keresztül:

1. Bejelentkezés az Azure CLI-be

az login

2. Kérje le a fürt szolgáltatásjelzőinek aktuális beállításait. Ez biztosítja, hogy az új funkció hozzáadásakor megőrizze a meglévő jelzőket.

az resource show --ids "/subscriptions/<sub id>/resourceGroups/<resource group name>/providers/Microsoft.DocumentDB/mongoClusters/<resource name of your Cosmos DB for MongoDB cluster>" --api-version <cluster's api version>

3. Vegye fel a jelzőt DiskANNIndex az előzetes verziójú funkciók listájára a meglévők eltávolítása nélkül.

az resource patch --ids "/subscriptions/<sub id>/resourceGroups/<resource group name>/providers/Microsoft.DocumentDB/mongoClusters/<resource name of your Cosmos DB for MongoDB cluster>" --api-version <cluster's api version> --properties "{\"previewFeatures\": [\"GeoReplicas\", \"DiskANNIndex\"]}" 

Példa a DiskANN-index szűréssel való használatára

Vektorok hozzáadása az adatbázishoz

Ha térinformatikai szűrőkkel szeretné használni a vektorkeresést, adjon hozzá olyan dokumentumokat, amelyek vektorbeágyazást és helykoordinátát is tartalmaznak. A beágyazásokat saját modellel, Azure OpenAI-beágyazással vagy egy másik API-val (például a Face azure-beli ölelésével) hozhatja létre.

from pymongo import MongoClient

client = MongoClient("<your_connection_string>")
db = client["test"]
collection = db["testCollection"]

documents = [
    {"name": "Eugenia Lopez", "bio": "CEO of AdventureWorks", "is_open": 1, "location": [-118.9865, 34.0145], "contentVector": [0.52, 0.20, 0.23]},
    {"name": "Cameron Baker", "bio": "CFO of AdventureWorks", "is_open": 1, "location": [-0.1278, 51.5074], "contentVector": [0.55, 0.89, 0.44]},
    {"name": "Jessie Irwin", "bio": "Director of Our Planet initiative", "is_open": 0, "location": [-118.9865, 33.9855], "contentVector": [0.13, 0.92, 0.85]},
    {"name": "Rory Nguyen", "bio": "President of Our Planet initiative", "is_open": 1, "location": [-119.0000, 33.9855], "contentVector": [0.91, 0.76, 0.83]}
]

collection.insert_many(documents)

DiskANN-vektorindex létrehozása

Az alábbi példa bemutatja, hogyan állíthat be Egy DiskANN-vektorindexet szűrési képességekkel. Ez magában foglalja a vektorindex létrehozását a hasonlóság kereséséhez, a vektor- és térinformatikai tulajdonságokkal rendelkező dokumentumok hozzáadását, valamint a további szűréshez szükséges mezők indexelését.

db.command({
    "createIndexes": "testCollection",
    "indexes": [
        {
            "name": "DiskANNVectorIndex",
            "key": {
                "contentVector": "cosmosSearch"
            },
            "cosmosSearchOptions": {
                "kind": "vector-diskann",
                "dimensions": 3,
                "similarity": "COS",
                "maxDegree": 32,
                "lBuild": 64
            }
        },
        { 
            "name": "is_open",
            "key": { 
                "is_open": 1 
            }      
        },
        {
            "name": "locationIndex",
            "key": {
                "location": 1
            }
        }
    ]
})

Ez a parancs létrehoz egy DiskANN-vektorindexet a contentVector mezőn exampleCollection, amely lehetővé teszi a hasonlósági kereséseket. A következőt is hozzáadja:

• A mező indexe is_open , amely lehetővé teszi az eredmények szűrését attól függően, hogy a vállalkozások nyitottak-e.
• Térinformatikai index a mezőn a location földrajzi közelség alapján történő szűréshez.

Vektorkeresés végrehajtása

Ha hasonló vektorokkal rendelkező dokumentumokat szeretne megkeresni egy adott földrajzi sugaron belül, adja meg a queryVector hasonlóság keresését, és adjon meg egy térinformatikai szűrőt.

query_vector = [0.52, 0.28, 0.12]
pipeline = [
    {
        "$search": {
            "cosmosSearch": {
                "path": "contentVector",
                "vector": query_vector,
                "k": 5,
                "filter": {
                    "$and": [
                        {"is_open": {"$eq": 1}},
                        {"location": {"$geoWithin": {"$centerSphere": [[-119.7192861804, 34.4102485028], 100 / 3963.2]}}}
                    ]
                }
            }
        }
    }
]

results = list(collection.aggregate(pipeline))
for result in results:
    print(result)

Ebben a példában a vektor-hasonlósági keresés a megadott COS hasonlósági metrika alapján adja vissza a legközelebbi k legközelebbi vektorokat, az eredmények szűrése pedig csak a 100 mérföldes körzeten belüli nyitott vállalkozásokat foglalja magában.

[
  {
    similarityScore: 0.9745354109084544,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'CEO of AdventureWorks',
      is_open: 1,
      location: [-118.9865, 34.0145],
      contentVector: [0.52, 0.20, 0.23]
    }
  },
  {
    similarityScore: 0.9006955671333992,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'President of Our Planet initiative',
      is_open: 1,
      location: [-119.7302, 34.4005],
      contentVector: [0.91, 0.76, 0.83]
    }
  }
]

Ez az eredmény a 100 mérföldes körzetre korlátozott és a nyitott vállalkozásokhoz queryVectorkapcsolódó legfontosabb dokumentumokat jeleníti meg. Minden eredmény tartalmazza a hasonlósági pontszámot és a metaadatokat, bemutatva, hogyan támogatja a DiskANN a MongoDB-hez készült Cosmos DB-ben a kombinált vektor- és térinformatikai lekérdezéseket a gazdagított, helyérzékeny keresési szolgáltatásokhoz.

A HNSW (hierarchikus navigálható kisvilág) indexeket M40-fürtszinteken és magasabb szinten is létrehozhatja. A HSNW-index létrehozásához létre kell hoznia egy vektorindexet, amelynek paramétere az "kind" alábbi sablont "vector-hnsw" követi:

{ 
    "createIndexes": "<collection_name>",
    "indexes": [
        {
            "name": "<index_name>",
            "key": {
                "<path_to_property>": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-hnsw", 
                "m": <integer_value>, 
                "efConstruction": <integer_value>, 
                "similarity": "<string_value>", 
                "dimensions": <integer_value> 
            } 
        } 
    ] 
}

Vektorkeresés végrehajtása a HNSW-vel

Vektorkeresés végrehajtásához használja az $search aggregációs folyamat szakaszát a lekérdezéshez az cosmosSearch operátorral.

{
    "$search": {
        "cosmosSearch": {
            "vector": <query_vector>,
            "path": "<path_to_property>",
            "k": <num_results_to_return>,
            "efSearch": <integer_value>
        },
    }
}

Példa HNSW-index használatával

Az alábbi példák bemutatják, hogyan indexelheti a vektorokat, adhat hozzá vektortulajdonságokkal rendelkező dokumentumokat, végezhet vektorkeresést, és hogyan kérdezheti le az indexkonfigurációt.

use test;

db.createCollection("exampleCollection");

db.runCommand({ 
    "createIndexes": "exampleCollection",
    "indexes": [
        {
            "name": "VectorSearchIndex",
            "key": {
                "contentVector": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-hnsw", 
                "m": 16, 
                "efConstruction": 64, 
                "similarity": "COS", 
                "dimensions": 3
            } 
        } 
    ] 
});

Ez a parancs létrehoz egy HNSW-indexet a contentVector megadott gyűjteményben tárolt dokumentumok tulajdonságához. exampleCollection A cosmosSearchOptions tulajdonság megadja a HNSW vektorindex paramétereit. Ha a dokumentum egy beágyazott tulajdonságban tárolja a vektort, ezt a tulajdonságot pont jelölési útvonal használatával állíthatja be. Használhatja például, text.contentVector ha contentVector a függvény altulajdonsága text.

Vektorok hozzáadása az adatbázishoz

Ha vektorokat szeretne hozzáadni az adatbázis gyűjteményéhez, először létre kell hoznia a beágyazásokat saját modellel, Azure OpenAI-beágyazással vagy egy másik API-val (például a Face azure-beli ölelésével). Ebben a példában új dokumentumokat adunk hozzá mintabeágyazásokon keresztül:

db.exampleCollection.insertMany([
  {name: "Eugenia Lopez", bio: "Eugenia is the CEO of AdvenureWorks.", vectorContent: [0.51, 0.12, 0.23]},
  {name: "Cameron Baker", bio: "Cameron Baker CFO of AdvenureWorks.", vectorContent: [0.55, 0.89, 0.44]},
  {name: "Jessie Irwin", bio: "Jessie Irwin is the former CEO of AdventureWorks and now the director of the Our Planet initiative.", vectorContent: [0.13, 0.92, 0.85]},
  {name: "Rory Nguyen", bio: "Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.", vectorContent: [0.91, 0.76, 0.83]},
]);

Vektorkeresés végrehajtása

Az utolsó példával folytatva hozzon létre egy másik vektort. queryVector A vektorkeresés a queryVector dokumentumok elérési útjának távolságát és vektorait contentVector méri. Az itt megadott 2 paraméter kbeállításával beállíthatja, hogy hány találatot ad vissza a keresés. Beállíthatja efSearchazt is, amely egy egész szám, amely a jelölt vektorlista méretét szabályozza. A nagyobb érték javíthatja a pontosságot, a keresés azonban lassabb lesz. Ez egy választható paraméter, amelynek alapértelmezett értéke 40.

const queryVector = [0.52, 0.28, 0.12];
db.exampleCollection.aggregate([
  {
    "$search": {
        "cosmosSearch": {
            "vector": "queryVector",
            "path": "contentVector",
            "k": 2,
            "efSearch": 40
        },
    }
  }
}
]);

Ebben a példában vektorkeresést hajtunk queryVector végre bemenetként a Mongo-rendszerhéjon keresztül. A keresési eredmény két olyan elem listája, amelyek leginkább hasonlítanak a lekérdezésvektorhoz, a hasonlósági pontszámok szerint rendezve.

[
  {
    similarityScore: 0.9465376,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'Eugenia is the CEO of AdvenureWorks.',
      vectorContent: [ 0.51, 0.12, 0.23 ]
    }
  },
  {
    similarityScore: 0.9006955,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.',
      vectorContent: [ 0.91, 0.76, 0.83 ]
    }
  }
]

Ha vektorindexet szeretne létrehozni az IVF (Inverted File) algoritmussal, használja a következő createIndexes sablont, és állítsa a paramétert a "kind" következőre "vector-ivf":

{
  "createIndexes": "<collection_name>",
  "indexes": [
    {
      "name": "<index_name>",
      "key": {
        "<path_to_property>": "cosmosSearch"
      },
      "cosmosSearchOptions": {
        "kind": "vector-ivf",
        "numLists": <integer_value>,
        "similarity": "<string_value>",
        "dimensions": <integer_value>
      }
    }
  ]
}

Vektorkeresés végrehajtása az IVF használatával

Vektorkeresés végrehajtásához használja az $search aggregációs folyamat szakaszát egy MongoDB-lekérdezésben. Az cosmosSearch index használatához használja az új cosmosSearch operátort.

{
  {
  "$search": {
    "cosmosSearch": {
        "vector": <query_vector>,
        "path": "<path_to_property>",
        "k": <num_results_to_return>,
      },
      "returnStoredSource": True }},
  {
    "$project": { "<custom_name_for_similarity_score>": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
}

A hasonlósági pontszám (searchScore) és a vektorkeresés által talált dokumentumok lekéréséhez használja az operátort, $project hogy az eredményben szereplő <custom_name_for_similarity_score> módon vegye fel searchScore és nevezze át. Ezután a dokumentum is beágyazott objektumként lesz kivetítve. Vegye figyelembe, hogy a hasonlósági pontszám kiszámítása a vektorindexben meghatározott metrikával történik.

Példa IVF-index használatával

Az invertált fájl (IVF) indexelése egy olyan módszer, amely fürtökbe rendezi a vektorokat. A vektorkeresés során a lekérdezésvektor először ezeknek a fürtöknek a középpontjával lesz összehasonlítva. A keresés ezután azon a fürtön belül történik, amelynek középpontjában a lekérdezésvektor áll legközelebb.

Az numLists paraméter határozza meg a létrehozandó fürtök számát. Egyetlen fürt azt jelenti, hogy a keresés az adatbázis összes vektorán történik, hasonló egy találgatásos vagy kNN-kereséshez. Ez a beállítás a legnagyobb pontosságot, de a legnagyobb késést is biztosítja.

Az numLists érték növelése több fürtöt eredményez, amelyek mindegyike kevesebb vektort tartalmaz. Ha például minden fürt több vektort tartalmaz, numLists=2mint ha numLists=3, és így tovább. Fürtönként kevesebb vektor felgyorsítja a keresést (kisebb késés, nagyobb lekérdezések másodpercenként). Ez azonban növeli annak a valószínűségét, hogy az adatbázisban a lekérdezésvektorhoz leginkább hasonló vektor hiányzik. Ennek oka a fürtözés tökéletlen jellege, ahol a keresés egy fürtre összpontosíthat, míg a tényleges "legközelebbi" vektor egy másik fürtben található.

A nProbes paraméter szabályozza a keresendő fürtök számát. Alapértelmezés szerint 1 értékre van állítva, ami azt jelenti, hogy csak a lekérdezésvektorhoz legközelebbi középponttal rendelkező fürtön keres. Ennek az értéknek a növelése lehetővé teszi, hogy a keresés több fürtöt fedjen le, javítja a pontosságot, de növeli a késést (ezáltal csökkenti a másodpercenkénti lekérdezéseket), mivel több fürtöt és vektort keresnek.

Az alábbi példák bemutatják, hogyan indexelheti a vektorokat, adhat hozzá vektortulajdonságokkal rendelkező dokumentumokat, végezhet vektorkeresést, és hogyan kérdezheti le az indexkonfigurációt.

Vektorindex létrehozása

use test;

db.createCollection("exampleCollection");

db.runCommand({
  createIndexes: 'exampleCollection',
  indexes: [
    {
      name: 'vectorSearchIndex',
      key: {
        "vectorContent": "cosmosSearch"
      },
      cosmosSearchOptions: {
        kind: 'vector-ivf',
        numLists: 3,
        similarity: 'COS',
        dimensions: 3
      }
    }
  ]
});

Ez a parancs indexet vector-ivf hoz létre a vectorContent megadott gyűjteményben tárolt dokumentumok tulajdonsága alapján. exampleCollection A cosmosSearchOptions tulajdonság az IVF-vektorindex paramétereit határozza meg. Ha a dokumentum egy beágyazott tulajdonságban tárolja a vektort, ezt a tulajdonságot pont jelölési útvonal használatával állíthatja be. Használhatja például, text.vectorContent ha vectorContent a függvény altulajdonsága text.

Vektorok hozzáadása az adatbázishoz

Ha vektorokat szeretne hozzáadni az adatbázis gyűjteményéhez, először létre kell hoznia a beágyazásokat saját modellel, Azure OpenAI-beágyazással vagy egy másik API-val (például a Face azure-beli ölelésével). Ebben a példában új dokumentumokat adunk hozzá mintabeágyazásokon keresztül:

db.exampleCollection.insertMany([
  {name: "Eugenia Lopez", bio: "Eugenia is the CEO of AdvenureWorks.", vectorContent: [0.51, 0.12, 0.23]},
  {name: "Cameron Baker", bio: "Cameron Baker CFO of AdvenureWorks.", vectorContent: [0.55, 0.89, 0.44]},
  {name: "Jessie Irwin", bio: "Jessie Irwin is the former CEO of AdventureWorks and now the director of the Our Planet initiative.", vectorContent: [0.13, 0.92, 0.85]},
  {name: "Rory Nguyen", bio: "Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.", vectorContent: [0.91, 0.76, 0.83]},
]);

Vektorkeresés végrehajtása

Vektorkeresés végrehajtásához használja az $search aggregációs folyamat szakaszát egy MongoDB-lekérdezésben. Az cosmosSearch index használatához használja az új cosmosSearch operátort.

{
  {
  "$search": {
    "cosmosSearch": {
        "vector": <vector_to_search>,
        "path": "<path_to_property>",
        "k": <num_results_to_return>,
      },
      "returnStoredSource": True }},
  {
    "$project": { "<custom_name_for_similarity_score>": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
}

A hasonlósági pontszám (searchScore) és a vektorkeresés által talált dokumentumok lekéréséhez használja az operátort, $project hogy az eredményben szereplő <custom_name_for_similarity_score> módon vegye fel searchScore és nevezze át. Ezután a dokumentum is beágyazott objektumként lesz kivetítve. Vegye figyelembe, hogy a hasonlósági pontszám kiszámítása a vektorindexben meghatározott metrikával történik.

Vektorok és vektortávolságok (más néven hasonlósági pontszámok) lekérdezése $search"

Az utolsó példával folytatva hozzon létre egy másik vektort. queryVector A vektorkeresés a queryVector dokumentumok elérési útjának távolságát és vektorait vectorContent méri. Az itt megadott 2 paraméter kbeállításával beállíthatja, hogy hány találatot ad vissza a keresés. Beállíthatja azt is nProbes, amely egy egész szám, amely az egyes keresésekben vizsgált közeli fürtök számát szabályozza. A nagyobb érték javíthatja a pontosságot, a keresés azonban lassabb lesz. Ez egy választható paraméter, amelynek alapértelmezett értéke 1, és nem lehet nagyobb, mint a numLists vektorindexben megadott érték.

const queryVector = [0.52, 0.28, 0.12];
db.exampleCollection.aggregate([
  {
    $search: {
      "cosmosSearch": {
        "vector": queryVector,
        "path": "vectorContent",
        "k": 2
      },
    "returnStoredSource": true }},
  {
    "$project": { "similarityScore": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
]);

Ebben a példában vektorkeresést hajtunk queryVector végre bemenetként a Mongo-rendszerhéjon keresztül. A keresési eredmény két olyan elem listája, amelyek leginkább hasonlítanak a lekérdezésvektorhoz, a hasonlósági pontszámok szerint rendezve.

[
  {
    similarityScore: 0.9465376,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'Eugenia is the CEO of AdvenureWorks.',
      vectorContent: [ 0.51, 0.12, 0.23 ]
    }
  },
  {
    similarityScore: 0.9006955,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.',
      vectorContent: [ 0.91, 0.76, 0.83 ]
    }
  }
]