مخزن المتجهات في Azure Cosmos DB ل MongoDB vCore

تتوفر فهارس DiskANN على مستويات M40 وما فوق. لإنشاء فهرس DiskANN، قم بتعيين المعلمة "kind" إلى "vector-diskann" اتباع القالب أدناه:

{ 
    "createIndexes": "<collection_name>",
    "indexes": [
        {
            "name": "<index_name>",
            "key": {
                "<path_to_property>": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-diskann", 
                "dimensions": <integer_value>,
                "similarity": <string_value>,
                "maxDegree" : <integer_value>, 
                "lBuild" : <integer_value>, 
            } 
        } 
    ] 
}

إجراء بحث متجه باستخدام DiskANN

لإجراء بحث متجه، استخدم $search مرحلة البنية الأساسية لبرنامج ربط العمليات التجارية للتجميع، والاستعلام مع cosmosSearch عامل التشغيل. يسمح DiskANN بعمليات البحث عالية الأداء عبر مجموعات البيانات الضخمة مع التصفية الاختيارية مثل عوامل التصفية الجغرافية المكانية أو القائمة على النص.

{
  "$search": {
    "cosmosSearch": {
      "path": "<path_to_property>",
      "query": "<query_vector>",  
      "k": <num_results_to_return>,  
      "filter": {"$and": [
        { "<attribute_1>": { "$eq": <value> } },
        {"<location_attribute>": {"$geoWithin": {"$centerSphere":[[<longitude_integer_value>, <latitude_integer_value>], <radius>]}}}
      ]}
    }
  }
},

تمكين DiskANN على نظام مجموعة جديد

لتمكين DiskANN Vector Index على نظام مجموعة Azure Cosmos DB ل MongoDB (vCore) الذي تم توفيره حديثا، اتبع هذه الخطوات لإجراء تسجيل على مستوى نظام المجموعة عبر Azure CLI:

1. تسجيل الدخول إلى Azure CLI

az login

2. استرداد الإعدادات الحالية لعلامات الميزات على نظام المجموعة. يضمن ذلك الاحتفاظ بأي علامات موجودة أثناء إضافة الميزة الجديدة.

az resource show --ids "/subscriptions/<sub id>/resourceGroups/<resource group name>/providers/Microsoft.DocumentDB/mongoClusters/<resource name of your Cosmos DB for MongoDB cluster>" --api-version <cluster's api version>

3. أضف العلامة DiskANNIndex إلى قائمة ميزات المعاينة دون إزالة أي ميزات موجودة.

az resource patch --ids "/subscriptions/<sub id>/resourceGroups/<resource group name>/providers/Microsoft.DocumentDB/mongoClusters/<resource name of your Cosmos DB for MongoDB cluster>" --api-version <cluster's api version> --properties "{\"previewFeatures\": [\"GeoReplicas\", \"DiskANNIndex\"]}" 

مثال على استخدام فهرس DiskANN مع التصفية

إضافة متجهات إلى قاعدة البيانات

لاستخدام البحث المتجه مع عوامل التصفية الجغرافية المكانية، أضف المستندات التي تتضمن تضمينات المتجهات وإحداثيات الموقع. يمكنك إنشاء التضمينات باستخدام النموذج الخاص بك، أو Azure OpenAI Embeddings، أو واجهة برمجة تطبيقات أخرى (مثل Hugging Face على Azure).

from pymongo import MongoClient

client = MongoClient("<your_connection_string>")
db = client["test"]
collection = db["testCollection"]

documents = [
    {"name": "Eugenia Lopez", "bio": "CEO of AdventureWorks", "is_open": 1, "location": [-118.9865, 34.0145], "contentVector": [0.52, 0.20, 0.23]},
    {"name": "Cameron Baker", "bio": "CFO of AdventureWorks", "is_open": 1, "location": [-0.1278, 51.5074], "contentVector": [0.55, 0.89, 0.44]},
    {"name": "Jessie Irwin", "bio": "Director of Our Planet initiative", "is_open": 0, "location": [-118.9865, 33.9855], "contentVector": [0.13, 0.92, 0.85]},
    {"name": "Rory Nguyen", "bio": "President of Our Planet initiative", "is_open": 1, "location": [-119.0000, 33.9855], "contentVector": [0.91, 0.76, 0.83]}
]

collection.insert_many(documents)

إنشاء فهرس متجه DiskANN

يوضح المثال التالي كيفية إعداد فهرس متجه DiskANN مع إمكانات التصفية. يتضمن ذلك إنشاء فهرس المتجه للبحث عن التشابه، وإضافة مستندات ذات خصائص متجهة وجيوفضائية، وحقول الفهرسة لتصفية إضافية.

db.command({
    "createIndexes": "testCollection",
    "indexes": [
        {
            "name": "DiskANNVectorIndex",
            "key": {
                "contentVector": "cosmosSearch"
            },
            "cosmosSearchOptions": {
                "kind": "vector-diskann",
                "dimensions": 3,
                "similarity": "COS",
                "maxDegree": 32,
                "lBuild": 64
            }
        },
        { 
            "name": "is_open",
            "key": { 
                "is_open": 1 
            }      
        },
        {
            "name": "locationIndex",
            "key": {
                "location": 1
            }
        }
    ]
})

ينشئ هذا الأمر فهرس متجه DiskANN في contentVector الحقل في exampleCollection، مما يتيح عمليات البحث عن التشابه. كما يضيف:

• فهرس في is_open الحقل، مما يسمح لك بتصفية النتائج استنادا إلى ما إذا كانت الشركات مفتوحة.
• فهرس جغرافي مكاني في location الحقل للتصفية حسب التقارب الجغرافي.

إجراء بحث متجه

للعثور على مستندات ذات خطوط متجهة مماثلة ضمن نصف قطر جغرافي معين، حدد للبحث عن queryVector التشابه وقم بتضمين عامل تصفية جيوفضائي.

query_vector = [0.52, 0.28, 0.12]
pipeline = [
    {
        "$search": {
            "cosmosSearch": {
                "path": "contentVector",
                "vector": query_vector,
                "k": 5,
                "filter": {
                    "$and": [
                        {"is_open": {"$eq": 1}},
                        {"location": {"$geoWithin": {"$centerSphere": [[-119.7192861804, 34.4102485028], 100 / 3963.2]}}}
                    ]
                }
            }
        }
    }
]

results = list(collection.aggregate(pipeline))
for result in results:
    print(result)

في هذا المثال، يرجع البحث عن تشابه المتجهات أعلى k أقرب المتجهات استنادا إلى مقياس التشابه المحدد COS ، مع تصفية النتائج لتضمين الأعمال المفتوحة فقط ضمن نصف قطر 100 ميل.

[
  {
    similarityScore: 0.9745354109084544,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'CEO of AdventureWorks',
      is_open: 1,
      location: [-118.9865, 34.0145],
      contentVector: [0.52, 0.20, 0.23]
    }
  },
  {
    similarityScore: 0.9006955671333992,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'President of Our Planet initiative',
      is_open: 1,
      location: [-119.7302, 34.4005],
      contentVector: [0.91, 0.76, 0.83]
    }
  }
]

تظهر هذه النتيجة أهم المستندات المشابهة ل queryVector، المقيدة لنصف قطر 100 ميل والأعمال المفتوحة. تتضمن كل نتيجة درجة التشابه وبيانات التعريف، ما يوضح كيف يدعم DiskANN في Cosmos DB ل MongoDB الاستعلامات المتجهة والجيوفضائية المجمعة لتجارب البحث المحسنة والحساسة للموقع.

يمكنك إنشاء فهارس HNSW (Hierarchical Navigable Small World) على مستويات نظام مجموعة M40 وأعلى. لإنشاء فهرس HSNW، تحتاج إلى إنشاء فهرس متجه مع تعيين المعلمة "kind" إلى "vector-hnsw" اتباع القالب أدناه:

{ 
    "createIndexes": "<collection_name>",
    "indexes": [
        {
            "name": "<index_name>",
            "key": {
                "<path_to_property>": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-hnsw", 
                "m": <integer_value>, 
                "efConstruction": <integer_value>, 
                "similarity": "<string_value>", 
                "dimensions": <integer_value> 
            } 
        } 
    ] 
}

إجراء بحث متجه باستخدام HNSW

لإجراء بحث متجه، استخدم $search مرحلة مسار التجميع الاستعلام مع cosmosSearch عامل التشغيل.

{
    "$search": {
        "cosmosSearch": {
            "vector": <query_vector>,
            "path": "<path_to_property>",
            "k": <num_results_to_return>,
            "efSearch": <integer_value>
        },
    }
}

مثال باستخدام فهرس HNSW

توضح لك الأمثلة التالية كيفية فهرسة المتجهات وإضافة المستندات التي تحتوي على خصائص متجهات وإجراء بحث متجه واسترداد تكوين الفهرس.

use test;

db.createCollection("exampleCollection");

db.runCommand({ 
    "createIndexes": "exampleCollection",
    "indexes": [
        {
            "name": "VectorSearchIndex",
            "key": {
                "contentVector": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-hnsw", 
                "m": 16, 
                "efConstruction": 64, 
                "similarity": "COS", 
                "dimensions": 3
            } 
        } 
    ] 
});

ينشئ هذا الأمر فهرس HNSW مقابل الخاصية contentVector في المستندات المخزنة في المجموعة المحددة، exampleCollection. cosmosSearchOptions تحدد الخاصية معلمات فهرس متجه HNSW. إذا كان المستند يحتوي على المتجه المخزن في خاصية متداخلة، يمكنك تعيين هذه الخاصية باستخدام مسار تدوين نقطة. على سبيل المثال، قد تستخدم text.contentVector ما إذا كان contentVector هو نوع فرعي من text.

إضافة متجهات إلى قاعدة البيانات

لإضافة متجهات إلى مجموعة قاعدة البيانات الخاصة بك، تحتاج أولا إلى إنشاء عمليات التضمين باستخدام النموذج الخاص بك، أو تضمينات Azure OpenAI، أو واجهة برمجة تطبيقات أخرى (مثل Hugging Face على Azure). في هذا المثال، تتم إضافة مستندات جديدة من خلال تضمينات العينة:

db.exampleCollection.insertMany([
  {name: "Eugenia Lopez", bio: "Eugenia is the CEO of AdvenureWorks.", vectorContent: [0.51, 0.12, 0.23]},
  {name: "Cameron Baker", bio: "Cameron Baker CFO of AdvenureWorks.", vectorContent: [0.55, 0.89, 0.44]},
  {name: "Jessie Irwin", bio: "Jessie Irwin is the former CEO of AdventureWorks and now the director of the Our Planet initiative.", vectorContent: [0.13, 0.92, 0.85]},
  {name: "Rory Nguyen", bio: "Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.", vectorContent: [0.91, 0.76, 0.83]},
]);

إجراء بحث متجه

متابعة للمثال الأخير، قم بإنشاء متجه آخر، queryVector. يقيس البحث المتجه المسافة بين queryVector المتجهات والمتجهة في contentVector مسار المستندات. يمكنك تعيين عدد النتائج التي يرجعها البحث عن طريق تعيين المعلمة k، التي تم تعيينها إلى 2 هنا. يمكنك أيضا تعيين efSearch، وهو عدد صحيح يتحكم في حجم قائمة المتجهات المرشحة. قد تحسن القيمة الأعلى الدقة، ولكن البحث سيكون أبطأ نتيجة لذلك. هذه معلمة اختيارية بقيمة افتراضية 40.

const queryVector = [0.52, 0.28, 0.12];
db.exampleCollection.aggregate([
  {
    "$search": {
        "cosmosSearch": {
            "vector": "queryVector",
            "path": "contentVector",
            "k": 2,
            "efSearch": 40
        },
    }
  }
}
]);

في هذا المثال، يتم إجراء بحث متجه باستخدام queryVector كمدخل عبر Mongo shell. نتيجة البحث هي قائمة من عنصرين أكثر تشابها مع متجه الاستعلام، تم فرزهما حسب درجات التشابه الخاصة بهم.

[
  {
    similarityScore: 0.9465376,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'Eugenia is the CEO of AdvenureWorks.',
      vectorContent: [ 0.51, 0.12, 0.23 ]
    }
  },
  {
    similarityScore: 0.9006955,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.',
      vectorContent: [ 0.91, 0.76, 0.83 ]
    }
  }
]

لإنشاء فهرس متجه باستخدام خوارزمية IVF (ملف معكوس)، استخدم القالب التالي createIndexes وقم بتعيين المعلمة "kind" إلى "vector-ivf":

{
  "createIndexes": "<collection_name>",
  "indexes": [
    {
      "name": "<index_name>",
      "key": {
        "<path_to_property>": "cosmosSearch"
      },
      "cosmosSearchOptions": {
        "kind": "vector-ivf",
        "numLists": <integer_value>,
        "similarity": "<string_value>",
        "dimensions": <integer_value>
      }
    }
  ]
}

إجراء بحث متجه باستخدام IVF

لإجراء بحث متجه، استخدم $search مرحلة مسار التجميع في استعلام MongoDB. لاستخدام الفهرس cosmosSearch ، استخدم عامل التشغيل الجديد cosmosSearch .

{
  {
  "$search": {
    "cosmosSearch": {
        "vector": <query_vector>,
        "path": "<path_to_property>",
        "k": <num_results_to_return>,
      },
      "returnStoredSource": True }},
  {
    "$project": { "<custom_name_for_similarity_score>": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
}

لاسترداد درجة التشابه (searchScore) مع المستندات التي تم العثور عليها بواسطة البحث المتجه، استخدم $project عامل التشغيل لتضمينها searchScore وإعادة تسميتها كما <custom_name_for_similarity_score> في النتائج. ثم يتم عرض المستند أيضا ككائن متداخل. لاحظ أن درجة التشابه يتم حسابها باستخدام المقياس المحدد في فهرس المتجه.

مثال على استخدام فهرس IVF

فهرسة الملف المقلوب (IVF) هي طريقة تنظم المتجهات في مجموعات. أثناء البحث عن متجه، تتم مقارنة متجه الاستعلام أولا بمراكز هذه المجموعات. ثم يتم إجراء البحث داخل نظام المجموعة الذي يكون مركزه الأقرب إلى متجه الاستعلام.

numListتحدد المعلمة s عدد المجموعات التي سيتم إنشاؤها. يشير نظام مجموعة واحد إلى إجراء البحث ضد جميع المتجهات في قاعدة البيانات، مثل القوة الغاشمة أو البحث kNN. يوفر هذا الإعداد أعلى دقة ولكن أيضا أعلى زمن انتقال.

تؤدي زيادة القيمة إلى numLists المزيد من المجموعات، كل منها يحتوي على عدد أقل من المتجهات. على سبيل المثال، إذا ، numLists=2تحتوي كل مجموعة على خطوط متجهة أكثر من إذا numLists=3، وهكذا. عدد أقل من المتجهات لكل مجموعة يسرع البحث (زمن انتقال أقل، استعلامات أعلى في الثانية). ومع ذلك، يزيد هذا من احتمال فقدان المتجه الأكثر تشابها في قاعدة البيانات الخاصة بك إلى متجه الاستعلام. ويرجع ذلك إلى الطبيعة غير كاملة للمجموعات، حيث قد يركز البحث على مجموعة واحدة بينما يوجد المتجه "الأقرب" الفعلي في مجموعة مختلفة.

nProbes تتحكم المعلمة في عدد المجموعات التي سيتم البحث فيها. بشكل افتراضي، يتم تعيينه إلى 1، ما يعني أنه يبحث فقط في نظام المجموعة مع المركز الأقرب إلى متجه الاستعلام. تسمح زيادة هذه القيمة للبحث بتغطية المزيد من المجموعات، وتحسين الدقة ولكن أيضا زيادة زمن الانتقال (وبالتالي تقليل الاستعلامات في الثانية) حيث يتم البحث في المزيد من المجموعات والخطوط المتجهة.

توضح لك الأمثلة التالية كيفية فهرسة المتجهات وإضافة المستندات التي تحتوي على خصائص متجهات وإجراء بحث متجه واسترداد تكوين الفهرس.

إنشاء فهرس متجه

use test;

db.createCollection("exampleCollection");

db.runCommand({
  createIndexes: 'exampleCollection',
  indexes: [
    {
      name: 'vectorSearchIndex',
      key: {
        "vectorContent": "cosmosSearch"
      },
      cosmosSearchOptions: {
        kind: 'vector-ivf',
        numLists: 3,
        similarity: 'COS',
        dimensions: 3
      }
    }
  ]
});

ينشئ هذا الأمر فهرسا vector-ivf مقابل الخاصية vectorContent في المستندات المخزنة في المجموعة المحددة، exampleCollection. cosmosSearchOptions تحدد الخاصية معلمات فهرس متجه IVF. إذا كان المستند يحتوي على المتجه المخزن في خاصية متداخلة، يمكنك تعيين هذه الخاصية باستخدام مسار تدوين نقطة. على سبيل المثال، قد تستخدم text.vectorContent ما إذا كان vectorContent هو نوع فرعي من text.

إضافة متجهات إلى قاعدة البيانات

لإضافة متجهات إلى مجموعة قاعدة البيانات الخاصة بك، تحتاج أولا إلى إنشاء عمليات التضمين باستخدام النموذج الخاص بك، أو تضمينات Azure OpenAI، أو واجهة برمجة تطبيقات أخرى (مثل Hugging Face على Azure). في هذا المثال، تتم إضافة مستندات جديدة من خلال تضمينات العينة:

db.exampleCollection.insertMany([
  {name: "Eugenia Lopez", bio: "Eugenia is the CEO of AdvenureWorks.", vectorContent: [0.51, 0.12, 0.23]},
  {name: "Cameron Baker", bio: "Cameron Baker CFO of AdvenureWorks.", vectorContent: [0.55, 0.89, 0.44]},
  {name: "Jessie Irwin", bio: "Jessie Irwin is the former CEO of AdventureWorks and now the director of the Our Planet initiative.", vectorContent: [0.13, 0.92, 0.85]},
  {name: "Rory Nguyen", bio: "Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.", vectorContent: [0.91, 0.76, 0.83]},
]);

إجراء بحث متجه

لإجراء بحث متجه، استخدم $search مرحلة مسار التجميع في استعلام MongoDB. لاستخدام الفهرس cosmosSearch ، استخدم عامل التشغيل الجديد cosmosSearch .

{
  {
  "$search": {
    "cosmosSearch": {
        "vector": <vector_to_search>,
        "path": "<path_to_property>",
        "k": <num_results_to_return>,
      },
      "returnStoredSource": True }},
  {
    "$project": { "<custom_name_for_similarity_score>": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
}

لاسترداد درجة التشابه (searchScore) مع المستندات التي تم العثور عليها بواسطة البحث المتجه، استخدم $project عامل التشغيل لتضمينها searchScore وإعادة تسميتها كما <custom_name_for_similarity_score> في النتائج. ثم يتم عرض المستند أيضا ككائن متداخل. لاحظ أن درجة التشابه يتم حسابها باستخدام المقياس المحدد في فهرس المتجه.

ناقلات الاستعلام ومسافات المتجهات (المعروفة أيضا بدرجات التشابه) باستخدام $search"

متابعة للمثال الأخير، قم بإنشاء متجه آخر، queryVector. يقيس البحث المتجه المسافة بين queryVector المتجهات والمتجهة في vectorContent مسار المستندات. يمكنك تعيين عدد النتائج التي يرجعها البحث عن طريق تعيين المعلمة k، التي تم تعيينها إلى 2 هنا. يمكنك أيضا تعيين nProbes، وهو عدد صحيح يتحكم في عدد المجموعات القريبة التي يتم فحصها في كل بحث. قد تحسن القيمة الأعلى الدقة، ولكن البحث سيكون أبطأ نتيجة لذلك. هذه معلمة اختيارية بقيمة افتراضية 1 ولا يمكن أن تكون أكبر من numLists القيمة المحددة في فهرس المتجه.

const queryVector = [0.52, 0.28, 0.12];
db.exampleCollection.aggregate([
  {
    $search: {
      "cosmosSearch": {
        "vector": queryVector,
        "path": "vectorContent",
        "k": 2
      },
    "returnStoredSource": true }},
  {
    "$project": { "similarityScore": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
]);

في هذا المثال، يتم إجراء بحث متجه باستخدام queryVector كمدخل عبر Mongo shell. نتيجة البحث هي قائمة من عنصرين أكثر تشابها مع متجه الاستعلام، تم فرزهما حسب درجات التشابه الخاصة بهم.

[
  {
    similarityScore: 0.9465376,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'Eugenia is the CEO of AdvenureWorks.',
      vectorContent: [ 0.51, 0.12, 0.23 ]
    }
  },
  {
    similarityScore: 0.9006955,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.',
      vectorContent: [ 0.91, 0.76, 0.83 ]
    }
  }
]