Azure AI Search'te dizin oluşturma

Bu makalede, bir arama dizini için şema tanımlama ve bir arama hizmetine gönderme adımlarını öğrenin. Dizin oluşturmak, arama hizmetinizdeki fiziksel veri yapılarını oluşturur. Dizin mevcut olduğunda, dizini ayrı bir görev olarak yükleyin.

Önkoşullar

• Anahtar tabanlı kimlik doğrulaması için arama hizmeti katkıda bulunanı veya yönetici API anahtarı olarak izinler yazın.

• Dizine eklemek istediğiniz verileri anlama. Arama dizini, aranabilir hale getirmek istediğiniz dış içeriği temel alır. Aranabilir içerik bir dizinde alan olarak depolanır. Azure AI Search'te hangi kaynak alanları aranabilir, alınabilir, filtrelenebilir, modellenebilir ve sıralanabilir hale getirmek istediğiniz konusunda net bir fikriniz olmalıdır. Yönergeler için şema denetim listesine bakın.

• Ayrıca kaynak verilerde dizinde belge anahtarı (veya kimliği) olarak kullanılabilecek benzersiz bir alanınız olmalıdır.

• Kararlı bir dizin konumu. Mevcut bir dizinin farklı bir arama hizmetine taşınması kullanıma açık olarak desteklenmez. Uygulama gereksinimlerini yeniden ziyaret edin ve mevcut arama hizmetinizin (kapasite ve bölge) gereksinimleriniz için yeterli olduğundan emin olun. Azure AI hizmetlerine veya Azure OpenAI'ye bağımlılık alıyorsanız tüm gerekli kaynakları sağlayan bir bölge seçin.

• Son olarak, tüm hizmet katmanlarında oluşturabileceğiniz nesne sayısı için dizin sınırları vardır. Örneğin Ücretsiz katmanında denemeler yaparsanız herhangi bir zamanda yalnızca üç dizininiz olabilir. Dizinin kendi içinde, basit ve karmaşık alanların sayısında vektörler ve dizin sınırları vardır.

Belge anahtarları

Arama dizini oluşturmanın iki gereksinimi vardır: dizinin arama hizmetinde benzersiz bir adı ve belge anahtarı olmalıdır. Bir alandaki boole key özniteliği, belge anahtarını hangi alanın sağladığını belirtmek için true olarak ayarlanabilir.

Belge anahtarı, arama belgesinin benzersiz tanımlayıcısı ve arama belgesi ise bir şeyi tamamen açıklayan bir alan koleksiyonudur. Örneğin, bir film veri kümesini dizine alıyorsanız, arama belgesi tek bir filmin başlığını, türünü ve süresini içerir. Film adları bu veri kümesinde benzersizdir, bu nedenle belge anahtarı olarak film adını kullanabilirsiniz.

Azure AI Search'te belge anahtarı bir dizedir ve dizine eklenecek içeriği sağlayan veri kaynağındaki benzersiz değerlerden kaynaklanmalıdır. Genel bir kural olarak, arama hizmeti anahtar değerleri oluşturmaz, ancak bazı senaryolarda (Azure tablo dizin oluşturucu gibi) var olan değerleri sentezler ve dizine alınan belgeler için benzersiz bir anahtar oluşturur. Başka bir senaryo, öbeklenmiş veya bölümlenmiş veriler için bire çok dizin oluşturmadır ve bu durumda her öbek için belge anahtarları oluşturulur.

Yeni ve güncelleştirilmiş içeriğin dizine alındığı artımlı dizin oluşturma sırasında, yeni anahtarlara sahip gelen belgeler eklenirken, dizin alanlarının null veya doldurulmuş olmasına bağlı olarak, var olan anahtarlara sahip gelen belgeler birleştirilir veya üzerine yazılır.

Belge anahtarlarıyla ilgili önemli noktalar şunlardır:

• Anahtar alanındaki değerlerin uzunluk üst sınırı 1.024 karakterdir.
• Her dizinde tam olarak bir üst düzey alan anahtar alanı olarak seçilmeli ve türünde Edm.Stringolmalıdır.
• Özniteliğin key varsayılan değeri basit alanlar için false, karmaşık alanlar için null değeridir.

Önemli alanlar, belgeleri doğrudan aramak ve belirli belgeleri güncelleştirmek veya silmek için kullanılabilir. Anahtar alanlarının değerleri, belgeler aranırken veya dizinlenirken büyük/küçük harfe duyarlı bir şekilde işlenir. Ayrıntılar için bkz. GET Belgesi (REST) ve Dizin Belgeleri (REST).

Şema denetim listesi

Arama dizininizin tasarım kararlarına yardımcı olması için bu denetim listesini kullanın.

1. Dizin ve alan adlarının, adlandırma kurallarına uyması için adlandırma kurallarını gözden geçirin.

2. Desteklenen veri türlerini gözden geçirin. Veri türü, alanın nasıl kullanıldığını etkiler. Örneğin sayısal içerik filtrelenebilir ancak tam metin aranamaz. En yaygın veri türü olan Edm.String, tam metin arama altyapısı kullanılarak belirteçlere ayrılan ve sorgulanan aranabilir metindir. Vektör alanı için en yaygın veri türü, Edm.Single ancak diğer türleri de kullanabilirsiniz.

3. Belge anahtarını tanımlama. Belge anahtarı bir dizin gereksinimidir. Benzersiz değerler içeren bir kaynak veri alanından doldurulan tek bir dize alanıdır. Örneğin Blob Depolama'dan dizin oluştururken meta veri depolama yolu genellikle belge anahtarı olarak kullanılır çünkü kapsayıcıdaki her blobu benzersiz şekilde tanımlar.

4. Veri kaynağınızda dizinde aranabilir içeriğe katkıda bulunan alanları belirleyin.

   Aranabilir nonvector içeriği, tam metin arama altyapısı kullanılarak sorgulanan kısa veya uzun dizeler içerir. İçerik ayrıntılıysa (küçük tümcecikler veya daha büyük öbekler), metnin nasıl belirteçlere ayrıldığına bakmak için farklı çözümleyicilerle denemeler yapın.

   Aranabilir vektör içeriği, matematiksel bir gösterim olarak var olan resimler veya metinler (herhangi bir dilde) olabilir. Vektör alanlarını küçültmek için dar veri türlerini veya vektör sıkıştırmayı kullanabilirsiniz.

   veya filterablegibi retrievable alanlarda ayarlanan öznitelikler hem arama davranışlarını hem de arama hizmetindeki dizininizin fiziksel gösterimini belirler. Alanların nasıl özniteliklendirilmesi gerektiğini belirlemek, birçok geliştirici için yinelemeli bir süreçtir. Yinelemeleri hızlandırmak için örnek verilerle başlayın, böylece kolayca bırakıp yeniden oluşturabilirsiniz.

5. Filtre olarak hangi kaynak alanların kullanılabileceğini belirleyin. Sayısal içerik ve kısa metin alanları, özellikle de yinelenen değerler içerenler iyi seçeneklerdir. Filtrelerle çalışırken şunları unutmayın:

   • Filtreler vektör ve nonvector sorgularında kullanılabilir, ancak filtrenin kendisi dizininizdeki insan tarafından okunabilir (nonvector) alanlara uygulanır.

   • Filtrelenebilir alanlar isteğe bağlı olarak çok yönlü gezinmede kullanılabilir.

   • Filtrelenebilir alanlar rastgele sırayla döndürülür ve ilgi puanlamasından geçilmez, bu nedenle bunları da sıralanabilir hale getirebilirsiniz.

6. Vektör alanları için bir vektör arama yapılandırması ve gezinti yolları oluşturmak ve ekleme alanını doldurmak için kullanılan algoritmaları belirtin. Daha fazla bilgi için bkz . Vektör alanları ekleme.

   Vektör alanları, hangi algoritmaların kullanılacağı ve vektör sıkıştırması gibi, görüntülemeyen alanların sahip olmadığı ek özelliklere sahiptir.

   Vektör alanları sıralama, filtreleme ve model oluşturma gibi vektör verilerinde yararlı olmayan öznitelikleri atlar.

7. Seçici olmayan alanlar için varsayılan çözümleyicinin ("analyzer": null) mi yoksa farklı bir çözümleyicinin mi kullanılacağını belirleyin. Çözümleyiciler, dizin oluşturma ve sorgu yürütme sırasında metin alanlarını belirteçlere ayırmak için kullanılır.

   Çok dilli dizeler için bir dil çözümleyicisi düşünün.

   Hecelenmiş dizeler veya özel karakterler için özel çözümleyicileri göz önünde bulundurun. Bir örnek, bir alanın tüm içeriğini tek bir belirteç olarak ele alan anahtar sözcüktür . Bu davranış posta kodları, kimlikler ve bazı ürün adları gibi veriler için yararlıdır. Daha fazla bilgi için bkz. Kısmi terim araması ve özel karakterler içeren desenler.

Alan tanımlarını yapılandırma

Alanlar koleksiyonu, arama belgesinin yapısını tanımlar. Tüm alanların bir adı, veri türü ve öznitelikleri vardır.

Bir alanı aranabilir, filtrelenebilir, sıralanabilir veya modellenebilir olarak ayarlamak dizin boyutu ve sorgu performansı üzerinde etkili olur. Sorgu ifadelerinde başvurulmayan alanlarda bu öznitelikleri ayarlamayın.

Bir alan aranabilir, filtrelenebilir, sıralanabilir veya modellenebilir olarak ayarlanmadıysa, hiçbir sorgu ifadesinde alana başvurulamaz. Bu, sorgularda kullanılmayan ancak arama sonuçlarında gerekli olan alanlar için tercih edilir.

REST API'leri, Azure portalındaki İçeri Aktarma sihirbazları tarafından da kullanılan veri türlerine göre varsayılan ilişkilendirmeye sahiptir. Azure SDK'larının varsayılan değerleri yoktur, ancak dizeler için SearchableField ve temel öğeler için SimpleField gibi özellikleri ve davranışları içeren alan alt sınıfları vardır.

REST API'leri için varsayılan alan ilişkilendirmeleri aşağıdaki tabloda özetlenir.

Dize alanları isteğe bağlı olarak çözümleyiciler ve eş anlamlı eşlemelerle de ilişkilendirilebilir. Filtrelenebilir, sıralanabilir veya modellenebilir türdeki Edm.String alanlar en fazla 32 kilobayt uzunluğunda olabilir. Bunun nedeni, bu tür alanların değerlerinin tek bir arama terimi olarak kabul edilmesi ve Azure AI Search'teki bir terimin uzunluk üst sınırının 32 kilobayt olmasıdır. Tek bir dize alanında bundan daha fazla metin depolamanız gerekiyorsa, dizin tanımınızda açıkça filtrelenebilir, sıralanabilir ve modellenebilir false olarak ayarlamanız gerekir.

Vektör alanları boyutlar ve vektör profilleriyle ilişkilendirilmelidir. Azure portalında İçeri aktarma ve vektörleştirme sihirbazını kullanarak vektör alanı eklerseniz alınabilir varsayılan değer doğrudur; aksi takdirde REST API'yi kullanırsanız yanlış olur.

Alan öznitelikleri aşağıdaki tabloda açıklanmıştır.

Dizin oluşturma

Dizini oluşturmaya hazır olduğunuzda, isteği gönderebilen bir arama istemcisi kullanın. Erken geliştirme ve kavram kanıtı testi için Azure portalını veya REST API'lerini kullanabilirsiniz, aksi takdirde Azure SDK'larını kullanmak yaygın bir durumdur.

Geliştirme sırasında sık yapılan yeniden derlemeleri planlayın. Fiziksel yapılar hizmette oluşturulduğundan, birçok değişiklik için dizinlerin bırakılıp yeniden oluşturulması gerekir. Yeniden derlemelerin daha hızlı gerçekleşmesi için verilerinizin bir alt kümesiyle çalışmayı düşünebilirsiniz.

POST https://[servicename].search.windows.net/indexes?api-version=[api-version] 
{
  "name": "hotels",
  "fields": [
    { "name": "HotelId", "type": "Edm.String", "key": true, "retrievable": true, "searchable": true, "filterable": true },
    { "name": "HotelName", "type": "Edm.String", "retrievable": true, "searchable": true, "filterable": false, "sortable": true, "facetable": false },
    { "name": "Description", "type": "Edm.String", "retrievable": true, "searchable": true, "filterable": false, "sortable": false, "facetable": false, "analyzer": "en.microsoft" },
    { "name": "Description_fr", "type": "Edm.String", "retrievable": true, "searchable": true, "filterable": false, "sortable": false, "facetable": false, "analyzer": "fr.microsoft" },
    { "name": "Address", "type": "Edm.ComplexType", 
      "fields": [
          { "name": "StreetAddress", "type": "Edm.String", "retrievable": true, "filterable": false, "sortable": false, "facetable": false, "searchable": true },
          { "name": "City", "type": "Edm.String", "retrievable": true, "searchable": true, "filterable": true, "sortable": true, "facetable": true },
          { "name": "StateProvince", "type": "Edm.String", "retrievable": true, "searchable": true, "filterable": true, "sortable": true, "facetable": true }
        ]
    }
  ],
  "suggesters": [ ],
  "scoringProfiles": [ ],
  "analyzers":(optional)[ ... ]
}

// Create the index
string indexName = "hotels";
SearchIndex index = new SearchIndex(indexName)
{
    Fields =
    {
        new SimpleField("hotelId", SearchFieldDataType.String) { IsKey = true, IsFilterable = true, IsSortable = true },
        new SearchableField("hotelName") { IsFilterable = true, IsSortable = true },
        new SearchableField("description") { AnalyzerName = LexicalAnalyzerName.EnLucene },
        new SearchableField("descriptionFr") { AnalyzerName = LexicalAnalyzerName.FrLucene }
        new ComplexField("address")
        {
            Fields =
            {
                new SearchableField("streetAddress"),
                new SearchableField("city") { IsFilterable = true, IsSortable = true, IsFacetable = true },
                new SearchableField("stateProvince") { IsFilterable = true, IsSortable = true, IsFacetable = true },
                new SearchableField("country") { SynonymMapNames = new[] { synonymMapName }, IsFilterable = true, IsSortable = true, IsFacetable = true },
                new SearchableField("postalCode") { IsFilterable = true, IsSortable = true, IsFacetable = true }
            }
        }
    }
};

await indexClient.CreateIndexAsync(index);

Çıkış noktaları arası sorgular için ayarlama corsOptions

Dizin şemaları ayarı corsOptionsiçin bir bölüm içerir. Varsayılan olarak, tarayıcılar tüm çıkış noktaları arası istekleri engellediğinden istemci tarafı JavaScript herhangi bir API çağıramaz. Dizininizde çıkış noktaları arası sorgulara izin vermek için corsOptions özniteliğini ayarlayarak CORS'yi (Çıkış Noktaları Arası Kaynak Paylaşımı) etkinleştirin. Güvenlik nedeniyle yalnızca sorgu API'leri CORS'yi destekler.

"corsOptions": {
  "allowedOrigins": [
    "*"
  ],
  "maxAgeInSeconds": 300

CORS için aşağıdaki özellikler ayarlanabilir:

• allowedOrigins (gerekli): Bu, dizininize erişmesine izin verilen çıkış noktalarının listesidir. Bu kaynaklardan sunulan JavaScript kodunun dizininizi sorgulamasına izin verilir (çağıranın geçerli bir anahtar sağladığını veya izinlere sahip olduğunu varsayarsak). Her çıkış noktası genellikle formdadır protocol://<fully-qualified-domain-name>:<port> ancak <port> genellikle atlanır. Daha fazla bilgi için bkz . Çıkış noktaları arası kaynak paylaşımı (Wikipedia).

  Tüm çıkış noktalarına erişime izin vermek istiyorsanız, allowedOrigins dizisine tek bir öğe olarak ekleyin*. Bu, üretim arama hizmetleri için önerilen bir uygulama değildir, ancak genellikle geliştirme ve hata ayıklama için yararlıdır.

• maxAgeInSeconds (isteğe bağlı): Tarayıcılar, CORS denetim öncesi yanıtlarını önbelleğe alma süresini (saniye cinsinden) belirlemek için bu değeri kullanır. Bu negatif olmayan bir tamsayı olmalıdır. Daha uzun bir önbellek süresi daha iyi performans sağlar, ancak CORS ilkesinin geçerlilik süresi uzatır. Bu değer ayarlı değilse, varsayılan olarak beş dakikalık bir süre kullanılır.

Mevcut dizinlerde izin verilen güncelleştirmeler

Dizin Oluştur, arama hizmetinizde fiziksel veri yapılarını (dosyalar ve ters dizinler) oluşturur. Dizin oluşturulduktan sonra, Dizin Oluştur veya Güncelleştir'i kullanarak değişiklikleri etkileyebilme olanağınız, değişikliklerinizin bu fiziksel yapıları geçersiz kılıp geçersiz kılmadığına bağlı olarak değişir. Alan dizininizde oluşturulduktan sonra alan özniteliklerinin çoğu değiştirilemez.

Uygulama kodundaki değişim oranını en aza indirmek için, arama dizinine kararlı bir başvuru görevi görecek bir dizin diğer adı oluşturabilirsiniz. Kodunuzu dizin adlarıyla güncelleştirmek yerine, daha yeni dizin sürümlerine işaret eden bir dizin diğer adını güncelleştirebilirsiniz.

Tasarım sürecindeki değişim oranını en aza indirmek için aşağıdaki tabloda şemada hangi öğelerin sabit ve esnek olduğu açıklanmaktadır. Sabit bir öğeyi değiştirmek için dizin yeniden derlemesi gerekirken, esnek öğeler herhangi bir zamanda fiziksel uygulamayı etkilemeden değiştirilebilir. Daha fazla bilgi için bkz . Dizini güncelleştirme veya yeniden derleme.

Sonraki adımlar

Dizine eklenebilen özel özellikler hakkında bilgi edinmek için aşağıdaki bağlantıları kullanın:

• Vektör alanları ve vektör profilleri ekleme
• Puanlama profilleri ekleme
• Anlamsal derecelendirme ekleme
• Öneri oluşturucu ekleme
• Eş anlamlı eşlemeleri ekleme
• Çözümleyici ekleme
• Şifreleme ekleme

Bir dizini yüklemek veya güncelleştirmek için şu bağlantıları kullanın:

• Verileri içeri aktarmaya genel bakış
• Belgeleri yükleme
• Dizini güncelleştirme veya yeniden oluşturma