Vektör dizini boyutu ve sınırların altında kalma

Her vektör alanı için Azure AI Search, alanda belirtilen algoritma parametrelerini kullanarak bir iç vektör dizini oluşturur. Azure AI Search vektör dizini boyutuna kotalar getirdiğinden, sınırların altında kalmanızı sağlamak için vektör boyutunu nasıl tahmin edip izleyeceğinizi bilmeniz gerekir.

Kota ve vektör dizini boyutuyla ilgili önemli noktalar

• Vektör dizini boyutu bayt cinsinden ölçülür.

• Vektör kotaları bellek kısıtlamalarını temel alır. Aranabilir tüm vektör dizinleri belleğe yüklenmelidir. Aynı zamanda, diğer çalışma zamanı işlemleri için yeterli bellek de olmalıdır. Tüm sistemin tüm iş yükleri için kararlı ve dengeli kalmasını sağlamak için vektör kotaları vardır.

• Vektör dizinleri, tüm dizinlerin, vektör ve nonvector'ın konu disk kotası olması anlamında disk kotasına da tabidir. Vektör dizinleri için ayrı disk kotası yoktur.

• Arama hizmetinde bir bütün olarak, bölüm başına vektör kotaları uygulanır, yani bölüm eklerseniz vektör kotası artar. Bölüm başına vektör kotaları daha yeni hizmetlerde daha yüksektir:

  • 3 Nisan 2024'e kadar oluşturulan hizmetler için vektör kotası
  • 1 Temmuz 2023 ile 3 Nisan 2024 arasında oluşturulan hizmetler için vektör kotası
  • 1 Temmuz 2023'te oluşturulan hizmetler için vektör kotası

Bölüm boyutunu ve miktarını denetleme

Arama hizmeti sınırlarınızın ne olduğundan emin değilseniz, bu bilgileri almanın iki yolu vardır:

• Azure portalında, arama hizmetine Genel Bakış sayfasında hem Özellikler sekmesi hem de Kullanım sekmesi bölüm boyutunu ve depolama alanını, ayrıca vektör kotası ve vektör dizini boyutunu gösterir.

• Azure portalının Ölçek sayfasında bölümlerin sayısını ve boyutunu gözden geçirebilirsiniz.

Hizmet oluşturma tarihini denetleme

3 Nisan 2024'ten sonra oluşturulan daha yeni hizmetler, aynı katman faturalama oranına sahip eski hizmetlerden beş ile on kat daha fazla vektör depolama alanı sunar. Hizmetiniz daha eskiyse yeni bir hizmet oluşturmayı ve içeriğinizi geçirmeyi göz önünde bulundurun.

1. Azure portalında arama hizmetinizi içeren kaynak grubunu açın.

2. En soldaki bölmedeki Ayarlar altında Dağıtımlar'ı seçin.

3. Arama hizmeti dağıtımınızı bulun. Çok fazla dağıtım varsa filtreyi kullanarak "arama" araması yapın.

4. Dağıtımı seçin. Birden fazla hizmetiniz varsa arama hizmetinize çözümlenip çözümlenmediğini görmek için öğesine tıklayın.

   

5. Dağıtım ayrıntılarını genişletin. Oluşturuldu ve oluşturma tarihini görmeniz gerekir.

   

6. Artık arama hizmetinizin yaşını bildiğinize göre, hizmet oluşturmaya göre vektör kotası sınırlarını gözden geçirin:

   • 3 Nisan 2024'e kadar
   • 1 Temmuz 2023 ile 3 Nisan 2024 tarihleri arasında
   • 1 Temmuz 2023'e kadar

Vektör dizini boyutunu alma

Vektör ölçümleri için istek, veri düzlemi işlemidir. Hizmet istatistikleri ve tek tek dizinler aracılığıyla hizmet düzeyinde vektör kullanımı elde etmek için Azure portalını, REST API'lerini veya Azure SDK'larını kullanabilirsiniz.

GET {{baseUrl}}/servicestats?api-version=2023-11-01  HTTP/1.1
    Content-Type: application/json
    api-key: {{apiKey}}

{
    "@odata.context": "https://my-demo.search.windows.net/$metadata#Microsoft.Azure.Search.V2023_11_01.ServiceStatistics",
    "counters": {
        "documentCount": {
            "usage": 15377,
            "quota": null
        },
        "indexesCount": {
            "usage": 13,
            "quota": 15
        },
        . . .
        "storageSize": {
            "usage": 39862913,
            "quota": 2147483648
        },
        . . .
        "vectorIndexSize": {
            "usage": 2685436,
            "quota": 1073741824
        }
    },
    "limits": {
        "maxFieldsPerIndex": 1000,
        "maxFieldNestingDepthPerIndex": 10,
        "maxComplexCollectionFieldsPerIndex": 40,
        "maxComplexObjectsInCollectionsPerDocument": 3000
    }
}

GET {{baseUrl}}/indexes/vector-healthplan-idx/stats?api-version=2023-11-01  HTTP/1.1
    Content-Type: application/json
    api-key: {{apiKey}}

{
    "@odata.context": "https://my-demo.search.windows.net/$metadata#Microsoft.Azure.Search.V2023_11_01.IndexStatistics",
    "documentCount": 147,
    "storageSize": 4592870,
    "vectorIndexSize": 915484
}

Vektör dizini boyutunu etkileyen faktörler

İç vektör dizininizin boyutunu etkileyen üç ana bileşen vardır:

• Verilerin ham boyutu
• Seçili algoritmanın yükü
• Dizin içindeki belgeleri silme veya güncelleştirme ek yükü

Verilerin ham boyutu

Her vektör genellikle türünde Collection(Edm.Single)bir alanda tek duyarlıklı kayan nokta sayılarından oluşan bir dizidir.

Vektör veri yapıları, aşağıdaki hesaplamada verilerinizin "ham boyutu" olarak temsil edilen depolama gerektirir. Vektör alanlarınızın vektör dizini boyutu gereksinimlerini tahmin etmek için bu ham boyutu kullanın.

Bir vektörünün depolama boyutu, boyutsallığına göre belirlenir. Ham boyutu elde etmek için bir vektör boyutunu bu vektör alanını içeren belge sayısıyla çarpın:

raw size = (number of documents) * (dimensions of vector field) * (size of data type)

Seçili algoritmadan bellek yükü

Yaklaşık olarak en yakın her komşu (ANN) algoritması, verimli arama yapmak için bellekte ek veri yapıları oluşturur. Bu yapılar bellek içinde fazladan alan tüketir.

HNSW algoritması için bellek ek yükü %1 ile %20 arasında değişir.

Vektörlerin ham boyutu arttığından daha yüksek boyutlar için bellek yükü daha düşüktür; ek veri yapıları ise grafik içindeki bağlantı hakkında bilgi depoladıkları için sabit bir boyut olarak kalır. Sonuç olarak, ek veri yapılarının katkısı genel boyutun daha küçük bir bölümünü oluşturur.

HNSW parametresinin mdaha büyük değerleri için bellek yükü daha yüksektir ve bu da dizin oluşturma sırasında her yeni vektör için oluşturulan çift yönlü bağlantıların sayısını belirler. Bunun nedeni, belge başına yaklaşık 8 bayt ile 10 bayt'a katkıda bulunarak ile çarpılmasıdır mm.

Aşağıdaki tabloda iç testlerde gözlemlenen ek yük yüzdeleri özetlenmiştir:

Bu sonuçlar, HNSW algoritması için boyutlar, HNSW parametresi mve bellek yükü arasındaki ilişkiyi gösterir.

Dizin içindeki belgeleri silme veya güncelleştirme ek yükü

Vektör alanı olan bir belge silindiğinde veya güncelleştirildiğinde (güncelleştirmeler dahili olarak silme ve ekleme işlemi olarak gösterilir), temel alınan belge silinmiş olarak işaretlenir ve sonraki sorgular sırasında atlanır. Yeni belgeler dizine eklendikçe ve iç vektör dizini büyüdükçe, sistem bu silinen belgeleri temizler ve kaynakları geri alır. Bu, büyük olasılıkla belgeleri silme ile temel alınan kaynakların serbest kalması arasında bir gecikme gözlemlemeniz anlamına gelir.

Bunu silinen belge oranı olarak adlandırıyoruz. Silinen belge oranı hizmetinizin dizin oluşturma özelliklerine bağlı olduğundan, bu parametreyi tahmin etmek için evrensel bir buluşsal işlem yoktur ve hizmetiniz için geçerli olan oranı döndüren bir API veya betik yoktur. Müşterilerimizin yarısının silinen belge oranının %10'un altında olduğunu gözlemliyoruz. Yüksek sıklıkta silme veya güncelleştirme gerçekleştirme eğilimindeyseniz, daha yüksek bir silinen belge oranı gözlemleyebilirsiniz.

Bu, vektör dizininizin boyutunu etkileyen bir diğer faktördür. Ne yazık ki, geçerli silinen belge oranınızı ortaya çıkaracak bir mekanizmamız yok.

Bellekteki verilerinizin toplam boyutunu tahmin etme

Daha önce açıklanan faktörleri hesaba katarak vektör dizininizin toplam boyutunu tahmin etmek için aşağıdaki hesaplamayı kullanın:

(raw_size) * (1 + algorithm_overhead (in percent)) * (1 + deleted_docs_ratio (in percent))

Örneğin, raw_size hesaplamak için 1.536 boyuta sahip popüler bir Azure OpenAI modeli text-embedding-ada-002 kullandığınızı varsayalım. Bu, bir belgenin her biri 4 bayt olduğundan Edm.Single 1.536 Edm.Single (float) veya 6.144 bayt tüketeceği anlamına gelir. Tek, 1.536 boyutlu vektör alanı olan 1.000 belge toplam 1000 belge x 1536 floats/doc = 1.536.000 float veya 6.144.000 bayt tüketir.

Birden çok vektör alanınız varsa, dizininizdeki her vektör alanı için bu hesaplamayı yapmanız ve bunların tümünü bir araya eklemeniz gerekir. Örneğin, iki 1.536 boyutlu vektör alanı olan 1.000 belge, 1000 belge x 2 alan x 1536 floats/doc x 4 bayt/float = 12.288.000 bayt tüketir.

Vektör dizini boyutunu elde etmek için bu raw_size algoritma ek yükü ve silinen belge oranıyla çarpın. Seçtiğiniz HNSW parametreleri için algoritma ek yükünüz %10 ve silinen belge oranınız %10 ise şunu elde ederiz: 6.144 MB * (1 + 0.10) * (1 + 0.10) = 7.434 MB.

Vektör alanları disk depolamayı nasıl etkiler?

Bu makalenin çoğu, bellekteki vektörlerin boyutu hakkında bilgi sağlar. Diskteki vektör boyutu hakkında bilgi edinmek istiyorsanız, vektör verileri için disk tüketimi bellekteki vektör dizininin yaklaşık üç katıdır. Örneğin, kullanımınız vectorIndexSize 100 megabayt (10 milyon bayt) olduğunda vektör dizinlerinize uyum sağlamak için en az 300 megabayt storageSize kota kullanmış olursunuz