Azure Depolama blob envanteri

Azure Depolama blob envanteri, ilişkili özellikleriyle birlikte depolama hesabınızdaki kapsayıcıların, blobların, blob sürümlerinin ve anlık görüntülerin listesini sağlar. Günlük veya haftalık olarak virgülle ayrılmış değerler (CSV) veya Apache Parquet biçiminde bir çıkış raporu oluşturur. Raporu depolama hesabı içeriğinizin saklama, yasal tutma veya şifreleme durumunu denetlemek için kullanabilir veya verilerinizin toplam veri boyutunu, yaşını, katman dağıtımını veya diğer özniteliklerini anlamak için kullanabilirsiniz. Blob envanterini, Liste Kapsayıcıları ve Liste Blobları API'lerinin zamanlanmış otomasyonu olarak kullanarak iş iş akışlarınızı basitleştirmek veya veri işleme işlerini hızlandırmak için de kullanabilirsiniz. Blob envanter kuralları, raporun içeriğini blob türüne, ön ekine göre veya rapora dahil etmek üzere blob özelliklerini seçerek filtrelemenize olanak sağlar.

Azure Depolama blob envanteri aşağıdaki depolama hesabı türleri için kullanılabilir:

• Standart genel amaçlı v2
• Premium blok blob depolama
• Blob depolama

Envanter özellikleri

Aşağıdaki listede, Azure Depolama blob envanterinin geçerli sürümünde kullanılabilen özellikler ve özellikler açıklanmaktadır.

• Bloblar ve kapsayıcılar için envanter raporları

  Bloblar ve kapsayıcılar için envanter raporları oluşturabilirsiniz. Bloblar için bir rapor temel bloblar, anlık görüntüler, içerik uzunluğu, blob sürümleri ve bunların oluşturma zamanı, son değiştirme zamanı gibi ilişkili özelliklerini içerebilir. Boş kapsayıcılar blob envanter raporunda listelenmez. Kapsayıcılar için bir rapor, kapsayıcıları ve bunların değişmezlik ilkesi durumu, yasal tutma durumu gibi ilişkili özelliklerini açıklar.

• Özel Şema

  Raporlarda hangi alanların görüneceğini seçebilirsiniz. Desteklenen alanlar listesinden seçim yapın. Bu liste bu makalenin devamında görüntülenir.

• CSV ve Apache Parquet çıkış biçimi

  CSV veya Apache Parquet çıkış biçiminde bir envanter raporu oluşturabilirsiniz.

• Envanter raporu başına bildirim dosyası ve Azure Event Grid olayı

  Envanter raporu başına bildirim dosyası ve Azure Event Grid olayı oluşturulur. Bunlar, makalenin sonraki bölümlerinde açıklanmıştır.

Envanter raporlarını etkinleştirme

Depolama hesabınıza bir veya daha fazla kural içeren bir ilke ekleyerek blob envanter raporlarını etkinleştirin. Yönergeler için bkz . Azure Depolama blob envanter raporlarını etkinleştirme.

Envanter ilkesini yükseltme

Haziran 2021'e kadar envanteri yapılandıran mevcut bir Azure Depolama blob envanteri kullanıcısıysanız, ilkeyi yükleyip değişiklik yaptıktan sonra ilkeyi geri kaydederek yeni özellikleri kullanmaya başlayabilirsiniz. İlkeyi yeniden yüklerken, ilkedeki yeni alanlar varsayılan değerlerle doldurulur. İsterseniz bu değerleri değiştirebilirsiniz. Ayrıca, aşağıdaki iki özellik kullanılabilir olacaktır.

• Hedef kapsayıcı artık yalnızca ilke için desteklenmek yerine her kural için destekleniyor.

• Bildirim dosyası ve Azure Event Grid olayı artık ilke başına değil kural başına oluşturulur.

Stok ilkesi

Envanter raporu, bir veya daha fazla kurala sahip bir envanter ilkesi eklenerek yapılandırılır. Envanter ilkesi, bir JSON belgesindeki kurallar koleksiyonudur.

{
  "enabled": true,
  "rules": [
  {
    "enabled": true,
    "name": "inventoryrule1",
    "destination": "inventory-destination-container",
    "definition": {. . .}
  },
  {
    "enabled": true,
    "name": "inventoryrule2",
    "destination": "inventory-destination-container",
    "definition": {. . .}
  }]
}

Azure portalının Blob envanteri bölümündeki Kod görünümü sekmesini seçerek bir envanter ilkesinin JSON'unu görüntüleyin.

Stok kuralları

Kural, envanter raporu oluşturmak için filtreleme koşullarını ve çıkış parametrelerini yakalar. Her kural bir envanter raporu oluşturur. Kurallar çakışan ön eklere sahip olabilir. Bir blob, kural tanımlarına bağlı olarak birden fazla envanterde görünebilir.

İlkedeki her kuralın çeşitli parametreleri vardır:

Genel Blob envanteri etkin bayrağı, kuraldaki etkin parametreden önceliklidir.

Kural tanımı

Kural filtreleri

Blob envanter raporunu özelleştirmek için çeşitli filtreler kullanılabilir:

Azure portalının Blob envanteri bölümündeki Kod görünümü sekmesini seçerek stok kuralları için JSON'yi görüntüleyin. Filtreler bir kural tanımı içinde belirtilir.

{
  "destination": "inventory-destination-container",
  "enabled": true,
  "rules": [
  {
    "definition": {
      "filters": {
        "blobTypes": ["blockBlob", "appendBlob", "pageBlob"],
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"],
        "excludePrefix": ["inventorytestcontainer10", "etc/logs"],
        "includeSnapshots": false,
        "includeBlobVersions": true,
      },
      "format": "csv",
      "objectType": "blob",
      "schedule": "daily",
      "schemaFields": ["Name", "Creation-Time"]
    },
    "enabled": true,
    "name": "blobinventorytest",
    "destination": "inventorydestinationContainer"
  },
  {
    "definition": {
      "filters": {
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"]
      },
      "format": "csv",
      "objectType": "container",
      "schedule": "weekly",
      "schemaFields": ["Name", "HasImmutabilityPolicy", "HasLegalHold"]
    },
    "enabled": true,
    "name": "containerinventorytest",
    "destination": "inventorydestinationContainer"
    }
  ]
}

Blob envanteri için desteklenen özel şema alanları

Alan	Blob Depolama (varsayılan destek)	Data Lake Storage
Ad (Gerekli)
Oluşturma Zamanı
Son Değiştirme Tarihi
LastAccessTime1
ETag
İçerik Uzunluğu
İçerik Türü
İçerik Kodlama
İçerik Dili
Content-CRC64
Content-MD5
Önbellek Denetimi
Önbellek-Disposition
BlobType
AccessTier
AccessTierChangeTime
LeaseStatus
LeaseState
ServerEncrypted
CustomerProvidedKeySHA256
Meta veri
Süre Sonu-Süresi
hdi_isfolder
Sahip
Gruplandırma
İzinler
Acl
Anlık görüntü (Raporunuza anlık görüntüler eklemeyi seçtiğinizde kullanılabilir ve gereklidir)
Silindi
DeletedId
DeletedTime
RemainingRetentionDays
VersionId (Raporunuza blob sürümleri eklemeyi seçtiğinizde kullanılabilir ve gereklidir)
IsCurrentVersion (Raporunuza blob sürümleri eklemeyi seçtiğinizde kullanılabilir ve gereklidir)
TagCount
Etiketler
CopyId
CopySource
CopyStatus
CopyProgress
CopyCompletionTime
CopyStatusDescription
ImmutabilityPolicyUntilDate
ImmutabilityPolicyMode
LegalHold
RehydratePriority
ArchiveStatus
EncryptionScope
IncrementalCopy
x-ms-blob-sequence-number

¹ Varsayılan olarak devre dışıdır. İsteğe bağlı olarak erişim süresi izlemeyi etkinleştirin.

Kapsayıcı envanteri için desteklenen özel şema alanları

Alan	Blob Depolama (varsayılan destek)	Data Lake Storage
Ad (Gerekli)
Son Değiştirme Tarihi
ETag
LeaseStatus
LeaseState
LeaseDuration
Meta veri
PublicAccess
DefaultEncryptionScope
DenyEncryptionScopeOverride
HasImmutabilityPolicy
HasLegalHold
ImmutableStorageWithVersioningEnabled
Silindi (Yalnızca silinen kapsayıcıları ekle seçiliyse görünür)
Sürüm (Yalnızca silinen kapsayıcıları ekle seçiliyse görünür)
DeletedTime (Yalnızca silinen kapsayıcıları ekle seçiliyse görünür)
RemainingRetentionDays (Yalnızca silinen kapsayıcıları ekle seçiliyse görünür)

Envanter çalıştırması

Bir kuralı günlük çalışacak şekilde yapılandırdığınızda, her gün çalışacak şekilde zamanlanır. Bir kuralı haftalık çalışacak şekilde yapılandırdığınızda, her hafta Pazar UTC saatinde çalıştırılacak şekilde zamanlanır.

Envanter çalıştırmalarının çoğu 24 saat içinde tamamlar. Hiyerarşik ad alanı etkin hesaplar için bir çalıştırma iki gün kadar sürebilir ve işlenen dosya sayısına bağlı olarak, çalıştırma bu iki günün sonuna kadar tamamlanmayabilir. Bir çalıştırmanın başarısız olmadan önce tamamlayabildiği en uzun süre altı gündür.

Çalıştırmalar çakışmadığından, aynı kuralın başka bir çalıştırmasının başlayabilmesi için çalıştırmanın tamamlanması gerekir. Örneğin, bir kural günlük olarak çalışacak şekilde zamanlanmışsa ancak aynı kuralın önceki gün çalıştırılması devam ediyorsa, o gün yeni bir çalıştırma başlatılmaz. Haftalık olarak çalıştırılacak şekilde zamanlanan kurallar, önceki bir çalıştırmanın başarılı veya başarısız olmasına bakılmaksızın her Pazar çalışır. Bir çalıştırma başarıyla tamamlanmazsa, destek birimine başvurmadan önce tamam olup olmadığını görmek için sonraki çalıştırmaları denetleyin. Bir çalıştırmanın performansı farklılık gösterebilir, bu nedenle bir çalıştırma tamamlanmazsa sonraki çalıştırmaların tamamlanması mümkündür.

Envanter ilkeleri tam olarak okunur veya yazılır. Kısmi güncelleştirmeler desteklenmez. Stok kuralları günlük olarak değerlendirilir. Bu nedenle, kuralın tanımını değiştirirseniz, ancak bir ilkenin kuralları o gün için zaten değerlendirilirse, güncelleştirmeleriniz sonraki güne kadar değerlendirilmez.

Envanter tamamlandı olayı

Olay BlobInventoryPolicyCompleted , bir kural için envanter çalıştırması tamamlandığında oluşturulur. Bu olay, envanter çalıştırması çalışmaya başlamadan önce bir kullanıcı hatasıyla başarısız olursa da oluşur. Örneğin, geçersiz bir ilke veya hedef kapsayıcı mevcut olmadığında oluşan bir hata olayı tetikler. Aşağıdaki json örneği BlobInventoryPolicyCompleted bir olayı gösterir.

{
  "topic": "/subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourceGroups/BlobInventory/providers/Microsoft.EventGrid/topics/BlobInventoryTopic",
  "subject": "BlobDataManagement/BlobInventory",
  "eventType": "Microsoft.Storage.BlobInventoryPolicyCompleted",
  "id": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "data": {
    "scheduleDateTime": "2021-05-28T03:50:27Z",
    "accountName": "testaccount",
    "ruleName": "Rule_1",
    "policyRunStatus": "Succeeded",
    "policyRunStatusMessage": "Inventory run succeeded, refer manifest file for inventory details.",
    "policyRunId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
    "manifestBlobUrl": "https://testaccount.blob.core.windows.net/inventory-destination-container/2021/05/26/13-25-36/Rule_1/Rule_1-manifest.json"
  },
  "dataVersion": "1.0",
  "metadataVersion": "1",
  "eventTime": "2021-05-28T15:03:18Z"
}

Aşağıdaki tabloda olayın şeması BlobInventoryPolicyCompleted açıklanmaktadır.

Envanter çıktısı

Her envanter kuralı, bu kural için belirtilen envanter hedef kapsayıcısında bir dosya kümesi oluşturur. Envanter çıktısı aşağıdaki yol altında oluşturulur: burada: https://<accountName>.blob.core.windows.net/<inventory-destination-container>/YYYY/MM/DD/HH-MM-SS/<ruleName

• accountName, Azure Blob Depolama hesap adınızdır.
• inventory-destination-container , envanter kuralında belirttiğiniz hedef kapsayıcıdır.
• YYYY/AA/GG/HH-AA-SS , envanterin çalışmaya başladığı zamandır.
• ruleName , envanter kuralı adıdır.

Envanter dosyaları

Bir kural için her envanter çalıştırması aşağıdaki dosyaları oluşturur:

• Envanter dosyası: Bir kural için envanter çalıştırması CSV veya Apache Parquet biçimli bir dosya oluşturur. Bu tür her dosya, eşleşen nesneleri ve meta verilerini içerir.

  Önemli

  Ekim 2023'den itibaren, nesne sayısı büyükse envanter çalıştırmaları birden çok dosya üretecektir. Daha fazla bilgi edinmek için bkz . Birden çok envanter dosyası çıkışı hakkında SSS.

  Apache Parquet biçimindeki raporlar tarihleri şu biçimde sunar: timestamp_millis [number of milliseconds since 1970-01-01 00:00:00 UTC]. CSV biçimli bir dosya için ilk satır her zaman şema satırıdır. Aşağıdaki görüntüde, Microsoft Excel'de açılan bir envanter CSV dosyası gösterilmektedir.

  

  Önemli

  Bir envanter dosyasında görünen blob yolları belirli bir sırada görünmeyebilir.

• Sağlama toplamı dosyası: Sağlama toplamı dosyası, manifest.json dosyasının içeriğinin MD5 sağlama toplamını içerir. Sağlama toplamı dosyasının adı şeklindedir <ruleName>-manifest.checksum. Sağlama toplamı dosyasının oluşturulması, bir envanter kuralı çalıştırmasının tamamlanmasını işaretler.

• Bildirim dosyası: manifest.json dosyası, bu kural için oluşturulan envanter dosyalarının ayrıntılarını içerir. Dosyanın adı şeklindedir <ruleName>-manifest.json. Bu dosya ayrıca kullanıcı tarafından sağlanan kural tanımını ve bu kuralın envanter yolunu yakalar. Aşağıdaki json, örnek bir manifest.json dosyasının içeriğini gösterir.

  {
  "destinationContainer" : "inventory-destination-container",
  "endpoint" : "https://testaccount.blob.core.windows.net",
  "files" : [
    {
      "blob" : "2021/05/26/13-25-36/Rule_1/Rule_1.csv",
      "size" : 12710092
    }
  ],
  "inventoryCompletionTime" : "2021-05-26T13:35:56Z",
  "inventoryStartTime" : "2021-05-26T13:25:36Z",
  "ruleDefinition" : {
    "filters" : {
      "blobTypes" : [ "blockBlob" ],
      "includeBlobVersions" : false,
      "includeSnapshots" : false,
      "prefixMatch" : [ "penner-test-container-100003" ]
    },
    "format" : "csv",
    "objectType" : "blob",
    "schedule" : "daily",
    "schemaFields" : [
      "Name",
      "Creation-Time",
      "BlobType",
      "Content-Length",
      "LastAccessTime",
      "Last-Modified",
      "Metadata",
      "AccessTier"
    ]
  },
  "ruleName" : "Rule_1",
  "status" : "Succeeded",
  "summary" : {
    "objectCount" : 110000,
    "totalObjectSize" : 23789775
  },
  "version" : "1.0"
  }
  

  Bu dosya, çalıştırma başladığında oluşturulur. status Bu dosyanın alanı, çalıştırma tamamlanana Pending kadar olarak ayarlanır. Çalıştırma tamamlandıktan sonra bu alan tamamlanma durumuna ayarlanır (Örneğin: Succeeded veya Failed).

Fiyatlandırma ve faturalama

Stok fiyatlandırması, faturalama döneminde taranan blob ve kapsayıcı sayısına bağlıdır. Azure Blob Depolama fiyatlandırma sayfasında taranan bir milyon nesne başına fiyat gösterilir. Örneğin, bir milyon nesneyi tarama fiyatı ise $0.003, hesabınız üç milyon nesne içeriyorsa ve bir ayda dört rapor üretirseniz faturanız olacaktır 4 * 3 * $0.003 = $0.036.

Envanter dosyaları oluşturulduktan sonra, hesapta envanter tarafından oluşturulan dosyaların depolanması, okunması ve yazılması için ek standart veri depolama ve işlem ücretleri uygulanır.

Bir kural başka bir kuralın ön ekiyle çakışan bir ön ek içeriyorsa, aynı blob birden fazla envanter raporunda görünebilir. Bu durumda her iki örnek için de faturalandırılırsınız. Örneğin, bir kuralın öğesinin prefixMatch olarak, ["inventory-blob-1", "inventory-blob-2"]başka bir kuralın prefixMatch öğesinin ise olarak ["inventory-blob-10", "inventory-blob-20"]ayarlandığını varsayalım. adlı inventory-blob-200 bir nesne her iki envanter raporunda da görünür.

Blobun anlık görüntüleri ve sürümleri, olarak ayarlayıp includeSnapshots includeVersions filtreleseniz bile faturalamaya falsegöre de sayılır. Bu filtre değerleri faturalamayı etkilemez. Bunları yalnızca raporda görünenleri filtrelemek için kullanabilirsiniz.

Azure Depolama blob envanteri fiyatlandırması hakkında daha fazla bilgi için bkz. fiyatlandırma Azure Blob Depolama.

Özellik desteği

Bu özellik için destek, Data Lake Storage 2. Nesil, Ağ Dosya Sistemi (NFS) 3.0 protokolü veya SSH Dosya Aktarım Protokolü (SFTP) etkinleştirilerek etkilenebilir. Bu özelliklerden herhangi birini etkinleştirdiyseniz bu özelliğin desteğini değerlendirmek için bkz . Azure Depolama hesaplarında Blob Depolama özelliği desteği.

Bilinen sorunlar ve sınırlamalar

Bu bölümde Azure Depolama blob envanteri özelliğinin sınırlamaları ve bilinen sorunları açıklanmaktadır.

Envanter raporu nesne sayısı ve veri boyutu faturalamayla karşılaştırılmamalıdır

Envanter raporu meta verileri, sistem günlüklerini ve özellikleri içermez, bu nedenle depolama hesabının faturalanan nesne sayısı ve veri boyutuyla karşılaştırılmamalıdır.

Envanter işlerinin tamamlanması belirli durumlarda daha uzun sürer

Envanter işi şu durumlarda daha uzun sürebilir:

• Büyük miktarda yeni veri eklenir

• İlk kez bir kural veya kural kümesi çalıştırılıyor

  Envanter çalıştırmasının çalıştırılması, sonraki envanter çalıştırmalarına kıyasla daha uzun sürebilir.

• Envanter çalıştırması, hiyerarşik ad alanı etkin hesaplarda büyük miktarda veriyi işliyor

  Yüz milyonlarca blobu olan hiyerarşik ad alanı özellikli hesaplar için envanter işinin tamamlanması bir günden fazla sürebilir. Bazen stok işi başarısız olur ve bir envanter dosyası oluşturmaz. Bir iş başarıyla tamamlanmazsa, destek birimine başvurmadan önce sonraki işleri kontrol ederek tamam olup olmadığını denetleyin.

• Belirli bir tarih için geçmişe dönük olarak rapor oluşturma seçeneği yoktur.

Envanter işleri, nesne çoğaltma ilkesi olan kapsayıcılara rapor yazamaz

Nesne çoğaltma ilkesi, envanter işinin envanter raporlarını hedef kapsayıcıya yazmasını engelleyebilir. Diğer bazı senaryolar raporları arşivleyebilir veya kısmen tamamlandığında raporları sabit hale getirerek envanter işlerinin başarısız olmasına neden olabilir.

Stok ve Sabit Depolama

Bu hesapta sürüm düzeyi değişmezlik desteği etkinleştirildiyse veya stok ilkesinde tanımlanan hedef kapsayıcıda sürüm düzeyi değişmezlik desteği etkinleştirildiyse hesapta bir envanter ilkesi yapılandıramazsınız.

Raporlar, hiyerarşik ad alanına sahip hesaplarda geçici olarak silinen blobları dışlayabilir

Geçici silme etkinken bir kapsayıcı veya dizin silinirse, kapsayıcı veya dizin ve tüm içeriği geçici olarak silinmiş olarak işaretlenir. Ancak, bir stok raporunda yalnızca kapsayıcı veya dizin (sıfır uzunluklu blob olarak raporlanan) görünür ve ilkenin alanını true olarak ayarlasanız includeDeleted bile bu kapsayıcı veya dizinde geçici olarak silinen bloblar görüntülenmez. Bu, Azure portalında elde ettiğiniz kapasite ölçümlerinde görünenlerle envanter raporu tarafından bildirilen ölçümler arasında bir farka yol açabilir.

Raporlarda yalnızca açıkça silinen bloblar görüntülenir. Bu nedenle, geçici olarak silinen tüm blobların (dizin ve tüm alt bloblar) tam listesini elde etmek için, iş yüklerinin dizinin kendisini silmeden önce bir dizindeki her blobu silmesi gerekir.

Sonraki adımlar

• Azure Depolama blob envanter raporlarını etkinleştirme
• Kapsayıcı başına blob sayısını ve toplam boyutunu hesaplama
• Öğretici: Blob envanter raporlarını analiz etme
• Azure Blob Depolama yaşam döngüsünü yönetme
• Blob Envanteri hakkında SSS