Azure Data Lake Storage özellikleriyle Azure Blob Depolama yükseltme

Bu makale, hiyerarşik ad alanını etkinleştirmenize ve dosya ile dizin düzeyinde güvenlik ve daha hızlı işlemler gibi özelliklerin kilidini açmanıza yardımcı olur. Bu özellikler büyük veri analizi iş yükleri tarafından yaygın olarak kullanılır ve topluca Azure Data Lake Storage olarak adlandırılır. En popüler özellikler şunlardır:

• Daha yüksek aktarım hızı, saniye başına giriş/çıkış işlemleri (IOPS) ve depolama kapasitesi sınırları.

• Tek düğüm URI'leri üzerinde çalışabildiğiniz için daha hızlı işlemler (yeniden adlandırma işlemleri gibi).

• Yalnızca belirli bir işlemi gerçekleştirmek için gereken verileri aktaran verimli sorgu altyapısı.

• Kapsayıcı, dizin ve dosya düzeyinde güvenlik.

Bunlar hakkında daha fazla bilgi edinmek için bkz . Azure Data Lake Storage'a giriş.

Bu makale iş yükleri, uygulamalar, maliyetler, hizmet tümleştirmeleri, araçlar, özellikler ve belgeler üzerindeki etkiyi değerlendirmenize yardımcı olur. Bu etkileri dikkatle gözden geçirmeyi unutmayın. Bir hesabı yükseltmeye hazır olduğunuzda şu adım adım kılavuza bakın: Azure Data Lake Storage özellikleriyle Azure Blob Depolama yükseltme.

Kullanılabilirlik üzerindeki etkisi

Yükseltme işlemi tamamlarken hesabınızda kapalı kalma süresini planladığınızdan emin olun. Hesabınız yükseltilirken yazma işlemleri devre dışı bırakılır. Okuma işlemleri devre dışı bırakılmaz, ancak bu işlemler yükseltme işleminin istikrarını bozabileceğinden okuma işlemlerini askıya almanızı kesinlikle öneririz.

İş yükleri ve uygulamalar üzerindeki etki

Blob API'leri hiyerarşik ad alanına sahip hesaplarla çalışır, bu nedenle bu API'leri kullanarak hesabınızla etkileşim kuran uygulamaların çoğu değişiklik yapmadan çalışmaya devam ediyor.

Sorunların ve geçici çözümlerin tam listesi için bkz . Blob Depolama API'leriyle ilgili bilinen sorunlar.

Windows Azure Depolama Blobu sürücüsü (WASB) sürücüsünü kullanan tüm Hadoop iş yükleri, Azure Blob Dosya Sistemi (ABFS) sürücüsünü kullanacak şekilde değiştirilmelidir. Blob hizmet uç noktasına istekte bulunan WASB sürücüsünün aksine, ABFS sürücüsü hesabınızın Data Lake Storage uç noktasına istekte bulunur.

Data Lake Storage uç noktası

Yükseltilen hesabınızın Data Lake depolama uç noktası olacaktır. Hesabınızın Özellikler sayfasını açarak bu uç noktanın URL'sini Azure portalında bulabilirsiniz.

Bu uç noktayı kullanmak için mevcut uygulamalarınızı ve iş yüklerinizi değiştirmeniz gerekmez. Data Lake Storage'da çoklu protokol erişimi, verilerinizle etkileşime geçmek için Blob hizmet uç noktasını veya Data Lake depolama uç noktasını kullanmanızı mümkün kılar.

Azure hizmetleri ve araçları (AzCopy gibi), depolama hesabınızdaki verilerle etkileşimde bulunurken Data Lake depolama uç noktasını kullanabilir. Ayrıca Data Lake Storage SDK'larını, PowerShell komutlarını veya Azure CLI komutlarını kullanarak gerçekleştirdiğiniz tüm işlemler için bu yeni uç noktayı kullanmanız gerekir.

Directories

Hiyerarşik ad alanına sahip olmayan bir Blob depolama hesabı, dosyaları hiyerarşik paradigma yerine düz bir paradigmada düzenler. Bloblar, bir klasör yapısını taklit etmek için sanal dizinler halinde düzenlenir. Sanal dizin, blob adının bir bölümünü oluşturur ve sınırlayıcı karakteriyle gösterilir. Sanal dizin blob adının bir parçası olduğundan, aslında bağımsız bir nesne olarak mevcut değildir.

Yeni hesabınızın hiyerarşik ad alanı var. Bu, dizinlerin sanal olmadığı anlamına gelir. Bunlar doğrudan üzerinde çalışabileceğiniz somut, bağımsız nesnelerdir. Herhangi bir dosya içermeden bir dizin bulunabilir. Bir dizini sildiğinizde, bu dizindeki tüm dosyalar kaldırılır. Dizin kaybolmadan önce artık her bir blobu silmeniz gerekmez.

Blob meta verileri

Geçiş öncesinde blob meta verileri, blob adıyla ve sanal yolunun tamamıyla ilişkilendirilir. Geçiş sonrasında meta veriler yalnızca blob ile ilişkilendirilir. Blobun sanal yolu bir dizin koleksiyonuna dönüşür. Blobun meta verileri bu dizinlerin hiçbirine uygulanmaz.

İşlemleri yerleştirme

Bir blobu karşıya yüklediğinizde ve belirttiğiniz yol var olmayan bir dizin içerdiğinde, işlem bu dizini oluşturur ve ardından blobu bu dizine ekler. Bu davranış, hiyerarşik klasör yapısı bağlamında mantıklıdır. Hiyerarşik ad alanına sahip olmayan bir Blob depolama hesabında işlem bir dizin oluşturmaz. Bunun yerine, dizin adı blob'un adına eklenir.

İşlemleri listeleme

Blobları Listele işlemi hem dizinleri hem de dosyaları döndürür. Her biri ayrı olarak listelenir. Dizinler listede sıfır uzunluklu bloblar olarak görünür. Hiyerarşik ad alanına sahip olmayan bir Blob depolama hesabında, Liste Blobları işlemi dizinleri değil yalnızca blobları döndürür. Data Lake Storage Path - List işlemini kullanırsanız, dizinler sıfır uzunluklu bloblar olarak değil dizin girdileri olarak görünür.

Liste sırası da farklıdır. Dizinler ve dosyalar, en ayrıntılı arama sırasına göre görünür. Hiyerarşik ad alanına sahip olmayan bir Blob depolama hesabı blobları sözcüksal sırada listeler.

Blobları yeniden adlandırma işlemleri

İstemci uygulamaları tek bir işlemde blobu yeniden adlandırabildiğinden blobu yeniden adlandırmak çok daha verimlidir. Hiyerarşik ad alanına sahip olmayan hesaplarda, araçların ve uygulamaların bir blobu kopyalaması ve ardından kaynak blobu silmesi gerekir.

Maliyetler üzerindeki etki

Yükseltmeyi gerçekleştirmenin bir maliyeti yoktur. Yükseltme işleminden sonra verilerinizi depolama maliyeti değişmez, ancak bir işlemin maliyeti, verileri okumak ve yazmak için kullandığınız Depolama hesabı uç noktası istemcilerine, uygulamalarına ve iş yüklerine bağlı olarak değişebilir. Bkz. Blob hizmet uç noktasına yönelik istekler ve Data Lake Storage uç noktasına yönelik istekler.

Fiyatlandırma değişikliklerinin yanı sıra Data Lake Storage özellikleriyle ilişkili maliyet tasarruflarını da göz önünde bulundurun. Genel toplam sahip olma maliyeti genellikle daha yüksek aktarım hızı ve iyileştirilmiş işlemler nedeniyle azalır. Daha yüksek aktarım hızı sayesinde daha kısa sürede daha fazla veri aktarabilirsiniz. Hiyerarşik ad alanı, işlemlerin verimliliğini artırır.

Hizmet tümleştirmeleri üzerindeki etkisi

Bu özellikleri etkinleştirdikten sonra çoğu Azure hizmet tümleştirmesi çalışmaya devam eder ancak bazıları önizleme aşamasında kalır veya henüz desteklenmez. Data Lake Storage ile Azure hizmet tümleştirmelerine yönelik geçerli desteği anlamak için bkz. Azure Data Lake Storage'ı destekleyen Azure hizmetleri.

Araçlar, özellikler ve belgeler üzerindeki etkisi

Yükseltmeden sonra, bazı özelliklerle etkileşim kurma şekliniz değişir. Bu bölümde bu değişiklikler açıklanmaktadır.

Blob Depolama özelliği desteği

Bu özellikleri etkinleştirdikten sonra Blob depolama özelliklerinin çoğu çalışmaya devam eder ancak bazıları önizlemede kalır veya henüz desteklenmez.

Data Lake Storage ile Blob depolama özelliklerine yönelik geçerli desteği anlamak için bkz. Azure Data Lake Storage'da kullanılabilen Blob Depolama özellikleri.

Tanılama günlükleri

Depolama analizi günlüğünü etkinleştirirseniz artık sürüm 2.0 günlük biçimini kullanma seçeneğiniz vardır.

Bu yeni sürümü kullanmanız gerekmez. Ancak Data Lake depolama uç noktasına uygulanan tüm işlemler yalnızca sürüm 2.0 günlüklerine kaydedilir. Kullandığınız bazı hizmetler ve araçlar (azCopy gibi) hesabınızda işlem gerçekleştirmek için bu uç noktayı kullanır. Tüm etkinliklerden günlük bilgilerini yakaladığınızdan emin olmak için sürüm 2.0 günlük biçimini kullanmayı göz önünde bulundurun.

Azure Yaşam Döngüsü yönetimi

Bir dizindeki tüm blobları taşımaya veya silmeye yönelik ilkelerin, içindeki tüm bloblar kaldırılana kadar dizinin kendisini silmeyeceğini ve dizinin sonraki gün kaldırılacağını etkili bir şekilde açıklar.

Event Grid

Yeni hesabınızın iki uç noktası vardır: Data Lake depolama uç noktası ve Blob hizmet uç noktası. Hizmetler, araçlar ve uygulamalar verileriniz üzerinde çalışmak için her iki uç noktayı da kullanabilir. Sonuç olarak, Event Grid tarafından döndürülen bir olay yanıtı, etkilenen blobu açıklayan URL alanında bu iki uç noktadan birini gösterebilir.

Aşağıdaki JSON, Blob hizmet uç noktası kullanılarak bir blob oluşturulduğunda olay yanıtında görünen blobun URL'sini gösterir.

{
  "topic": "/subscriptions/{subscription-id}/resourceGroups/Storage/providers/Microsoft.Storage/storageAccounts/my-storage-account",
  "subject": "/blobServices/default/containers/test-container/blobs/new-file.txt",
  "eventType": "Microsoft.Storage.BlobCreated",
  "eventTime": "2017-06-26T18:41:00.9584103Z",
  "id": "831e1650-001e-001b-66ab-eeb76e069631",
  "data": {
    "api": "PutBlockList",
    "clientRequestId": "6d79dbfb-0e37-4fc4-981f-442c9ca65760",
    "requestId": "831e1650-001e-001b-66ab-eeb76e000000",
    "eTag": "\"0x8D4BCC2E4835CD0\"",
    "contentType": "text/plain",
    "contentLength": 524288,
    "blobType": "BlockBlob",
    "url": "https://my-storage-account.blob.core.windows.net/testcontainer/new-file.txt",
    "sequencer": "00000000000004420000000000028963",
    "storageDiagnostics": {
      "batchId": "b68529f3-68cd-4744-baa4-3c0498ec19f0"
    }
  },
  "dataVersion": "",
  "metadataVersion": "1"
}

Aşağıdaki JSON, Data Lake depolama uç noktası kullanılarak bir blob oluşturulduğunda olay yanıtında görüntülenen blobun URL'sini gösterir.

{
  "topic": "/subscriptions/{subscription-id}/resourceGroups/Storage/providers/Microsoft.Storage/storageAccounts/my-storage-account",
  "subject": "/blobServices/default/containers/my-file-system/blobs/new-file.txt",
  "eventType": "Microsoft.Storage.BlobCreated",
  "eventTime": "2017-06-26T18:41:00.9584103Z",
  "id": "831e1650-001e-001b-66ab-eeb76e069631",
  "data": {
    "api": "CreateFile",
    "clientRequestId": "6d79dbfb-0e37-4fc4-981f-442c9ca65760",
    "requestId": "831e1650-001e-001b-66ab-eeb76e000000",
    "eTag": "\"0x8D4BCC2E4835CD0\"",
    "contentType": "text/plain",
    "contentLength": 0,
    "contentOffset": 0,
    "blobType": "BlockBlob",
    "url": "https://my-storage-account.dfs.core.windows.net/my-file-system/new-file.txt",
    "sequencer": "00000000000004420000000000028963",
    "storageDiagnostics": {
      "batchId": "b68529f3-68cd-4744-baa4-3c0498ec19f0"
    }
  },
  "dataVersion": "2",
  "metadataVersion": "1"
}

Uygulamalarınız Event Grid kullanıyorsa, bunu hesaba katmak için bu uygulamaları değiştirmeniz gerekebilir.

Depolama Gezgini

Aşağıdaki düğmeler henüz Azure Depolama Gezgini Şeridi'nde görüntülenmez:

Aşağıdaki düğmeler yeni hesabınızda farklı davranır.

Belgeler

Data Lake Storage özelliklerini kullanma yönergelerini burada bulabilirsiniz: Azure Data Lake Storage'a giriş.

Mevcut Blob depolama özelliklerinin tümüne yönelik yönergeleri nerede bulabileceğinize ilişkin hiçbir değişiklik yapılmamıştır. Bu kılavuz burada verilmiştir: Azure Blob depolamaya giriş.

İçerik kümeleri arasında hareket ettikçe bazı küçük terminoloji farklılıkları fark edeceksiniz. Örneğin, Data Lake Storage içeriğinde öne çıkan içerik blob ve kapsayıcı yerine dosya ve dosya sistemi terimini kullanabilir. Dosya ve dosya sistemi terimleri, Data Lake storage'ın uzun bir geçmişe sahip olduğu büyük veri analizi dünyasında köklü bir köke sahiptir. İçerik, bu hedef kitleler tarafından yeniden adlandırılabilir olmasını sağlamak için bu koşulları içerir. Bu terimler ayrı şeyleri tanımlamaz.

Sonraki adımlar

Depolama hesabınızı Data Lake Storage özelliklerini içerecek şekilde yükseltmeye hazır olduğunuzda bu adım adım kılavuza bakın.