Azure Event Hubs'da yakalanan Avro dosyalarını keşfetme
Bu makalede, Azure Event Hubs tarafından yakalanan Avro dosyaları için şema ve dosyaları keşfetmek için birkaç araç sağlanır.
Şema
Event Hubs Capture tarafından üretilen Avro dosyaları aşağıdaki Avro şemasına sahiptir:
Azure Depolama Gezgini
Yakalanan dosyaların Azure Depolama hesabında oluşturulduğunu Azure Depolama Gezgini gibi araçları kullanarak doğrulayabilirsiniz. Üzerinde çalışmak için dosyaları yerel olarak indirebilirsiniz.
Avro dosyalarını keşfetmenin kolay bir yolu, Apache'nin Avro Araçları jar dosyasını kullanmaktır. Alınan veriler üzerinde karmaşık dağıtılmış işleme gerçekleştirmek için Apache Spark'ı da kullanabilirsiniz.
Apache Spark kullanma
Apache Spark , "büyük ölçekli veri işleme için birleşik bir analiz altyapısıdır." SQL dahil olmak üzere farklı dilleri destekler ve Azure Blob depolamaya kolayca erişebilir. Azure'da Apache Spark çalıştırmaya yönelik birkaç seçenek vardır ve her biri Azure Blob depolamaya kolay erişim sağlar:
- HDInsight: Azure depolamadaki dosyaları adresle
- Azure Databricks: Azure Blob depolama. Aşağıdaki örneğe bakın: Event Hubs Capture ile Büyük Ölçekte Akış.
- Azure Kubernetes Service
Avro Araçları'nı kullanma
Avro Araçları jar paketi olarak mevcuttur. Jar dosyasını indirdikten sonra, aşağıdaki komutu çalıştırarak belirli bir Avro dosyasının şemasını görebilirsiniz:
java -jar avro-tools-1.9.1.jar getschema <name of capture file>
Bu komut döndürür
{
"type":"record",
"name":"EventData",
"namespace":"Microsoft.ServiceBus.Messaging",
"fields":[
{"name":"SequenceNumber","type":"long"},
{"name":"Offset","type":"string"},
{"name":"EnqueuedTimeUtc","type":"string"},
{"name":"SystemProperties","type":{"type":"map","values":["long","double","string","bytes"]}},
{"name":"Properties","type":{"type":"map","values":["long","double","string","bytes"]}},
{"name":"Body","type":["null","bytes"]}
]
}
Dosyayı JSON biçimine dönüştürmek ve başka işlemler gerçekleştirmek için Avro Araçları'nı da kullanabilirsiniz.
Daha gelişmiş işleme gerçekleştirmek için istediğiniz platform için Avro'yı indirin ve yükleyin. Bu yazma sırasında C, C++, C#, Java, NodeJS, Perl, PHP, Python ve Ruby için kullanılabilir uygulamalar vardır.
Apache Avro,Java ve Python için tam Başlangıç kılavuzları sağlar. Event Hubs Yakalama ile çalışmaya başlama makalesini de okuyabilirsiniz.
Sonraki adımlar
Event Hubs Yakalama, Azure'a veri almanın en kolay yoludur. Azure Data Lake, Azure Data Factory ve Azure HDInsight'ı kullanarak, istediğiniz herhangi bir ölçekte, seçtiğiniz tanıdık araçları ve platformları kullanarak toplu işlem ve diğer analizleri gerçekleştirebilirsiniz. Bu özellik hakkında daha fazla bilgi edinmek için aşağıdaki makalelere bakın.