مشاركة عبر

استكشاف ملفات Avro الملتقطة في Azure Event Hubs

  • مقالة

توفر هذه المقالة مخططًا لملفات Avro التي تم التقاطها بواسطة Azure Event Hubs وبعض الأدوات لاستكشاف الملفات.

مخطط

تحتوي ملفات Avro التي تنتجها Event Hubs Capture على مخطط Avro التالي:

صورة توضح مخطط ملفات Avro التي تم التقاطها بواسطة Azure Event Hubs.

Azure Storage Explorer

يمكنك التحقق من إنشاء الملفات الملتقطة في حساب Azure Storage باستخدام أدوات مثل Azure Storage Explorer. يمكنك تنزيل الملفات محليًا للعمل عليها.

طريقة سهلة لاستكشاف ملفات Avro هي باستخدام جرة Avro Tools من Apache. يمكنك أيضا استخدام Apache Spark لإجراء معالجة موزعة معقدة على البيانات التي تم استيعابها.

استخدم Apache Spark

Apache Spark هو "محرك تحليلات موحد لمعالجة البيانات على نطاق واسع". ويدعم لغات مختلفة، بما في ذلك SQL، ويمكنه الوصول بسهولة إلى مساحة تخزين كائن Azure الثنائي كبير الحجم (Azure Blob). هناك بعض الخيارات لتشغيل Apache Spark في Azure، ويوفر كل منها وصولاً سهلاً إلى تخزين Azure Blob:

استخدم أدوات Avro

تتوفرAvro Tools كحزمة jar. بعد تنزيل ملف jar، يمكنك رؤية مخطط ملف Avro معين عن طريق تشغيل الأمر التالي:

java -jar avro-tools-1.9.1.jar getschema <name of capture file>

يعود هذا الأمر

{

    "type":"record",
    "name":"EventData",
    "namespace":"Microsoft.ServiceBus.Messaging",
    "fields":[
                 {"name":"SequenceNumber","type":"long"},
                 {"name":"Offset","type":"string"},
                 {"name":"EnqueuedTimeUtc","type":"string"},
                 {"name":"SystemProperties","type":{"type":"map","values":["long","double","string","bytes"]}},
                 {"name":"Properties","type":{"type":"map","values":["long","double","string","bytes"]}},
                 {"name":"Body","type":["null","bytes"]}
             ]
}

يمكنك أيضًا استخدام Avro Tools لتحويل الملف إلى تنسيق JSON وإجراء معالجة أخرى.

لإجراء معالجة أكثر تقدمًا قم بتنزيل وتثبيت Avro من أجل النظام الأساسي الذي تختاره. في وقت كتابة هذا التقرير، هناك تطبيقات متاحة ل C وC++وC#وJava وNodeJS و Perl وPHP وPython وRupy.

يحتوي Apache Avro على أدلة البدء الكاملة لـ Java وPython. يمكنك أيضًا قراءة مقالة بدء استخدام Event Hubs Capture.

الخطوات التالية

يعد Event Hubs Capture أسهل طريقة للحصول على البيانات في Azure. باستخدام Azure Data Lake وAzure Data Factory و Azure HDInsight؛ يمكنك إجراء معالجة مجمعة وتحليلات أخرى باستخدام الأدوات والأنظمة الأساسية المألوفة التي تختارها، وبأي مقياس تريده. راجع المقالات التالية لمعرفة المزيد حول هذه الميزة.