الاشتراك في Google Pub/Sub

يوفر Azure Databricks موصلا مضمنا للاشتراك في Google Pub/Sub في Databricks Runtime 13.3 LTS وما فوق. يوفر هذا الموصل دلالات معالجة مرة واحدة بالضبط للسجلات من المشترك.

مثال على بناء الجملة

يوضح مثال التعليمات البرمجية التالي بناء الجملة الأساسي لتكوين قراءة Structured Streaming من Pub/Sub:

val authOptions: Map[String, String] =
  Map("clientId" -> clientId,
      "clientEmail" -> clientEmail,
      "privateKey" -> privateKey,
      "privateKeyId" -> privateKeyId)

val query = spark.readStream
  .format("pubsub")
  // we will create a Pubsub subscription if none exists with this id
  .option("subscriptionId", "mysub") // required
  .option("topicId", "mytopic") // required
  .option("projectId", "myproject") // required
  .options(authOptions)
  .load()

لمزيد من خيارات التكوين، راجع تكوين خيارات قراءة دفق النشر/الفرعي.

تكوين الوصول إلى Pub/Sub

توصي Databricks باستخدام الأسرار عند توفير خيارات التخويل. الخيارات التالية مطلوبة لتخويل اتصال:

• clientEmail
• clientId
• privateKey
• privateKeyId

يصف الجدول التالي الأدوار المطلوبة لبيانات الاعتماد المكونة:

مخطط Pub/Sub

يطابق مخطط الدفق السجلات التي تم جلبها من Pub/Sub، كما هو موضح في الجدول التالي:

تكوين خيارات لقراءة دفق النشر/الفرعي

يصف الجدول التالي الخيارات المعتمدة ل Pub/Sub. يتم تكوين جميع الخيارات كجزء من قراءة Structured Streaming باستخدام .option("<optionName>", "<optionValue>") بناء الجملة.

دلالات معالجة الدفعات المتزايدة ل Pub/Sub

يمكنك استخدام Trigger.AvailableNow لاستهلاك السجلات المتوفرة من مصادر Pub/Sub دفعة تزايدية.

يسجل Azure Databricks الطابع الزمني عند بدء القراءة مع Trigger.AvailableNow الإعداد. تتضمن السجلات التي تتم معالجتها بواسطة الدفعة جميع البيانات التي تم إحضارها مسبقا وأي سجلات منشورة حديثا مع طابع زمني أقل من الطابع الزمني لبدء الدفق المسجل.

راجع تكوين معالجة الدفعات التزايدية.

مراقبة مقاييس الدفق

تبلغ مقاييس تقدم الدفق المنظم عن عدد السجلات التي تم جلبها وجاهزة للمعالجة، وحجم السجلات التي تم جلبها وجاهزة للمعالجة، وعدد التكرارات التي شوهدت منذ بدء الدفق. فيما يلي مثال على هذه المقاييس:

"metrics" : {
  "numDuplicatesSinceStreamStart" : "1",
  "numRecordsReadyToProcess" : "1",
  "sizeOfRecordsReadyToProcess" : "8"
}

القيود

التنفيذ التخميني (spark.speculation) غير مدعوم مع Pub/Sub.