مشاركة عبر

الاتصال ب Syncsort

  • مقالة

هام

هذه الميزة في المعاينة العامة.

تساعدك Syncsort على تقسيم مستودعات البيانات من خلال دمج البيانات القديمة والإطار الرئيسي وIBM مع Azure Databricks. يمكنك بسهولة سحب البيانات من هذه المصادر إلى Delta Lake.

فيما يلي خطوات استخدام Syncsort مع Azure Databricks.

الخطوة 1: إنشاء رمز مميز للوصول الشخصي ل Databricks

تتم مصادقة Syncsort مع Azure Databricks باستخدام رمز وصول شخصي Azure Databricks.

إشعار

كأفضل ممارسة أمان، عند المصادقة باستخدام الأدوات والأنظمة والبرامج النصية والتطبيقات التلقائية، توصي Databricks باستخدام رموز الوصول الشخصية التي تنتمي إلى كيانات الخدمة بدلا من مستخدمي مساحة العمل. لإنشاء رموز مميزة لكيانات الخدمة، راجع إدارة الرموز المميزة لكيان الخدمة.

الخطوة 2: إعداد نظام مجموعة لدعم احتياجات التكامل

سيكتب Syncsort البيانات إلى مسار Azure Data Lake Storage وستقرأ مجموعة تكامل Azure Databricks البيانات من هذا الموقع. لذلك يتطلب نظام مجموعة التكامل وصولا آمنا إلى مسار Azure Data Lake Storage.

الوصول الآمن إلى مسار Azure Data Lake Storage

لتأمين الوصول إلى البيانات في Azure Data Lake Storage (ADLS)، يمكنك استخدام مفتاح الوصول إلى حساب تخزين Azure (مستحسن) أو أساس خدمة معرف Microsoft Entra.

استخدام مفتاح الوصول إلى حساب تخزين Azure

يمكنك تكوين مفتاح الوصول إلى حساب التخزين على مجموعة التكامل كجزء من تكوين Spark. تأكد من أن حساب التخزين لديه حق الوصول إلى حاوية ADLS ونظام الملفات المستخدم للبيانات المرحلية وحاوية ADLS ونظام الملفات حيث تريد كتابة جداول Delta Lake. لتكوين مجموعة التكامل لاستخدام المفتاح، اتبع الخطوات الواردة في الاتصال ب Azure Data Lake Storage Gen2 وBlob Storage.

استخدام كيان خدمة معرف Microsoft Entra

يمكنك تكوين كيان خدمة على مجموعة تكامل Azure Databricks كجزء من تكوين Spark. تأكد من أن كيان الخدمة لديه حق الوصول إلى حاوية ADLS المستخدمة للبيانات المرحلية وحاوية ADLS حيث تريد كتابة جداول Delta. لتكوين نظام مجموعة التكامل لاستخدام كيان الخدمة، اتبع الخطوات الواردة في Access ADLS Gen2 مع كيان الخدمة.

تحديد تكوين نظام المجموعة

  1. تعيين وضع نظام المجموعة إلى قياسي.

  2. تعيين Databricks Runtime Version إلى إصدار وقت تشغيل Databricks.

  3. تمكين عمليات الكتابة المحسنة والضغط التلقائي عن طريق إضافة الخصائص التالية إلى تكوين Spark الخاص بك:

    spark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true

  4. كون مجموعتك التخزينية بناء على احتياجاتك للتكامل والتحجيم.

للحصول على تفاصيل تكوين نظام المجموعة، راجع مرجع تكوين الحساب.

راجع الحصول على تفاصيل الاتصال لمورد حساب Azure Databricks للحصول على خطوات الحصول على عنوان URL JDBC ومسار HTTP.

الخطوة 3: الحصول على تفاصيل اتصال JDBC و ODBC للاتصال بنظام مجموعة

لتوصيل نظام مجموعة Azure Databricks ب Syncsort، تحتاج إلى خصائص اتصال JDBC/ODBC التالية:

  • JDBC URL
  • مسار HTTP

الخطوة 4: تكوين Syncsort مع Azure Databricks

انتقل إلى صفحة تسجيل الدخول إلى Databricks و Connect for Big Data واتبع الإرشادات.

الموارد الإضافية

الدعم