مشاركة عبر

قيود وضع الوصول إلى الحساب لكتالوج Unity

  • مقالة

توصي Databricks باستخدام كتالوج Unity ووضع الوصول المشترك لمعظم أحمال العمل. توضح هذه المقالة القيود والمتطلبات لكل وضع وصول باستخدام كتالوج Unity. للحصول على تفاصيل حول أوضاع الوصول، راجع أوضاع الوصول.

توصي Databricks باستخدام نهج الحوسبة لتبسيط خيارات التكوين لمعظم المستخدمين. راجع إنشاء نهج الحوسبة وإدارتها.

إشعار

عدم العزل المشترك هو وضع وصول قديم لا يدعم كتالوج Unity.

هام

تتمتع البرامج النصية والمكتبات في Init بدعم مختلف عبر أوضاع الوصول وإصدارات وقت تشغيل Databricks. راجع أين يمكن تثبيت البرامج النصية init؟ والمكتبات ذات نطاق نظام المجموعة.

قيود وضع وصول مستخدم واحد على كتالوج Unity

وضع وصول مستخدم واحد في كتالوج Unity له القيود التالية. هذه بالإضافة إلى القيود العامة لكل وضع الوصول إلى كتالوج Unity. راجع القيود العامة ل Unity Catalog.

قيود التحكم في الوصول الدقيقة لوضع وصول مستخدم واحد لكتالوج Unity

في Databricks Runtime 15.3 وما دونه، لا يتم دعم التحكم في الوصول الدقيق على حساب مستخدم واحد. على وجه التحديد:

  • لا يمكنك الوصول إلى جدول يحتوي على عامل تصفية صف أو قناع عمود.
  • لا يمكنك الوصول إلى طرق العرض الديناميكية.
  • للقراءة من أي طريقة عرض، يجب أن يكون لديك SELECT على كافة الجداول وطرق العرض المشار إليها بواسطة طريقة العرض.

للاستعلام عن طرق العرض الديناميكية وطرق العرض التي لا تملكها SELECT على الجداول وطرق العرض الأساسية والجداول ذات عوامل تصفية الصفوف أو أقنعة الأعمدة، استخدم أحد الإجراءات التالية:

  • مستودع SQL.

  • الحساب مع وضع الوصول المشترك.

  • الحساب مع وضع وصول مستخدم واحد على Databricks Runtime 15.4 LTS أو أعلى.

    يدعم Databricks Runtime 15.4 LTS وما فوق التحكم في الوصول الدقيق على حساب مستخدم واحد. للاستفادة من تصفية البيانات المتوفرة في Databricks Runtime 15.4 LTS وما فوق، تحقق من تمكين مساحة العمل للحساب بلا خادم.

    تتعامل الحوسبة بلا خادم مع تصفية البيانات، ما يسمح بالوصول إلى طريقة عرض دون الحاجة إلى أذونات على الجداول وطرق العرض الأساسية الخاصة بها. نظرا لأن الحوسبة بلا خادم تعالج تصفية البيانات، فقد تتحمل رسوم حساب بلا خادم عند استخدام حساب مستخدم واحد للاستعلام عن طرق العرض. لمزيد من المعلومات، راجع التحكم في الوصول الدقيق على حساب مستخدم واحد.

جدول البث وقيود العرض المجسدة لوضع وصول مستخدم واحد لكتالوج Unity

في Databricks Runtime 15.3 والإصدارات أدناه، لا يمكنك استخدام حساب مستخدم واحد للاستعلام عن الجداول التي تم إنشاؤها باستخدام مسار Delta Live Tables، بما في ذلك جداول الدفق وطرق العرض المجسدة، إذا كانت هذه الجداول مملوكة لمستخدمين آخرين. المستخدم الذي يقوم بإنشاء جدول هو المالك.

للاستعلام عن جداول البث وطرق العرض المجسدة التي تم إنشاؤها بواسطة Delta Live Tables والمملوكة من قبل مستخدمين آخرين، استخدم أحد الإجراءات التالية:

  • مستودع SQL.

  • حساب مع وضع الوصول المشترك على Databricks Runtime 13.3 LTS أو أعلى.

  • الحساب مع وضع وصول مستخدم واحد على Databricks Runtime 15.4 LTS أو أعلى.

    يجب أيضا تمكين مساحة العمل الخاصة بك للحوسبة بلا خادم. لمزيد من المعلومات، راجع التحكم في الوصول الدقيق على حساب مستخدم واحد.

قيود الدفق لوضع وصول مستخدم واحد لكتالوج Unity

  • نقاط التفتيش غير المتزامنة غير مدعومة في Databricks Runtime 11.3 LTS والإدناه.
  • StreamingQueryListener يتطلب Databricks Runtime 15.1 أو أعلى لاستخدام بيانات الاعتماد أو التفاعل مع الكائنات التي يديرها كتالوج Unity على حساب مستخدم واحد.

قيود وضع الوصول المشترك على كتالوج Unity

وضع الوصول المشترك في كتالوج Unity له القيود التالية. هذه بالإضافة إلى القيود العامة لجميع أوضاع الوصول إلى كتالوج Unity. راجع القيود العامة ل Unity Catalog.

  • Databricks Runtime ML وSpark التعلم الآلي Library (MLlib) غير مدعومين.

  • مهام إرسال Spark غير مدعومة.

  • في Databricks Runtime 13.3 وما فوق، يجب ألا تتجاوز الصفوف الفردية 128 ميغابايت.

  • لا يمكن ل PySpark UDFs الوصول إلى مجلدات Git أو ملفات مساحة العمل أو وحدات التخزين لاستيراد الوحدات النمطية في Databricks Runtime 14.2 والإدناه.

  • لا يدعم جذر وتركيبات DBFS FUSE.

  • عند استخدام وضع الوصول المشترك مع تمرير بيانات الاعتماد، يتم تعطيل ميزات كتالوج Unity.

  • الحاويات المخصصة غير مدعومة.

دعم اللغة لوضع الوصول المشترك لكتالوج Unity

  • R غير معتمدة.
  • Scala مدعوم في Databricks Runtime 13.3 وما فوق.
    • في Databricks Runtime 15.4 LTS وما فوق، تتوفر جميع مكتبات Java أو Scala (ملفات JAR) المجمعة مع Databricks Runtime على الحساب في أوضاع الوصول إلى كتالوج Unity.
    • بالنسبة إلى Databricks Runtime 15.3 أو أقل على الحساب الذي يستخدم وضع الوصول المشترك، قم بتعيين تكوين spark.databricks.scala.kernel.fullClasspath.enabled Spark إلى true.

قيود واجهة برمجة تطبيقات Spark ومتطلبات وضع الوصول المشترك لكتالوج Unity

  • واجهات برمجة تطبيقات RDD غير مدعومة.
  • يتم دعم DBUtils والعملاء الآخرين الذين يقرؤون البيانات مباشرة من التخزين السحابي فقط عند استخدام موقع خارجي للوصول إلى موقع التخزين. راجع إنشاء موقع خارجي لتوصيل التخزين السحابي ب Azure Databricks.
  • سياق Spark (sc)،spark.sparkContext، و sqlContext غير مدعومين ل Scala في أي وقت تشغيل Databricks ولا يتم دعمه ل Python في Databricks Runtime 14.0 وما فوق.
    • توصي Databricks باستخدام spark المتغير للتفاعل مع المثيل SparkSession .
    • الوظائف التالية sc غير مدعومة أيضا: emptyRDDو rangeو init_batched_serializerو parallelizeو pickleFileو textFilehadoopFilenewAPIHadoopRDDnewAPIHadoopFilewholeTextFilesbinaryFilesbinaryRecordssequenceFileو و hadoopRDDو. unionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf
  • تتطلب عمليات Scala Dataset API التالية Databricks Runtime 15.4 LTS أو أعلى: mapوmapPartitionsfilterforeachPartitionflatMapreduce.

قيود UDF ومتطلبات وضع الوصول المشترك لكتالوج Unity

الوظائف المعرفة من قبل المستخدم (UDFs) لها القيود التالية مع وضع الوصول المشترك:

  • Hive UDFs غير مدعومة.

  • applyInPandas وتتطلب mapInPandas Databricks Runtime 14.3 أو أعلى.

  • تتطلب Scala UDFs العددية Databricks Runtime 14.2 أو أعلى. لا يتم دعم Scala UDFs وUDAFs الأخرى.

  • في Databricks Runtime 14.2 والإصدارات أدناه، لا يتم دعم استخدام إصدار مخصص من grpcأو pyarrowأو protobuf في PySpark UDF من خلال مكتبات ذات نطاق دفتر ملاحظات أو مكتبات ذات نطاق نظام مجموعة لأن الإصدار المثبت مفضل دائما. للعثور على إصدار المكتبات المثبتة، راجع قسم بيئة النظام من ملاحظات إصدار Databricks Runtime المحددة.

  • تتطلب Python scalar UDFs وPandas UDFs Databricks Runtime 13.3 LTS أو أعلى.

  • تتطلب Python وPandas UDFs غير العددية، بما في ذلك UDAFs وUDTFs وPandas على Spark، Databricks Runtime 14.3 LTS أو أعلى.

راجع الدالات المعرفة من قبل المستخدم (UDFs) في كتالوج Unity.

قيود التدفق ومتطلبات وضع الوصول المشترك لكتالوج Unity

إشعار

بعض خيارات Kafka المدرجة لها دعم محدود عند استخدامها للتكوينات المدعومة على Azure Databricks. جميع قيود Kafka المدرجة صالحة لكل من معالجة الدفعات والدفق. راجع معالجة الدفق باستخدام Apache Kafka وAzure Databricks.

  • بالنسبة إلى Scala و foreachforeachBatchStreamingListenersو و و FlatMapGroupWithState غير مدعومة.
  • بالنسبة إلى Python، foreachBatch يحتوي على تغييرات السلوك التالية في Databricks Runtime 14.0 والإصدارات الأحدث:
    • print() تكتب الأوامر الإخراج إلى سجلات برنامج التشغيل.
    • لا يمكنك الوصول إلى dbutils.widgets النموذج الفرعي داخل الدالة .
    • يجب أن تكون أي ملفات أو وحدات أو كائنات مشار إليها في الدالة قابلة للتسلسل ومتاحة على Spark.
  • بالنسبة إلى Scala، from_avro يتطلب Databricks Runtime 14.2 أو أعلى.
  • applyInPandasWithState يتطلب Databricks Runtime 14.3 LTS أو أعلى.
  • العمل مع مصادر مأخذ التوصيل غير مدعوم.
  • sourceArchiveDir يجب أن يكون في نفس الموقع الخارجي للمصدر عند استخدامه option("cleanSource", "archive") مع مصدر بيانات يديره كتالوج Unity.
  • بالنسبة لمصادر Kafka والمتلقيات، لا يتم دعم الخيارات التالية:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • خيارات Kafka التالية غير مدعومة في Databricks Runtime 13.3 LTS وما فوق ولكن غير مدعومة في Databricks Runtime 12.2 LTS. يمكنك فقط تحديد المواقع الخارجية التي يديرها كتالوج Unity لهذه الخيارات:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location
  • StreamingQueryListener يتطلب Databricks Runtime 14.3 LTS أو أعلى لاستخدام بيانات الاعتماد أو التفاعل مع العناصر التي يديرها كتالوج Unity على الحوسبة المشتركة.

قيود الوصول إلى الشبكة ونظام الملفات ومتطلبات وضع الوصول المشترك لكتالوج Unity

  • يجب تشغيل الأوامر على عقد الحوسبة كمستخدم منخفض الامتياز ممنوع من الوصول إلى الأجزاء الحساسة من نظام الملفات.

  • في Databricks Runtime 11.3 LTS وما دونه، يمكنك فقط إنشاء اتصالات شبكة إلى المنفذين 80 و443.

  • لا يمكنك الاتصال بخدمة بيانات تعريف المثيل أو Azure WireServer.

القيود العامة للكتالوج Unity

تنطبق القيود التالية على جميع أوضاع الوصول الممكنة في كتالوج Unity.

قيود الدفق للكتالوج Unity

  • وضع المعالجة المستمرة ل Apache Spark غير مدعوم. راجع المعالجة المستمرة في دليل برمجة Spark Structured Streaming.

راجع أيضا قيود الدفق لوضع وصول مستخدم واحد إلى كتالوج Unity وقيود ومتطلبات البث لوضع الوصول المشترك لكتالوج Unity.

لمزيد من البحث عن البث باستخدام كتالوج Unity، راجع استخدام كتالوج Unity مع الدفق المنظم.