Unity Kataloğu için işlem erişim modu sınırlamaları

Databricks, çoğu iş yükü için standart erişim modunun (eski adıyla paylaşılan erişim modu) kullanılmasını önerir. Bu makalede Unity Kataloğu ile her erişim modu için sınırlamalar ve gereksinimler özetlenmiştir. Erişim modları hakkında ayrıntılı bilgi için bkz . Erişim modları.

Databricks, çoğu kullanıcının yapılandırma seçeneklerini basitleştirmek için işlem ilkelerinin kullanılmasını önerir. Bkz. İşlem ilkeleri oluşturma ve yönetme.

Unity Kataloğu'nda Ayrılmış erişim modu sınırlamaları

Unity Kataloğu'nda ayrılmış erişim modu aşağıdaki sınırlamalara sahiptir. Bunlar, tüm Unity Kataloğu erişim modu için genel sınırlamalara ek olarak bulunur. Bkz. Unity Kataloğu için genel sınırlamalar.

Unity Kataloğu özel erişim modu için ince ayarlanmış erişim denetimi sınırlamaları

Databricks Runtime 15.3 ve altında, tek kullanıcı işlemlerinde ayrıntılı erişim denetimi desteklenmez. Özellikle:

• satır filtresi veya sütun maskesiolan bir tabloya erişemezsiniz.
• dinamik görünümlereerişemezsiniz.
• Herhangi bir görünümden okumak için, görünümün referans verdiği tüm tablo ve görünümlerde SELECT'a sahip olmanız gerekir.

Altında yatan tablolarda ve görünümlerde SELECT iznine sahip olmadığınız dinamik görünümleri, satır filtreleri veya sütun maskeleri içeren tabloları sorgulamak için aşağıdakilerden birini kullanın:

• SQL ambarı.
• Standart erişim modu ile işlem yap.
• Databricks Runtime 15.4 LTS veya üzeri üzerinde ayrılmış erişim moduyla hesaplama.

Databricks Runtime 15.4 LTS ve üzeri, tek kullanıcı işlemlerinde ayrıntılı erişim denetimini destekler. Databricks Runtime 15.4 LTS ve üzerinde sağlanan veri filtrelemeden yararlanmak için çalışma alanınızın sunucusuz işlem için etkinleştirildiğini doğrulayın.

Sunucusuz bilişim, temel alınan tablo ve görünümlerde izin gerektirmeden bir görünüme erişimi sağlayan veri filtrelemeyi yönetir. Sunucusuz işlem veri filtrelemeyi işlediği için, görünümleri sorgulamak için tek kullanıcılı işlevleri kullandığınızda sunucusuz işlem maliyetlerine maruz kalabilirsiniz. Daha fazla bilgi için bkz. ayrılmış işlem (eski adıyla tek kullanıcılı işlem) üzerinde ayrıntılı erişim denetimi.

Unity Kataloğu ayrılmış erişim modu için akış tablosu ve materyalize edilmiş görünüm sınırlamaları

Databricks Runtime 15.3 ve altında, akış tabloları ve gerçekleştirilmiş görünümlerdahil olmak üzere DLT işlem hattı kullanılarak oluşturulan tabloları sorgulamak için tek kullanıcılı işlem kullanamazsınız. Bu tablolar diğer kullanıcılara aitise. Tablo oluşturan kullanıcı sahibidir.

DLT tarafından oluşturulan ve diğer kullanıcıların sahip olduğu Akış tablolarını ve gerçekleştirilmiş görünümleri sorgulamak için aşağıdakilerden birini kullanın:

• SQL ambarı.
• Databricks Runtime 13.3 LTS veya üzerinde standart erişim moduyla işlem.
• Databricks Runtime 15.4 LTS veya üzeri aracılığıyla özel erişim moduyla hesaplama yapın.

Çalışma alanınız sunucusuz işlem için de etkinleştirilmelidir. Daha fazla bilgi için bkz. ayrılmış işlem (eski adıyla tek kullanıcılı işlem) üzerinde ayrıntılı erişim denetimi.

Unity Kataloğu ayrılmış erişim modu için akış sınırlamaları

• Databricks Runtime 11.3 LTS ve altında zaman uyumsuz denetim noktası oluşturma desteklenmez.
• StreamingQueryListener, tek kullanıcı işlemlerinde kimlik bilgilerini kullanmak veya Unity Kataloğu tarafından yönetilen nesnelerle etkileşime geçmek için Databricks Runtime 15.1 veya üzerini gerektirir.

Unity Kataloğu'nda standart erişim modu sınırlamaları

Unity Kataloğu'nda standart erişim modu aşağıdaki sınırlamalara sahiptir. Bunlar, tüm Unity Kataloğu erişim modları için genel sınırlamalara ek olarak bulunur. Bkz. Unity Kataloğu için genel sınırlamalar.

• Databricks Runtime ML ve Spark Machine Learning Kitaplığı (MLlib) desteklenmez.
• Spark-submit görevleri desteklenmez. Bunun yerine JAR görevi kullanın.
• DBUtils ve bulut depolamadan verileri doğrudan okuyan diğer istemciler yalnızca depolama konumuna erişmek için bir dış konum kullandığınızda desteklenir. Bkz. Bulut depolamayı Azure Databricks'e bağlamak için dış konum oluşturma.
• Databricks Runtime 13.3 ve üzerinde tek tek satırlar 128 MB'ı aşmamalıdır.
• DBFS kökü ve bağlamaları FUSE'ı desteklemez.

• Özel kapsayıcılar desteklenmez.

Unity Kataloğu standart erişim modu için Dil desteği

• R desteklenmez.
• Scala, Databricks Runtime 13.3 ve üzerinde desteklenir.
  • Databricks Runtime 15.4 LTS ve üzerinde, Databricks Runtime ile birlikte gelen tüm Java veya Scala kitaplıkları (JAR dosyaları) Unity Kataloğu erişim modlarında işlem üzerinde kullanılabilir.
  • Standart erişim modu kullanan hesaplama için, Databricks Runtime 15.3 veya altı için Spark yapılandırmasını spark.databricks.scala.kernel.fullClasspath.enabled'dan true'e ayarlayın.

Unity Kataloğu'nun standart erişim modu için Spark API sınırlamaları ve gereksinimleri

• RDD API'leri desteklenmez.
• Spark Bağlamı (sc)spark.sparkContext ve sqlContext herhangi bir Databricks Runtime'da Scala için desteklenmez ve Databricks Runtime 14.0 ve üzerinde Python için desteklenmez.
  • Databricks, SparkSession örneğiyle etkileşime geçmek için spark değişkeninin kullanılmasını önerir.
  • Aşağıdaki sc işlevler de desteklenmez: emptyRDD, range, init_batched_serializer, , parallelize, pickleFile, textFile, , , wholeTextFiles, , binaryFiles, binaryRecords, sequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJob, setSystemProperty, . uiWebUrlstopsetJobGroupsetLocalPropertygetConf
• Aşağıdaki Scala Veri Kümesi API'si işlemleri Databricks Runtime 15.4 LTS veya üzerini gerektirir: map, mapPartitions, foreachPartition, flatMapreduceve filter.
• Spark yapılandırma özelliği spark.executor.extraJavaOptions desteklenmez.

Unity Catalog standart erişim modu için numaralı UDF sınırlamaları ve gereksinimleri

Kullanıcı tanımlı işlevlerin (UDF) standart erişim moduyla ilgili sınırlamaları vardır:

• Hive UDF'leri desteklenmez.
• applyInPandas ve mapInPandas Databricks Runtime 14.3 veya üzerini gerektirir.
• PySpark UDF'leri Databricks Runtime 14.2 ve altındaki modülleri içeri aktarmak için Git klasörlerine, çalışma alanı dosyalarına veya birimlere erişemez.
• Scala skaler UDF'leri Databricks Runtime 14.2 veya üzerini gerektirir. Diğer Scala UDF'leri ve UDAF'leri desteklenmez.
• Databricks Runtime 14.2 ve öncesinde, not defteri kapsamlı veya küme kapsamlı kütüphaneler aracılığıyla bir PySpark UDF'de grpc, pyarrow veya protobuf'nin özel bir sürümünü kullanmak desteklenmez çünkü yüklü olan sürüm her zaman tercih edilir. Yüklü kitaplıkların sürümünü bulmak için, belirli Databricks Runtime sürümü sürüm notlarının Sistem Ortamı bölümüne bakın.

• Python skaler UDF'leri ve Pandas UDF'leri Databricks Runtime 13.3 LTS veya üzerini gerektirir.

• Spark'ta UDAF'ler, UDF'ler, UDTF'ler ve Spark üzerinde Pandas dahil olmak üzere skaler olmayan Python ve Pandas UDF'leri, Databricks Runtime 14.3 LTS veya üzerini gerektirir.

Bkz. Unity Kataloğundaki Kullanıcı Tanımlı Fonksiyonlar (UDF).

Unity Catalog standart erişim modu için yayın sınırlamaları ve gereksinimleri

• Durum bilgisi olan akış sorgularının durum bilgilerini sorgulamak için statestore ve state-metadata biçimlerini kullanamazsınız.
• transformWithState, transformWithStateInPandasve ilişkili API'ler desteklenmez.
• Scala için foreach Databricks Runtime 16.1 veya üzerini gerektirir. foreachBatchve flatMapGroupsWithState Databricks Runtime 16.2 veya üzerini gerektirir.
• Python için Databricks Runtime 14.0 ve üzeri sürümlerinde aşağıdaki davranış değişiklikleri vardır:
  • print() komutları çıkışı sürücü günlüklerine yazar.
  • İşlevin dbutils.widgets içindeki alt modüle erişemezsiniz.
  • İşlevde başvurulan tüm dosyalar, modüller veya nesneler serileştirilebilir ve Spark'ta kullanılabilir olmalıdır.
• Scala from_avro için Databricks Runtime 14.2 veya üzeri gerekir.
• applyInPandasWithState Databricks Runtime 14.3 LTS veya üzerini gerektirir.
• Soket kaynaklarıyla çalışma desteklenmez.
• Unity Kataloğu tarafından yönetilen bir veri kaynağıyla sourceArchiveDir kullandığınızda option("cleanSource", "archive") kaynakla aynı dış konumda olmalıdır.
• Kafka kaynakları ve havuzları için aşağıdaki seçenekler desteklenmez:
  • kafka.sasl.client.callback.handler.class
  • kafka.sasl.login.callback.handler.class
  • kafka.sasl.login.class
  • kafka.partition.assignment.strategy
• Aşağıdaki Kafka seçenekleri Databricks Runtime 13.3 LTS ve üzerinde desteklenir ancak Databricks Runtime 12.2 LTS'de desteklenmez. Bu seçenekler için yalnızca Unity Kataloğu tarafından yönetilen dış konumları belirtebilirsiniz:
  • kafka.ssl.truststore.location
  • kafka.ssl.keystore.location
• Scala için StreamingQueryListener Databricks Runtime 16.1 ve üzerini gerektirir.
• Python için StreamingQueryListener kimlik bilgilerini kullanmak veya standart erişim moduyla işlemde Unity Kataloğu tarafından yönetilen nesnelerle etkileşime geçmek için Databricks Runtime 14.3 LTS veya üzerini gerektirir.

Unity Kataloğu standart erişim modu için ağ ve dosya sistemi erişim sınırlamaları ve gereksinimleri

• Dosya sisteminin hassas bölümlerine erişimi yasaklanmış düşük ayrıcalıklı bir kullanıcı olarak işlem düğümlerinde komut çalıştırmanız gerekir.
• Databricks Runtime 11.3 LTS ve altında yalnızca 80 ve 443 bağlantı noktalarına ağ bağlantıları oluşturabilirsiniz.

• Örnek meta veri hizmetine veya Azure WireServer'a bağlanamazsınız.

Unity Kataloğu için genel sınırlamalar

Aşağıdaki sınırlamalar Tüm Unity Kataloğu etkin erişim modları için geçerlidir.

Unity Kataloğu'nun Akış Sınırlamaları

• Apache Spark sürekli işleme modu desteklenmez. Bkz. Spark Yapılandırılmış Akış Programlama Kılavuzu'nda Sürekli İşleme

Ayrıca bkz. Unity Kataloğu ayrılmış erişim modu ve Akış sınırlamaları ve Unity Kataloğu standart erişim modu gereksinimleri için akış sınırlamaları.

Unity Kataloğu ile akış hakkında daha fazla bilgi için bkz. Unity Kataloğu'nu Yapılandırılmış Akış ile Kullanma.