Databricks Runtime 14.2 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 14.2 hakkında bilgi sağlar.

Databricks bu sürümü Kasım 2023'te yayımladı.

Yeni özellikler ve geliştirmeler

• CACHE SELECT artık yoksayılıyor
• Geliştirilmiş önbelleğe alma davranışı
• DML komutlarında bozuk dosya işleme düzeltildi
• Paylaşılan kümelerde protobuf ve Avro ile ilgili işlevler için Şema Kayıt Defteri'ni Destekleme
• foreachBatch ve StreamingListener destek
• Satır düzeyi eşzamanlılık Genel Kullanılabilir ve varsayılan olarak açıktır
• Delta Sharing : Alıcılar, silme vektörleri ile paylaşılan tablolarda toplu iş, CDF ve akış sorguları gerçekleştirebilir (Genel Önizleme)
• Unity Kataloğu dış tabloları (Genel Önizleme) için basit kopya
• Yeni disk önbelleğe alma atama algoritması
• Şema kayıt defteri bağlayıcısı ile from_avro şema geliştirme için destek ekler
• Daha hızlı çok iş parçacıklı istatistik koleksiyonu
• DeltaSource'ta Delta dosyalarında aşağı gönderme filtreleri
• Paylaşılan kümelerde Scala skaler kullanıcı tanımlı işlevler desteği (Genel Önizleme)

CACHE SELECT artık yoksayılıyor

SQL komutu CACHE SELECT artık geliştirilmiş bir önbelleğe alma algoritmasına göre yoksayılır. Bkz. Azure Databricks'te önbelleğe alma ile performansı iyileştirme.

Geliştirilmiş önbelleğe alma davranışı

Spark zamanlayıcı tarafından diskCache yerleştirme artık daha hızlı bölüm ataması, küme otomatik ölçeklendirmesi sırasında daha iyi dengeleme ve daha tutarlı sorgu yürütme özelliğine sahip.

DML komutlarında bozuk dosya işleme düzeltildi

DML komutları DELETE, UPDATEve MERGE INTO artık ve okuma seçeneklerine ignoreCorruptFilesignoreMissingFilessaygı duymaz. Tabloda okunamayan bir dosyayla karşılaşıldığında, bu seçenekler belirtilmiş olsa bile bu komutlar artık başarısız olur.

Paylaşılan kümelerde protobuf ve Avro ile ilgili işlevler için Şema Kayıt Defteri'ni destekleme

Artık paylaşılan kümelerde Schema Registry ile from_avro, to_avro, from_protobufve to_protobuf Python işlevlerini kullanabilirsiniz.

foreachBatch ve StreamingListener destek

Artık ve API'lerini paylaşılan kümelerde Yapılandırılmış Akış ile kullanabilirsiniz foreachBatch()StreamingListener . Bkz . Azure Databricks'te rastgele veri havuzlarına yazmak için foreachBatch kullanma ve Yapılandırılmış Akış sorgularını izleme.

Satır düzeyi eşzamanlılık Genel Kullanılabilir ve varsayılan olarak açıktır

Satır düzeyi eşzamanlılık, satır düzeyindeki değişiklikleri algılayarak eşzamanlı yazma işlemleri arasındaki çakışmaları azaltır. Satır düzeyi eşzamanlılık yalnızca, sıvı kümeleme içeren tabloları içeren bölümleme olmayan tablolarda desteklenir. Silme vektörleri etkinleştirilmiş Delta tablolarında satır düzeyi eşzamanlılık varsayılan olarak etkindir. Bkz . Satır düzeyi eşzamanlılık ile yazma çakışmaları.

Delta Paylaşımı: Alıcılar, silme vektörleriyle paylaşılan tablolarda toplu iş, CDF ve akış sorguları gerçekleştirebilir (Genel Önizleme)

Delta Sharing alıcıları artık silme vektörleri kullanan paylaşılan tablolarda toplu, CDF ve akış sorguları gerçekleştirebilir. Databricks Runtime 14.1'de yalnızca toplu sorgular gerçekleştirebilirler. Silme vektörleri veya sütun eşlemesi kullanarak tablolara ekleme yapmak için bakın, Silme vektörleri veya sütun eşlemesi etkinleştirilmiş tablolarda okuma işlemi yapmave Silme vektörleri veya sütun eşlemesi etkinleştirilmiş tablolarda okuma işlemleri hakkında bilgi alın.

Unity Kataloğu dış tabloları için sığ kopya (Genel Önizleme)

Artık Unity Kataloğu dış tablolarında sığ kopya kullanabilirsiniz. Bkz. Unity Kataloğu tabloları için sığ kopya .

Yeni disk önbelleğe alma atama algoritması

Spark zamanlayıcı artık yeni bir disk önbelleğe alma algoritması kullanıyor. Algoritma, hem başlangıçta hem de küme ölçeklendirme olaylarından sonra daha hızlı atama ile düğümler arasında disk kullanımını ve bölüm atamasını geliştirir. Daha yapışkan önbellek ataması çalıştırmalar arasında tutarlılığı artırır ve yeniden dengeleme işlemleri sırasında taşınan verileri azaltır.

Şema kayıt defteri bağlayıcısı ile from_avro şema evrimi için destek ekler

Artık değişen kayıtlar algılandığında işlem hatlarınızın yeniden başlatılmasını etkinleştirebilirsiniz. Daha önce, from_avro bağlayıcısıyla şema evrimi olduysa, yeni sütunlar nulldöndürür. Bkz . Akış Avro verilerini okuma ve yazma.

Daha hızlı çok iş parçacıklı istatistik koleksiyonu

Iceberg ve Parquet tablolarından CONVERT TO DELTA çalıştırılırken veya kopya çıkartılırken, küçük kümelerde istatistik toplama 10 kata kadar daha hızlıdır. Bkz. Delta Lake'a Dönüştürme ve Clone Parquet ve Iceberg tablolarını.

DeltaSource'ta Delta dosyalarında aşağı gönderme filtreleri

Daha iyi kullanım için Delta tablolarındaki bölüm filtreleri akış sorguları artık hız sınırlamadan önce Delta'ya gönderiliyor.

Paylaşılan kümelerde Scala skaler kullanıcı tanımlı işlevler desteği (Genel Önizleme)

Artık Paylaşılan erişim moduyla yapılandırılmış Unity Kataloğu özellikli kümelerde Scala skaler kullanıcı tanımlı işlevlerini kullanabilirsiniz. Bkz . Kullanıcı tanımlı skaler işlevler - Scala.

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • fastjsonschema 2.18.0 ile 2.19.0
  • 3.12.3 ile 3.12.4 arasında dosya kilidi
  • 1.60.0 ile 1.61.0 arası googleapis-common-protos
• Yükseltilen R kitaplıkları:
• Yükseltilen Java kitaplıkları:

Apache Spark

Databricks Runtime 14.2, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 14.1'de yer alan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-45592] [DBRRM-624] "[SC-146977][SQL] InMemoryTableScanExec ile AQE'de doğruluk sorunu"
• [SPARK-45524] [DBRRM-625] "[SC-146319][PYTHON][SQL] İlk destek f...
• [SPARK-45433] [DBRRM-621] "[SC-145163][SQL] CSV/JSON şeması çıkarma düzeltmesini geri al"
• [SPARK-45592] [SC-146977][SQL] InMemoryTableScanExec ile AQE'de doğruluk sorunu
• [SPARK-45354] Revert "[SC-143991][SQL] Resolve functions bottom-up"
• [SPARK-45680] [YALNIZCA TEST][SASP-2347][BAĞLAN] Testleri düzeltme
• [SPARK-45680] [BAĞLAN] Sürüm oturumu
• [SPARK-43380] [SC-146726][ES-897115][SQL] Avro okumada yavaşlama düzeltilir
• [SPARK-45649] [SC-146742][SQL] için hazırlama çerçevesini birleştirme OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][PYTHON][SQL] Json'dan StructType Oluşturma
• [SPARK-45620] [SC-146225][PYTHON] Python UDTF ile ilgili kullanıcıya yönelik API'leri camelCase kullanacak şekilde düzeltme
• [SPARK-45727] [SC-146978][SS] Filigran yayma benzetiminde kullanılmayan haritayı kaldırma
• [SPARK-45723] [SC-146890][PYTHON][CONNECT] Katalog yöntemleri pandas'a dönüştürmeyi önler
• [SPARK-45574] [SC-146106][SQL] Tür oluşturma için kısaltma olarak :: söz dizimi ekleyin
• [SPARK-45670] [SC-146725][CORE][3.5] SparkSubmit, K8'lerde dağıtım yaparken desteklemiyor --total-executor-cores
• [SPARK-45661] [SC-146594][SQL][PYTHON] StructType, MapType ve ArrayType içinde toNullable ekleme
• [SPARK-45524] [SC-146319][PYTHON][SQL] Python veri kaynağı okuma API'si için ilk destek
• [SPARK-45542] [SC-145892][CORE] şununla değiştir setSafeMode(HdfsConstants.SafeModeAction, boolean)setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][SQL] SPJ: Dinamik filtrelemeden sonra boş giriş bölümlerini işleme
• [SPARK-45454] [SC-144846][SQL] Tablonun varsayılan sahibini current_user olarak ayarlayın
• [SPARK-45554] [SC-146875][PYTHON] için esnek parametre ekleme assertSchemaEqual
• [SPARK-45242] [SC-143410][SQL] CollectMetrics'i sembolik olarak doğrulamak için DataFrame Kimliğini kullanma
• [SPARK-45674] [SC-146862][BAĞLAN][PYTHON] Spark Connect'te JVM'ye bağımlı öznitelikler için hata iletisini geliştirin.
• [SPARK-45646] [SC-146276][SQL] Hive 2.0 öncesi sabit kodlama süresi değişkenlerini kaldırma
• [SPARK-43380] [SC-146726][ES-897115][SQL] Avro okumada yavaşlama düzeltilir
• [SPARK-45545] [SC-146484][CORE] SparkTransportConf oluşturduğumuz her yerde SSLOptions'ı geçirme
• [SPARK-45641] [SC-146260][UI] Uygulamanın başlangıç zamanını AllJobsPage'de görüntüleme
• [SPARK-40154] [SC-146491][Python][Docs] Dataframe.cache docstring'de doğru depolama düzeyi
• [SPARK-45626] [SC-146259][SQL] _LEGACY_ERROR_TEMP_1055 REQUIRES_SINGLE_PART_NAMESPACE dönüştürme
• [SPARK-45507] [SC-145900][SQL] COUNT toplamalarıyla iç içe bağıntılı skaler alt sorgular için doğruluk düzeltmesi
• [SPARK-45619] [SC-146226][BAĞLAN][PYTHON] Gözlemlenen ölçümleri Gözlem nesnesine uygulama
• [SPARK-45588] [SC-145909][PROTOBUF][BAĞLAN][KÜÇÜK] StreamingForeachBatchHelper için Scaladoc iyileştirmesi
• [SPARK-45616] [SC-146120][CORE] ThreadLocals veya SparkSession yaymayan ParVector'ı kullanmaktan kaçının
• [SPARK-45604] [SC-146105][SQL] INT64 üzerinde LogicalType denetimi ekleme -> Parquet Vectorized Reader'da DateTime dönüştürme
• [SPARK-44649] [SC-145891][SQL] Çalışma Zamanı Filtresi eşdeğer oluşturma yan ifadelerini geçirmeyi destekler
• [SPARK-41674] [SC-128408][SQL] Çalışma zamanı filtresi, filtre oluşturma tarafı olarak çok düzeyli karıştırma birleştirme tarafını desteklemelidir
• [SPARK-45547] [SC-146228][ML] Yerleşik işlevle Vektörleri Doğrulama
• [SPARK-45558] [SC-145890][SS] Durum bilgisi olan akış işleci için meta veri dosyası ekleme
• [SPARK-45618] [SC-146252][CORE] BaseErrorHandler'ı kaldırma
• [SPARK-45638] [SC-146251][SQL][Avro] Ondalık dönüştürmenin test kapsamını geliştirme
• [SPARK-44837] [SC-146020][SQL] ALTER TABLE ALTER PARTITION sütun hata iletisini değiştirin
• [SPARK-45561] [SC-146264][SQL] MySQLDialect'te TINYINT için uygun dönüştürmeler ekleme
• [SPARK-45632] [SC-146255][SQL] Tablo önbelleği, AQE'yi etkinleştirirken gereksiz ColumnarToRow'un önüne geçmelidir
• [SPARK-45569] [SC-145932][SQL] Hata _LEGACY_ERROR_TEMP_2152 adı atayın
• [SPARK-44784] [SC-141015][BAĞLAN] SBT testini hermetik hale getirin.
• [SPARK-45452] [SC-144836][SQL] API'yi kullanmayı InMemoryFileIndex geliştirme FileSystem.listFiles
• [SPARK-44735] [SC-146186][SQL] Aynı ada sahip ve uyumsuz satırlara sütun eklenirken uyarı mesajı ekleme
• [SPARK-45351] [SC-144791][CORE] Varsayılan değeri ROCKSDB olarak değiştirme spark.shuffle.service.db.backend
• [SPARK-45553] [SC-145906][PS] Kullanımdan kaldır assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][CORE] DeterministicLevel'i DeveloperApi Olarak Kullanıma Sunma
• [SPARK-45549] [SC-145895][CORE] Kullanılmayan numExistingExecutors'yi CoarseGrainedSchedulerBackend'da kaldırma
• [SPARK-45609] [SC-146030][BAĞLAN] SparkThrowable proto iletisine SqlState ekleme
• [SPARK-45595] [SC-146037] hata iletisinde sqlstate'i kullanıma sunar
• [SPARK-45628] [SC-146123][ML] için geliştirme vector_to_array.mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][SQL][TAKİP] AQE InSubquery testi için birleştirme koşullarında dekorilasyonu devre dışı bırakma
• [SPARK-45576] [SC-145883][CORE] ReloadingX509TrustManagerSuite'da gereksiz hata ayıklama günlüklerini kaldırma
• [SPARK-45485] [SC-145719][BAĞLAN] Kullanıcı aracısı geliştirmeleri: SPARK_CONNECT_USER_AGENT env değişkenlerini kullanın ve ortama özgü öznitelikler ekleyin
• [SPARK-45508] [SC-145513][CORE] Platform'un Java 9+ üzerinde Temizleyici'ye erişebilmesi için "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" ekleyin
• [SPARK-45595] "[SC-146037] SQLSTATE'i hata iletisinde kullanıma sunma"
• [SPARK-45595] [SC-146037] Hata iletisinde SQLSTATE'i kullanıma sunma
• [SPARK-45112] Revert "[SC-143259][SQL] UnresolvedFunction ba... kullan
• [SPARK-45257] [SC-143411][CORE] Varsayılan olarak etkinleştir spark.eventLog.compress
• [SPARK-45586] [SC-145899][SQL] Büyük ifade ağaçları içeren planlar için derleyici gecikme süresini azaltma
• [SPARK-45517] [SC-145691][CONNECT][14.x] Hata çerçevesi parametrelerini desteklemek için daha fazla özel durum oluşturucuyu genişletin
• [SPARK-45581] [SC-145896] SQLSTATE'i zorunlu hale getirin.
• [SPARK-45427] [SC-145590][CORE] SSLOptions ve SparkTransportConf'a RPC SSL ayarları ekleme
• [SPARK-45261] [SC-143357][CORE] Codec olarak işlemek EventLogFileWriters için düzeltme none
• [SPARK-45582] [SC-145897][SS] Çıkış modu akış toplama içinde işleme çağrıldıktan sonra depo örneğinin kullanılmadığından emin olun
• [SPARK-45562] [SC-145720][SC-144650][SQL] XML: 'rowTag' öğesini gerekli bir seçenek yapın
• [SPARK-45392] [SC-144362][CORE][SQL][SS] şununla değiştir Class.newInstance()Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][SQL] Zaman damgaları belirtilen timestampFormat ile eşleşmediğinde CSV/JSON şema çıkarımı düzeltildi
• [SPARK-45458] [SC-145011][SQL] Bit düzeyindeExpressions'da IllegalArgumentException'ı SparkIllegalArgumentException'a Dönüştürme
• [SPARK-45564] [SC-145735][SQL] 'BloomFilterAggregate' ifadesiyle 'DataFrameStatFunctions.bloomFilter' öğesini basitleştirin
• [SPARK-45566] [SC-145777][PS] Spark üzerinde Pandas API'leri için Pandas benzeri test yardımcı programlarını destekleme
• [SPARK-45498] [SC-145509][CORE] İzleme: Eski aşamadan görev tamamlanmasını yoksay...
• [SPARK-45483] [SC-145152][BAĞLAN] Connect.functions içindeki işlev gruplarını düzeltme
• [SPARK-45577] [SC-145781][PYTHON] UserDefinedPythonTableFunctionAnalyzeRunner'ın adlandırılmış bağımsız değişkenlerden katlanan değerleri geçirmesini düzeltme
• [SPARK-45009] [SC-138223][TAKİP] AetherSQLQuerySuite için birleştirme koşullarında dekorrelasyonu kapatma
• [SPARK-45415] [SC-145344] RocksDB statestore'da "fallocate" öğesinin seçmeli olarak devre dışı bırakılmasına izin ver
• [SPARK-45500] [SC-145134][CORE][WEBUI] MasterPage'de anormal olarak tamamlanmış sürücülerin sayısını gösterme
• [SPARK-44120] [SC-144349][PYTHON] Python 3.12 desteği
• [SPARK-45439] [SC-145589][SQL][UI] LiveStageMetrics.accumIdsToMetricType'ın bellek kullanımını azaltma
• [SPARK-45565] [SC-145717][UI] Aşama ayrıntılarındaki görev listesi için gereksiz JSON.stringify ve JSON.parse döngüsü
• [SPARK-45567] [SC-145718][CONNECT] org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run içindeyse yedekliyi kaldırma
• [SPARK-45112] [SC-143259][SQL] SQL Veri Kümesi işlevlerinde UnresolvedFunction tabanlı çözümleme kullanma
• [SPARK-45486] [SASP-2457][SC-145612][BAĞLAN] add_artifact isteği bir kez etkili hale getirme
• [SPARK-44913] [SC-144326][SQL] DS V2, sihirli yöntemi olan V2 UDF'nin aşağı gönderimi destekler
• [SPARK-45538] [SC-145635][PYTHON][BAĞLAN]pyspark connect overwrite_partitions hatası
• [SPARK-45491] [SC-145622] Eksik SQLSTATES 2/2'yi ekleme
• [SPARK-45009] [SC-145620][SC-138223][SQL] Birleştirme koşulundaki koşul alt sorgularını düzeltme
• [SPARK-45377] [SC-144377][CORE] NettyLogger'da InputStream İşle
• [SPARK-45248] [SC-143759][CORE]Spark ui sunucusu için zaman aşımını ayarlama
• [SPARK-44594] [SC-145611][SS] Kafka bağlayıcısında yedekli yöntem parametresini kaldırma
• [SPARK-45539] [SC-145621][SS] Ekleme modunda akış toplama sorguları için filigran tanımının gerektiğini belirtmek amacıyla doğrulama ve kayıt ekleme.
• [SPARK-44262] [SC-145639][SQL] JdbcDialect'e ve dropTable ekleme getInsertStatement
• [SPARK-45516] [SC-145480][BAĞLAN] SparkThrowable proto iletisine QueryContext ekleme
• [SPARK-45310] [SC-145127][CORE] Devre dışı bırakma geçişi sırasında rapor karıştırma bloğu durumu karıştırma hizmetine uygun olmalıdır
• [SPARK-45521] [SC-145487][ML] içinde nnz'nin yeniden hesaplanmasından kaçının VectorAssembler
• [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] current_database() sütun diğer adını current_schema() olarak değiştirme
• [SPARK-45116] [SC-145142][SQL] JdbcDialect parametresi için açıklama ekleme createTable
• [SPARK-45495] [SC-145529][çekirdek] Dinamik ayırma devre dışı bırakıldığında k8s kümesi için destek aşaması düzeyi görev kaynak profili
• [SPARK-45487] [SC-145559] SQLSTATEs ve geçici hataları düzeltme
• [SPARK-45505] [SC-145550][PYTHON] Yeniden kullanılabilir hale getirmek için analyzeInPython'u yeniden düzenleme
• [SPARK-45132] [SC-145425][SQL] İşlev çağırma için IDENTIFIER düzeltme
• [SPARK-45213] [SC-145020][SQL] Hata _LEGACY_ERROR_TEMP_2151 adı atayın
• [SPARK-45416] [SC-145126][BAĞLAN] Ok sonuçlarının tutarlılığını denetleme
• [SPARK-45163] [SC-143386][SQL] UNSUPPORTED_VIEW_OPERATION Birleştir & UNSUPPORTED_TABLE_OPERATION ve bazı sorunları düzelt
• [SPARK-45421] [SC-144814][SQL] InlineCTE üzerinde Catch AnalysisException
• [SPARK-43664] [SC-145404][BAĞLAN][PS] Spark Connect'te ps.sql Pandas-on-Spark nesnesi için özel durum oluşturma.
• [SPARK-45402] [SC-145371][SQL][PYTHON] Önceki 'analiz' sonucunu kullanmak için 'değerlendirme' ve 'sonlandırma' yöntemleri için UDTF API'sini ekleyin
• [SPARK-36112] [SC-67885] [SQL] DecorrelateInnerQuery çerçevesi kullanılarak bağıntılı EXISTS ve IN alt sorgularını destekleme
• [SPARK-45383] [SC-144929][SQL] Var olmayan tabloyla zaman yolculuğu için hata iletisini düzeltme
• [SPARK-43254] [SC-143318][SQL] Hata _LEGACY_ERROR_TEMP_2018 bir ad atayın
• [SPARK-45204] [SC-145167][BAĞLAN] SparkConnectPlanner'a isteğe bağlı ExecuteHolder ekleme
• [SPARK-45451] [SC-145144][SQL] Veri kümesi önbelleğinin varsayılan depolama düzeyini yapılandırılabilir hale getirme
• [SPARK-45192] [SC-143194][UI] Graphviz edge için süresi geçmiş çizgiinterpolate parametresi düzelt
• [SPARK-45467] [SC-145146][CORE] şununla değiştir Proxy.getProxyClass()Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ML][BAĞLAN] Dizi derleyicisi özellik transformatörü ekleme
• [SPARK-44855] [SC-145226][BAĞLAN] ExecuteResponseObserver'a ExecuteGrpcResponseSender eklemeye yönelik küçük ayarlamalar
• [SPARK-45398] [SC-144796][SQL] İfadenin ESCAPE sonuna sql() ekleme Like
• [SPARK-45494] [SC-145129][CORE][PYTHON] PythonWorkerUtils için bayt dizisini okumak/yazmak için yardımcı işlevleri tanıtma
• [SPARK-45464] [SC-145125][CORE] Ağ ipliği dağıtım derlemesi düzelt
• [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] StorageLevel için eşleyici tanıtma
• [SPARK-45450] [SC-145009][PYTHON] PEP8'e göre içeri aktarmaları düzeltme: pyspark.pandas ve pyspark (çekirdek)
• [SPARK-45475] [SC-145018][SQL] JdbcUtils içinde RDD.foreachPartition yerine DataFrame.foreachPartition kullanır
• [SPARK-45271] [SC-143778][SQL] QueryCompilationErrors'da _LEGACY_ERROR_TEMP_1113 TABLE_OPERATION birleştirin ve kullanılmayan bazı yöntemleri silin
• [SPARK-45449] [SC-145013][SQL] JDBC Tablosuyla Önbellek GeçersizLeştirme Sorunu
• [SPARK-45473] [SC-145017][SQL] RoundBase için yanlış hata iletisi düzeltilir
• [SPARK-43299] [SC-145022][SS][BAĞLAN] Scala İstemcisinde StreamingQueryException'ı Dönüştürme
• [SPARK-45474] [SC-145014][CORE][WEBUI] MasterPage JSON API'sinde üst düzey filtrelemeyi destekleme
• [SPARK-45205] [SC-145012][SQL] Birden çok işin tetiklenmesinden kaçınmak için yineleyici yöntemlerini geçersiz kılmak için CommandResultExec.
• [SPARK-45472] [SC-145004][SS] RocksDB State Store'un denetim noktası yolunun varlığını yeniden denetlemesi gerekmez
• [SPARK-45470] [SC-145010][SQL] Hive orc sıkıştırma türünün dize değerini yapıştırmaktan kaçının
• [SPARK-45448] [SC-144829][PYTHON] PEP8'e göre içeri aktarmaları düzeltme: pyspark.testing, pyspark.mllib, pyspark.resource ve pyspark.streaming
• [SPARK-45446] [SC-144828][PYTHON] PEP8'e göre içeri aktarmaları düzeltme: pyspark.errors ve pyspark.ml
• [SPARK-45239] [SC-144832][BAĞLAN] Varsayılan spark.connect.jvmStacktrace.maxSize değerini azaltın
• [SPARK-45436] [SC-144831][PYTHON][BAĞLAN] DataFrame yöntemleri aynı oturumu denetle
• [SPARK-45413] [SC-144847][CORE] Drop LevelDB desteği hazırlama için uyarı ekleme
• [SPARK-45462] [SC-144848][CORE][WEBUI] Göster DurationApplicationPage
• [SPARK-44527] [SC-144855][SQL] maxRows değeri 0 ise ScalarSubquery değerini null ile değiştirin
• [SPARK-45401] [SC-144854][PYTHON] UDTF arabirimine yeni bir yöntem cleanup ekleme
• [SPARK-43704] [SC-144849][BAĞLAN][PS] Için destek MultiIndexto_series()
• [SPARK-45424] [SC-144888][SQL] Yalnızca ön ek eşleşmesi olduğunda TimestampFormatter isteğe bağlı ayrıştırma sonuçları döndüren düzeltme
• [SPARK-45441] [SC-144833][PYTHON] PythonWorkerUtils için daha fazla yardımcı işlev tanıtın
• [SPARK-45412] [SC-144803][PYTHON][BAĞLAN] 'da planı ve oturumu doğrulama DataFrame.__init__
• [SPARK-45408] [SC-144810][CORE] TransportConf'a RPC SSL ayarları ekleme
• [SPARK-45432] [SC-144818][CORE] Kullanım dışı bırakılan Hadoop-2 LocatedFileStatus oluşturucuyu kaldırma
• [SPARK-45434] [SC-144819][ML][BAĞLAN] LogisticRegression eğitim etiketlerini denetler
• [SPARK-45420] [SC-144808][SQL][PYTHON][BAĞLAN] PySpark'a DataType.fromDDL ekleme
• [SPARK-45406] [SC-144793][PYTHON][BAĞLAN] DataFrame oluşturucusundan silme schema
• [SPARK-45404] [SC-144799][CORE] Destek AWS_ENDPOINT_URL env değişkeni
• [SPARK-43620] [SC-144792][BAĞLAN][PS] Pandas API'lerinin düzeltilmesi desteklenmeyen özelliklere bağlıdır
• [SPARK-45354] [SC-143991][SQL] İşlevleri alttan yukarı çözümleme
• [SPARK-45394] [SASP-1480][SC-144712][PYTHON][BAĞLAN] Yapıt API'sine yeniden denemeler ekleyin. Hata işlemeyi geliştirin ([SPARK-45093] izlemesi).
• [SPARK-45120] [SC-142780][SPARK-45150][UI] v3'ten v7(v7.8.5) sürümüne d3'e yükseltme ve kullanıcı arabiriminde API değişikliklerini uygulama
• [SPARK-44838] [SC-143983][SQL] raise_error iyileştirmesi
• [SPARK-45312] [SC-143754][SQL][UI] Yürütme sayfasında plan svg'sini görüntüleme/gizleme desteği iki durumlu düğmesi
• [SPARK-45378] [SC-144448][CORE] ManagedBuffer'a convertToNettyForSsl ekleme
• [SPARK-44762] [SC-144338][BAĞLAN][CORE] SparkConnect.addJobTag ve Connect SparkSession.addTag için Belge
• [SPARK-45383] Çözümlenmemiş RelationTimeTravel'ı düzgün bir şekilde işleme
• [SPARK-45347] [SC-144512][SQL][BAĞLAN] FetchErrorDetailsResponse'a SparkThrowable ekleme
• [SPARK-45012] [SC-141512][SQL] CheckAnalysis, AnalysisException'da inlined plan oluşturmalı
• [SPARK-45359] [SC-144336][PYTHON][BAĞLAN] DataFrame.{columns, colRegex, explain} plan geçersiz olduğunda özel durumlar tetiklemelidir
• [SPARK-45227] [SC-144233][CORE] CoarseGrainedExecutorBackend ile küçük bir iş parçacığı güvenliği sorunu düzeltildi
• [SPARK-45266] [SC-144171][PYTHON] Tablo bağımsız değişkenleri kullanıldığında lateral birleştirmeyi geciktirmek için ResolveFunctions çözümleyici kuralını yeniden düzenleme
• [SPARK-45266] Revert "[SC-144171][PYTHON] Tablo bağımsız değişkenleri kullanıldığında yanal birleştirmeyi geciktirmek için ResolveFunctions çözümleyici kuralını yeniden düzenleyin"
• [SPARK-45371] [SC-144389][BAĞLAN] Spark Connect Scala İstemcisi'nde gölgelendirme sorunlarını düzeltme
• [SPARK-45057] [SC-144214][CORE] keepReadLock yanlış olduğunda okuma kilidi almaktan kaçının
• [SPARK-45385] [SC-144357][SQL] Kullanımdan kaldır spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][SQL] SQL yapılandırma spark.sql.hive.verifyPartitionPath kaldırma
• [SPARK-45266] [SC-144171][PYTHON] Tablo bağımsız değişkenleri kullanıldığında yanal birleştirmeyi geciktirmek için ResolveFunctions analizci kuralını yeniden düzenleme
• [SPARK-45362] [SC-144198][PYTHON] Python UDTF 'eval' yöntemi bunları tüketmeden önce PARTITION BY ifadelerini yansıtma
• [SPARK-45346] [SC-143925][SQL] Parquet şema çıkarımı şemayı birleştirirken büyük/küçük harfe duyarlı bayrağı dikkate almalıdır
• [SPARK-45341] [SC-143933][CORE] Java 17 ile başarıyla çalıştırabilmek sbt doc için KVStore.java açıklamalarındaki başlık düzeyini düzeltin
• [SPARK-45334] [SC-143914][SQL] ParquetSchemaConverter'da yanıltıcı açıklamayı kaldırma
• [SPARK-45337] [SC-143932][CORE] Scala 2.12 denetimini kaldırmak için AbstractCommandBuilder#getScalaVersion yeniden düzenleme
• [SPARK-45329] [SC-143918][PYTHON][BAĞLAN] DataFrame yöntemleri pandas dönüştürmeyi atlar
• [SPARK-43662] [SC-143923][PS][BAĞLAN] Spark Connect'te destek merge_asof
• [SPARK-44126] [SC-143751][CORE] Hedef yürütücü kullanımdan kaldırıldığında karıştırma geçiş hatası sayısı artmamalıdır
• [SPARK-44550] [SC-119768][SQL] ANSI altında için null IN (empty list) doğruluk düzeltmelerini etkinleştirme
• [SPARK-45316] [SC-143783][CORE][SQL] HadoopRDD ve NewHadoopRDD için yeni parametreler ignoreCorruptFiles/ignoreMissingFiles ekleme
• [SPARK-45093] [SC-143414][BAĞLAN][PYTHON] addArtifacts sorgusu için hata raporlama
• [SPARK-44756] [SC-143787][CORE] RetryingBlockTransferor yeniden denemeyi başlatamadığında yürütücü kilitleniyor
• [SPARK-45333] [SC-143768][CORE] spark.eventLog.buffer.kb ile ilgili bir birim hatasını düzeltme
• [SPARK-45317] [SC-143750][SQL][BAĞLAN] Özel durumların yığın izlemelerinde null dosya adını işleme
• [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId sütunlu bilgiler ekler
• [SPARK-45235] [SC-143314][CONNECT][PYTHON] sql() tarafından eşleme ve dizi parametrelerini destekleme
• [SPARK-45138] [SC-143309][SS] DFS'ye denetim noktası oluşturma işlemi başarısız olduğunda yeni bir hata sınıfı tanımlayın ve bunu uygulayın
• [SPARK-45297] [SC-143644][SQL] SPARK-31827'ye eklenen tarih biçimlendirici için geçici çözümü kaldırma
• [SPARK-44345] [SC-143593][CORE] unknown shuffle map output Karıştırma geçişi etkinse WARN'a düşük günlük düzeyi
• [SPARK-44463] [SC-143251][SS][BAĞLAN] Çalışan Python'a bağlanma için hata işlemeyi geliştirme
• [SPARK-45207] [SC-143603][SQL][BAĞLAN] Scala İstemcisi için Hata Zenginleştirmesi Uygulama
• [SPARK-45240] [SC-143602][SQL][BAĞLAN] Python İstemcisi için Hata Zenginleştirmesi Uygulama
• [SPARK-45216] [SC-143288][SQL] Belirlenemeyen dengeli Veri Kümesi API'lerini düzeltme
• [SPARK-45251] [SC-143419][BAĞLAN] FetchErrorDetails için client_type alanı ekleme
• [SPARK-45137] [SC-143001][CONNECT] Parametreli sql() içinde eşleme/dizi parametrelerini destekleme
• [SPARK-45224] [SC-143257][PYTHON] sql() parametreleri olarak harita ve dizi içeren örnekler ekleme
• [SPARK-44622] [SC-143205][SQL][BAĞLAN] FetchErrorDetails RPC Uygulama
• [SPARK-45178] [SC-136089] Sarmalayıcı kullanmak yerine desteklenmeyen kaynaklarla Trigger.AvailableNow için tek bir toplu iş yürütmeye geri dönüş
• [SPARK-44823] [14.x][SC-142979][PYTHON] Black'i 23.9.1'e güncelle ve hatalı denetimi düzelt
• [SPARK-45078] [SC-142954][SQL] ImplicitCastInputTypes'ın çalışmaması sorununu düzeltme array_insert
• [SPARK-44579] [SC-138428][SQL] SQLExecution'da İptalDe Destek Kesintisi
• [SPARK-45252] [SC-143371][CORE] Başarıyla yürütülmek sbt doc için açıklamalardaki büyüktür/küçüktür simgelerinden kaçış
• [SPARK-45189] [SC-142973][SQL] TableIdentifier'dan Çözümlenmemiş İlişki oluşturma katalog alanını içermelidir
• [SPARK-45229] [SC-143254][CORE][UI] MasterPage'de GÖNDERİLEN durumunda bekleyen sürücülerin sayısını göster
• [SPARK-43453] "[SC-143135][PS] için namesne zaman MultiIndex olduğunu axis=1concat yoksay"

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).

Bkz . Databricks Runtime 14.2 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Gölü: 3.0.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları, 2023-02-10'da Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)