Databricks Runtime 16.0

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 16.0 hakkında bilgi sağlar.

Databricks bu sürümü Kasım 2024'te yayımladı.

Davranış değişiklikleri

• Hataya neden olan değişiklik: JDK 17 artık varsayılan değerdir
• Hataya neden olan değişiklik: Barındırılan RStudio kullanım ömrü sonudur
• Hataya neden olan değişiklik: , byteshort ve int türlerini daha geniş türlere değiştirme longdesteğinin kaldırılması
• İç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırılması
• Delta Lake'te yinelenen eşleşme algılamayı geliştirme MERGE
• Küme kitaplığı yükleme yöntemi artık geçersiz kılınamıyor
• Küme kapsamlı kitaplık yüklemeleri için varsayılan iki saatlik zaman aşımı
• DBFS'den kitaplık yükleme ve spark konfederasyonunu spark.databricks.driver.dbfsLibraryInstallationAllowed ayarlama devre dışı bırakıldı
• İşlevler addArtifact() artık işlem türleri arasında tutarlıdır

Hataya neden olan değişiklik: JDK 17 artık varsayılan değerdir

Databricks Runtime 16.0 ve üzeri sürümlerde varsayılan JDK sürümü JDK 8'den JDK 17'ye geçirilir. JDK 8 için planlanan kullanımdan kaldırma ve destek sonu nedeniyle bu değişiklik yapılır. Bu, aşağıdakileri etkiler:

• Azure Databricks işlem üzerinde çalışan Java kodu Java 17 ile uyumlu olmalıdır.
• Not defterlerinde veya Azure Databricks işlemlerinde çalışan scala kodu Java 17 ile uyumlu olmalıdır.
• İşlemde yüklü Java ve Scala kitaplıklarının Java 17 ile uyumlu olması gerekir.
• Apache Hive meta veri deposu istemcisinin 2.x'in altındaki sürümleri. Spark yapılandırmasını spark.sql.hive.metastore.version 2.x'ten düşük bir sürüme ayarlamak, Java 17 ile uyumluluk sorunlarına ve Hive meta veri deposuna bağlantı hatalarına neden olur. Databricks, Hive'ı 2.0.0'ın üzerindeki bir sürüme yükseltmenizi önerir.

Java 8'e geri dönmeniz gerekiyorsa, Azure Databricks işleminizi yapılandırırken Spark ortam değişkenlerine aşağıdakileri ekleyin:

JNAME=zulu8-ca-amd64

ARM örnekleri kullanıyorsanız aşağıdakileri kullanın:

JNAME=zulu8-ca-arm64

Azure Databricks işlem ile JDK sürümlerini belirtme hakkında daha fazla bilgi edinmek için bkz . JDK 17 kullanan bir küme oluşturma.

Kodunuzu Java 8'den geçirme konusunda yardım için aşağıdaki kılavuzlara bakın:

• Java 8'den Java 11'e geçiş
• JDK 8'den Sonraki JDK Sürümlerine Geçiş

Hataya neden olan değişiklik: Barındırılan RStudio kullanım ömrü sonudur

Bu sürümle birlikte, Databricks tarafından barındırılan RStudio Server kullanım ömrü sona erer ve Databricks Runtime 16.0 ve üzerini çalıştıran herhangi bir Azure Databricks çalışma alanında kullanılamaz. Daha fazla bilgi edinmek ve RStudio'nun alternatiflerinin listesini görmek için bkz . Barındırılan RStudio Sunucusu kullanımdan kaldırma.

Hataya neden olan değişiklik: , byteshort ve int türlerini daha geniş türlere değiştirme longdesteğinin kaldırılması

Databricks Runtime 15.4.3 ve üzerinde, tür genişletme özelliği etkin olan tablolara artık aşağıdaki veri türü değişiklikleri uygulanamıyor:

• byte, shortint ve long için decimal.
• byte, shortve int için double.

Delta ve Iceberg tablolarında tutarlı davranış sağlamak için bu değişiklik yapılır. Tür genişletme hakkında daha fazla bilgi edinmek için bkz . Tür genişletme.

İç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırılması

Bu sürüm, iç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırılmasını destekleyen bir değişiklik içerir. Örneğin, [^[abc]] "'abc'lerden biri olmayan herhangi bir karakter" olarak ayrıştırılır.

Buna ek olarak, iç içe karakter sınıfları için Foton davranışı Spark ile tutarsızdı. İç içe karakter sınıfları içeren regex desenleri artık Photon kullanmaz ve spark kullanır. İç içe yerleştirilmiş karakter sınıfı, gibi [[a-c][1-3]]köşeli ayraçlar içinde köşeli ayraç içeren herhangi bir desendir.

Delta Lake'te yinelenen eşleşme algılamayı geliştirme MERGE

Databricks Runtime 15.4 LTS ve altında, MERGE kaynak tablodaki birden fazla satır yan tümcesinde MERGE belirtilen koşula göre ON hedef tabloda aynı satırla eşleşiyorsa işlemler başarısız olur. Databricks Runtime 16.0 ve üzerinde, MERGE yan tümcesinde belirtilen koşulları da dikkate WHEN MATCHED alır. Birleştirmeyi kullanarak bkz . Delta Lake tablosuna upsert ekleme.

Küme kitaplığı yükleme yöntemi artık geçersiz kılınamıyor

Spark yapılandırmaları spark.databricks.libraries.enableSparkPyPI, spark.databricks.libraries.enableMavenResolutionve spark.databricks.libraries.enableCRANResolutionnow artık varsayılan olarak true ve geçersiz kılınamaz.

Küme kapsamlı kitaplık yüklemeleri için varsayılan iki saatlik zaman aşımı

Databricks Runtime 16.0 ve üzerinde küme kapsamlı kitaplık yüklemesinde varsayılan olarak iki saatlik zaman aşımı vardır. Bu zaman aşımından daha uzun sürecek kitaplık yüklemeleri başarısız olur ve yükleme sonlandırılır. Küme yapılandırırken Spark yapılandırmasını spark.databricks.driver.clusterLibraryInstallationTimeoutSeckullanarak zaman aşımı süresini değiştirebilirsiniz.

DBFS'den kitaplık yükleme ve spark konfederasyonunu spark.databricks.driver.dbfsLibraryInstallationAllowed ayarlama devre dışı bırakıldı

Databricks Runtime 16.0 ve üzeri sürümlerde DBFS'den kitaplıkların yüklenmesi tamamen devre dışıdır. Bu değişiklik, Databricks çalışma alanında kitaplıkların güvenliğini artırmak için yapılır. Ayrıca, Databricks Runtime 16.0 ve üzeri sürümleri için Artık Spark yapılandırmasını spark.databricks.driver.dbfsLibraryInstallationAllowedkullanamazsınız.

İşlevler addArtifact() artık işlem türleri arasında tutarlıdır

Bu sürümle, paylaşılan veya sunucusuz Azure Databricks işlemine bağımlılık eklemek için kullandığınızda addArtifact(archive = True) arşiv otomatik olarak açılır. Bu değişiklik, bu işlem türlerindeki addArtifact(archive = True) davranışının, arşivleri otomatik olarak açmayı zaten destekleyen tek kullanıcı işlem türleri ile tutarlı olmasını sağlar.

Yeni özellikler ve geliştirmeler

• İyileştirmeler ile değiştirilmiş Python modüllerinin daha güvenilir bir şekilde yeniden yüklenmesi autoreload
• Özyinelemeli şema için Avro desteği
• to_avro ve from_avro işlevleri
• Avro için Confluent Schema Registry desteği genişletildi
• Sıvı kümeleme ile tablolarda dağınıklığı zorlama
• Python ve Scala için Delta API'leri artık kimlik sütunlarını destekliyor
• Tek kullanıcı işlemlerinde ayrıntılı erişim denetimi genel olarak kullanılabilir
• Akış yazma işlemleri sırasında sıvı kümelenmiş tablolar oluşturma
• FULL yan tümcesi için destek OPTIMIZE
• WITH seçenekleri belirtimi için desteği, INSERT ve tablo başvurusu
• Yeni SQL işlevleri
• Verileri Delta tablosuyla birleştirirken otomatik şema evrimi etkinleştirme

İyileştirmeler ile değiştirilmiş Python modüllerinin daha güvenilir bir şekilde yeniden yüklenmesi autoreload

Databricks Runtime 16.0 ve üzerinde uzantı güncelleştirmeleri autoreload , çalışma alanı dosyalarından içeri aktarılan değiştirilmiş Python modüllerinin yeniden yüklenmesinin güvenliğini ve güvenilirliğini artırır. Bu değişikliklerle, autoreloadmümkün olduğunda modülün tamamı yerine yalnızca değiştirilmiş olan bölümünü yeniden yükler. Ayrıca Azure Databricks artık modülün son içeri aktarma işleminden bu yana değişmesi durumunda uzantının autoreload kullanılmasını otomatik olarak önerir. Bkz . Python modülleri için otomatik yükleme.

Özyinelemeli şema için Avro desteği

Artık işlevini ve recursiveFieldMaxDepth veri kaynağını kullanarak seçeneğini from_avro kullanabilirsinizavro. Bu seçenek Avro veri kaynağında şema özyinelemesi için en yüksek derinliği ayarlar. Bkz . Akış Avro verilerini okuma ve yazma.

to_avro ve from_avro işlevleri

to_avro ve from_avro işlevleri, SQL türlerinin Avro ikili verilerine ve geri dönüşümüne olanak sağlar.

Avro için Confluent Schema Registry desteği genişletildi

Azure Databricks artık Confluent Schema Registry ile Avro şema başvurularını destekliyor. Bkz . Dış Confluent Schema Registry'de kimlik doğrulaması.

Sıvı kümeleme ile tablolarda dağınıklığı zorlama

Databricks Runtime 16.0 ve üzeri sürümlerin söz dizimini OPTIMIZE FULL kullanarak sıvı kümelemesi etkinleştirilmiş bir tablodaki tüm kayıtların yinelenmesine zorlayabilirsiniz. Bkz . Tüm kayıtlar için yeniden sıralamaya zorlama.

Python ve Scala için Delta API'leri artık kimlik sütunlarını destekliyor

Artık Python ve Scala için Delta API'lerini kullanarak kimlik sütunları içeren tablolar oluşturabilirsiniz. Bkz . Delta Lake'te kimlik sütunlarını kullanma.

Tek kullanıcı işlemlerinde ayrıntılı erişim denetimi genel olarak kullanılabilir

Databricks Runtime 16.0 ve üzerinde, tek kullanıcı işlemlerinde ayrıntılı erişim denetimi genel olarak kullanılabilir. Sunucusuz işlem için etkinleştirilen çalışma alanlarında, tek kullanıcılı işlem gibi desteklenen işlem üzerinde bir sorgu çalıştırılırsa ve sorgu aşağıdaki nesnelerden herhangi birine erişiyorsa, işlem kaynağı veri filtrelemeyi çalıştırmak için sorguyu sunucusuz işleme geçirir:

• Kullanıcının ayrıcalıklara sahip olmadığı tablolar üzerinde tanımlanan görünümler SELECT .
• Dinamik görünümler.
• Satır filtrelerinin veya sütun maskelerinin uygulandığı tablolar.
• Gerçekleştirilmiş görünümler ve Akış tabloları

Akış yazma işlemleri sırasında sıvı kümelenmiş tablolar oluşturma

Artık Yapılandırılmış Akış yazmaları ile yeni tablolar oluştururken sıvı kümelemeye olanak tanımak için kullanabilirsiniz clusterBy . Bkz . Sıvı kümelemasını etkinleştirme.

OPTIMIZE FULL yan tümcesi desteği

Databricks Runtime 16.0, OPTIMIZE FULL yan tümcesini destekler. Bu yan tümce, daha önce kümelenmiş olabilecek veriler de dahil olmak üzere sıvı kümeleme kullanan bir tablodaki tüm kayıtları iyileştirir.

INSERT ve tablo başvurusunda WITH seçeneklerinin belirlenmesine destek

Databricks Runtime 16.0, veri kaynaklarının davranışını denetlemek için kullanılabilecek bir deyimin tablo başvuruları ve tablo adları için bir seçenek belirtiminiINSERT.

Yeni SQL işlevleri

Databricks Runtime 16.0'a aşağıdaki SQL işlevleri eklenir:

• try_url_decode

  Bu işlev, url_decode hataya dayanıklı bir sürümüdür. Giriş geçerli bir URL ile kodlanmış dize değilse bu işlev döndürür NULL .

• zeroifnull

  İşleve giriş ifadesi zeroifnull() ise NULL, işlev 0 döndürür. Aksi takdirde, giriş ifadesinin değeri döndürülür.

• nullifzero

  Giriş 0 ise veya 0 değilse girişi döndürür NULL . İşleve giriş ifadesi nullifzero() 0 ise, işlevi döndürür NULL. Giriş ifadesi 0 değilse, giriş ifadesinin değeri döndürülür

Verileri Delta tablosuyla birleştirirken otomatik şema evrimi etkinleştirme

Bu sürüm, sınıfın withSchemaEvolution()DeltaMergeBuilder üyesi için destek ekler. İşlemler sırasında withSchemaEvolution() otomatik şema evrimi etkinleştirmek için kullanınMERGE. Örneğin, mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Diğer değişiklikler

SparkR artık kullanım dışı

Databricks Runtime 16.0 ve üzeri sürümlerde, Databricks'teki SparkR, yaklaşan Spark 4 sürümünde kullanımdan kaldırılma hazırlığında kullanım dışı bırakılmıştır . Bkz. Apache Spark Spark SparkR iş parçacığını kullanımdan kaldırma.

Databricks bunun yerine sparklyr kullanılmasını önerir.

Databricks Runtime 16.0 PVC ile desteklenmiyor

Databricks Runtime 16.0, Databricks Özel Sanal Bulutu (PVC) tarafından desteklenmez. Tüm PVC sürümleriyle Databricks Runtime 15.4 veya üzerini kullanmanız gerekir.

Hata düzeltmeleri

Otomatik Yükleyici artık boş şemalarla Avro kayıt türlerini kurtarıyor

Otomatik Yükleyici kullanarak bir Avro dosyasını Delta tablosuna yüklerken, record dosyadaki boş şemaya sahip türler artık kurtarılan veri sütununa eklenir. Delta tablosuna boş karmaşık veri türlerini alamadığınızdan, bu işlem bazı Avro dosyalarını yüklemeyle ilgili bir sorunu giderir. Kurtarılan veriler hakkında daha fazla bilgi edinmek için bkz . Kurtarılan veri sütunu nedir?.

İkinci bir uzaklık içeren saat dilimleriyle zaman damgaları yazarken hata düzeltildi.

Bu sürüm, ikinci bir uzaklık içeren saat dilimleriyle bazı zaman damgalarını etkileyen bir hatayı düzeltir. Bu hata JSON, XML veya CSV'ye yazılırken saniyelerin atlanması ve yanlış zaman damgası değerlerine yol açmasına neden olur.

Önceki davranışa dönmek için, etkilenen biçimlerden birine yazarken aşağıdaki seçeneği kullanın: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • 1.30.2 ile 1.31.0 arası azure-core
  • 12.19.1 ile 12.23.0 arası azure-storage-blob
  • 12.14.0 ile 12.17.0 arası azure-storage-file-datalake
  • siyah 23.3.0 ile 24.4.2
  • 1,4 ile 1,7,0 arasında yanıp sönen
  • boto3 1.34.39 ile 1.34.69
  • 1.34.39 ile 1.34.69 arasında botocore
  • 2023.7.22 ile 2024.6.2
  • cffi 1.15.1 ile 1.16.0 arasındaki
  • 8.0.4'ten 8.1.7'ye tıklayın
  • comm from 0.1.2 to 0.2.1
  • dağılım 1.0.5 ile 1.2.0
  • 41.0.3 ile 42.0.5 arasında şifreleme
  • Cython 0.29.32 ile 3.0.11 arasında
  • 0.20.0 ile 0.30.0 arası databricks-sdk
  • 1.2.18 ile 1.3.2 arası dbus-python
  • 3.13.4 ile 3.15.4 arasında dosya kilidi
  • 4.25.0 ile 4.51.0
  • 3.1.43 ile 3.1.37 arasında GitPython
  • 2.18.0 ile 2.20.0 arası google-api-core
  • 2.31.0 ile 2.35.0 arası google-auth
  • 2.17.0 ile 2.18.2 arası google-cloud-storage
  • 1.5.0 ile 1.6.0 arası google-crc32c
  • 2.7.1 ile 2.7.2 arası google-resumable-media
  • 1.63.2 ile 1.65.0 arası googleapis-common-protos
  • httplib2 0.20.2 ile 0.20.4
  • idna 3.4 ile 3.7
  • ipykernel 6.25.1 ile 6.28.0
  • 8.15.0 ile 8.25.0 arasında ipython
  • 0.18.1 ile 0.19.1 arasında jedi
  • jmespath 0.10.0 ile 1.0.1
  • 1.2.0 ile 1.4.2 iş kolu
  • 7.4.9 ile 8.6.0 jupyter_client
  • 5.3.0 ile 5.7.2 jupyter_core
  • launchpadlib 1.10.16 ile 1.11.0
  • lazr.restfulclient 0.14.4 ile 0.14.6
  • matplotlib 3.7.2 ile 3.8.4
  • 2.11.4 ile 2.15.1 arası mlflow-skinny
  • 8.10.0 ile 10.3.0 arası daha fazla itertools
  • 0.4.3 ile 1.0.0 arası mypy uzantıları
  • nest-asyncio 1.5.6 ile 1.6.0 arasında
  • 1.23.5'ten 1.26.4'e kadar numpy
  • oauthlib from 3.2.0 to 3.2.2
  • 23.2'den 24.1'e kadar paketleme
  • patsy 0.5.3 ile 0.5.6
  • pip 23.2.1 ile 24.2
  • çizim 5.9.0 ile 5.22.0
  • 3.0.36 ile 3.0.43 arası prompt-toolkit
  • pyarrow 14.0.1 ile 15.0.2 arasında
  • 1.10.6 ile 2.8.2 arasında pydantik
  • PyGObject 3.42.1 ile 3.48.2 arasında
  • PyJWT 2.3.0 ile 2.7.0 arasında
  • pyodbc 4.0.38 ile 5.0.1 arasında
  • 2.8.2 ile 2.9.0.post0 arası python-dateutil
  • python-lsp-jsonrpc 1.1.1 ile 1.1.2 arası
  • 2022.7 ile 2024.1 arasında pytz
  • PyYAML 6.0 ile 6.0.1 arasında
  • pyzmq 23.2.0 ile 25.1.2 arasında
  • 2.31.0 ile 2.32.2 için istekler
  • 1.3.0 ile 1.4.2 arası scikit-learn
  • scipy from 1.11.1 to 1.13.1
  • seaborn 0.12.2 ile 0.13.2
  • 68.0.0 ile 74.0.0 için kurulum araçları
  • 5.0.1 ile 5.0.0 arasında smmap
  • 0.5.0 ile 0.5.1 için sqlparse
  • 0.14.0 ile 0.14.2
  • tornado 6.3.2 ile 6.4.1
  • 5.7.1 ile 5.14.3 arasındaki traitlet'ler
  • 4.10.0 ile 4.11.0 typing_extensions
  • 5.4.0 ile 5.10.0 arasındaki ujson
  • virtualenv 20.24.2 ile 20.26.2
  • tekerlek 0.38.4 ile 0.43.0
  • zipp from 3.11.0 to 3.17.0
• Yükseltilen R kitaplıkları:
  • 14.0.0.2 ile 16.1.0
  • 1.4.1'den 1.5.0'a geri bağlantı noktası
  • 4.3.2 ile 4.4.0 taban
  • bitops 1.0-7 ile 1.0-8 arası
  • 1.3-28'den 1.3-30'a önyükleme
  • brio 1.1.4 ile 1.1.5
  • süpürge 1.0.5 ile 1.0.6
  • bslib 0.6.1 ile 0.8.0
  • önbellek 1.0.8 ile 1.1.0
  • 3.7.3 ile 3.7.6 arası arayan
  • cli 3.6.2 ile 3.6.3
  • 0.7.0 ile 0.7.1 saatleri
  • küme 2.1.4 ile 2.1.6
  • 0,2-19 ile 0,2-20 arası kod araçları
  • renk alanı 2.1-0 ile 2.1-1 arası
  • derleyici 4.3.2 ile 4.4.0
  • boya kalemi 1.5.2 ile 1.5.3
  • curl from 5.2.0 to 5.2.1
  • data.table from 1.15.0 to 1.15.4
  • 4.3.2 ile 4.4.0 arasında veri kümeleri
  • DBI 1.2.1 ile 1.2.3
  • dbplyr 2.4.0 ile 2.5.0
  • özet 0.6.34 ile 0.6.36
  • 0.4.3'ten 0.4.4'e kadar aşağı aydınlatma
  • 0,23'ten 0,24,0'a değerlendirme
  • uzaklık 2.1.1 ile 2.1.2
  • 1.1.1 ile 1.2.0 arasında hızlı harita
  • 0,8-85 ile 0,8-86 arası yabancı
  • fs 1.6.3 ile 1.6.4
  • gelecek 1.33.1 ile 1.34.0
  • future.apply from 1.11.1 to 1.11.2
  • 2.0.1'den 2.1.0'a kadar gert
  • ggplot2 3.4.4 ile 3.5.1
  • gh 1.4.0 ile 1.4.1
  • 0.16.2 ile 0.16.3 genelleri
  • 4.3.2 ile 4.4.0
  • grDevices from 4.3.2 to 4.4.0
  • kılavuz 4.3.2 ile 4.4.0
  • gt 0.10.1 ile 0.11.0
  • gtable from 0.3.4 to 0.3.5
  • 1.3.1 ile 1.4.0
  • 0,10 ile 0,11 arasında daha yüksek
  • 0.5.7 ile 0.5.8.1 için htmltools
  • httpuv 1.6.14 ile 1.6.15
  • httr2 1.0.0 ile 1.0.2
  • 0,9-14 ile 0,9-15 arası ipred
  • KernSmooth 2.23-21 ile 2.23-22 arasında
  • 1,45'ten 1,48'e kadar örgü örme
  • 0,21-8 ile 0,22-5 arası kafes
  • lav 1.7.3 ile 1.8.0
  • markdown 1,12 ile 1,13
  • KÜTLE 7.3-60 ile 7.3-60.0.1
  • 1.5-4.1 ile 1.6-5 arası matris
  • 4.3.2 ile 4.4.0 yöntemleri
  • mgcv 1,8-42'den 1,9-1'e
  • mlflow 2.10.0 ile 2.14.1
  • munsell 0.5.0 ile 0.5.1
  • nlme from 3.1-163 to 3.1-165
  • openssl 2.1.1 ile 2.2.0
  • paralel 4.3.2 ile 4.4.0
  • paralel olarak 1.36.0 ile 1.38.0
  • pkgbuild 1.4.3 ile 1.4.4
  • pkgdown 2.0.7 ile 2.1.0
  • pkgload 1.3.4 ile 1.4.0
  • 3.8.3 ile 3.8.4 arasinda processx
  • prodlim from 2023.08.28 to 2024.06.25
  • 1.2.1'den 1.3.0'a kadar olan vaatler
  • ps 1.7.6 ile 1.7.7
  • 1.2.7'den 1.3.2'ye kadar olan ragg
  • Rcpp 1.0.12 ile 1.0.13
  • RcppEigen 0.3.3.9.4 ile 0.3.4.0.0
  • reactR 0.5.0 ile 0.6.0
  • 1.0.9 ile 1.1.0
  • 2.4.2.1 ile 2.5.0 uzaktan kumandaları
  • 2.1.0'dan 2.1.1'e yeniden kullanım
  • 1.1.3 ile 1.1.4 arası rlang
  • 2,25 ile 2,27 arasında rmarkdown
  • roxygen2 7.3.1 ile 7.3.2
  • rpart from 4.1.21 to 4.1.23
  • 2.3.5 ile 2.3.7 arasında RSQLite
  • 0.15.0 ile 0.16.0 arasında rstudioapi
  • 1.0.3 ile 1.0.4 arası rvest
  • sass from 0.4.8 to 0.4.9
  • şekil 1.4.6 ile 1.4.6.1
  • parlak 1.8.0 ile 1.9.1
  • sparklyr 1.8.4 ile 1.8.6
  • 7,3-15 ile 7,3-17 arası uzamsal
  • 4.3.2 ile 4.4.0 splines
  • 4.3.2 ile 4.4.0
  • stats4 4.3.2 ile 4.4.0
  • stringi 1.8.3 ile 1.8.4
  • 3,5-5'ten 3,6-4'e kadar hayatta kalma
  • swagger 3.33.1 ile 5.17.14.1
  • 1.0.5 ile 1.1.0
  • 4.3.2 ile 4.4.0 tcltk
  • 3.2.1'den 3.2.1.1'e kadar test edin
  • 0.3.7 ile 0.4.0
  • tidyselect from 1.2.0 to 1.2.1
  • tinytex 0,49'dan 0,52'ye
  • 4.3.2 ile 4.4.0
  • 2.2.2 ile 3.0.0
  • 4.3.2 ile 4.4.0 için yardımcı programlar
  • uuid from 1.2-0 to 1.2-1
  • 4.4.1 ile 4.4.2 arasında V8
  • 3.0.0 ile 3.0.1
  • 0,41 ile 0,46 xfun
  • xopen 1.0.0 ile 1.0.1
  • yaml 2.3.8 ile 2.3.10
• Yükseltilen Java kitaplıkları:
  • com.amazonaws.aws-java-sdk-autoscaling from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-cloudformation 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-cloudfront 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-cloudhsm 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-cloudsearch from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-cloudtrail from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatch 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-codedeploy from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-cognitoidentity 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-cognitosync 1.12.610 ile 1.12.638 arasında
  • com.amazonaws.aws-java-sdk-config 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-core 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-datapipeline 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-directconnect from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-directory 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-dynamodb from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-ec2 from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-ecs 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-efs 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-elasticache 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-elasticloadbalancing from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-elastictranscoder from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-emr 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-glacier 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-glue 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-iam 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-importexport 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-kinesis from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-kms 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-lambda 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-logs 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-machinelearning from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-opsworks 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-rds 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-redshift from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-route53 from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-s3 from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-ses 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-simpledb 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-simpleworkflow 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-sns 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-sqs 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-ssm 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-storagegateway 1.12.610 ile 1.12.638 arası
  • com.amazonaws.aws-java-sdk-sts 1.12.610 ile 1.12.638 arasında
  • com.amazonaws.aws-java-sdk-support from 1.12.610 to 1.12.638
  • com.amazonaws.aws-java-sdk-workspaces from 1.12.610 to 1.12.638
  • com.amazonaws.jmespath-java 1.12.610 ile 1.12.638 arası
  • com.google.protobuf.protobuf-java 2.6.1 ile 3.25.1 arası
  • 0,25 ile 0,27 arası io.airlift.aircompressor
  • 1.1.3 ile 1.2.0 arasındaki io.delta.delta-sharing-client_2.12
  • io.netty.netty-all 4.1.96.Final'den 4.1.108.Final'e
  • io.netty.netty-buffer 4.1.96.Final'den 4.1.108.Final'e
  • 4.1.96.Final'den 4.1.108.Final'e kadar io.netty.netty-codec
  • 4.1.96.Final'den 4.1.108.Final'e kadar io.netty.netty.netty-codec-http
  • io.netty.netty-codec-http2 from 4.1.96.Final to 4.1.108.Final
  • 4.1.96.Final'den 4.1.108.Final'e kadar io.netty.netty.netty-codec-socks
  • io.netty.netty-common from 4.1.96.Final to 4.1.108.Final
  • io.netty.netty-handler from 4.1.96.Final to 4.1.108.Final
  • io.netty.netty-handler-proxy from 4.1.96.Final to 4.1.108.Final
  • io.netty.netty-resolver from 4.1.96.Final to 4.1.108.Final
  • io.netty.netty-transport from 4.1.96.Final to 4.1.108.Final
  • io.netty.netty-transport-classes-epoll from 4.1.96.Final to 4.1.108.Final
  • io.netty.netty-transport-classes-kqueue from 4.1.96.Final to 4.1.108.Final
  • io.netty.netty-transport-native-epoll from 4.1.96.Final-linux-x86_64 to 4.1.108.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue from 4.1.96.Final-osx-x86_64 to 4.1.108.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common from 4.1.96.Final to 4.1.108.Final
  • org.apache.ivy.ivy 2.5.1 ile 2.5.2 arasında
  • org.apache.zookeeper.zookeeper 3.6.3 ile 3.9.2
  • org.apache.zookeeper.zookeeper-jute 3.6.3 ile 3.9.2 arası
  • org.rocksdb.rocksdbjni 8.11.4 ile 9.2.1 arasında
  • 3.2.15 ile 3.2.16 org.scalactic.scalactic_2.12
  • org.scalatest.scalatest-compatible from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-core_2.12 from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-diagrams_2.12 from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-featurespec_2.12 from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-flatspec_2.12 from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-freespec_2.12 from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-funspec_2.12- 3.2.15 - 3.2.16
  • org.scalatest.scalatest-funsuite_2.12 from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-matchers-core_2.12 from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-mustmatchers_2.12 from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-propspec_2.12 from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-refspec_2.12 from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-shouldmatchers_2.12 from 3.2.15 to 3.2.16
  • org.scalatest.scalatest-wordspec_2.12 from 3.2.15 to 3.2.16
  • 3.2.15 ile 3.2.16 org.scalatest.scalatest_2.12

Apache Spark

Databricks Runtime 16.0, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 15.4 LTS'deki tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmelerini içerir:

• [SPARK-49093] [DBRRM-1371] “[SC-172958][SQL] GROUP BY MapType nes… işlemine geri dön”
• [SPARK-49898] [DBRRM-1282][SC-178410] SPARK-42204'ten olay günlüğü görev ölçümleri biriktirici günlüğü bayrağı için belgeler ve varsayılan düzeltme
• [SPARK-49743] [ES-1260022][BEHAVE-157][SC-177475][SQL] GetArrayStructFields ayıklaması sırasında OptimizeCsvJsonExpr şema alanlarını değiştirmemelidir
• [SPARK-49816] [SC-177896][SQL] Yalnızca başvuruda yer alan dış CTE ilişkisi için giden başvuru sayısı güncelleştirilmelidir
• [SPARK-48939] [SC-177022][SC-172766][AVRO] Özyinelemeli şema başvurusu ile Avro okuma desteği
• [SPARK-49688] [SC-177468][ES-1242349][BAĞLAN] Kesme ve yürütme planı arasındaki veri yarışlarını düzeltme
• [SPARK-49771] [SC-177466][PYTHON] Çıktı satırları giriş satırlarını aştığında Pandas Scalar Iter UDF hatasını iyileştirme
• [SPARK-48866] [SC-170772][SQL] INVALID_PARAMETER_VALUE hata iletisindeki geçerli karakter kümesinin ipuçlarını düzeltin. CHARSET
• [SPARK-48195] [FIXFORWARD][SC-177267][CORE] SparkPlan tarafından oluşturulan RDD/Broadcast'ı kaydetme ve yeniden kullanma
• [SPARK-49585] [BAĞLAN] SessionHolder'daki yürütme eşlemelerini operationID kümesiyle değiştirme
• [SPARK-49211] [SC-174257][SQL] V2 Kataloğu, yerleşik veri kaynaklarını da destekleyebilir
• [SPARK-49684] Oturum geri yükleme kilidinin ömrünü en aza indir
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] Java tarafında yapılandırılmış günlük çerçevesi
• [SPARK-48857] [SC-170661][SQL] CSVOptions'da karakter kümelerini kısıtlama
• [SPARK-49152] [SC-173690][SQL] V2SessionCatalog, V2Command kullanmalıdır
• [SPARK-42846] [SC-176588][SQL] Hata koşulu _LEGACY_ERROR_TEMP_2011 kaldırma
• [SPARK-48195] [SC-177267][CORE] SparkPlan tarafından oluşturulan RDD/Broadcast'ı kaydetme ve yeniden kullanma
• [SPARK-49630] [SC-177379][SS] Durum veri kaynağı okuyucusu ile koleksiyon türlerini işlemek için düzleştirme seçeneği ekleme
• [SPARK-49699] [SC-177154][SS] Akış iş yükleri için PruneFilters'ı devre dışı bırakma
• [SPARK-48781] [SC-175282][SQL] Saklı yordamları yüklemek için Katalog API'leri ekleme
• [SPARK-49667] [SC-177068][SQL] StringSearch kullanan ifadelerle harmanlayıcıları CS_AI izin verme
• [SPARK-49737] [SC-177207][SQL] Karmaşık türlerdeki harmanlanmış sütunlarda demeti devre dışı bırakma
• [SPARK-48712] [SC-169794][SQL] Boş değerlerle veya UTF-8 karakter kümesiyle kodlama için Performans İyileştirmesi
• [SPARK-49038] [SC-173933][SQL] SQLMetric, akümülatör güncelleştirme olayında ham değeri raporlamalıdır
• [SPARK-48541] [SC-169066][CORE] TaskReaper tarafından öldürülen yürütücüler için yeni bir çıkış kodu ekleme
• [SPARK-48774] [SC-170138][SQL] SQLImplicits'te SparkSession kullanma
• [SPARK-49719] [SC-177139][SQL] Tamsayı yapma UUID ve SHUFFLE kabul etme seed
• [SPARK-49713] [SC-177135][PYTHON][BAĞLAN] İşlevin count_min_sketch sayı bağımsız değişkenlerini kabul etmesini sağlama
• [SPARK-47601] [SC-162499][GRAPHX] Graphx: Değişkenler içeren günlükleri yapılandırılmış günlük çerçevesine geçirme
• [SPARK-49738] [SC-177219][SQL] Hata düzeltmesi ile biter
• [SPARK-48623] [SC-170822][CORE] Yapılandırılmış günlük geçişleri [Bölüm 3]
• [SPARK-49677] [SC-177148][SS] Changelog dosyalarının commit üzerine yazıldığından ve forceSnapshot bayrağının da sıfırlandığından emin olun
• [SPARK-49684] [SC-177040][BAĞLAN] Oturum ve yürütme yöneticilerinden genel kilitleri kaldırma
• [SPARK-48302] [SC-168814][PYTHON] PyArrow Tablolarındaki harita sütunlarında null değerleri koruma
• [SPARK-48601] [SC-169025][SQL] JDBC Seçeneği için null değer ayarlarken daha kullanıcı dostu bir hata iletisi verin
• [SPARK-48635] [SC-169263][SQL] Birleştirme türü hataları ve birleştirme hatası olarak sınıflar atama
• [SPARK-49673] [SC-177032][BAĞLAN] CONNECT_GRPC_ARROW_MAX_BATCH_SIZE 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• [SPARK-49693] [SC-177071][PYTHON][BAĞLAN] dize gösterimini daraltma timedelta
• [SPARK-49687] [SC-176901][SQL] Içinde sıralamayı geciktirme validateAndMaybeEvolveStateSchema
• [SPARK-49718] [SC-177112][PS] Çizimi örneklenmiş verilere geçme Scatter
• [SPARK-48472] [SC-169044][SQL] Harmanlanmış dizelerle yansıtma ifadelerini etkinleştirme
• [SPARK-48484] [SC-167484][SQL] Düzeltme: V2Write farklı görev girişimleri için aynı TaskAttemptId değerini kullanıyor
• [SPARK-48341] [SC-166560][BAĞLAN] Eklentilerin testlerinde QueryTest kullanmasına izin ver
• [SPARK-42252] [SC-168723][CORE] Ekleme spark.shuffle.localDisk.file.output.buffer ve kullanımdan kaldırma spark.shuffle.unsafe.file.output.buffer
• [SPARK-48314] [SC-166565][SS] Trigger.AvailableNow kullanarak FileStreamSource için dosyaları çift önbelleğe alma
• [SPARK-49567] [SC-176241][PYTHON] PySpark kod tabanı yerine classic kullanın vanilla
• [SPARK-48374] [SC-167596][PYTHON] Ek PyArrow Tablo sütun türlerini destekleme
• [SPARK-48300] [SC-166481][SQL] Codegen Desteği from_xml
• [SPARK-49412] [SC-177059][PS] Tek bir işteki tüm kutu çizimi ölçümlerini hesaplama
• [SPARK-49692] [SC-177031][PYTHON][BAĞLAN] Değişmez tarih ve tarih saatlerinin dize gösterimini daraltma
• [SPARK-49392] [ES-1130351][SC-176705][SQL] Dış veri kaynağına yazma başarısız olduğunda hataları yakalama
• [SPARK-48306] [SC-166241][SQL] Hata iletisinde UDT'nin geliştirilmesi
• [SPARK-44924] [SC-166379][SS] FileStreamSource önbelleğe alınmış dosyalar için yapılandırma ekleme
• [SPARK-48176] [SC-165644][SQL] FIELD_ALREADY_EXISTS hata koşulunun adını ayarlama
• [SPARK-49691] [SC-176988][PYTHON][BAĞLAN] İşlev substring sütun adlarını kabul etmelidir
• [SPARK-49502] [SC-176077][CORE] SparkEnv.get.shuffleManager.unregisterShuffle'da NPE'yi önleme
• [SPARK-49244] [SC-176703][SQL] Ayrıştırıcı/yorumlayıcı için diğer özel durum iyileştirmeleri
• [SPARK-48355] [SC-176684][SQL] CASE deyimi desteği
• [SPARK-49355] [SC-175121][SQL] levenshtein tüm parametre türlerinin collation değerlerinin aynı olup olmadığını denetlemelidir
• [SPARK-49640] [SC-176953][PS] Içinde rezervuar örneklemesi uygulama SampledPlotBase
• [SPARK-49678] [SC-176857][CORE] Destek spark.test.master : SparkSubmitArguments
• [SPARK-49680] [SC-176856][PYTHON] Derleme paralelliğini varsayılan olarak 4 ile sınırlayın Sphinx
• [SPARK-49396] Revert "[SC-176030][SQL] CaseWhen ifadesi için null atanabilirlik denetimini değiştirme"
• [SPARK-48419] [SC-167443][SQL] Katlanabilir yayma, katlanabilir sütunun yerini alır...
• [SPARK-49556] [SC-176757][SQL] SELECT işleci için SQL kanal söz dizimi ekleme
• [SPARK-49438] [SC-175237][SQL] & FromAvro ifadesinin güzel adını ToAvro düzeltme
• [SPARK-49659] [SC-1229924][SQL] VALUES yan tümcesinin içindeki skaler alt sorgular için kullanıcıya yönelik anlaşılır bir hata mesajı ekle
• [SPARK-49646] [SC-176778][SQL] parentOuterReferences içinde collectChildOuterReferences kapsamında olmayan başvurular olduğunda birleşim/küme işlemleri için alt sorgu düzeltmesi
• [SPARK-49354] [SC-175034][SQL] split_part tüm parametre türlerinin collation değerlerinin aynı olup olmadığını denetlemelidir
• [SPARK-49478] [SC-175914][BAĞLAN] ConnectProgressExecutionListener'da null ölçümleri işleme
• [SPARK-48358] [SC-176374][SQL] REPEAT deyimi desteği
• [SPARK-49183] [SC-173680][SQL] V2SessionCatalog.createTable should respect PROP_IS_MANAGED_LOCATION
• [SPARK-49611] [SC-176791][SQL] TVF'yi collations() tanıtın ve komutu kaldırın SHOW COLLATIONS
• [SPARK-49261] [SC-176589][SQL] Toplama ifadelerindeki değişmez değerleri gruplandırma ifadeleriyle değiştirmeyin
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace özel oturum kataloğuna uygun olmalıdır
• [SPARK-49594] [SC-176569][SS] StateSchemaV3 dosyasına columnFamilies eklenip eklenmediğini veya kaldırılıp kaldırılmadığını denetleme ekleniyor
• [SPARK-49578] [SC-176385][SQL] CAST_INVALID_INPUT ve CAST_OVERFLOW'da ANSI yapılandırma önerisini kaldırma
• [SPARK-48882] [SC-174256][SS] Akış çıkış moduyla ilgili hata sınıflarına ad atama
• [SPARK-49155] [SC-176506][SQL][SS] Oluşturmak için daha uygun parametre türü kullanın GenericArrayData
• [SPARK-49519] [SC-176388][SQL] FileScanBuilder'ı oluştururken tablo ve ilişki seçeneklerini birleştirme
• [SPARK-49591] [SC-176587][SQL] Değişken benioku'ya Mantıksal Tür sütunu ekleme
• [SPARK-49596] [SC-176423][SQL] Performansını geliştirme FormatString
• [SPARK-49525] [SC-176044][SS][BAĞLAN] Sunucu Tarafı Akış Sorgu DinleyicisiBus Dinleyicisi'ne küçük günlük iyileştirmesi
• [SPARK-49583] [SC-176272][SQL] Geçersiz saniye kesir düzeni için hata alt koşulunu SECONDS_FRACTION tanımlama
• [SPARK-49536] [SC-176242] Python akış veri kaynağı kaydı önceden oluşturma hatasını işleme
• [SPARK-49443] [SC-176273][SQL][PYTHON] to_variant_object ifade uygulama ve değişken nesneler için schema_of_variant ifadelerin OBJECT yazdırmasını sağlama
• [SPARK-49544] [SASP-3990][SC-176557][BAĞLAN] SparkConnectExecutionManager'da kaba kilitlemeyi ConcurrentMap ile değiştirme
• [SPARK-49548] [SASP-3990][SC-176556][BAĞLAN] SparkConnectSessionManager'da kaba kilitlemeyi ConcurrentMap ile değiştirme
• [SPARK-49551] [SC-176218][SS] RocksDB günlüğünü replayChangelog için geliştirme
• [SPARK-49595] [SC-176396][BAĞLAN][SQL] Spark Connect Scala İstemcisi'nde düzeltme DataFrame.unpivot/melt
• [SPARK-49006] [SC-176162] OperatorStateMetadataV2 ve StateSchemaV3 dosyaları için temizleme uygulama
• [SPARK-49600] [SC-176426][PYTHON] -related mantığını kaldır Python 3.6 and oldertry_simplify_traceback
• [SPARK-49303] [SC-176013][SS] transformWithStateInPandas API'sinde ValueState için TTL uygulama
• [SPARK-49191] [SC-176243][SS] Durum veri kaynağı okuyucusu ile transformWithState eşleme durumu değişkenlerini okuma desteği ekleme
• [SPARK-49593] [SC-176371][SS] Bir hata görülürse DB'de çağıranın kapatılmasına RocksDB özel durumu oluşturma
• [SPARK-49334] [SC-174803][SQL] str_to_map tüm parametre türlerinin collation değerlerinin aynı olup olmadığını denetlemelidir
• [SPARK-42204] [SC-176126][CORE] Olay günlüklerinde TaskMetrics iç biriktiricilerinin yedekli günlüğünü devre dışı bırakma seçeneği eklendi
• [SPARK-49575] [SC-176256][SS] Yalnızca acquiredThreadInfo null değilse kilit sürümü için günlük ekleme
• [SPARK-49539] [SC-176250][SS] İç sütun ailelerinin başlangıç tanımlayıcısını farklı bir sütuna güncelleştirme
• [SPARK-49205] [SC-173853][SQL] KeyGroupedPartitioning, HashPartitioningLike'i devralmalıdır
• [SPARK-49396] [SC-176030][SQL] CaseWhen ifadesi için null atanabilirlik denetimini değiştirme
• [SPARK-49476] [SC-175700][SQL] base64 işlevinin null atanabilirliğini düzeltme
• [SPARK-47262] [SC-174829][SQL] Parquet dönüştürmeleri için hata koşullarına ad atama
• [SPARK-47247] [SC-158349][SQL] Bölümleri patlayan birleşimlerle birleştirirken daha küçük hedef boyutu kullanın
• [SPARK-49501] [SC-176166][SQL] Tablo konumunun çift kaçışını düzeltme
• [SPARK-49083] [SC-173214][BAĞLAN] from_xml ve from_json json şemalarıyla yerel olarak çalışmasına izin ver
• [SPARK-49043] [SC-174673][SQL] Harmanlanmış dizeler içeren harita üzerinde yorumlanan kod yolu grubunu düzeltme
• [SPARK-48986] [SC-172265][BAĞLAN][SQL] ColumnNode Ara Gösterimi Ekle
• [SPARK-49326] [SC-176016][SS] Foreach havuzu kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
• [SPARK-48348] [SC-175950][SPARK-48376][SQL] Tanıtım LEAVE ve ITERATE deyimleri
• [SPARK-49523] [SC-175949][BAĞLAN] Bağlantı sunucusunun test için gelmesi için maksimum bekleme süresini artırın
• [SPARK-49000] [BEHAVE-105][ES-1194747][SQL] RewriteDistinctAggregates - DBR sürüm 16.x'i genişleterek t tablosunun boş olduğu "select count(distinct 1) from t" sorununu düzeltin
• [SPARK-49311] [SC-175038][SQL] Büyük 'interval second' değerlerinin ondalık olarak atamasını mümkün hale getirme
• [SPARK-49200] [SC-173699][SQL] Null tür kod oluşturma dışı sıralama özel durumu düzeltildi
• [SPARK-49467] [SC-176051][SS] Durum veri kaynağı okuyucusu ve liste durumu için destek ekleme
• [SPARK-47307] [SC-170891][SQL] İsteğe bağlı olarak base64 dizelerini öbekleyecek bir yapılandırma ekleme
• [SPARK-49391] [SC-176032][PS] Kutu çizimi, çitlerden uzaklıklara göre aykırı değerleri seçer
• [SPARK-49445] [SC-175845][UI] Destek, kullanıcı arabiriminin ilerleme çubuğunda araç ipucu gösterme
• [SPARK-49451] [SC-175702] parse_json yinelenen anahtarlara izin verin.
• [SPARK-49275] [SC-175701][SQL] Xpath ifadesinin dönüş türü null olma durumu düzeltilir
• [SPARK-49021] [SC-175578][SS] Durum veri kaynağı okuyucusu ile transformWithState değer durumu değişkenlerini okuma desteği ekleme
• [SPARK-49474] [BEHAVE-143][SC-169253][SC-175933][SS] FlatMapGroupsWithState kullanıcı işlevi hatası için Hata sınıfını sınıflandırma
• [SPARK-49408] [SC-175932][SQL] ProjectingInternalRow'da IndexedSeq kullanma
• [SPARK-49509] [SC-175853][CORE] Yerine kullanın Platform.allocateDirectBufferByteBuffer.allocateDirect
• [SPARK-49382] [SC-175013][PS] Çerçeve kutusu çiziminin, ilanları/aykırı değerleri düzgün şekilde işlemesini sağlama
• [SPARK-49002] [SC-172846][SQL] WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY'de geçersiz konumları tutarlı bir şekilde işleme
• [SPARK-49480] [SC-175699][CORE] NullPointerException düzeltmesi SparkThrowableHelper.isInternalError
• [SPARK-49477] [SC-175828][PYTHON] Pandas udf geçersiz dönüş türü hata iletisini geliştirme
• [SPARK-48693] [SC-169492][SQL] Invoke ve StaticInvoke'un ToString'ini basitleştirme ve birleştirme
• [SPARK-49441] [SC-175716][ML] StringIndexer yürütücülerdeki dizileri sıralama
• [SPARK-49347] [SC-175004][R] SparkR'ı kullanımdan kaldırma
• [SPARK-49357] [SC-175227][BAĞLAN][PYTHON] İç içe protobuf iletisini dikey olarak kes
• [SPARK-41982] [SC-120604][SQL] Dize türü bölümleri sayısal türler olarak değerlendirilmemelidir
• [SPARK-48776] [SC-170452][BEHAVE-72] json, xml ve csv için zaman damgası biçimlendirmesini düzeltme
• [SPARK-49223] [SC-174800][ML] Yerleşik işlevlerle StringIndexer.countByValue'u basitleştirme
• [SPARK-49016] "[SC-174663][SQL] Ham CSV dosyalarından gelen sorgulara yalnızca bozuk kayıt sütunu eklendiğinde ve adına ad atandığında geri yükleme işlemine _LEGACY_ERROR_TEMP_1285izin verilmiyor"
• [SPARK-49041] [SC-172392][PYTHON][BAĞLAN] Yanlış dropDuplicates verildiğinde için subset doğru hatayı tetikle
• [SPARK-49050] [SC-175235] Sanal Sütun Aileleri ile TWS'de deleteIfExists işlecini etkinleştirme
• [SPARK-49216] [SC-173919][CORE]Yapılandırılmış Günlük bağlantısı kapalı olduğunda açıkça LogEntry oluşturulduğunda ileti bağlamı günlüğe kaydedilmiyor düzeltmesi
• [SPARK-49252] [SC-175596][CORE] Yap ve TaskSetExcludeList bağımsız yapHeathTracker
• [SPARK-49352] [SC-174971][SQL] Aynı ifade için yedekli dizi dönüşümünden kaçının
• [SPARK-42307] [SC-173863][SQL] Hata _LEGACY_ERROR_TEMP_2232 için ad atama
• [SPARK-49197] [SC-173732][CORE] Modülde Spark Command redact launcher çıkışı
• [SPARK-48913] [SC-173934][SQL] IndentingXMLStreamWriter Uygulama
• [SPARK-49306] [SC-175363][PYTHON][SQL] 'zeroifnull' ve 'nullifzero' için SQL işlevi diğer adları oluşturma
• [SPARK-48344] [SQL] SQL Betik yürütmesi (Spark Connect dahil)
• [SPARK-49402] [SC-175122][PYTHON] PySpark belgelerinde Bağlayıcı tümleştirmesi düzeltilir
• [SPARK-49017] [SC-174664][SQL] Birden çok parametre kullanıldığında Insert deyimi başarısız oluyor
• [SPARK-49318] [SC-174733][SQL] Hata deneyimini geliştirmek için denetim analizinin sonuna kadar LCA'da düşük öncelikli hata önempt
• [SPARK-49016] [SC-174663][SQL] Ham CSV dosyalarındaki sorgulara yalnızca bozuk kayıt sütunu eklendiğinde ve adına ad atandığında izin verilmeyen davranışı geri yükleme _LEGACY_ERROR_TEMP_1285
• [SPARK-49387] [SC-175124][PYTHON] ve için accuracy tür ipucu düzeltin percentile_approxapprox_percentile
• [SPARK-49131] [SC-174666][SS] TransformWithState, yavaş yineleyicilerle bile örtük gruplandırma anahtarlarını düzgün ayarlamalıdır
• [SPARK-49301] [SC-174795][SS] Python çalışanına geçirilen öbek ok verileri
• [SPARK-49039] [SC-174651][UI] Yürütücü ölçümleri Aşamalar sekmesinde yüklendiğinde sıfırla onay kutusu
• [SPARK-48428] [SC-169806][SQL]: NestedColumnAliasing'de IllegalStateException düzeltildi
• [SPARK-49353] [SC-174830][SQL] Kodlama/kod çözme ile UTF-32 ilgili belgeleri güncelleştirme
• [SPARK-48613] [SC-170966][SQL] SPJ: Bir tarafı otomatik karıştırma + bölüm anahtarlarından daha az birleştirme anahtarı desteği
• [SPARK-47473] [SC-160450][BEHAVE-127][SQL] Postgres INFINITY zaman damgalarını dönüştürmeye yönelik doğruluk sorunu düzeltildi
• [SPARK-49142] [SC-173658][BAĞLAN][PYTHON] Dize performansı maliyetini geri döndürmek için izleme
• [SPARK-49300] [SC-175008][CORE] tokenRenewalInterval ayarlanmadığında Hadoop temsilci belirteci sızıntısı düzeltildi.
• [SPARK-49367] [SC-175012][PS] Birden çok sütun için KDE hesaplamasını paralelleştirme (çizimde arka uç)
• [SPARK-49365] [SC-175011][PS] Hist çiziminde demet toplamayı basitleştirme
• [SPARK-49372] [SC-175003][SS] Sonraki kullanımlardan kaçınmak için latestSnapshot'ın yakın konumda yok olarak ayarlandığından emin olun
• [SPARK-49341] [SC-174785] öğesinin yerine kaldırın connector/dockerApache Spark Operator
• [SPARK-49344] [SC-174894][PS] json_normalize Spark'ta Pandas API desteği
• [SPARK-49306] [SC-174794][SQL] Yeni 'zeroifnull' ve 'nullifzero' SQL işlevleri oluşturma
• [SPARK-48796] [SC-174668][SS] Yeniden başlatılırken VCF için RocksDBCheckpointMetadata'dan Sütun Aile Kimliğini Yükleme
• [SPARK-49342] [SC-174899][SQL] 'jsonFormatSchema' sql işlevini TO_AVRO isteğe bağlı hale getirin
• [SPARK-48628] [SC-174695][CORE] Görev tepe noktası yığın belleği ölçümlerini ekleme
• [SPARK-47407] [SC-159379][BEHAVE-126][SQL] java.sql.Types.NULL ile NullType eşlemesini destekleme
• [SPARK-48628] [SC-173407][CORE] Görev tepe noktası yığın belleği ölçümlerini ekleme
• [SPARK-49166] [SC-173987][SQL] Bağıntılı alt sorguda OFFSET desteği
• [SPARK-49269] [SC-174676][SQL] AstBuilder'da VALUES() listesini hevesle değerlendirin
• [SPARK-49281] [SC-174782][SQL] Kopyalama maliyetini önlemek için getBytesUnsafe ile Optimze parquet binary getBytes
• [SPARK-49113] [SC-174734] Çeviri hatalarını onaylama - özel durumu sessizce yutma
• [SPARK-49098] [SC-173253][SQL] INSERT için yazma seçenekleri ekleme
• [SPARK-48638] [SC-174694][TAKİP EDEMİ][BAĞLAN] ExecutionInfo belgelerini düzeltme
• [SPARK-49250] [ES-1222826][SQL] CheckAnalysis'te iç içe çözümlenmemişWindowExpression için hata iletisini iyileştirme
• [SPARK-48755] [SC-174258][SS][PYTHON] transformWithState pyspark temel uygulaması ve ValueState desteği
• [SPARK-48966] [SC-174329][SQL] UDTF çağrısında geçersiz çözümlenmemiş sütun başvurusuyla hata iletisini iyileştirme
• [SPARK-46590] [SC-154115][SQL] Birleştirme beklenmeyen bölüm hatalarıyla başarısız oldu düzeltmesi
• [SPARK-49235] [SC-174159][SQL] ResolveInlineTables kuralını yeniden düzenle, böylece tüm ağaçta dolaşmaz
• [SPARK-49060] [SC-173107][BAĞLAN] SQL-Connect ikili uyumluluk denetimleri için Mima kurallarını temizleme
• [SPARK-48762] [SC-172525][SQL] Python için clusterBy DataFrameWriter API'sini tanıtma
• [SPARK-49207] [SC-173852][SQL] SplitPart ve StringSplitSQL'de bire çok büyük/küçük harf eşlemesini düzeltme
• [SPARK-49204] [SC-173850][SQL] StringInstr ve StringLocate'te vekil çift işlemeyi düzeltme
• [SPARK-36680] [SC-170640][SQL] Spark SQL için Dinamik Tablo Seçeneklerini destekler
• [SPARK-49204] [SC-173849][SQL] SubstringIndex'te vekil çift işlemeyi düzeltme
• [SPARK-49204] [SC-173848][SQL] StringTrim'de vekil çift işlemeyi düzeltme
• [SPARK-48967] [SC-173993]OPTIMIZE_INSERT_INTO_VALUES_PARSER için sparkconfigownershipSuite testini iletmeyi düzeltme
• [SPARK-49204] [SC-173851][SQL] StringReplace'da vekil çift işlemeyi düzeltme
• [SPARK-48967] [SC-173993][SQL][16.x] "INSERT INTO ... VALUES" Beyanatlar
• [SPARK-49099] Revert “[SC-173229][SQL] CatalogManager.setCurrent…
• [SPARK-48347] [SC-173812][SQL] WHILE deyimi desteği
• [SPARK-49128] [SC-173344][CORE] Özel Geçmiş Sunucusu kullanıcı arabirimi başlığını destekleme
• [SPARK-49146] [SC-173825][SS] Ekleme modu akış sorgularında filigran eksik olan onay hatalarını hata çerçevesine taşıma
• [SPARK-45787] [SC-172197][SQL] Kümeleme sütunları için Catalog.listColumns desteği
• [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace özel oturum kataloğuna uygun olmalıdır
• [SPARK-49138] [SC-173483][SQL] Birkaç ifadenin CollationTypeCasts düzeltmesi
• [SPARK-49163] [SC-173666][SQL] Bozuk parquet bölümü veri sonuçlarını temel alan tablo oluşturma girişimi kullanıcıya yönelik hata döndürmelidir
• [SPARK-49201] [SC-173793][PS][PYTHON][BAĞLAN] Spark SQL ile yeniden birleştirme hist çizimi
• [SPARK-49188] [SC-173682][SQL] dize dizileri dizisinde çağrılan concat_ws iç hata
• [SPARK-49137] [SC-173677][SQL] içindeki if statement Boole koşulu geçersiz olduğunda bir özel durum oluşturulmalıdır
• [SPARK-49193] [SC-173672][SQL] RowSetUtils.toColumnBasedSet performansını geliştirme
• [SPARK-49078] [SC-173078][SQL] v2 tablosunda sütunların söz dizimlerini gösterme desteği
• [SPARK-49141] [SC-173388][SQL] Değişken, kovan uyumsuz veri türü olarak işaretle
• [SPARK-49059] [Vişne Seç][15.x][SC-172528][BAĞLAN] Test paketine gitme SessionHolder.forTesting(...)
• [SPARK-49111] [SC-173661][SQL] withProjectAndFilter öğesini DataSourceV2Strategy'nin yardımcı nesnesine taşıma
• [SPARK-49185] [SC-173688][PS][PYTHON][BAĞLAN] Spark SQL ile yeniden birleştirme kde çizimi
• [SPARK-49178] [SC-173673][SQL] Row#getSeq Scala 2.12 ile Spark 3.5 kullanırken performansıyla eşleşecek şekilde performansını iyileştirme
• [SPARK-49093] [SC-172958][SQL] GROUP BY MapType karmaşık tipin içinde iç içe yer alıyor
• [SPARK-49142] [SC-173469][BAĞLAN][PYTHON] Hata ayıklamak için Daha düşük Spark Connect istemci günlüğü düzeyi
• [SPARK-48761] [SC-172048][SQL] Scala için clusterBy DataFrameWriter API'sini tanıtma
• [SPARK-48346] [SC-173083][SQL] SQL betiklerinde IF ELSE deyimleri desteği
• [SPARK-48338] [SC-173112][SQL] Ayrıştırıcıdan/yorumlayıcıdan oluşan özel durumları iyileştirme
• [SPARK-48658] [SC-169474][SQL] Kodla/Kod Çözme işlevleri, tanınmayan karakterler için mojibake yerine kodlama hatalarını raporluyor
• [SPARK-49071] [SC-172954][SQL] ArraySortLike özelliğini kaldırma
• [SPARK-49107] Revert “Revert “[SC-173103][SQL] ROUTINE_ALREADY_EXISTS supports RoutineType””
• [SPARK-49070] [SC-172907][SS][SQL] Geçersiz sorgu planı oluşturmak için TransformWithStateExec.initialState yanlış yeniden yazıldı
• [SPARK-49114] [SC-173217] Alt kategorilere ayırma durum deposu hatalarını yükleyemiyor
• [SPARK-49107] Revert “[SC-173103][SQL] ROUTINE_ALREADY_EXISTS supports RoutineType”
• [SPARK-49048] [SC-173223][SS] Verilen toplu iş kimliğinde ilgili işleç meta verilerini okumak için destek ekleme
• [SPARK-49094] [SC-173049][SQL] mergeSchema kapalı olarak hive orc impl için çalışmayan ignoreCorruptFiles düzeltmesi
• [SPARK-49108] [SC-173102][ÖRNEK] REST API örneği ekleme submit_pi.sh
• [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS RoutineType'i destekler
• [SPARK-48997] [SC-172484][SS] Bakım iş parçacığı havuzu iş parçacığı hataları için ayrı ayrı yüklemeleri uygulama
• [SPARK-49063] [SC-173094][SQL] ScalarSubqueries ile Arasında Düzeltme
• [SPARK-45891] [SC-172305][SQL][PYTHON][VARIANT] Değişken Belirtiminde aralık türleri için destek ekleme
• [SPARK-49074] [BEHAVE-110][SC-172815][SQL] Ile değişken düzeltme df.cache()
• [SPARK-49003] [SC-172613][SQL] Harmanlamanın farkında olması için yorumlanan kod yolu karması düzeltildi
• [SPARK-48740] [SC-172430][SQL] Eksik pencere belirtimi hatalarını erken yakalama
• [SPARK-48999] [SC-172245][SS] PythonStreamingDataSourceSimpleSuite'i Bölme
• [SPARK-49031] [SC-172602] OperatorStateMetadataV2 kullanarak TransformWithStateExec işleci için doğrulama uygulama
• [SPARK-49053] [SC-172494][PYTHON][ML] Model kaydetme/yükleme yardımcı işlevlerinin Spark oturumunu kabul etmelerini sağlama
• [SPARK-49032] [Backport][15.x][SS] Meta veri tablosu girdisine şema yolu ekleme, beklenen sürümü doğrulama ve işleç meta veri biçimi v2 için işleç meta verileriyle ilgili test ekleme
• [SPARK-49034] [SC-172306][CORE] REST Gönderim API'sinde sunucu tarafı sparkProperties değiştirme desteği
• [SPARK-48931] [SC-171895][SS] Durum deposu bakım görevi için Cloud Store Listesi API maliyetini azaltma
• [SPARK-48849] [SC-172068][SS]TransformWithStateExec işleci için OperatorStateMetadataV2 oluşturma
• [SPARK-49013] [SC-172322] Harmanlamalarda anahtarı değiştirme Scala'da Harita ve Dizi türleri için Harita haritası
• [SPARK-48414] [SC-171884][PYTHON] Python'larda hataya neden olan değişikliği düzeltme fromJson
• [SPARK-48910] [SC-171001][SQL] PreprocessTableCreation'da doğrusal aramalardan kaçınmak için HashSet/HashMap kullanma
• [SPARK-49007] [SC-172204][CORE] Özel başlığı desteklemek için geliştirin MasterPage
• [SPARK-49009] [SC-172263][SQL][PYTHON] Sütun API'lerinin ve işlevlerinin Sabit Listeleri kabul etmelerini sağlama
• [SPARK-49033] [SC-172303][CORE] REST Gönderim API'sinde sunucu tarafı environmentVariables değiştirme desteği
• [SPARK-48363] [SC-166470][SQL] içindeki bazı yedekli kodları temizleme from_xml
• [SPARK-46743] [SC-170867][SQL][BEHAVE-84] Boş bir ilişki varsa ScalarSubqery katlandıktan sonra hata sayısı
• [SPARK-49040] [SC-172351][SQL] Belgeyi düzeltme sql-ref-syntax-aux-exec-imm.md
• [SPARK-48998] [SC-172212][ML] Meta algoritmaları SparkSession ile modeli kaydeder/yükler
• [SPARK-48959] [SC-171708][SQL] Özel durum işlemeyi geri yüklemek için genişletme NoSuchNamespaceException yapın NoSuchDatabaseException
• [SPARK-48996] [SC-172130][SQL][PYTHON] Ve veveya Sütun için çıplak değişmez değerlere izin ver
• [SPARK-48990] [SC-171936] #101759 - test düzeltmesi için izleme
• [SPARK-48338] [SC-171912][SQL] Değişken bildirimlerini denetleme
• [SPARK-48990] [SC-171936][SQL] Birleşik değişkenle ilgili SQL söz dizimi anahtar sözcükleri
• [SPARK-48988] [SC-171915][ML] Spark oturumuyla meta verileri işlemeyi sağlama DefaultParamsReader/Writer
• [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] Yerine kullanın SparkSession.implicitsSQLContext.implicits
• [SPARK-48760] [SC-170870][SQL] CatalogV2Util.applyClusterByChanges'i düzeltme
• [SPARK-48928] [SC-171956] Yerel Olarak Denetlenen RDD'lerde .unpersist() Çağrısı için Günlük Uyarısı
• [SPARK-48760] [SC-170139][SQL] Tanıtım ALTER TABLE ... SQL CLUSTER BY söz dizimini kullanarak kümeleme sütunlarını değiştirme
• [SPARK-48844] "[SC-170669][SQL] Yol boş olduğunda UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY yerine INVALID_EMPTY_LOCATION KULLAN"
• [SPARK-48833] [SC-171914][SQL][VARIANT] 'da destek değişkeni InMemoryTableScan
• [SPARK-48975] [SC-171894][PROTOBUF] Gereksiz ScalaReflectionLock tanımı kaldır protobuf
• [SPARK-48970] [SC-171800][PYTHON][ML] Spark ML okuyucusunda/yazıcısında SparkSession.getActiveSession kullanmaktan kaçının
• [SPARK-48844] [SC-170669][SQL] Yol boş olduğunda UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY yerine INVALID_EMPTY_LOCATION KULLAN
• [SPARK-48714] [SC-170136] PySpark ve UC'de başarısız olan df.mergeInto testleri düzeltildi
• [SPARK-48957] [SC-171797][SS] hdfs ve rocksdb sağlayıcısı için durum deposu yükünde alt sınıf hata sınıfı döndürme
• [SPARK-48891] [Backport][15x][SC-171677][SS] Tüm durum şeması biçimlerini birleştirmek için StateSchemaCompatibilityChecker'ı yeniden düzenleme
• [SPARK-48972] [SC-171795][PYTHON] İşlevlerde değişmez dize işlemeyi birleştirme
• [SPARK-48388] [SC-171337][SQL] SQL Betikleri için SET deyimi davranışını düzeltme
• [SPARK-48743] [SC-170552][SQL][SS] getStruct null döndürdüğünde MergingSessionIterator daha iyi işlenmelidir
• [SPARK-48623] [15.x][SC-171322][CORE] FileAppender günlüklerini yapılandırılmış günlüğe geçirme
• [SPARK-36680] [DBRRM-1123] Revert "[SC-170640][SQL] Spark SQL için Dinamik Tablo Seçeneklerini Destekliyor"
• [SPARK-48841] [SC-170868][BEHAVE-83][SQL] Dahil etmecollationName:sql()Collate
• [SPARK-48941] [SC-171703][PYTHON][ML] RDD okuma /yazma API'sini çağırmayı Dataframe okuma /yazma API'siyle değiştirme
• [SPARK-48938] [SC-171577][PYTHON] Python UDF'lerini kaydederken hata iletilerini iyileştirme
• [SPARK-48350] [SC-171040][SQL] Sql Betiği için Özel Özel Durumlara Giriş
• [SPARK-48907] [SC-171158][SQL] değerini explicitTypes düzeltme COLLATION_MISMATCH.EXPLICIT
• [SPARK-48945] [SC-171658][PYTHON] ile regex işlevlerini basitleştirme lit
• [SPARK-48944] [SC-171576][BAĞLAN] Connect Server'da JSON biçiminde şema işlemeyi birleştirme
• [SPARK-48836] [SC-171569] SQL şemasını durum şeması/meta verileriyle tümleştirme
• [SPARK-48946] [SC-171504][SQL] Oturum null olduğunda redact yönteminde NPE
• [SPARK-48921] [SC-171412][SQL] MergeInto için alt sorgudaki ScalaUDF kodlayıcıları çözümlenmelidir
• [SPARK-45155] [SC-171048][BAĞLAN] Spark Connect JVM/Scala İstemcisi için API Belgeleri Ekleme
• [SPARK-48900] [SC-171319] ve için reason alan ekleme cancelJobGroupcancelJobsWithTag
• [SPARK-48865] [SC-171154][SQL] try_url_decode işlevi ekleme
• [SPARK-48851] [SC-170767][SQL] değerini SCHEMA_NOT_FOUNDnamespace olarak değiştirin catalog.namespace
• [SPARK-48510] [SC-170893][2/2] Spark Connect'te UDAF toColumn API'lerini destekleme
• [SPARK-45190] [SC-171055][SPARK-48897][PYTHON][BAĞLAN] Destek StructType şeması oluşturma from_xml
• [SPARK-48930] [SC-171304][CORE] Desen ekleyerek awsAccessKeyId yeniden işlem accesskey
• [SPARK-48909] [SC-171080][ML][MLLIB] Meta veri yazarken SparkContext üzerinde SparkSession kullanır
• [SPARK-48883] [SC-171133][ML][R] RDD okuma /yazma API'sini çağırmayı Dataframe okuma /yazma API'siyle değiştirme
• [SPARK-48924] [SC-171313][PS] Pandas benzeri make_interval bir yardımcı işlev ekleme
• [SPARK-48884] [SC-171051][PYTHON] Kullanılmayan yardımcı işlevi kaldırma PythonSQLUtils.makeInterval
• [SPARK-48817] [SC-170636][SQL] Birleşim çoklu komutlarını birlikte hevesle yürütme
• [SPARK-48896] [SC-171079][ML][MLLIB] Meta verileri yazarken yeniden bölümlemesi önle
• [SPARK-48892] [SC-171127][ML] Satır başına parametrenin okunmasından kaçının Tokenizer
• [SPARK-48927] [SC-171227][CORE] içinde önbelleğe alınmış RDD sayısını göster StoragePage
• [SPARK-48886] [15.x][Backport][SC-171039][SS] Daha kolay evrim sağlamak için değişiklik günlüğü v2'ye sürüm bilgileri ekleme
• [SPARK-48903] [SC-171136][SS] RocksDB son anlık görüntü sürümünü uzak yükte doğru ayarlama
• [SPARK-48742] [SC-170538][SS] RocksDB için Sanal Sütun Ailesi
• [SPARK-48726] [15.x][SC-170753][SS] StateSchemaV3 dosya biçimini oluşturun ve TransformWithStateExec işleci için bunu yazın
• [SPARK-48794] [SC-170882][BAĞLAN][15.x] df.merge Spark Connect desteği (Scala ve Python)
• [SPARK-48714] [SC-170136][PYTHON] PySpark'ta uygulama DataFrame.mergeInto
• [SPARK-48772] [SC-170642][SS][SQL] Durum Veri Kaynağı Değişiklik Akışı Okuyucu Modu
• [SPARK-48666] [SC-170887][SQL] Python UDF'leri içeriyorsa filtreyi aşağı göndermeyin
• [SPARK-48845] [SC-170889][SQL] GenericUDF catch exceptions from children
• [SPARK-48880] [SC-170974][CORE] Sürücü eklentisi başlatılamıyorsa NullPointerException oluşturmaktan kaçının
• [SPARK-48888] [Backport][15x][SC-170973][SS] Changelog ops boyutuna göre anlık görüntü oluşturmayı kaldırma
• [SPARK-48871] [SC-170876] INVALID_NON_DETERMINISTIC_EXPRESSIONS doğrulama düzeltildi...
• [SPARK-48883] [SC-170894][ML][R] RDD okuma /yazma API'sini çağırmayı Dataframe okuma /yazma API'siyle değiştirme
• [SPARK-36680] [SC-170640][SQL] Spark SQL için Dinamik Tablo Seçeneklerini destekler
• [SPARK-48804] [SC-170558][SQL] classIsLoadable & OutputCommitter.isAssignableFrom çıkış committer sınıfı yapılandırmalarını denetleyin
• [SPARK-46738] [SC-170791][PYTHON] Bir grup doctest'i yeniden kullanılabilir hale getirme
• [SPARK-48858] [SC-170756][PYTHON] içindeki kullanım dışı yöntem setDaemon çağrısını Thread kaldırma log_communication.py
• [SPARK-48639] [SC-169801][BAĞLAN][PYTHON] RelationCommon'a Kaynak Ekle
• [SPARK-48863] [SC-170770][ES-1133940][SQL] JSON ayrıştırılırken "spark.sql.json.enablePartialResults" etkinken ClassCastException düzeltildi
• [SPARK-48343] [SC-170450][SQL] SQL Betik yorumlayıcısına giriş
• [SPARK-48529] [SC-170755][SQL] SQL Betiğinde Etiketlere Giriş
• [SPARK-45292] "[SC-151609][SQL][HIVE] IsolatedClientLoader'dan paylaşılan sınıflardan Guava'yi kaldırma"
• [SPARK-48037] [SC-165330][CORE][3.5] SortShuffleWriter'da karışık yazmayla ilgili ölçümler bulunmaması ve hatalı olabilecek verilerle sonuçlanması sorunu düzeltildi
• [SPARK-48720] [SC-170551][SQL] v1 ve v2'de komutu ALTER TABLE ... UNSET TBLPROPERTIES ... hizalama
• [SPARK-48485] [SC-167825][BAĞLAN][SS] Akış sorgularında interruptTag ve interruptAll desteği
• [SPARK-45292] [SC-151609][SQL][HIVE] IsolatedClientLoader'dan paylaşılan sınıflardan Guava'nın kaldırılması
• [SPARK-48668] [SC-169815][SQL] ALTER AD ALANı desteği ... v2'de KÜMEYİ SİTE ÖZELLİkLerİ
• [SPARK-47914] [SC-165313][SQL] Splits parametresini Aralık'ta görüntüleme
• [SPARK-48807] [SC-170643][SQL] CSV veri kaynağı için İkili Destek
• [SPARK-48220] [SC-167592][PYTHON][15.X] CreateDataFrame() için PyArrow Tablosunu geçirmeye izin ver
• [SPARK-48545] [SC-169543][SQL] DataFrame eşdeğerleriyle eşleşecek to_avro ve from_avro SQL işlevleri oluşturma
• [SPARK-47577] [SC-168875][SPARK-47579] Günlük anahtarı TASK_ID doğru yanıltıcı kullanımı

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).

Sistem ortamı

• İşletim Sistemi: Ubuntu 24.04.1 LTS
• Java: Zulu17.50+19-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Gölü: 3.2.1

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)