Databricks Runtime 14.3 LTS

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 14.3 LTS hakkında bilgi sağlar.

Databricks bu sürümü Şubat 2024'te yayımladı.

Yeni özellikler ve geliştirmeler

• Paylaşılan kümelerde PySpark Kullanıcı Tanımlı İşlevler'de (UDF) çalışma alanı dosya sistemi desteği
• Photon olmadan silme vektör MERGE iyileştirmeleri desteği
• Spark katalog API'leri artık paylaşılan erişim modunda tam olarak destekleniyor
• Delta UniForm genel kullanıma sunuldu
• yeni SQL işlevi EXECUTE IMMEDIATE
• Delta tabloları için veri atlama istatistiklerini yeniden hesapla
• Durum bilgisi olan akış sorguları için sorgu durumu bilgileri
• Paylaşılan kümelerde Kafka kimlik doğrulaması için Microsoft Entra Id kullanma
• Sorgu performansı geliştirmek için dosya ve bölüm ayıklama desteği eklendi
• SQL Oturumunda geçici değişkenleri bildirme
• Kullanılmayan özellikleri kaldırmak için Thriftserver güncelleştirmelerini
• Unity Kataloğu birimlerinde truststore ve keystore dosyalarını kullanma
• Yerel XML dosya biçimi desteği (Genel Önizleme)
• Cloudflare R2 depolama desteği (Genel Önizleme)
• Paylaşılan erişimli Unity Kataloğu kümelerinde Spark ve dbutils'in çalışma alanı dosyalarına erişimini
• Paylaşılan erişimli Unity Kataloğu kümelerinde init betikleri ve küme kitaplığı desteği

Paylaşılan kümelerde PySpark Kullanıcı Tanımlı İşlevler'de (UDF) çalışma alanı dosya sistemi desteği

Paylaşılan kümelerdeki PySpark UDF'leri artık Git klasörlerindenPython modüllerini içeri aktarabilir çalışma alanı dosyalarıveya UC birimleri.

Git klasörleri veya çalışma alanı dosyalarındaki modüllerle çalışma hakkında daha fazla bilgi için bkz . Python ve R modülleriyle çalışma.

Photon olmadan silme vektör MERGE iyileştirmeleri desteği

Silme vektörleri iyileştirmelerinden yararlanan işlemler için MERGE foton artık gerekli değildir. Bkz . Silme vektörleri nedir?.

Spark kataloğu API'leri artık paylaşılan erişim modunda tam olarak destekleniyor

Artık paylaşılan erişim moduyla yapılandırılmış işlemde hem Python hem de Scala'daki API'deki tüm işlevleri spark.catalog kullanabilirsiniz.

Delta UniForm genel kullanıma sunuldu

UniForm genel kullanıma sunuldu ve IcebergCompatV2 tablo özelliğini kullanıyor. Artık var olan tablolarda UniForm'un etkinleştirilmesini veya yükseltilebilmesini sağlayabilirsiniz. Iceberg istemcileri ile Delta tablolarını okuma için ’e bakın.

Yeni SQL işlevi EXECUTE IMMEDIATE

Artık SQL'de parametreli sorguları desteklemek için EXECUTE IMMEDIATE söz dizimini kullanabilirsiniz. Bkz. EXECUTE IMMEDIATE.

Delta tabloları için veri atlama istatistiklerini tekrar hesapla

Artık veri atlama için kullanılan sütunları değiştirdikten sonra Delta günlüğünde depolanan istatistikleri yeniden derleyebilirsiniz. Bkz. Delta istatistik sütunlarınıbelirtin.

Durum bilgisi olan akış sorguları için sorgu durumu bilgileri

Artık Yapılandırılmış Akış durumu verilerini ve meta verilerini sorgulayabilirsiniz. Bkz . Yapılandırılmış Akış durumu bilgilerini okuma.

Paylaşılan kümelerde Kafka kimlik doğrulaması için Microsoft Entra Id kullanma

Artık paylaşılan erişim moduyla yapılandırılmış işlemde Microsoft Entra ID ile OAuth aracılığıyla Event Hubs hizmetlerinin kimliğini doğrulayabilirsiniz. Bkz. Microsoft Entra Id ve Azure Event Hubs ile Hizmet Sorumlusu kimlik doğrulaması.

Sorgu performansını geliştirmek için dosya ve bölüm ayıklama desteği eklendi

JOIN koşullarda null toleranslı eşitliğe dayanan bazı sorguları hızlandırmak için artık JOIN'lerdeki DynamicFilePruning işleci için DynamicPartitionPruning ve EqualNullSafe destekliyoruz.

SQL Oturumunda geçici değişkenleri bildirme

Bu sürüm, bir oturumda, sorgular içinden ayarlanabilen ve sonra başvurulabilen geçici değişkenleri bildirme özelliğini tanıtır. Bkz. Değişkenler.

Kullanılmayan özellikleri kaldırmak için Thriftserver güncelleştirmeleri

Thriftserver kodu, eski özelliklerin kodunu kaldıracak şekilde güncelleştirildi. Bu değişiklikler nedeniyle aşağıdaki yapılandırmalar artık desteklenmiyor:

• hive.aux.jars.path özelliği kullanılarak yapılandırılan Hive yardımcı JAR'leri artık hive-thriftserver bağlantıları için desteklenmemektedir.
• Konumu hive.server2.global.init.file.location özelliği veya HIVE_CONF_DIR ortam değişkeni kullanılarak yapılandırılan Hive genel başlatma dosyası (.hiverc), hive-thriftserver bağlantıları için artık desteklenmiyor.

Unity Kataloğu birimlerinde truststore ve keystore dosyalarını kullanma

Artık Unity Kataloğu birimlerindeki truststore ve keystore dosyalarını kullanarak avro veya protokol arabellek verileri için Confluent Schema Registry'de kimlik doğrulaması yapabilirsiniz. Avro veya protokol arabellekleri belgelerine bakın.

Yerel XML dosya biçimi desteği (Genel Önizleme)

Yerel XML dosya biçimi desteği artık Genel Önizleme aşamasındadır. XML dosya biçimi desteği, xml verilerini toplu işleme veya akış için alma, sorgulama ve ayrıştırma işlemlerini etkinleştirir. Şema ve veri türlerini otomatik olarak çıkarıp geliştirebilir, from_xmlgibi SQL ifadelerini destekler ve XML belgeleri oluşturabilir. Dış jar'lar gerektirmez ve Otomatik Yükleyici, read_files, COPY INTOve Delta Live Tabloları ile sorunsuz çalışır. Bkz. XML dosyalarını okuma ve yazma.

Cloudflare R2 depolama desteği (Genel Önizleme)

Artık Cloudflare R2'i Unity Kataloğu'nda kayıtlı veriler için bulut depolama alanı olarak kullanabilirsiniz. Cloudflare R2 öncelikli olarak, veriler bölgeler arasında geçiş yaparken bulut sağlayıcıları tarafından ücretlendirilen veri çıkış ücretlerinden kaçınmak istediğiniz Delta Paylaşımı kullanım durumlarına yöneliktir. R2 depolama, AWS S3, Azure Data Lake Storage 2. Nesil ve Google Cloud Storage'da desteklenen tüm Databricks verilerini ve yapay zeka varlıklarını destekler. Bkz. Cloudflare R2 çoğaltmalarını kullanma veya depolamayı R2'ye geçirme ve Cloudflare R2'ye bağlanmak için depolama kimlik bilgisi oluşturma.

Paylaşılan erişimli Unity Kataloğu kümelerinde Spark ve dbutils çalışma alanı dosyalarına erişim desteği

Spark ve dbutils, çalışma alanı dosyalarına okuma ve yazma erişimi artık Unity Catalog kümelerinde paylaşımlı erişim moduile destekleniyor. Bkz . Çalışma alanı dosyalarıyla çalışma.

Paylaşılan erişimli Unity Kataloğu kümelerinde başlatma betikleri ve küme kitaplığı desteği

paylaşılan erişim modundaki Unity Kataloğu kümelerinde ve Python ve JAR kitaplıkları küme kapsamlı başlatma betiklerinin yüklenmesiküme ilkeleri kullanılarak yükleme de dahil olmak üzeregenel kullanıma sunulmuştur. Databricks, init betiklerini ve kitaplıklarını Unity Kataloğu birimlerinden yüklemeyi önerir.

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • 2.19.0 ile 2.19.1 arasındaki fastjsonschema
  • 3.12.4 ile 3.13.1 arasında dosya kilidi
  • 1.61.0 ile 1.62.0 arası googleapis-common-protos
  • paketleme 22.0 ile 23.2
• Yükseltilen R kitaplıkları:
  • 0,8-82 ile 0,8-85 arası yabancı
  • nlme from 3.1-162 to 3.1-163
  • rpart from 4.1.19 to 4.1.21
• Yükseltilen Java kitaplıkları:
  • 0.7.0 ile 0.13.0 arası com.databricks.databricks-sdk-java
  • org.apache.orc.orc-core 1.9.1-shaded-protobuf ile 1.9.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce from 1.9.1-shaded-protobuf to 1.9.2-shaded-protobuf
  • org.apache.orc.orc-shims 1.9.1 ile 1.9.2 arası
  • 2.9.0 ile 2.11.0 arası org.scala-lang.modules.scala-collection-compat_2.12

Apache Spark

Databricks Runtime 14.3, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 14.2'de (EoS) bulunan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-46541] [SC-153546][SQL][CONNECT] Kendi kendine birleştirmede belirsiz sütun başvurusunu düzeltme
• [SPARK-45433] Revert "[SC-145163][SQL] CSV/JSON şema çıkarımını düzelt...
• [SPARK-46723] [14.3][SASP-2792][SC-153425][BAĞLAN][SCALA] addArtifact'i yeniden denenebilir hale getirme
• [SPARK-46660] [SC-153391][BAĞLAN] ReattachExecute, SessionHolder'ın güncelleştirme canlılığını istiyor
• [SPARK-46670] [SC-153273][PYTHON][SQL] Statik ve çalışma zamanı Python Veri Kaynaklarını ayırarak DataSourceManager'ın kendi kendini kopyalayabilmesini sağlama
• [SPARK-46720] [SC-153410][SQL][PYTHON] Python Veri Kaynağını diğer DSv2 yerleşik Veri Kaynaklarıyla uyumlu olacak şekilde yeniden düzenleme
• [SPARK-46684] [SC-153275][PYTHON][BAĞLAN] Bağımsız değişkenleri düzgün geçirmek için CoGroup.applyInPandas/Arrow düzeltmesi
• [SPARK-46667] [SC-153271][SC-153263][SQL] XML: Birden çok XML veri kaynağında hata oluşturma
• [SPARK-46382] [SC-151881][SQL]XML: Default ignoreSurroundingSpaces to true
• [SPARK-46382] [SC-153178][SQL] XML: ignoreSurroundingSpaces için belgeyi güncelleştirme
• [SPARK-45292] Revert "[SC-151609][SQL][HIVE] IsolatedClientLoader'dan paylaşılan sınıflardan Guava'nın kaldırılması"
• [SPARK-45292] [SC-151609][SQL][HIVE] IsolatedClientLoader'dan paylaşılan sınıflardan Guava'yi kaldırma
• [SPARK-46311] [SC-150137][CORE] Sırasında sürücülerin son durumunu günlüğe kaydetme Master.removeDriver
• [SPARK-46413] [SC-151052][PYTHON] Ok Python UDF'sinin returnType değerini doğrulama
• [SPARK-46633] [WARMFIX][SC-153092][SQL] Avro okuyucusu sıfır uzunluklu blokları işleyecek şekilde düzeltilir
• [SPARK-46537] [SC-151286][SQL] NPE ve onayları komutlardan iç hatalara dönüştürme
• [SPARK-46179] [SC-151678][SQL] Postgres'den başlayarak diğer DBMS'lerle altın dosyalara karşı diğer DBMS'yi çalıştıran CrossDbmsQueryTestSuites ekleyin
• [SPARK-44001] [SC-151413][PROTOBUF] İyi bilinen sarmalayıcı türlerinin unwrapping protobuf'a izin vermek için seçenek ekleme
• [SPARK-40876] [SC-151786][SQL] Parquet okuyucularında daha büyük ölçekli ondalıklar için genişletme türü yükseltmesi
• [SPARK-46605] [SC-151769][BAĞLAN] Connect modülü desteğinde işlev yapma lit/typedLits.c.immutable.ArraySeq
• [SPARK-46634] [SC-153005][SQL] değişmez değer doğrulaması null alanlara detaya gitmemelidir
• [SPARK-37039] [SC-153094][PS] Eksik değerle düzgün çalışmak için düzeltme Series.astype
• [SPARK-46312] [SC-150163][CORE] Kullanım lower_camel_case alanı: store_types.proto
• [SPARK-46630] [SC-153084][SQL] XML: Yazma işleminde XML öğesi adını doğrulama
• [SPARK-46627] [SC-152981][SS][UI] Akış kullanıcı arabiriminde zaman çizelgesi araç ipucu içeriğini düzeltme
• [SPARK-46248] [SC-151774][SQL] XML: ignoreCorruptFiles ve ignoreMissingFiles seçenekleri desteği
• [SPARK-46386] [SC-150766][PYTHON] Gözlem onaylarını geliştirme (pyspark.sql.gözlem)
• [SPARK-46581] [SC-151789][CORE] AccumulatorV2'de isZero ile ilgili güncelleştirme açıklaması
• [SPARK-46601] [SC-151785] [CORE] handleStatusMessage'daki günlük hatalarını düzeltme
• [SPARK-46568] [SC-151685][PYTHON] Python veri kaynağı seçeneklerini büyük/küçük harfe duyarlı olmayan bir sözlük yapma
• [SPARK-46611] [SC-151783][CORE] SimpleDateFormat yerine DateTimeFormatter yazarak ThreadLocal'ı kaldırma
• [SPARK-46604] [SC-151768][SQL] Destek olun Literal.applys.c.immuable.ArraySeq
• [SPARK-46324] [SC-150223][SQL][PYTHON] pyspark.sql.functions.user ve session_user çıkış adını düzeltme
• [SPARK-46621] [SC-151794][PYTHON] Py4J tarafından yakalanan özel durumda Exception.getMessage'dan null değerini adresle
• [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader eksik sütun için sütun vektörleri oluştururken bellek moduna uygun olmalıdır
• [SPARK-46613] [SC-151778][SQL][PYTHON] Python Veri Kaynakları'nı arayamadığında günlük tam özel durumu
• [SPARK-46559] [SC-151364][MLLIB] export paket adının içindeki öğesini ters köşelerle sarmalama
• [SPARK-46522] [SC-151784][PYTHON] Ad çakışmalarıyla Python veri kaynağı kaydını engelleme
• [SPARK-45580] [SC-149956][SQL] İç içe alt sorguların varoluş birleşimine dönüştüğü durumu işleme
• [SPARK-46609] [SC-151714][SQL] BölümlemePreservingUnaryExecNode'da üstel patlamadan kaçının
• [SPARK-46535] [SC-151288][SQL] Sütun istatistikleri olmadan genişletilmiş bir sütunu açıklarken NPE'nin düzeltilmesi
• [SPARK-46599] [SC-147661][SC-151770][SQL] XML: Uyumluluk denetimi için TypeCoercion.findTightestCommonType kullanın
• [SPARK-40876] [SC-151129][SQL] Parquet okuyucularında tür yükseltmelerini genişletme
• [SPARK-46179] [SC-151069][SQL] SQLQueryTestSuite'ta kodu yeniden kullanılabilir işlevlere çekme
• [SPARK-46586] [SC-151679][SQL] Şu destekte olduğu gibi s.c.immutable.ArraySeq destekcustomCollectionCls:MapObjects
• [SPARK-46585] [SC-151622][CORE] metricPeaks içinde kullanmak immutable.ArraySeq yerine doğrudan bir mutable.ArraySeq.toSeq olarakExecutor
• [SPARK-46488] [SC-151173][SQL] Zaman damgası ayrıştırma sırasında trimTüm çağrı atlanıyor
• [SPARK-46231] [SC-149724][PYTHON] Kalan NotImplementedError tüm & TypeError değerini PySpark hata çerçevesine geçirme
• [SPARK-46348] [SC-150281][CORE] Destek spark.deploy.recoveryTimeout
• [SPARK-46313] [SC-150164][CORE] Günlük Spark HA kurtarma süresi
• [SPARK-46358] [SC-150307][BAĞLAN] Koşul denetimini basitleştirin ResponseValidator#verifyResponse
• [SPARK-46380] [SC-151078][SQL]Satır içi tablo ifadelerini değerlendirmeden önce geçerli saati/tarihi değiştirin.
• [SPARK-46563] [SC-151441][SQL] conf spark.sql.debug.maxToStringFields'i izlemeyen simpleString'i görüntüleyin
• [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] (dize|dizi).size değerini (dize|dizi).length ile değiştirerek yığın derinliğini azaltın
• [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT(bir yapıdaki tüm alanlar) onay hatasına neden olur
• [SPARK-46565] [SC-151414][PYTHON] Python veri kaynakları için hata sınıflarını ve hata iletilerini iyileştirme
• [SPARK-46576] [SC-151614][SQL] Desteklenmeyen veri kaynağı kaydetme modu için hata iletilerini iyileştirme
• [SPARK-46540] [SC-151355][PYTHON] Python veri kaynağı okuma işlevi Row nesneleri adlı çıktılar oluşturduğunda sütun adlarını göz önünde bulundur.
• [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite, hive'ın SessionState'ini sızdırıyor
• [SPARK-44556] [SC-151562][SQL] VectorizedReader etkinleştirildiğinde yeniden kullanma OrcTail
• [SPARK-46587] [SC-151618][SQL] XML: XSD büyük tamsayı dönüştürmeyi düzeltme
• [SPARK-46382] [SC-151297][SQL] XML: Öğeler arasında kesişen değerleri yakalama
• [SPARK-46567] [SC-151447][CORE] ReadAheadInputStream için ThreadLocal'ı kaldırma
• [SPARK-45917] [SC-151269][PYTHON][SQL] Başlangıçta Python Veri Kaynağı'nın otomatik kaydı
• [SPARK-28386] [SC-151014][SQL] GROUP BY ve HAVING ile ORDER BY sütunları çözümlenemiyor
• [SPARK-46524] [SC-151446][SQL] Geçersiz kaydetme modu için hata iletilerini geliştirme
• [SPARK-46294] [SC-150672][SQL] init ile sıfır değerinin semantiğini temizleme
• [SPARK-46301] [SC-150100][CORE] Destek spark.worker.(initial|max)RegistrationRetries
• [SPARK-46542] [SC-151324][SQL] c>=0 denetimini ExternalCatalogUtils#needsEscaping her zaman doğru olduğundan kaldırın
• [SPARK-46553] [SC-151360][PS] FutureWarning nesne dtype ile için interpolate
• [SPARK-45914] [SC-151312][PYTHON] Python veri kaynağı yazma için işleme ve durdurma API'sini destekleme
• [SPARK-46543] [SC-151350][PYTHON][BAĞLAN] Boş alanlar için throw PySparkValueError yapma json_tuple
• [SPARK-46520] [SC-151227][PYTHON] Python veri kaynağı yazma için üzerine yazma modu desteği
• [SPARK-46502] [SC-151235][SQL] UnwrapCastInBinaryComparison'da destek zaman damgası türleri
• [SPARK-46532] [SC-151279][CONNECT] ErrorInfo meta verilerinde ileti parametrelerini geçirme
• [SPARK-46397] Revert "[SC-151311][PYTHON][CONNECT] İşlevi sha2PySparkValueError geçersiz numBits"
• [SPARK-46170] [SC-149472][SQL] SparkSessionExtensions'a uyarlamalı sorgu planlayıcısı strateji kuralları ekleme desteği
• [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable tabloyu yüklememelidir
• [SPARK-46397] [SC-151311][PYTHON][BAĞLAN] İşlev sha2 geçersiz olarak yükseltilmelidir PySparkValueErrornumBits
• [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables tablo veya görünüm bulunamadığında özel durum oluşturmuyor
• [SPARK-46272] [SC-151012][SQL] DSv2 kaynaklarını kullanarak CTAS desteği
• [SPARK-46480] [SC-151127][CORE][SQL] Tablo önbelleği görev girişiminde NPE düzeltildi
• [SPARK-46100] [SC-149051][CORE][PYTHON] (dize|dizi).size değerini (dize|dizi).length ile değiştirerek yığın derinliğini azaltın
• [SPARK-45795] [SC-150764][SQL] DS V2, aşağı gönderme Modunu destekler
• [SPARK-46485] [SC-151133][SQL] V1Write gerekli olmadığında Sıralama eklememelidir
• [SPARK-46468] [SC-151121] [SQL] Anahtarları gruplandırmadan Toplama ile EXISTS alt sorguları için COUNT hatasını işleme
• [SPARK-46246] [SC-150927][SQL] EXECUTE IMMEDIATE SQL desteği
• [SPARK-46498] [SC-151199][CORE] shuffleServiceEnabled kaldırma o.a.spark.util.Utils#getConfiguredLocalDirs
• [SPARK-46440] [SC-150807][SQL] Yeniden temel yapılandırmalarını varsayılan olarak CORRECTED moduna ayarlama
• [SPARK-45525] [SC-151120][SQL][PYTHON] DSv2 kullanılarak Python veri kaynağı yazma desteği
• [SPARK-46505] [SC-151187][BAĞLAN] içinde bayt eşiğini yapılandırılabilir hale getirme ProtoUtils.abbreviate
• [SPARK-46447] [SC-151025][SQL] Eski tarih saat yeniden temellendirme SQL yapılandırmalarını kaldırma
• [SPARK-46443] [SC-151123][SQL] Ondalık duyarlık ve ölçek, H2 diyalekt tarafından belirlenir.
• [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] Yapılandırılmış Akış Sayfasındaki İşlem Süresi Yığın Grafiğini Düzeltme
• [SPARK-46207] [SC-151068][SQL] DataFrameWriterV2'de MergeInto desteği
• [SPARK-46452] [SC-151018][SQL] Kayıtların yineleyicisini yazmak için DataWriter'a yeni bir API ekleme
• [SPARK-46273] [SC-150313][SQL] DSv2 kaynaklarını kullanarak INTO/OVERWRITE işlemlerine destek INSERT
• [SPARK-46344] [SC-150267][CORE] Bir sürücü başarıyla mevcut olduğunda ancak ana sürücünün bağlantısı kesildiğinde düzgün bir şekilde uyarın
• [SPARK-46284] [SC-149944][PYTHON][BAĞLAN] Python'a işlev ekleme session_user
• [SPARK-46043] [SC-149786][SQL] DSv2 kaynaklarını kullanarak tablo oluşturma desteği
• [SPARK-46323] [SC-150191][PYTHON] pyspark.sql.functions.now dosyasının çıkış adını düzeltin
• [SPARK-46465] [SC-151059][PYTHON][BAĞLAN] PySpark'ta ekle Column.isNaN
• [SPARK-46456] [SC-151050][CORE] SparkContext kapatma engelini kaldırmak için Jetty sunucusu durdurma zaman aşımını ayarlamak için spark.ui.jettyStopTimeout ekleme
• [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: işaretsiz tamsayı türlerine yukarı yayına izin ver
• [SPARK-46399] [SC-151013][14.x][Çekirdek] Spark Dinleyicisi'nin kullanımı için Uygulama Sonu olayına çıkış durumu ekleme
• [SPARK-46423] [SC-150752][PYTHON][SQL] DataSource.lookupDataSourceV2'de Python Veri Kaynağı örneğini oluşturma
• [SPARK-46424] [SC-150765][PYTHON][SQL] Python Veri Kaynağı'nda Python ölçümlerini destekleme
• [SPARK-46330] [SC-151015] HybridStore etkinleştirildiğinde Spark kullanıcı arabirimi bloklarının uzun süre yüklenmesi
• [SPARK-46378] [SC-150397][SQL] Toplamayı Project'e dönüştürdükten sonra Sıralamayı yine de kaldırıyoruz
• [SPARK-45506] [SC-146959][BAĞLAN] SparkConnect addArtifact'e sarmaşık URI desteği ekleme
• [SPARK-45814] [SC-147871][BAĞLAN][SQL]Bellek sızıntısını önlemek için ArrowConverters.createEmptyArrowBatch çağrısı close() yapın
• [SPARK-46427] [SC-150759][PYTHON][SQL] Python Veri Kaynağı açıklamasını açıklamada güzel olacak şekilde değiştirin
• [SPARK-45597] [SC-150730][PYTHON][SQL] SQL'de Python veri kaynağı kullanarak tablo oluşturma desteği (DSv2 exec)
• [SPARK-46402] [SC-150700][PYTHON] getMessageParameters ve getQueryContext desteği ekleme
• [SPARK-46453] [SC-150897][BAĞLAN] uygulamasından internalError() özel durum oluşturma SessionHolder
• [SPARK-45758] [SC-147454][SQL] Hadoop sıkıştırma codec'leri için eşleyici tanıtma
• [SPARK-46213] [PYTHON] Hata çerçevesi için tanıtma PySparkImportError
• [SPARK-46230] [SC-149960][PYTHON] PySpark'a geçiş RetriesExceeded hatası
• [SPARK-45035] [SC-145887][SQL] Çok satırlı CSV/JSON ile ignoreCorruptFiles/ignoreMissingFiles hata bildirecek düzeltme
• [SPARK-46289] [SC-150846][SQL] Yorumlanmış modda UDF'leri sıralama desteği
• [SPARK-46229] [SC-150798][PYTHON][BAĞLAN] Spark Connect'te groupBy ve cogroup'a applyInArrow ekleme
• [SPARK-46420] [SC-150847][SQL] SparkSQLCLIDriver'da kullanılmayan aktarımı kaldırma
• [SPARK-46226] [PYTHON] Kalanların RuntimeError tümünü PySpark hata çerçevesine geçirme
• [SPARK-45796] [SC-150613][SQL] MODE() GRUP İÇİNDE DESTEKLE (ORDER BY kol)
• [SPARK-40559] [SC-149686][PYTHON][14.X] groupBy ve cogroup'a applyInArrow ekleme
• [SPARK-46069] [SC-149672][SQL] Zaman damgası türünü tarih türüne kadar açma desteği
• [SPARK-46406] [SC-150770][SQL] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_1023
• [SPARK-46431] [SC-150782][SS] Oturum yineleyicilerinde dönüştürme IllegalStateExceptioninternalError
• [SPARK-45807] [SC-150751][SQL] ViewCatalog API'sini geliştirme
• [SPARK-46009] [SC-149771][SQL][BAĞLAN] PercentileCont ve PercentileDisc ayrıştırma kuralını functionCall ile birleştirin
• [SPARK-46403] [SC-150756][SQL] getBytesUnsafe yöntemiyle parquet ikili kodunu çözme
• [SPARK-46389] [SC-150779][CORE] Özel Durum oluştururken RocksDB/LevelDB örneği el ile kapatma checkVersion
• [SPARK-46360] [SC-150376][PYTHON] Yeni getMessage API ile hata iletisi hata ayıklamasını geliştirme
• [SPARK-46233] [SC-149766][PYTHON] Kalanların AttributeError tümünü PySpark hata çerçevesine geçirme
• [SPARK-46394] [SC-150599][SQL] spark.sql.legacy.keepCommandOutputSchema true olarak ayarlandığında özel karakterler içeren şemalardaki spark.catalog.listDatabases() sorunlarını düzeltme
• [SPARK-45964] [SC-148484][SQL] Katalizör paketi altında XML ve JSON paketinde özel SQL erişimcisini kaldırma
• [SPARK-45856] [SC-148691] ArtifactManager'ı Spark Connect'ten SparkSession'a taşıma (sql/core)
• [SPARK-46409] [SC-150714][BAĞLAN] spark-connect-scala-client başlatma betiğini düzeltme
• [SPARK-46416] [SC-150699][CORE] Ekle @tailrecHadoopFSUtils#shouldFilterOutPath
• [SPARK-46115] [SC-149154][SQL] içinde karakter kümelerini kısıtlama encode()
• [SPARK-46253] [SC-150416][PYTHON] MapInArrow kullanarak Python veri kaynağını okumayı planlama
• [SPARK-46339] [SC-150266][SS] Toplu iş numarası adına sahip dizin meta veri günlüğü olarak değerlendirilmemelidir
• [SPARK-46353] [SC-150396][CORE] Birim testi kapsamını geliştirmek RegisterWorker için yeniden düzenleme
• [SPARK-45826] [SC-149061][SQL] DataFrame sorgu bağlamında yığın izlemeleri için SQL yapılandırması ekleme
• [SPARK-45649] [SC-150300][SQL] OffsetWindowFunctionFrame için hazırlama çerçevesini birleştirme
• [SPARK-46346] [SC-150282][CORE] Bir çalışanı UNKNOWN'den RegisterWorker msg'de ALIVE güncelleştirmeye yönelik Ana Düzeltme
• [SPARK-46388] [SC-150496][SQL] HiveAnalysis, query.resolved
• [SPARK-46401] [SC-150609][CORE] şunun yerine !isEmpty() açık RoaringBitmap kullanıngetCardinality() > 0:RemoteBlockPushResolver
• [SPARK-46393] [SC-150603][SQL] JDBC tablo kataloğunda özel durumları sınıflandırma
• [SPARK-45798] [SC-150513][BAĞLAN] İzleme: SessionHolderInfo'ya serverSessionId ekleme
• [SPARK-46153] [SC-146564][SC-150508][SQL] XML: TimestampNTZType desteği ekleme
• [SPARK-46075] [SC-150393][BAĞLAN] SparkConnectSessionManager geliştirmeleri
• [SPARK-46357] [SC-150596] yanlış setConf belge kullanımını conf.set ile değiştirme
• [SPARK-46202] [SC-150420][BAĞLAN] Özel hedef dizinleri desteklemek için yeni ArtifactManager API'lerini kullanıma sunma
• [SPARK-45824] [SC-147648][SQL] içinde hata sınıfını zorlama ParseException
• [SPARK-45845] [SC-148163][SS][UI] Akış kullanıcı arabirimine çıkarılan durum satırlarının sayısını ekleme
• [SPARK-46316] [SC-150181][CORE] Modülde buf-lint-action etkinleştir core
• [SPARK-45816] [SC-147656][SQL] Zaman damgasından tamsayılara dönüştürme sırasında taşma sırasında dönüş NULL
• [SPARK-46333] [SC-150263][SQL] katalizörde ile IllegalStateException değiştir SparkException.internalError
• [SPARK-45762] [SC-148486][CORE] Başlangıç sırasını değiştirerek kullanıcı jar'larında tanımlanan karıştırma yöneticilerini destekleme
• [SPARK-46239] [SC-149752][CORE] Bilgileri gizle Jetty
• [SPARK-45886] [SC-148089][SQL] DataFrame bağlamında çıkış tam yığın izlemesi callSite
• [SPARK-46290] [SC-150059][PYTHON] saveMode değerini DataSourceWriter için boole bayrağıyla değiştirme
• [SPARK-45899] [SC-148097][CONNECT] errorInfoToThrowable içinde errorClass'ı ayarla
• [SPARK-45841] [SC-147657][SQL] Yığın izlemesi kullanıma sunma ölçütü DataFrameQueryContext
• [SPARK-45843] [SC-147721][CORE] REST Gönderim API'sinde destek killall
• [SPARK-46234] [SC-149711][PYTHON] PySpark hata çerçevesi için tanıtma PySparkKeyError
• [SPARK-45606] [SC-147655][SQL] Çok katmanlı çalışma zamanı filtresinde yayın kısıtlamaları
• [SPARK-45725] [SC-147006][SQL] Varsayılan olmayan IN alt sorgu çalışma zamanı filtresini kaldırma
• [SPARK-45694] [SC-147314][SPARK-45695][SQL] Kullanım dışı API kullanımını View.force temizleme ve ScalaNumberProxy.signum
• [SPARK-45805] [SC-147488][SQL] Daha genel hale getirme withOrigin
• [SPARK-46292] [SC-150086][CORE][UI] MasterPage'de çalışanların özetini gösterme
• [SPARK-45685] [SC-146881][CORE][SQL] Yerine kullanın LazyListStream
• [SPARK-45888] [SC-149945][SS] Durum (Meta Veri) Veri Kaynağına hata sınıfı çerçevesi uygulama
• [SPARK-46261] [SC-150111][BAĞLAN] DataFrame.withColumnsRenamed dikte/harita sıralamasını korumalıdır
• [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI] SeqOps.view Temizleme ve ArrayOps.view dönüştürmeler
• [SPARK-46029] [SC-149255][SQL] Tek tırnak _ işaretinden ve % DS V2 anında iletme için kaçış
• [SPARK-46275] [SC-150189] Protobuf: Seri durumdan çıkarma başarısız olduğunda izin verme modunda null döndürür.
• [SPARK-46320] [SC-150187][CORE] Destek spark.master.rest.host
• [SPARK-46092] [SC-149658][SQL] Taşan Parquet satır grubu filtrelerini aşağı itme
• [SPARK-46300] [SC-150097][PYTHON][CONNECT] Sütundaki küçük ölçekli davranış eşleşmelerini tam test kapsamıyla uyumlu hale getirme
• [SPARK-46298] [SC-150092][PYTHON][CONNECT] Catalog.createExternalTable'ın kullanımdan kaldırma uyarısı, test durumu ve hatasıyla eşleşmesini sağla
• [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] ve türü kullanımıyla ilgili StringContext/StringOps/RightProjection/LeftProjection/Either kullanım dışı API kullanımını temizleyin BufferedIterator/CanBuildFrom/Traversable
• [SPARK-33393] [SC-148407][SQL] v2'de SHOW TABLE EXTENDED desteği
• [SPARK-45737] [SC-147011][SQL] SparkPlan#executeTake'da gereksiz .toArray[InternalRow] kaldırma
• [SPARK-46249] [SC-149797][SS] Arka plan işlemleriyle yarışı önlemek için RocksDB ölçümlerini almak için örnek kilidi gerektir
• [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed dikte düzenine uygun olmalıdır
• [SPARK-46274] [SC-150043] [SQL] Dönüştürmeden önce uzun geçerliliği denetlemek için ComputeStats() Aralık işlecini düzeltin
• [SPARK-46040] [SC-149767][SQL][Python] Genel ifadeleri destekleyecek şekilde bölümlendirme/sıralama sütunlarını analiz amacıyla UDTF API'sini güncelleme
• [SPARK-46287] [SC-149949][PYTHON][BAĞLAN] DataFrame.isEmpty tüm veri türleriyle çalışmalıdır
• [SPARK-45678] [SC-146825][CORE] tryOrFetchFailedException altında BufferReleasingInputStream.available/reset kapsama alınıyor.
• [SPARK-45667] [SC-146716][CORE][SQL][BAĞLAN] ile ilgili IterableOnceExtensionMethodskullanım dışı API kullanımını temizleyin.
• [SPARK-43980] [SC-148992][SQL] söz dizimine giriş select * except
• [SPARK-46269] [SC-149816][PS] Daha fazla NumPy uyumluluk işlevi testlerini etkinleştirme
• [SPARK-45807] [SC-149851][SQL] ViewCatalog'a createOrReplaceView(..) / replaceView(..) ekleyin
• [SPARK-45742] [SC-147212][CORE][BAĞLAN][MLLIB][PYTHON] Scala Dizisi'nin içine kaydırılması için örtük bir işlev tanıtın immutable.ArraySeq.
• [SPARK-46205] [SC-149655][CORE] ile performansı geliştirme PersistenceEngineKryoSerializer
• [SPARK-45746] [SC-149359][Python] UDTF 'çözümle' veya 'değerlendirme' yöntemi yanlış değerleri kabul ederse veya döndürüyorsa belirli hata iletilerini döndür
• [SPARK-46186] [SC-149707][BAĞLAN] ExecuteThreadRunner başlamadan önce kesintiye uğradığında geçersiz durum geçişi düzeltildi
• [SPARK-46262] [SC-149803][PS] Pandas-on-Spark nesnesi için np.left_shift testi etkinleştirin.
• [SPARK-45093] [SC-149679][BAĞLAN][PYTHON] AddArtifactHandler için hata işleme ve dönüştürmeyi düzgün bir şekilde destekleme
• [SPARK-46188] [SC-149571][Doc][3.5] Spark belgesinin oluşturduğu tabloların CSS'sini düzeltme
• [SPARK-45940] [SC-149549][PYTHON] DataSourceReader arabirimine InputPartition ekleme
• [SPARK-43393] [SC-148301][SQL] Adres dizisi ifadesi taşma hatası.
• [SPARK-46144] [SC-149466][SQL] BAŞARıSıZ INSERT INTO ... Koşul alt sorgu içeriyorsa REPLACE deyimi
• [SPARK-46118] [SC-149096][SQL][SS][BAĞLAN] yerine SparkSession.sessionState.conf kullanın SQLContext.conf ve kullanım dışı olarak işaretleyin SQLContext.conf
• [SPARK-45760] [SC-147550][SQL] İfadelerin çoğaltılmasını önlemek için With ifadesi ekleme
• [SPARK-43228] [SC-149670][SQL] Birleştirme anahtarları coalesceBucketsInJoin içindeki PartitioningCollection ile de eşleşir
• [SPARK-46223] [SC-149691][PS] SparkPandasNotImplementedError'ı kullanılmayan kodu temizleyerek test edin
• [SPARK-46119] [SC-149205][SQL] için geçersiz kılma toString yöntemi UnresolvedAlias
• [SPARK-46206] [SC-149674][PS] SQL işlemcisi için daha dar bir kapsam özel durumu kullanma
• [SPARK-46191] [SC-149565][CORE] Mevcut dosya durumunda hata msg'sini iyileştirme FileSystemPersistenceEngine.persist
• [SPARK-46036] [SC-149356][SQL] hata sınıfını raise_error işlevinden kaldırma
• [SPARK-46055] [SC-149254][SQL] Katalog Veritabanı API'leri uygulamasını yeniden yazma
• [SPARK-46152] [SC-149454][SQL] XML: XML şema çıkarımında DecimalType desteği ekleme
• [SPARK-45943] [SC-149452][SQL] DetermineTableStats'ı çözümleme kurallarına taşıma
• [SPARK-45887] [SC-148994][SQL] codegen ve non-codegen uygulamasını uyumlu hale getirme Encode
• [SPARK-45022] [SC-147158][SQL] Veri kümesi API'leri hataları için bağlam sağlama
• [SPARK-45469] [SC-145135][CORE][SQL][BAĞLAN][PYTHON] şununla toIterator değiştiriterator:IterableOnce
• [SPARK-46141] [SC-149357][SQL] spark.sql.legacy.ctePrecedencePolicy için varsayılan değeri DÜZELTİlDİ olarak değiştirin
• [SPARK-45663] [SC-146617][CORE][MLLIB] şununla değiştir IterableOnceOps#aggregateIterableOnceOps#foldLeft
• [SPARK-45660] [SC-146493][SQL] ComputeCurrentTime kuralında Değişmez Değer nesnelerini yeniden kullanma
• [SPARK-45803] [SC-147489][CORE] Artık kullanılmayan öğeyi çıkarın RpcAbortException
• [SPARK-46148] [SC-149350][PS] pyspark.pandas.mlflow.load_model test düzeltmesi (Python 3.12)
• [SPARK-46110] [SC-149090][PYTHON] Katalog, conf, connect, gözlem, pandas modüllerinde hata sınıflarını kullanma
• [SPARK-45827] [SC-149203][SQL] Codegen ve vektörleştirilmiş okuyucu devre dışı bırakılmış değişken düzeltmeleri
• [SPARK-46080] "[SC-149012][PYTHON] Cloudpickle'i 3.0.0 sürümüne yükseltme"
• [SPARK-45460] [SC-144852][SQL] Şununla değiştir scala.collection.convert.ImplicitConversions : scala.jdk.CollectionConverters
• [SPARK-46073] [SC-149019][SQL] Belirli komutlar için UnresolvedNamespace özel çözünürlüğünü kaldırın
• [SPARK-45600] [SC-148976][PYTHON] Python veri kaynağı kaydı oturum düzeyini belirleme
• [SPARK-46074] [SC-149063][BAĞLAN][SCALA] UDF hatasıyla ilgili hata iletisinde yetersiz ayrıntılar
• [SPARK-46114] [SC-149076][PYTHON] Hata çerçevesi için PySparkIndexError ekleme
• [SPARK-46120] [SC-149083][CONNECT][PYTHON] Yardımcı işlevi kaldırma DataFrame.withPlan
• [SPARK-45927] [SC-148660][PYTHON] Python veri kaynağı için yol işlemeyi güncelleştirme
• [SPARK-46062] [14.x][SC-148991][SQL] isStreaming bayrağını CTE tanımı ve referansı arasında senkronize etme
• [SPARK-45698] [SC-146736][CORE][SQL][SS] ile ilgili kullanım dışı API kullanımını temizleme Buffer
• [SPARK-46064] [SC-148984][SQL][SS] EliminateEventTimeWatermark'ı çözümleyiciye taşıyın ve yalnızca çözümlenen alt öğeyi etkili olacak şekilde değiştirin
• [SPARK-45922] [SC-149038][BAĞLAN][CLIENT] Küçük yeniden denemeler yeniden düzenleme (birden çok ilkeyi izleme)
• [SPARK-45851] [SC-148419][BAĞLAN][SCALA] Scala istemcisinde birden çok ilkeyi destekleme
• [SPARK-45974] [SC-149062][SQL] RowLevelOperationRuntimeGroupFiltering için scan.filterAttributes boş olmayan bir karar ekleme
• [SPARK-46085] [SC-149049][BAĞLAN] Scala Spark Connect istemcisinde Dataset.groupingSets
• [SPARK-45136] [SC-146607][BAĞLAN] Ammonite desteği ile ClosureCleaner'ı geliştirme
• [SPARK-46084] [SC-149020][PS] Kategorik tür için veri türü atama işlemini yeniden düzenleme.
• [SPARK-46083] [SC-149018][PYTHON] SparkNoSuchElementException'ı kurallı hata API'si yapma
• [SPARK-46048] [SC-148982][PYTHON][BAĞLAN] Python Spark Connect'te DataFrame.groupingSets desteği
• [SPARK-46080] [SC-149012][PYTHON] Cloudpickle'i 3.0.0 sürümüne yükseltme
• [SPARK-46082] [SC-149015][PYTHON][BAĞLAN] Spark Connect ile Pandas İşlevleri API'sinde protobuf dize gösterimi düzeltilir
• [SPARK-46065] [SC-148985][PS] kullanmak (DataFrame|Series).factorize()için yeniden düzenleme.create_map
• [SPARK-46070] [SC-148993][SQL] SparkDateTimeUtils.getZoneId dosyasındaki regex desenini sık erişimli döngünün dışında derleme
• [SPARK-46063] [SC-148981][PYTHON][CONNECT] Sevimli, toplama, gruplandırma ve özet bağımsız değişken türleriyle ilgili hata iletilerini geliştirme
• [SPARK-44442] [SC-144120][MESOS] Mesos desteğini kaldırma
• [SPARK-45555] [SC-147620][PYTHON] Başarısız onay için hata ayıklanabilir bir nesne içerir
• [SPARK-46048] [SC-148871][PYTHON][SQL] PySpark'ta DataFrame.groupingSets desteği
• [SPARK-45768] [SC-147304][SQL][PYTHON] Sql'de Python yürütmesi için faulthandler'i çalışma zamanı yapılandırması yapma
• [SPARK-45996] [SC-148586][PYTHON][BAĞLAN] Spark Connect için uygun bağımlılık gereksinimi iletilerini gösterme
• [SPARK-45681] [SC-146893][UI] Ui üzerinde tutarlı hata işleme için UIUtils.errorMessageCell'in js sürümünü kopyalama
• [SPARK-45767] [SC-147225][CORE] Silme TimeStampedHashMap ve UT
• [SPARK-45696] [SC-148864][CORE] Promise özelliğinde tryCompleteWith yönteminin kullanım dışı bırakıldığında düzeltilmesi
• [SPARK-45503] [SC-146338][SS] RocksDB Sıkıştırmasını Ayarlamak İçin Konfigürasyon Ekleme
• [SPARK-45338] [SC-143934][CORE][SQL] Şununla değiştir scala.collection.JavaConverters : scala.jdk.CollectionConverters
• [SPARK-44973] [SC-148804][SQL] Düzeltme:ArrayIndexOutOfBoundsExceptionconv()
• [SPARK-45912] [SC-144982][SC-148467][SQL] XSDToSchema API'sinin geliştirilmesi: Bulut depolama erişilebilirliği için HDFS API'sine geçiş
• [SPARK-45819] [SC-147570][CORE] REST Gönderim API'sinde destek clear
• [SPARK-45552] [14.x][SC-146874][PS] assertDataFrameEqual için esnek parametreler ekleme
• [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] _metadata sütun eklemek için diğer Akış kaynakları için arabirim sağlama
• [SPARK-45929] [SC-148692][SQL] Dataframe API'sinde gruplamaSets işlemi desteği
• [SPARK-46012] [SC-148693][CORE] Uygulama durumu dosyası eksikse EventLogFileReader sıralı günlükleri okumamalıdır
• [SPARK-45965] [SC-148575][SQL] DSv2 bölümleme ifadelerini functions.partitioning içine taşıma
• [SPARK-45971] [SC-148541][CORE][SQL] öğesinin paket adını düzeltin SparkCollectionUtils : org.apache.spark.util
• [SPARK-45688] [SC-147356][SPARK-45693][CORE] & Fix ile ilgili MapOps kullanım dışı API kullanımını temizleme method += in trait Growable is deprecated
• [SPARK-45962] [SC-144645][SC-148497][SQL] XML yerine treatEmptyValuesAsNulls kaldırma ve nullValue seçeneğini kullanma
• [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Python 3.11+'da GenericAlias'ı işlemek list için typehints düzeltildi
• [SPARK-45999] [SC-148595][PS] Ayrılmış olarak PandasProduct kullanma cumprod
• [SPARK-45986] [SC-148583][ML][PYTHON] Python 3.11'de düzeltme pyspark.ml.torch.tests.test_distributor
• [SPARK-45994] [SC-148581][PYTHON] Olarak değiştir description-filedescription_file
• [SPARK-45575] [SC-146713][SQL] Df okuma API'si için zaman yolculuğu seçeneklerini destekleme
• [SPARK-45747] [SC-148404][SS] Oturum penceresi toplama için okuma durumunu işlemek üzere durum meta verilerinde ön ek anahtarı bilgilerini kullanma
• [SPARK-45898] [SC-148213][SQL] Çözümlenmemiş mantıksal planı kullanmak için katalog tablosu API'lerini yeniden yazma
• [SPARK-45828] [SC-147663][SQL] DSL'de kullanım dışı yöntemi kaldırma
• [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][BAĞLAN] Desteklemek için 4.25.1 sürümüne yükseltin protobufPython 3.11
• [SPARK-45911] [SC-148226][CORE] TLS1.3'i RPC SSL için varsayılan yapma
• [SPARK-45955] [SC-148429][UI] Flamegraph ve iş parçacığı dökümü ayrıntıları için Desteği Daralt
• [SPARK-45936] [SC-148392][PS] İyileştirme Index.symmetric_difference
• [SPARK-45389] [SC-144834][SQL][3.5] Bölüm meta verilerini alma konusunda MetaException eşleştirme kuralını düzeltme
• [SPARK-45655] [SC-148085][SQL][SS] CollectMetrics'te AggregateFunctions içinde belirlenemeyen ifadelere izin ver
• [SPARK-45946] [SC-148448][SS] RocksDBSuite'da varsayılan karakter kümesini geçirmek için kullanım dışı FileUtils yazma özelliğinin kullanımı düzeltildi
• [SPARK-45511] [SC-148285][SS] Durum Veri Kaynağı - Okuyucu
• [SPARK-45918] [SC-148293][PS] İyileştir MultiIndex.symmetric_difference
• [SPARK-45813] [SC-148288][BAĞLAN][PYTHON] Komutlardan gözlemlenen ölçümleri döndürme
• [SPARK-45867] [SC-147916][CORE] Destek spark.worker.idPattern
• [SPARK-45945] [SC-148418][BAĞLAN] için yardımcı işlev ekleme parser
• [SPARK-45930] [SC-148399][SQL] MapInPandas/MapInArrow'da belirlenemeyen UDF'leri destekleme
• [SPARK-45810] [SC-148356][Python] Giriş tablosundan satır kullanmayı durdurmak için Python UDTF API'sini oluşturma
• [SPARK-45731] [SC-147929][SQL] Ayrıca bölüm istatistiklerini ANALYZE TABLE komutuyla güncelleştirin
• [SPARK-45868] [SC-148355][BAĞLAN] Vanilya spark ile aynı ayrıştırıcıyı kullandığınızdan emin spark.table olun
• [SPARK-45882] [SC-148161][SQL] BroadcastHashJoinExec yayma bölümlemesi CoalescedHashPartitioning'e göre olmalıdır
• [SPARK-45710] [SC-147428][SQL] Hata _LEGACY_ERROR_TEMP_21 ad atama[59,60,61,62]
• [SPARK-45915] [SC-148306][SQL] ondalık(x, 0) değerini içindeki IntegralType ile aynı şekilde değerlendirin PromoteStrings
• [SPARK-45786] [SC-147552][SQL] Hatalı Ondalık çarpma ve bölme sonuçlarını düzeltme
• [SPARK-45871] [SC-148084][BAĞLAN] Modüllerdeki ile .toBuffer ilgili iyileştirmeler koleksiyonu dönüştürmesi connect
• [SPARK-45822] [SC-147546][BAĞLAN] SparkConnectSessionManager durdurulmuş bir sparkcontext arayabilir
• [SPARK-45913] [SC-148289][PYTHON] İç öznitelikleri PySpark hatalarından özel hale getirin.
• [SPARK-45827] [SC-148201][SQL] Spark'ta Değişken veri türü ekleyin.
• [SPARK-44886] [SC-147876][SQL] CREATE/REPLACE CLUSTER BY için TABLE yan tümcesi eklendi
• [SPARK-45756] [SC-147959][CORE] Destek spark.master.useAppNameAsAppId.enabled
• [SPARK-45798] [SC-147956][BAĞLAN] Sunucu tarafı oturum kimliğini onaylama
• [SPARK-45896] [SC-148091][SQL] Doğru beklenen türle oluşturma ValidateExternalType
• [SPARK-45902] [SC-148123][SQL] Kullanılmayan işlev resolvePartitionColumns'yi DataSource'ten kaldırma.
• [SPARK-45909] [SC-148137][SQL] IsNotNull'da güvenli bir şekilde yukarı dönüştürülebilirse NumericType'yi kaldır
• [SPARK-42821] [SC-147715][SQL] SplitFiles yöntemlerinde kullanılmayan parametreleri kaldırma
• [SPARK-45875] [SC-148088][CORE] MissingStageTableRowDatacore modülünden kaldırma
• [SPARK-45783] [SC-148120][PYTHON][CONNECT] Spark Connect modu etkinleştirildiğinde ancak uzak URL ayarlanmadığında hata iletilerini iyileştirme
• [SPARK-45804] [SC-147529][UI] Alev grafiğini açmak/kapatmak için spark.ui.threadDump.flamegraphEnabled yapılandırması ekleme
• [SPARK-45664] [SC-146878][SQL] Ork sıkıştırma codec'leri için eşleyici tanıtma
• [SPARK-45481] [SC-146715][SQL] Parquet sıkıştırma codec'leri için eşleyici tanıtma
• [SPARK-45752] [SC-148005][SQL] Başvurulmamış CTE ilişkilerini denetleme kodunu basitleştirme
• [SPARK-44752] [SC-146262][SQL] XML: Spark Docs'ı güncelleştirme
• [SPARK-45752] [SC-147869][SQL] Başvurulmayan CTE'nin tümü CheckAnalysis0 tarafından denetlenmelidir
• [SPARK-45842] [SC-147853][SQL] Çözümleyici kullanmak için Katalog İşlev API'lerini yeniden düzenleme
• [SPARK-45639] [SC-147676][SQL][PYTHON] DataFrameReader'da Python veri kaynaklarını yükleme desteği
• [SPARK-45592] [SC-146977][SQL] InMemoryTableScanExec ile AQE'de doğruluk sorunu
• [SPARK-45794] [SC-147646][SS] Akış durumu meta veri bilgilerini sorgulamak için durum meta veri kaynağını tanıtın
• [SPARK-45739] [SC-147059][PYTHON] Hata işleyici için tek başına EOFException yerine IOException'i yakalama
• [SPARK-45677] [SC-146700] Gözlem API'sinde daha iyi hata günlüğü
• [SPARK-45544] [SC-146873][CORE] SSL desteğini TransportContext ile tümleştirme
• [SPARK-45654] [SC-147152][PYTHON] Python veri kaynağı yazma API'sini ekleme
• [SPARK-45771] [SC-147270][CORE] Varsayılan olarak etkinleştir spark.eventLog.rolling.enabled
• [SPARK-45713] [SC-146986][PYTHON] Python veri kaynaklarını kaydetme desteği
• [SPARK-45656] [SC-146488][SQL] Farklı veri kümelerinde aynı ada sahip gözlemler adlandırıldığında gözlemi düzeltme
• [SPARK-45808] [SC-147571][BAĞLAN][PYTHON] SQL Özel Durumları için daha iyi hata işleme
• [SPARK-45774] [SC-147353][CORE][UI] Destek spark.master.ui.historyServerUrl : ApplicationPage
• [SPARK-45776] [SC-147327][CORE] SPARK-39553'te eklenen MapOutputTrackerMaster#unregisterShuffle için önleyici null denetimini kaldırma
• [SPARK-45780] [SC-147410][BAĞLAN] InheritableThread içindeki tüm Spark Connect istemci iş parçacıklarını yayma
• [SPARK-45785] [SC-147419][CORE] spark.deploy.appNumberModulo Uygulama numarasını döndürme desteği
• [SPARK-45793] [SC-147456][CORE] Yerleşik sıkıştırma codec'lerini geliştirme
• [SPARK-45757] [SC-147282][ML] Binarizer'da NNZ'nin yeniden hesaplanmasından kaçının
• [SPARK-45209] [SC-146490][CORE][UI] Yürütücü İş Parçacığı Döküm Sayfası için Flame Graph Desteği
• [SPARK-45777] [SC-147319][CORE] Destek spark.test.appId : LocalSchedulerBackend
• [SPARK-45523] [SC-146331][PYTHON] Kısayollara sahip olmak için null denetimini yeniden düzenleme
• [SPARK-45711] [SC-146854][SQL] Avro sıkıştırma codec'leri için eşleyici tanıtma
• [SPARK-45523] [SC-146077][Python] UDTF, null kabul etmeyen herhangi bir sütun için None döndürüyorsa yararlı bir hata mesajı döndür.
• [SPARK-45614] [SC-146729][SQL] Hata _LEGACY_ERROR_TEMP_215 ad atama[6,7,8]
• [SPARK-45755] [SC-147164][SQL] Genel sınır uygulayarak Dataset.isEmpty() geliştirme 1
• [SPARK-45569] [SC-145915][SQL] Hata _LEGACY_ERROR_TEMP_2153 ad atayın
• [SPARK-45749] [SC-147153][CORE][WEBUI] Duration sütununu düzgün sıralamak için Spark History Server'yi düzeltme
• [SPARK-45754] [SC-147169][CORE] Destek spark.deploy.appIdPattern
• [SPARK-45707] [SC-146880][SQL] ile basitleştirme DataFrameStatFunctions.countMinSketchCountMinSketchAgg
• [SPARK-45753] [SC-147167][CORE] Destek spark.deploy.driverIdPattern
• [SPARK-45763] [SC-147177][CORE][UI] MasterPage yalnızca mevcut olduğunda Resource sütunu gösterecek şekilde geliştirme
• [SPARK-45112] [SC-143259][SQL] SQL Veri Kümesi işlevlerinde UnresolvedFunction tabanlı çözümleme kullanma

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).

Bakım güncelleştirmeleri

Bkz . Databricks Runtime 14.3 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.3 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Gölü: 3.1.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları, 2023-02-10'da Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)