Databricks Runtime 11.3 LTS

Aşağıdaki sürüm notları, Apache Spark 3.3.0 tarafından desteklenen Databricks Runtime 11.3 LTS hakkında bilgi sağlar. Databricks bu sürümü Ekim 2022'de yayımladı.

Davranış değişiklikleri

[Yeni değişiklik] Yeni Python sürümü Databricks Connect V1 Python istemcilerinin güncelleştirilmesini gerektirir

Gerekli güvenlik düzeltme eklerini uygulamak için Databricks Runtime 11.3 LTS'deki Python sürümü 3.9.5'ten 3.9.19'a yükseltilir. Bu değişiklikler belirli PySpark işlevlerini kullanan istemcilerde hatalara neden olabileceği için, Databricks Runtime 11.3 LTS ile Python için Databricks Connect V1 kullanan tüm istemcilerin Python 3.9.7 veya sonraki bir sürüme güncelleştirilmesi gerekir.

Yeni özellikler ve geliştirmeler

• Yapılandırılmış Akış tetikleyicisi kullanımdan kaldırıldıktan sonra
• Otomatik Yükleyici için kaynak yolu değiştirme
• Databricks Kinesis bağlayıcısı artık EFO modunda Kinesis Veri akışlarından okumayı destekliyor
• Yeni H3 jeo-uzamsal işlevleri ve tüm H3 işlevleri için Foton desteği eklendi
• Tahmine Dayalı G/Ç için yeni özellikler
• Seçmeli sorguları taramak için ilk bölümleri artırma
• Yeni AQE planı sürümleri görselleştirmesi
• Yeni zaman uyumsuz ilerleme izleme ve günlük temizleme modları
• Unity Kataloğu'nda Yapılandırılmış Akış artık destekleniyor display()
• İşlem hattı olayları artık JSON biçiminde günlüğe kaydedilir
• Python ile Yapılandırılmış Akışta Rastgele Durum Bilgisi olan İşleme
• CSV dosyalarında tarih çıkarımı
• Apache Parquet ve Apache Iceberg tabloları için kopyalama desteği (Genel Önizleme)
• Unity Kataloğu yönetilen tabloları için şema ve katalog düzeyinde depolama konumlarını belirtmek için SQL kullanma

Yapılandırılmış Akış tetikleyicisi kullanımdan kaldırıldıktan sonra

Ayar Trigger.Once kullanım dışı bırakıldı. Databricks kullanmanızı Trigger.AvailableNowönerir. Bkz . Yapılandırılmış Akış tetikleyici aralıklarını yapılandırma.

Otomatik Yükleyici için kaynak yolu değiştirme

Artık yeni bir denetim noktası dizini seçmek zorunda kalmadan dizin listeleme moduyla yapılandırılan Otomatik Yükleyici için dizin giriş yolunu değiştirebilirsiniz. Bkz. Otomatik Yükleyici için kaynak yolunu değiştirme.

Databricks Kinesis bağlayıcısı artık EFO modunda Kinesis Veri akışlarından okumayı destekliyor

Artık Databricks Çalışma Zamanı 11.3 LTS'deki Databricks Kinesis yapılandırılmış akış kaynağını kullanarak Kinesis Veri akışlarından gelen okuma sorgularını gelişmiş yayma modunda çalıştırabilirsiniz. Bu, parça başına, tüketici başına ayrılmış aktarım hızına ve gönderme modunda kayıt teslimi sağlar.

Yeni H3 jeo-uzamsal işlevleri ve tüm H3 işlevleri için Foton desteği eklendi

4 yeni H3 işleviyle tanışın: h3_maxchild, h3_minchild, h3_pointash3ve h3_pointash3string. Bu işlevler SQL, Scala ve Python'da kullanılabilir. Tüm H3 ifadeleri artık Photon'da desteklenmektedir. Bkz. H3 jeo-uzamsal işlevler.

Tahmine Dayalı G/Ç için yeni özellikler

Foton, kullanarak RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROWçerçeveleri çalıştırmak için aralık modunu destekler. Foton, kullanarak RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }çerçeveleri büyütmek için aralık modunu da destekler.

Seçmeli sorguları taramak için ilk bölümleri artırma

Foton özellikli kümelerde ve take/tail/limit Databricks SQL'de ile seçmeli sorgu LIMIT için taranacak ilk bölümlerin değeri 10'a yükseltildi. 10 bölümle, birden çok küçük işi başlatma ve yavaş bir ölçeği artırma yükünden kaçınabilirsiniz. Bunu aracılığıyla spark.sql.limit.selectiveInitialNumPartitionsda yapılandırabilirsiniz.

Yeni AQE planı sürümleri görselleştirmesi

Uyarlamalı sorgu yürütmesinden (AQE) çalışma zamanı planı güncelleştirmelerinizi görselleştirmenizi sağlayan AQE planı sürümlerine giriş.

Yeni zaman uyumsuz ilerleme izleme ve günlük temizleme modları

Zaman uyumsuz ilerleme izleme ve zaman uyumsuz günlük temizleme olarak adlandırılan Yapılandırılmış Akış modlarının tanıtımı. Zaman uyumsuz günlük temizleme modu, arka planda ilerleme izleme için kullanılan günlükleri kaldırarak akış sorgularının gecikme süresini kısaltır.

Unity Kataloğu'nda Yapılandırılmış Akış artık destekleniyor display()

Artık Unity Kataloğu'nda kayıtlı tablolarla çalışmak için Yapılandırılmış Akış'ı kullandığınızda kullanabilirsiniz display() .

İşlem hattı olayları artık JSON biçiminde günlüğe kaydedilir

Azure Databricks artık JSON biçiminde sürücü günlüğüne işlem hattı olayları yazıyor. Her olay JSON ayrıştırılabilir olsa da, büyük olaylar tüm alanları içermeyebilir veya alanlar kesilebilir. Her olay, ön ekiyle Event received: tek bir satırda günlüğe kaydedilir. Aşağıda örnek bir olay verilmiştir.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Python ile Yapılandırılmış Akışta Rastgele Durum Bilgisi olan İşleme

PySpark'ta applyInPandasWithState rastgele durum bilgisi olan işleme gerçekleştirmek için kullanılabilecek işleve giriş. Bu, Java API'sindeki işleve eşdeğerdir flatMapGroupsWithState .

CSV dosyalarında tarih çıkarımı

CSV dosyalarındaki tarih türü sütunlarının geliştirilmiş çıkarımına giriş. Tarih biçimi bir sütunun kayıtları arasında tutarlı olduğunda, bu sütunlar olarak DateTypeçıkarılabilir. Ayrıca, farklı sütunlarda tarih biçimlerinin bir birleşimine de sahip olabilirsiniz. Azure Databricks, her sütun için tarih biçimini otomatik olarak çıkarabilir. Databricks Runtime 11.3 LTS'den önceki CSV dosyalarındaki tarih sütunları olarak StringTypebırakılır.

Apache Parquet ve Apache Iceberg tabloları için kopyalama desteği (Genel Önizleme)

Clone artık Apache Parquet ve Apache Iceberg tablolarını yansıtan Delta tablolarını oluşturmak ve artımlı olarak güncelleştirmek için kullanılabilir. Kaynak Parquet tablonuzu güncelleştirebilir ve kopyalama komutuyla değişiklikleri kopyalanan Delta tablosuna artımlı olarak uygulayabilirsiniz. Bkz. Parquet ve Iceberg tablolarını Delta Lake'e artımlı olarak kopyalama.

Unity Kataloğu yönetilen tabloları için şema ve katalog düzeyinde depolama konumlarını belirtmek için SQL kullanma

Artık SQL komutunu kullanarak MANAGED LOCATION katalog ve şema düzeylerinde yönetilen tablolar için bir bulut depolama konumu belirtebilirsiniz. Bkz. CREATE CATALOG ve CREATE SCHEMA.

Davranış değişiklikleri

Databricks Connect 11.3.2

Databricks Connect istemci güncelleştirmesi 11.3.2 artık desteklenmektedir. Bkz . Databricks Connect ve Databricks Connect sürüm notları.

Azure Databricks Snowflake bağlayıcısı güncelleştirildi

Azure Databricks Snowflake bağlayıcısı, Apache Spark için Snowflake Veri Kaynağı açık kaynak deposundan kodun en son sürümüne güncelleştirildi. Artık, açık kaynak sürümün tüm özelliklerini korurken koşul gönderimi ve iç sorgu planı gönderimi de dahil olmak üzere Databricks Runtime 11.3 LTS ile tamamen uyumludur.

S3A için Hadoop önbelleği artık devre dışı

S3A için Hadoop önbelleği (DosyaSistem Apache Hadoop Ana 3.3.4 API'si) artık devre dışı bırakıldı. Bu, diğer bulut depolama bağlayıcılarıyla uyumlu hale getirmektir. Dosya sistemi önbelleğe almayı kullanan iş yükleri için, yeni oluşturulan dosya sistemlerinin kimlik bilgileri sağlayıcıları da dahil olmak üzere doğru Hadoop yapılandırmalarıyla sağlandığından emin olun.

Delta Lake istatistik koleksiyonu şeması artık tablo şeması tanımındaki sütun sırasıyla eşleşir

Bu değişiklik, Delta Lake protokolünde DataFrame ve tablo sütun sıralamasındaki uyuşmazlık nedeniyle sütunlar için istatistiklerin toplanmadığı bir hatayı giderir. Bazı durumlarda, daha önce izlenmeyen alanlarda istatistiklerin toplanması nedeniyle yazma performansında düşüşle karşılaşabilirsiniz. Bkz. Delta Lake için veri atlama.

applyInPandasWithState işlecinden sonra sorguda karışıklık varsa hata oluşturur

sorgu işlecinden applyInPandasWithState sonraysa işleç shuffle bir hata oluşturur. Kullanıcı işlemden sonra eklediğinde shuffle veya iyileştirici veya havuz örtük olarak eklendiğinde shuffle bu durum ortaya çıkar.

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • 0,3,5'ten 0,3,6'ya kadar daistlib
• Yükseltilen R kitaplıkları:
  • süpürge 1.0.0 ile 1.0.1
  • 3.7.1 ile 3.7.2 arası arayan
  • 1.0.9 ile 1.0.10 aralığındaki dplyr
  • dtplyr 1.2.1 ile 1.2.2
  • forcats from 0.5.1 to 0.5.2
  • gelecek 1.27.0 ile 1.28.0
  • future.apply from 1.9.0 to 1.9.1
  • 1.7.0'dan 1.8.0'a kadar gert
  • 0.16.0 ile 0.16.1 genelleri
  • gtable from 0.3.0 to 0.3.1
  • 2.5.0 ile 2.5.1
  • 1.1.1 ile 1.1.2 hms
  • httr 1.4.3 ile 1.4.4
  • 1,39'dan 1,40'a kadar örgü örme
  • modelleyici 0.1.8 ile 0.1.9
  • sütun 1.8.0 ile 1.8.1
  • 0.10.1 ile 0.11.0
  • readxl 1.4.0 ile 1.4.1
  • 2.0.1'den 2.0.2'ye yeniden kullanım
  • 1.0.4 ile 1.0.5 arası rlang
  • 2,14 ile 2,16 arasında rmarkdown
  • 2.2.15 ile 2.2.16 arasında RSQLite
  • 0,13 ile 0,14 arasında rstudioapi
  • 2.1.1 ile 2.1.2 arasında ters çevirmeler
  • 1.0.2 ile 1.0.3 arası rvest
  • 1.2.0 ile 1.2.1 ölçekleri
  • sparklyr 1.7.7 ile 1.7.8
  • dizeleyici 1.4.0 ile 1.4.1
  • 3.2-13'ten 3.4-0'a kadar hayatta kalma
  • tinytex 0,40 ile 0,41
  • viridisLite 0.4.0 ile 0.4.1
• Yükseltilen Java kitaplıkları:
  • com.fasterxml.jackson.core.jackson-annotations from 2.13.3 to 2.13.4
  • com.fasterxml.jackson.core.jackson-core 2.13.3 ile 2.13.4 arası
  • com.fasterxml.jackson.core.jackson-databind from 2.13.3 to 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.13.3 ile 2.13.4 arasında
  • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.13.3 ile 2.13.4 arası
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.13.3 ile 2.13.4 arası
  • com.fasterxml.jackson.module.jackson-module-paranamer from 2.13.3 to 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 from 2.13.3 to 2.13.4
  • org.apache.hadoop.hadoop-client-api from 3.3.2-databricks to 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime 3.3.2 ile 3.3.4 arası
  • org.apache.orc.orc-core 1.7.5 ile 1.7.6 arası
  • org.apache.orc.orc-mapreduce 1.7.5 ile 1.7.6 arasında
  • org.apache.orc.orc-shims 1.7.5 ile 1.7.6 arası
  • org.apache.parquet.parquet-column from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet 2.34 ile 2.36 arası
  • org.glassfish.jersey.containers.jersey-container-servlet-core 2.34 ile 2.36 arası
  • org.glassfish.jersey.core.jersey-client from 2.34 to 2.36
  • org.glassfish.jersey.core.jersey-common 2.34 ile 2.36 arası
  • org.glassfish.jersey.core.jersey-server 2.34 ile 2.36 arası
  • org.glassfish.jersey.inject.jersey-hk2 2.34 ile 2.36 arası

Apache Spark

Databricks Runtime 11.3 LTS, Apache Spark 3.3.0'ı içerir. Bu sürüm, Databricks Runtime 11.2'de (EoS) bulunan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-39957] [WARMFIX][SC-111425][CORE] Driver'ın ExecutorExitCode almasını etkinleştirmek için onDisconnected gecikmesi
• [SPARK-39955] [WARMFIX][SC-111424][CORE] LaunchTask iletileri gönderilemeyen başarısızlığın neden olduğu Aşama hatalarını önlemek için LaunchTask işlemini geliştirin
• [SPARK-40474] [SC-106248][Vişne Seç] Tarih saat sütunları için CSV şema çıkarımı davranışını düzeltme ve Tarih alanları için otomatik algılamayı ekleme
• [SPARK-40535] [SC-111243][SQL] Giriş satırları boşsa AggregatingAccumulator arabelleği oluşturulmayacak hatası düzeltildi
• [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] PySpark'ta applyInPandasWithState uygulama
• [SPARK-40460] [SC-110832][SS] Seçim yaparken akış ölçümlerini düzeltme _metadata
• [SPARK-40324] [SC-109943][SQL] Şu sorgu bağlamını sağlayın: ParseException
• [SPARK-40466] [SC-110899][SS] DSv1 kullanılamazken DSv2 devre dışı bırakıldığında hata iletisini iyileştirme
• [SPARK-40456] [SC-110848][SQL] PartitionIterator.hasNext öğesinin tekrar tekrar çağrılması ucuz olmalıdır
• [SPARK-40169] [SC-110772][SQL] Veri şemasına başvurmadan Parquet filtrelerini göndermeyin
• [SPARK-40467] [SC-110759][SS] FlatMapGroupsWithState'i birden çok test paketine bölme
• [SPARK-40468] [SC-110813][SQL] _corrupt_record seçildiğinde CSV'de sütun ayıklamayı düzeltme
• [SPARK-40291] [SC-110085][SQL] Gruplandırma ölçütü yan tümcesinde olmayan sütunun iletisini iyileştirme yan tümcesi hatası
• [SPARK-40398] [SC-110762][CORE][SQL] Arrays.stream api yerine Döngü kullanma
• [SPARK-40433] [SC-110684][SS][PYTHON] PythonSQLUtils'te pickled PySpark Satırını JVM Satırına dönüştürmek için toJVMRow ekleyin
• [SPARK-40414] [SC-110568][SQL][PYTHON] PythonArrowInput ve PythonArrowOutput'ta daha genel tür
• [SPARK-40352] [SC-109945][SQL] İşlev diğer adları ekleme: uzunluk, datepart, dateadd, date_diff ve curdate
• [SPARK-40470] [SC-110761][SQL] "arrays_zip" işlevinde GetArrayStructFields ve GetMapValue değerlerini işleme
• [SPARK-40387] [SC-110685][SQL] Spark Ondalık uygulamasını geliştirme
• [SPARK-40429] [SC-110675][SQL] Yalnızca başvuruda bulunan sütun çıktıda olduğunda KeyGroupedPartitioning'i ayarlama
• [SPARK-40432] [SC-110716][SS][PYTHON] PySpark'ta GroupStateImpl ve GroupStateTimeout'ı tanıtma
• [SPARK-39915] [SC-110496][SQL] Çıktı bölümlemesinin AQE'de kullanıcı tarafından belirtildiğinden emin olun
• [SPARK-29260] [SQL] HMS destekliyorsa ALTER DATABASE SET LOCATION destek
• [SPARK-40185] [SC-110056][SQL] Aday listesi boş olduğunda sütun önerisini kaldırma
• [SPARK-40362] [SC-110401][SQL] BinaryComparison kurallılaştırmayı düzeltme
• [SPARK-40411] [SC-110381][SS] Üst özelliği olması için FlatMapGroupsWithStateExec'i yeniden düzenleme
• [SPARK-40293] [SC-110084][SQL] V2 tablosu hata iletisini daha anlamlı hale getirme
• [SPARK-38734] [SC-110383][SQL] Hata sınıfını kaldırma INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][SQL] dizilere iç içe yapılardan başvurulduğunda "arrays_zip" işlevindeki sütun adlarını düzeltme
• [SPARK-40276] [SC-109674][CORE] RDD.takeOrdered dosyasının sonuç boyutunu küçültme
• [SPARK-40197] [SC-109176][SQL] Sorgu planını MULTI_VALUE_SUBQUERY_ERROR bağlamıyla değiştirme
• [SPARK-40300] [SC-109942][SQL] Hata sınıfına DATATYPE_MISMATCH geçiş
• [SPARK-40149] [SC-110055][SQL] Project aracılığıyla meta veri sütunlarını yayma
• [SPARK-40280] [SC-110146][SQL] Açıklamalı int ve long için parquet push down desteği ekleme
• [SPARK-40220] [SC-110143][SC-109175][SQL] Hata iletisi parametrelerinin boş eşlemesini verme
• [SPARK-40295] [SC-110070][SQL] Yazma dağıtımında/sıralamada sabit args ile v2 işlevlerine izin ver
• [SPARK-40156] [SC-109264][SQL] url_decode() hata sınıfı döndürmelidir
• [SPARK-39195] [SQL] Spark OutputCommitCoordinator, kaydedilmiş dosya görev durumuyla tutarlı olmadığında aşamayı durdurmalıdır
• [SPARK-40260] [SC-109424][SQL] Bir konumu GROUP BY derleme hatalarında hata sınıflarını kullanma
• [SPARK-40205] [SC-110144][SC-109082][SQL] ELEMENT_AT_BY_INDEX_ZERO sorgu bağlamı sağlama
• [SPARK-40112] [SC-109676][SQL] TO_BINARY() işlevini geliştirme
• [SPARK-40209] [SC-109081][SQL] Hatalarda Ondalık changePrecision() değerinin aralık değerini değiştirmeyin
• [SPARK-40319] [SC-109873][SQL] PARSE_DATETIME_BY_NEW_PARSER için yinelenen sorgu yürütme hata yöntemini kaldırma
• [SPARK-40222] [SC-109209][SQL] Sayısal try_add/try_divide/try_subtract/try_multiply alt öğelerinden hata vermelidir
• [SPARK-40183] [SC-108907][SQL] Ondalık dönüştürmede taşma için hata sınıfı NUMERIC_VALUE_OUT_OF_RANGE kullanma
• [SPARK-40180] [SC-109069][SQL] Hata iletilerini biçimlendirme ölçütü spark-sql
• [SPARK-40153] [SC-109165][SQL] Çözüm işlevlerini ve tablo değerli işlevleri birleştirme
• [SPARK-40308] [SC-109880][SQL] Katlanabilir olmayan sınırlayıcı bağımsız değişkenlerinin str_to_map çalışmasına izin ver
• [SPARK-40219] [SC-110052][SC-109663][SQL] Çözümlenen görünüm mantıksal planı, yedekli aramayı önlemek için şemayı tutmalıdır
• [SPARK-40098] [SC-109939][SC-108693][SQL] Thrift Sunucusu'nda hata iletilerini biçimlendirme
• [SPARK-39917] [SC-109038][SQL] Sayısal/aralık aritmetik taşması için farklı hata sınıfları kullanma
• [SPARK-40033] [SC-109875][SQL] element_at aracılığıyla iç içe şema ayıklama desteği
• [SPARK-40194] [SC-109660][SQL] Boş regex'te SPLIT işlevi, sondaki boş dizeyi kesmelidir.
• [SPARK-40228] [SC-109835][SQL] Alt öğe ucuz bir ifade değilse multiLike'i basitleştirmeyin
• [SPARK-40039] [SC-109896][SC-109260][SS] Hadoop'un Durdurulabilir arabirimini temel alan akış denetim noktası dosya yöneticisine giriş
• [SPARK-40285] [SC-109679][SQL] Spark için basitleştirme roundTo[Numeric]Decimal
• [SPARK-39896] [SC-109658][SQL] In/InSet downcast sabit değeri başarısız olduğunda UnwrapCastInBinaryComparison çalışmalıdır
• [SPARK-40040] [SC-109662][SQL] Birleştirme koşulu boşsa her iki tarafa da yerel sınır gönderme
• [SPARK-40055] [SC-109075][SQL] listCatalogs, spark_catalog uygulaması defaultSessionCatalog olsa bile spark_catalog döndürmelidir
• [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N) AQE olmayan N bölüm oluşturamayabilir
• [SPARK-40207] [SC-109401][SQL] Veri türü veri kaynağı tarafından desteklenmediğinde sütun adını belirtin
• [SPARK-40245] [SC-109295][SQL] Bölüm veya veri filtresi sütunları okunmadığında FileScan eşitliği denetimini düzeltme
• [SPARK-40113] [SC-109405][SQL] Reactor ParquetScanBuilder DataSourceV2 arabirim uygulamaları
• [SPARK-40211] [SC-109226][CORE][SQL] take() davranışında ilk bölüm numarasını özelleştirmeye izin ver
• [SPARK-40252] [SC-109379][SQL] api ile Stream.collect(Collectors.joining) değiştir StringJoiner
• [SPARK-40247] [SC-109272][SQL] BitSet eşitliği denetimini düzeltme
• [SPARK-40067] [SQL] SparkUI'de BatchScan düğümündeki tablo adını doldurmak için Scan#name() yerine Table#name() kullanın
• [SPARK-39966] [SQL] SupportsDelete'te V2 Filtresi Kullanma
• [SPARK-39607] [SC-109268][SQL][DSV2] Dağıtım ve sıralama, V2 işlevini yazılı olarak destekler
• [SPARK-40224] [SC-109271][SQL] ObjectHashAggregateExec yayın belleğini sıralama tabanlı sürüme geri dönüşte hevesle yapma
• [SPARK-40013] [SQL] DS V2 ifadeleri varsayılan değere sahip olmalıdır toString
• [SPARK-40214] [SC-109079][PYTHON][SQL] işlevlere 'get' ekleme
• [SPARK-40192] [SC-109089][SQL][ML] Yedekli groupby'yi kaldırma
• [SPARK-40146] [SC-108694][SQL] Yalnızca harita değeri alma kodgeni
• [SPARK-40109] [SQL] Yeni SQL işlevi: get()
• [SPARK-39929] [SQL] DS V2, gönderme dizesi işlevlerini (ANSI olmayan) destekler
• [SPARK-39819] [SQL] DS V2 toplama gönderimi Üst N veya Sayfalama ile çalışabilir (İfadelerle sırala)
• [SPARK-40213] [SC-109077][SQL] Latin-1 karakterleri için ASCII değer dönüştürme desteği
• [SPARK-39887] [SQL] RemoveRedundantAliases, projeksiyon düğümlerinin çıkışını benzersiz hale getiren diğer adları tutmalıdır
• [SPARK-39764] [SQL] PhysicalOperation'ın ScanOperation ile aynı olmasını sağlama
• [SPARK-39964] [SQL] DS V2 anında iletme, çevirme yolunu birleştirmelidir
• [SPARK-39528] [SQL] SupportsRuntimeFiltering'de V2 Filtresi Kullanma
• [SPARK-40066] [SQL] ANSI modu: Eşleme sütununa geçersiz erişimde her zaman null döndür
• [SPARK-39912] [SPARK-39828][SQL] Kataloğu İyileştirImpl
• [SPARK-39833] [SC-108736][SQL] Çakışan bölüm ve veri sütunları söz konusu olduğunda bir doğruluk sorununu düzeltmek için DSv1'de Parquet sütun dizinini devre dışı bırakma
• [SPARK-39880] [SQL] V2 SHOW FUNCTIONS komutu v1 gibi tam işlev adını yazdırmalıdır
• [SPARK-39767] [SQL] UnresolvedDBObjectName öğesini kaldırın ve UnresolvedIdentifier ekleyin
• [SPARK-40163] [SC-108740][SQL] başarı: SparkSession.config(Eşleme)
• [SPARK-40136] [SQL] SQL sorgu bağlamlarının parçasını düzeltme
• [SPARK-40107] [SC-108689][SQL] FileFormatWriter'dan boş2null dönüştürmeyi çekme
• [SPARK-40121] [PYTHON][SQL] Python UDF için kullanılan projeksiyonu başlatma
• [SPARK-40128] [SQL] VectorizedColumnReader'ın tek başına sütun kodlaması olarak DELTA_LENGTH_BYTE_ARRAY tanımasını sağlama
• [SPARK-40132] [ML] RawPredictionCol'ı MultilayerPerceptronClassifier.setParams'a geri yükleme
• [SPARK-40050] [SC-108696][SQL] aracılığıyla sıralamaların kaldırılmasını destekleyecek şekilde geliştirin EliminateSortsLocalLimit
• [SPARK-39629] [SQL] Destek v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][SQL] DataFrame işlemlerine array_sort(sütun, karşılaştırıcı) aşırı yüklemesi ekleme
• [SPARK-40117] [PYTHON][SQL] DataFrameWriterV2.overwrite içinde koşulu java'ya dönüştürme
• [SPARK-40105] [SQL] ReplaceCTERefWithRepartition'ta yeniden bölümleni iyileştirme
• [SPARK-39503] [SQL] v1 veritabanı tablosu ve işlevi için oturum kataloğu adı ekleme
• [SPARK-39889] [SQL] Sayısal/aralık 0'a bölünmüş farklı hata sınıfları kullanma
• [SPARK-39741] [SQL] Yerleşik işlev olarak url kodlama/kodunu çözme desteği ve url ile ilgili işlevleri düzenleme
• [SPARK-40102] [SQL] SparkPlan'da IllegalStateException yerine SparkException kullanma
• [SPARK-40014] [SQL] ANSI aralıklarına ondalık atama desteği
• [SPARK-39776] [SQL][TAKİP EDEMİ] ANSI modunda PlanStabilitySuite'ın UT'sini güncelleştirme
• [SPARK-39963] [SQL] Sadeleştirmek SimplifyCasts.isWiderCast

Bakım güncelleştirmeleri

Bkz . Databricks Runtime 11.3 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 20.04.5 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.19
• R: 4.1.3
• Delta Gölü: 2.1.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları 2022-09-08 tarihinde Microsoft CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)