Databricks Runtime 15.4 LTS

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 15.4 LTS hakkında bilgi sağlar.

Databricks bu sürümü Ağustos 2024'te yayımladı.

Davranış değişiklikleri

• VARIANT Python UDF, UDAF veya UDTF ile giriş veya çıkış türü olarak bir kullanılması özel durum oluşturur
• Görünümler için varsayılan şema bağlama moduna geçme
• Dış boole ifadeleri yerine belgelenmemiş ! söz diziminin kullanılmasına NOT izin verme
• görünümlerde belgelenmemiş sütun tanımı söz dizimine izin verme
• Spark ve Photon'da Base64 kod çözme için tutarlı hata işleme
• Geçersiz bir sütuna CHECK kısıtlaması eklemek UNRESOLVED_COLUMN.WITH_SUGGESTION hata sınıfını döndürür
• pyodbc 4.0.38'den 4.0.39'a güncelleştirildi

VARIANT Python UDF, UDAF veya UDTF ile giriş veya çıkış türü olarak bir kullanılması özel durum oluşturur

[Hataya neden olan değişiklik] Databricks Runtime 15.3 ve üzerinde, bağımsız değişken veya dönüş değeri olarak VARIANT türü kullanan herhangi bir Python kullanıcı tanımlı işlevi (UDF), kullanıcı tanımlı toplama işlevi (UDAF) veya kullanıcı tanımlı tablo işlevi (UDTF) çağırmak hata verir. Bu değişiklik, bu işlevlerden biri tarafından döndürülen geçersiz bir değer nedeniyle oluşabilecek sorunları önlemek için yapılır. Tür hakkında VARIANT daha fazla bilgi edinmek için bkz . Yarı yapılandırılmış verileri depolamak için VARIANT'ları kullanma.

Görünümler için varsayılan şema bağlama moduna geçme

Görünümler artık düzenli atama kurallarıyla şema dengelemesi kullanarak temel sorgudaki şema değişikliklerine uyarlanır. Bu, görünüme başvururken güvenli bir atama gerçekleştirilemediğinde hatalara neden olan önceki modun BINDING varsayılan ayarından bir değişikliktir.

bkz. CREATE VIEW ve atama işlevi.

Dış boole ifadeleri yerine belgelenmemiş ! söz diziminin kullanılmasına NOT izin verme

Bu sürümle birlikte, boole ifadelerinin dışındaki ifadeler için ! eş anlamlı olarak kullanılmasına NOT artık izin verilmez. Örneğin, aşağıdaki gibi ifadeler: CREATE ... IF ! EXISTS, IS ! NULL, bir ! NULL sütunu veya alan özelliği, ! IN ve ! BETWEEN, şu şekilde değiştirilmelidir: CREATE ... IF NOT EXISTS, IS NOT NULL, bir NOT NULL sütun veya alan özelliği, NOT IN ve NOT BETWEEN.

Bu değişiklik tutarlılık sağlar, SQL standardıyla uyumludur ve SQL'inizi daha taşınabilir hale getirir.

Boole ön ek işleci! (örneğin, !is_mgr veya !(true AND false)) bu değişiklikten etkilenmez.

Görünümlerde belgesiz sütun tanımı söz dizimini yasakla

Databricks, adlandırılmış sütunlar ve sütun açıklamaları içeren CREATE VIEW destekler. Daha önce sütun türleri, NOT NULL kısıtlamaları veya DEFAULT belirtimlerine izin veriliyordu. Bu sürümle, bu söz dizimlerini artık kullanamazsınız.

Bu değişiklik tutarlılık sağlar, SQL standardıyla uyumludur ve gelecekteki iyileştirmeleri destekler.

Spark ve Photon'da Base64 kod çözme için tutarlı hata işleme

Bu sürüm, Photon'un Base64 kod çözme hatalarını işleme biçimini, bu hataların Spark işlemesi ile eşleşecek şekilde değiştirir. Bu değişikliklerden önce, Photon ve Spark kod oluşturma yolu bazen ayrıştırma özel durumlarını tetiklemezken Spark yürütmeyi doğru veya olarak yorumladı IllegalArgumentExceptionConversionInvalidInputError. Bu güncelleştirme, Photon'un Base64 kod çözme hataları sırasında Spark ile tutarlı bir şekilde aynı özel durumları oluşturmasını sağlayarak daha öngörülebilir ve güvenilir hata işleme sağlar.

Geçersiz bir sütuna CHECK kısıtlaması eklemek artık UNRESOLVED_COLUMN.WITH_SUGGESTION hata sınıfını döndürüyor.

Daha kullanışlı bir hata iletisi sağlamak için, Databricks Runtime 15.3 ve üzeri sürümlerde, geçersiz sütun adına başvuran bir CHECK kısıtlaması içeren bir ALTER TABLE ADD CONSTRAINT deyimi, UNRESOLVED_COLUMN.WITH_SUGGESTION hata sınıfını döndürür. Daha önce bir INTERNAL_ERROR döndürüldü.

pyodbc 4.0.38'den 4.0.39'a güncelleştirildi

pyodbc paketi 4.0.38 sürümünden 4.0.39 sürümüne güncelleştirilir. Bu değişiklik gereklidir çünkü 4.0.38 sürümünde bir hata bulundu ve bu sürüm PyPI'dan kaldırıldı.

Yeni özellikler ve geliştirmeler

• UTF-8 doğrulama işlevleri
• Scala UDF'leri ile Yazılan Veri Kümesi API'leri
• kullanarak UniForm Iceberg'i etkinleştirme ALTER TABLE
• try_url_decode işlevi
• İsteğe bağlı olarak iyileştiricinin zorunlu olmayan yabancı anahtar kısıtlamalarına güvenmesine izin verin
• Seçmeli üzerine yazmalar için paralelleştirilmiş iş çalıştırılır
• Seçmeli üzerine yazmalarla değişiklik veri akışı için geliştirilmiş performans
• Komut için COPY INTO geliştirilmiş sorgu gecikme süresi
• Denetim kısıtlamaları tablosu özelliğini kaldırma desteği
• Tek kullanıcılı hesaplama, ayrıntılı erişim denetimi, gerçekleştirilmiş görünümler ve akış tablolarını (Genel Önizleme) destekler
• Java ve Scala kitaplıkları için genişletilmiş destek
• Scala Veri Kümesi işlemleri için genişletilmiş destek
• Scala, Unity Kataloğu paylaşılan işlem ga'dır
• Unity Kataloğu tarafından yönetilen hizmet kimlik bilgilerini kullanarak dış bulut hizmetlerine erişim (Genel Önizleme)

UTF-8 doğrulama işlevleri

Bu sürüm, UTF-8 dizelerini doğrulamak için aşağıdaki işlevleri tanıtır:

• is_valid_utf8 bir dizenin geçerli bir UTF-8 dizesi olup olmadığını doğruladı.
• make_valid_utf8, değiştirme karakterlerini kullanarak geçersiz olabilecek bir UTF-8 dizesini geçerli bir UTF-8 dizesine dönüştürür
• giriş geçerli bir UTF-8 dizesi değilse validate_utf8 bir hata oluşturur.
• try_validate_utf8, giriş geçerli bir UTF-8 dizesi değilse döndürürNULL.

Scala UDF'leri ile Yazılan Veri Kümesi API'leri

Bu sürüm, paylaşılan erişim moduna sahip Unity Catalog etkin işlem birimlerinde Scala kullanıcı tanımlı işlevlerle (kullanıcı tanımlı toplama işlevleri hariç) tip tanımlı Veri Kümesi API'leri için ek destek içerir. Bkz. Yazılan Veri Kümesi API'leri.

ALTER TABLE kullanarak UniForm Iceberg'i etkinleştirme

Artık veri dosyalarını yeniden yazmadan mevcut tablolarda UniForm Iceberg'i etkinleştirebilirsiniz. Bkz. mevcut bir tabloda Iceberg okumalarını etkinleştirme.

try_url_decode işlevi

Bu sürümde URL ile kodlanmış bir dizenin kodunu çözen try_url_decode işlevi tanıtılır. Dize doğru biçimde değilse, işlev hata oluşturmak yerine döndürür NULL .

İsteğe bağlı olarak iyileştiricinin zorunlu olmayan yabancı anahtar kısıtlamalarına güvenmesine izin verin

Sorgu performansını geliştirmek için artık create veya bir tablo ALTER kısıtlamalarında anahtar sözcüğünü belirtebilirsiniz.

Seçmeli üzerine yazmalar için paralelleştirilmiş iş çalıştırılır

replaceWhere kullanarak seçmeli üzerine yazmalar artık verileri silip yeni verileri paralel olarak ekleyen işleri çalıştırarak sorgu performansını ve küme kullanımını artırıyor.

Seçmeli üzerine yazmalarla değişiklik veri akışı için geliştirilmiş performans

Değişiklik veri akışı olan tablolarda replaceWhere kullanımı ile yapılan seçici üzerine yazımlar, eklenen veriler için artık ayrı değişiklik dosyaları yazmaz. Bu işlemler, değişiklikleri yazma amplifikasyonu olmadan kaydetmek için temel Parquet veri dosyalarında bulunan gizli bir _change_type sütunu kullanır.

Komut için COPY INTO geliştirilmiş sorgu gecikme süresi

Bu sürüm, komutun COPY INTO sorgu gecikme süresini geliştiren bir değişiklik içerir. Bu geliştirme, RocksDB durum deposu tarafından durum yüklemesini zaman uyumsuz hale getirerek uygulanır. Bu değişiklikle, zaten alınmış çok sayıda dosya içeren sorgular gibi büyük durumlara sahip sorguların başlangıç zamanlarında bir gelişme görmeniz gerekir.

Denetim kısıtlamaları tablosu özelliğini bırakma desteği

Artık ALTER TABLE table_name DROP FEATURE checkConstraintskullanarak delta tablosundan checkConstraints tablo özelliğini bırakabilirsiniz. Bkz. Denetim kısıtlamalarını devre dışı bırakma.

Tek kullanıcı hesaplama, ayrıntılı erişim denetimi, gerçekleştirilmiş görünümler ve akış tablolarını destekler (Genel Önizleme)

Bir çalışma alanı sunucusuz işlem için etkinleştirildiğinde Databricks Runtime 15.4 LTS, tek kullanıcı işlemi üzerinde ayrıntılı erişim denetimi desteği ekler. Bir sorgu aşağıdaki nesnelerden herhangi birine eriştiğinde Databricks Runtime 15.4 LTS'deki tek kullanıcı işlem kaynağı, veri filtrelemeyi çalıştırmak için sorguyu sunucusuz işlemden geçirir:

• Kullanıcının SELECT ayrıcalığına sahip olmadığı tablolar üzerinde tanımlanan görünümler.
• Dinamik görünümler.
• Satır filtrelerinin veya sütun maskelerinin uygulandığı tablolar.
• Gerçekleştirilmiş görünümler ve akış tabloları.

Bu sorgular Databricks Runtime 15.3 ve altındaki tek kullanıcı işlemlerinde desteklenmez.

Daha fazla bilgi için bkz . Tek kullanıcı işlemlerinde ayrıntılı erişim denetimi.

Java ve Scala kitaplıkları için genişletilmiş destek

Databricks Runtime 15.4 LTS'den başlayarak, Unity Kataloğu'nu kullandığınızda Databricks Runtime ile birlikte gelen tüm Java ve Scala kitaplıkları tüm işlem erişim modlarında kullanılabilir. Unity Catalog etkinleştirilmiş hesaplamada dil desteği hakkında daha fazla bilgi edinmek için bkz: Unity Catalog için Hesaplama erişim modu sınırlamaları .

Scala Veri Kümesi işlemleri için genişletilmiş destek

Bu sürümle, paylaşılan erişim modunu kullanan Unity Kataloğu özellikli işlem kaynakları şu Scala Dataset işlemlerini destekler: map, mapPartitions, foreachPartition, flatMap, reduce ve filter.

Scala, Unity Kataloğu paylaşılan işlemde GA'dır

Bu sürümle birlikte Scala, skaler kullanıcı tanımlı işlevler (UDF) desteği de dahil olmak üzere paylaşılan erişim modu Unity Kataloğu özellikli işlemde genel kullanıma sunulmuştur. Yapılandırılmış Akış, Hive UDF'leri ve Hive kullanıcı tanımlı toplama işlevleri desteklenmez. Sınırlamaların tam listesi için bkz. Unity Kataloğuiçin İşlem erişim modu sınırlamaları.

Hizmet kimlik bilgilerini kullanarak dış bulut hizmetlerine Unity Kataloğu tarafından yönetilen erişim (Genel Önizleme)

Hizmet kimlik bilgileri, Azure yönetilen kimlikleri (MI) ve Unity Kataloğu'nu kullanarak bulut kiracınızın hizmetleriyle basit ve güvenli kimlik doğrulaması sağlar. bkz. hizmet kimlik bilgilerini kullanarak dış bulut hizmetlerine erişimi yönetme.

Hata düzeltmeleri

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • 1.30.1 ile 1.30.2 arası azure-core
  • 2.29.0 ile 2.31.0 arası google-auth
  • 2.16.0 ile 2.17.0 arası google-cloud-storage
  • 2.7.0 ile 2.7.1 arası google-resumable-media
  • 1.63.0 ile 1.63.2 arası googleapis-common-protos
  • 2.11.3 ile 2.11.4 arası mlflow-skinny
  • 1.23.0 ile 1.24.0 arası proto-plus
  • s3transfer 0.10.1 ile 0.10.2
• Yükseltilen R kitaplıkları:
• Yükseltilen Java kitaplıkları:
  • 0.17.1 ile 0.27.0 arası com.databricks.databricks-sdk-java
  • com.ibm.icu.icu4j 72.1 ile 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider from 1.6.1-linux-x86_64 to 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 15.3 (EoS)dahil edilen tüm Spark düzeltmelerini ve iyileştirmelerini ve Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmelerini içerir:

• [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Dış satırlara bağlıysa, skaler alt sorgulardaki ifadelerde gruplandırmaya izin ver
• [SPARK-48834] [BEHAVE-79][SC-170972][SQL] Sorgu derlemesi sırasında python skaler UDF'leri, UDF'ler, UDAF'ler için değişken girişi/çıkışı devre dışı bırakma
• [SPARK-48441] [SC-170980][SQL][WARMFIX] UTF8_BINARY olmayan harmanlamalar için StringTrim davranışını düzeltme
• [SPARK-48440] [SC-170895][SQL][WARMFIX] UTF8_BINARY olmayan harmanlamalar için StringTranslate davranışını düzeltme
• [SPARK-48872] [SC-170866][PYTHON] _capture_call_site yükünü azaltma
• [SPARK-48862] [SC-170845][PYTHON][BAĞLAN] BİlGİ düzeyi etkin olmadığında aramaktan _proto_to_string kaçının
• [SPARK-48852] [SC-170837][BAĞLAN] Connect'te dize kırpma işlevini düzeltme
• [SPARK-48791] [SC-170658][CORE] CopyOnWriteArrayList kullanılarak akümülatör kayıt ek yükünün neden olduğu performans düşüşü düzeltilir
• [SPARK-48118] [SQL] Destek SPARK_SQL_LEGACY_CREATE_HIVE_TABLE env değişkeni
• [SPARK-48241] [SC-165811][SQL] karakter/varchar türü sütunlarıyla CSV ayrıştırma hatası
• [SPARK-48168] [SC-166900][SQL] Bit düzeyinde kaydırma işleçleri desteği ekleme
• [SPARK-48148] [SC-165630][CORE] DIZE olarak okunduğunda JSON nesneleri değiştirilmemelidir
• [SPARK-46625] [SC-170561] Tanımlayıcı yan tümcesi referans olarak kullanılan CTE
• [SPARK-48771] [SC-170546][SQL] Büyük sorgu planları için hız artırma LogicalPlanIntegrity.validateExprIdUniqueness
• [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT] Spark Classic ile uyumlu cast varsayılan sütun adını yapma
• [SPARK-48623] [SC-170544][CORE] Yapılandırılmış günlük geçişleri [Bölüm 2]
• [SPARK-48296] [SC-166138][SQL] Codegen Desteği to_xml
• [SPARK-48027] [SC-165154][SQL] Çok düzeyli birleştirme için InjectRuntimeFilter alt birleştirme türünü denetlemelidir
• [SPARK-48686] [SC-170365][SQL] ParserUtils.unescapeSQLString performansını geliştirme
• [SPARK-48798] [SC-170588][PYTHON] SparkSession tabanlı profil oluşturma için tanıtım spark.profile.render
• [SPARK-48048] [SC-169099] Revert "[SC-164846][CONNECT][SS] Scala için istemci tarafı dinleyici desteği eklendi"
• [SPARK-47910] [SC-168929][CORE] bellek sızıntısını önlemek için DiskBlockObjectWriter kapatıldığında akışı kapatınKaynaklar
• [SPARK-48816] [SC-170547][SQL] UnivocityParser'da aralık dönüştürücüleri için kısaltma
• [SPARK-48589] [SC-170132][SQL][SS] Durum veri kaynağına snapshotStartBatchId ve snapshotPartitionId seçeneğini ekleme
• [SPARK-48280] [SC-170293][SQL] İfade yürüyüş kullanarak harmanlama testi yüzey alanını geliştirme
• [SPARK-48837] [SC-170540][ML] CountVectorizer'da, ikili parametreyi satır başına değil, dönüşüm başına yalnızca bir kez okuyun
• [SPARK-48803] [SC-170541][SQL] ParquetWriteSupport ile hizalamak için Orc(De)seri hale getiricisinde iç hata oluşturma
• [SPARK-48764] [SC-170129][PYTHON] Kullanıcı yığınından IPython ile ilgili çerçeveleri filtreleme
• [SPARK-48818] [SC-170414][PYTHON] İşlevleri basitleştirme percentile
• [SPARK-48479] [SC-169079][SQL] Ayrıştırıcıda skaler ve tablo SQL UDF'leri oluşturma desteği
• [SPARK-48697] [SC-170122][LC-4703][SQL] Harmanlama kullanan dize filtreleri ekleme
• [SPARK-48800] [SC-170409][BAĞLAN][SS] Deflake ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][SQL] Yerleşik func diğer adı random, , , positionmod, cardinality, current_schema, user, session_userchar_lengthiçin sürümden bu yana doğrucharacter_length
• [SPARK-48638] [SC-169575][BAĞLAN] DataFrame için ExecutionInfo desteği ekleme
• [SPARK-48064] [SC-164697][SQL] Yordamla ilgili hata sınıfları için hata iletilerini güncelleştirme
• [SPARK-48810] [BAĞLAN] Oturum durdurma() API'sinin bir kez etkili olması ve oturum sunucu tarafından zaten kapatıldıysa başarısız olmaması gerekir
• [SPARK-48650] [15.x][PYTHON] IPython Not Defteri'nden doğru arama sitesini görüntüleme
• [SPARK-48271] [SC-166076][SQL] RowEncoder'daki eşleştirme hatasını UNSUPPORTED_DATA_TYPE_FOR_ENCODER dönüştürme
• [SPARK-48709] [SC-169603][SQL] DataSourceV2 CTAS için varchar türü çözümleme uyuşmazlığı düzeltildi
• [SPARK-48792] [SC-170335][SQL] Kısmi sütun listesi olan INSERT char/varchar içeren bir tabloya gerilemesi düzeltildi
• [SPARK-48767] [SC-170330][SQL] Tür verileri geçersiz olduğunda variant bazı hata istemlerini düzeltme
• [SPARK-48719] [SC-170339][SQL] İlk parametre null olduğunda & RegrSlope hesaplama hatasını RegrIntercept düzeltin
• [SPARK-48815] [SC-170334][CONNECT] Bağlantı oturumu durdurulduğunda ortamı güncelleştirme
• [SPARK-48646] [SC-169020][PYTHON] Python veri kaynağı API'sini daraltma docstring ve tür ipuçları
• [SPARK-48806] [SC-170310][SQL] url_decode başarısız olduğunda gerçek özel durum geçirme
• [SPARK-47777] [SC-168818] python akış veri kaynağı bağlantı testlerini düzeltme
• [SPARK-48732] [SC-169793][SQL] ile ilgili kullanım dışı api kullanımını temizleme JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][SQL] Harmanlanmış sütunla önbellek tablosunu düzeltme
• [SPARK-48623] [SC-169034][CORE] Yapılandırılmış Günlük Geçişleri
• [SPARK-48655] [SC-169542][SQL] SPJ: Toplama sorguları için karıştırma atlama testleri ekleme
• [SPARK-48586] [SC-169808][SS] Load() içindeki RocksDBFileManager'da dosya eşlemelerinin derin bir kopyasını oluşturarak doMaintenance() içinde kilit alımını kaldırma
• [SPARK-48799] [Backport][15.x][SC-170283][SS] İşleç meta verileri okuma/yazma ve arayanlar için sürüm oluşturma işlemini yeniden düzenleme
• [SPARK-48808] [SC-170309][SQL] Thriftserver'ı Hive 1.2.1 üzerinden bağlarken NPE düzeltildi ve sonuç şeması boş
• [SPARK-48715] [SC-170291][SQL] UTF8String doğrulamasını harmanlama kullanan dize işlevi uygulamalarıyla tümleştirme
• [SPARK-48747] [SC-170120][SQL] UTF8String'e kod noktası yineleyicisi ekleme
• [SPARK-48748] [SC-170115][SQL] UTF8String'de numChars önbelleği
• [SPARK-48744] [SC-169817][Çekirdek] Günlük girdisi yalnızca bir kez oluşturulmalıdır
• [SPARK-46122] [SC-164313][SQL] spark.sql.legacy.createHiveTableByDefault varsayılan olarak false olarak ayarlama
• [SPARK-48765] [SC-170119][DAĞıT] SPARK_IDENT_STRING için varsayılan değer değerlendirmesini geliştirme
• [SPARK-48759] [SC-170128][SQL] Spark 3.4'ten bu yana CREATE TABLE AS davranış değişikliği için geçiş belgesi ekleme SELECT davranış değişikliği
• [SPARK-48598] [SC-169484][PYTHON][CONNECT] Veri çerçevesi işlemlerinde önbelleğe alınmış şemayı yay
• [SPARK-48766] [SC-170126][PYTHON] ile arasındaki extraction davranış farkını element_at belgeletry_element_at
• [SPARK-48768] [SC-170124][PYTHON][BAĞLAN] Önbelleğe alınmamalıdır explain
• [SPARK-48770] [Backport][15.x][SC-170133][SS] Sürücüde bir kez okuma işleci meta verilerini değiştirerek oturum penceresi agg sorguları için kullanılan numColsPrefixKey bilgilerini bulup bulamayacağımızı denetleyin
• [SPARK-48656] [SC-169529][CORE] Bir uzunluk denetimi yapın ve içinde COLLECTION_SIZE_LIMIT_EXCEEDED hatası oluştur CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][SQL] Mantıksal planın metin gösteriminde isStreaming özelliği için bir işaretçi ekleme
• [SPARK-48472] [SC-169044][SQL] Harmanlanmış dizelerle yansıtma ifadelerini etkinleştirme
• [SPARK-48699] [SC-169597][SQL] Harmanlama API'sini iyileştirme
• [SPARK-48682] [SC-169812][SQL][BEHAVE-58] UTF8_BINARY dizeleri için InitCap ifadesinde ICU kullanma
• [SPARK-48282] [SC-169813][SQL] UTF8_BINARY_LCASE harmanlama için dize arama mantığını değiştirme (StringReplace, FindInSet)
• [SPARK-47353] [SC-169599][SQL] Mod ifadesi için harmanlama desteğini etkinleştirme
• [SPARK-48320] [SPARK-48490] OSS Spark'tan en son Logging trait ve test vakalarını eşitleme
• [SPARK-48629] [SC-169479] Artık kodu yapılandırılmış günlük çerçevesine geçirme
• [SPARK-48681] [SC-169469][SQL][BEHAVE-58] UTF8_BINARY dizeleri için Alt/Üst ifadelerde ICU kullanma
• [SPARK-48573] [15.x][SC-169582][SQL] ICU sürümünü yükseltme
• [SPARK-48687] [Backport][15.x][SS] Durum bilgisi olan sorgular için sürücüde durum şeması doğrulaması ve güncelleştirme gerçekleştirmek için değişiklik ekleme
• [SPARK-47579] [15.x][SC-167310][CORE][BÖLÜM4] LogInfo'nun değişkenlerini yapılandırılmış günlük çerçevesine geçirme
• [SPARK-48008] [SC-167363][1/2] Spark Connect'te UDAF'leri destekleme
• [SPARK-48578] [SC-169505][SQL] UTF8 dize doğrulamasıyla ilgili işlevler ekleme
• [SPARK-48670] [SC-169598][SQL] Geçersiz harmanlama adı verildiğinde hata iletisinin bir parçası olarak öneri sağlama
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA... … RK-48291] Java tarafında yapılandırılmış günlük çerçevesi
• [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib: Değişkenlerle logWarn'ı yapılandırılmış günlük çerçevesine geçirme
• [SPARK-48706] [SC-169589][PYTHON] Daha yüksek sırada Python UDF işlevleri iç hata oluşturmamalıdır
• [SPARK-48498] [BEHAVE-38][SC-168060][SQL] Koşullarda her zaman karakter doldurma işlemi yapın
• [SPARK-48662] [SC-169533][SQL] Harmanlamalarla StructsToXml ifadesini düzeltme
• [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates ve dropDuplicatesWIthinWatermark değişken uzunluk args kabul etmelidir
• [SPARK-48678] [SC-169463][CORE] SparkConf.get(ConfigEntry) için performans iyileştirmeleri
• [SPARK-48576] [SQL] UTF8_BINARY_LCASE UTF8_LCASE olarak yeniden adlandırma
• [SPARK-47927] [SC-164123][SQL]: UDF kod çözücüde nullability özniteliği düzeltildi
• [SPARK-47579] [SC-165297][CORE][BÖLÜM1] LogInfo'yu değişkenlerle yapılandırılmış günlük çerçevesine geçirme (yeni)
• [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal kullanım dışı bırakılmış yöntemleri kullanmama
• [SPARK-48431] [SC-167290][LC-4066][SQL] Harmanlanmış sütunlardaki önermeleri dosya okuyuculara iletmeyin
• [SPARK-47579] "[SC-165297][CORE][PART1] LogInfo'yi değişkenlerle yapılandırılmış günlük çerçevesine geçirme"
• [SPARK-47585] [SC-164306][SQL] SQL core: Değişkenlerle logInfo'nun yapılandırılmış günlük çerçevesine geçirilmesi
• [SPARK-48466] [SC-169042][SQL] AQE'de EmptyRelation için ayrılmış düğüm oluşturma
• [SPARK-47579] [SC-165297][CORE][BÖLÜM1] LogInfo'nun değişkenlerini yapılandırılmış günlük çerçevesine geçirme
• [SPARK-48410] [SC-168320][SQL] UTF8_BINARY_LCASE ve ICU harmanlamaları için InitCap ifadesini düzeltme
• [SPARK-48318] [SC-167709][SQL] Tüm harmanlamalar (karmaşık türler) için karma birleştirme desteğini etkinleştirme
• [SPARK-48435] [SC-168128][SQL] UNICODE harmanlama ikili eşitliği desteklememelidir
• [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] Pyspark/scala'da birkaç işlev için parametre olarak Sütunları kullanma desteği
• [SPARK-48591] [SC-169081][PYTHON] Basitleştirmek için yardımcı işlev ekleme Column.py
• [SPARK-48574] [SC-169043][SQL] Harmanlamalarla StructTypes desteğini düzeltme
• [SPARK-48305] [SC-166390][SQL] CurrentLike ifadeleri için harmanlama desteği ekleme
• [SPARK-48342] [SC-168941][SQL] SQL Betik Ayrıştırıcısı'nın Tanıtımı
• [SPARK-48649] [SC-169024][SQL] Geçersiz bölüm yollarını yoksaymaya izin vermek için "ignoreInvalidPartitionPaths" ve "spark.sql.files.ignoreInvalidPartitionPaths" yapılandırmalarını ekleyin
• [SPARK-48000] [SC-167194][SQL] Tüm harmanlamalar için karma birleştirme desteğini etkinleştirme (StringType)
• [SPARK-48459] [SC-168947][BAĞLAN][PYTHON] Spark Connect'te DataFrameQueryContext Uygulama
• [SPARK-48602] [SC-168692][SQL] csv oluşturucus un spark.sql.binaryOutputStyle ile farklı çıkış stilini desteklemesini sağlama
• [SPARK-48283] [SC-168129][SQL] UTF8_BINARY_LCASE için dize karşılaştırmasını değiştirme
• [SPARK-48610] [SC-168830][SQL] yeniden düzenlemesi: OP_ID_TAG yerine yardımcı idMap kullanma
• [SPARK-48634] [SC-169021][PYTHON][BAĞLAN] ExecutePlanResponseReattachableIterator'da iş parçacığı havuzunu statik olarak başlatmaktan kaçının
• [SPARK-47911] [SC-164658][SQL] İkili çıkışı tutarlı hale getirmek için evrensel bir BinaryFormatter tanıtır
• [SPARK-48642] [SC-168889][CORE] Taşmada görevi öldürmenin neden olduğu False SparkOutOfMemoryError
• [SPARK-48572] [SC-168844][SQL] DateSub, DateAdd, WindowTime, TimeWindow ve SessionWindow ifadelerini düzeltme
• [SPARK-48600] [SC-168841][SQL] FrameLessOffsetWindowFunction ifadelerini örtük atamayı düzeltme
• [SPARK-48644] [SC-168933][SQL] Uzunluk denetimi yapın ve Hex.hex dosyasında COLLECTION_SIZE_LIMIT_EXCEEDED hata oluştur
• [SPARK-48587] [SC-168824][VARIANT] Alt Değişkene erişirken depolama amplifikasyonu kullanmaktan kaçının
• [SPARK-48647] [SC-168936][PYTHON][BAĞLAN] için hata iletisini YearMonthIntervalType daraltma df.collect
• [SPARK-48307] [SC-167802][SQL] InlineCTE özgün WithCTE düğümünde satır içi olmayan ilişkileri tutmalıdır
• [SPARK-48596] [SC-168581][SQL] Uzun süre onaltılık dizeyi hesaplamak için performans geliştirmesi
• [SPARK-48621] [SC-168726][SQL] Harmanlanmış dizeler için İyileştiricide Basitleştirme gibi düzeltme
• [SPARK-47148] [SC-164179][SQL] İptalde AQE ExchangeQueryStageExec'i gerçekleştirmekten kaçının
• [SPARK-48584] [SC-168579][SQL] unescapePathName için performans iyileştirmesi
• [SPARK-48281] [SC-167260][SQL] UTF8_BINARY_LCASE harmanlama için dize arama mantığını değiştirme (StringInStr, SubstringIndex)
• [SPARK-48577] [SC-168826][SQL] Geçersiz UTF-8 bayt dizisi değiştirme
• [SPARK-48595] [SC-168580][CORE] ile ilgili kullanım dışı api kullanımını temizleme commons-compress
• [SPARK-48030] [SC-164303][SQL] SPJ: InternalRowComparableWrapper için cache rowOrdering ve structType
• [SPARK-48004] [SC-164005][SQL] v1 yazma için WriteFilesExecBase özelliği ekleme
• [SPARK-48551] [SC-168438][SQL] escapePathName için performans geliştirmesi
• [SPARK-48565] [SC-168437][UI] Kullanıcı arabiriminde iş parçacığı dökümü görünümünü düzeltme
• [SPARK-48364] [SC-166782][SQL] AbstractMapType tür ataması ekleme ve RaiseError parametre eşlemesini harmanlanmış dizelerle çalışacak şekilde düzeltme
• [SPARK-48421] [SC-168689][SQL] SPJ: Belge ekleme
• [SPARK-48604] [SC-168698][SQL] Kullanım dışı yöntem çağrısını new ArrowType.Decimal(precision, scale) değiştirme
• [SPARK-46947] [SC-157561][CORE] Sürücü eklentisi yüklenene kadar bellek yöneticisi başlatmayı geciktirme
• [SPARK-48411] [SC-168576][SS][PYTHON] DropDuplicateWithinWatermark için E2E testi ekleme
• [SPARK-48543] [SC-168697][SS] Açık hata sınıfını kullanarak durum satırı doğrulama hatalarını izleme
• [SPARK-48221] [SC-167143][SQL] UTF8_BINARY_LCASE harmanlama için dize arama mantığını değiştirme (Contains, StartsWith, EndsWith, StringLocate)
• [SPARK-47415] [SC-168441][SQL] Levenshtein ifadesi için harmanlama desteği ekleme
• [SPARK-48593] [SC-168719][PYTHON][BAĞLAN] Lambda işlevinin dize gösterimini düzeltme
• [SPARK-48622] [SC-168710][SQL] sütun adlarını çözümleme sırasında SQLConf'u tek seferde alır
• [SPARK-48594] [SC-168685][PYTHON][BAĞLAN] Alanı içinde olarak parent yeniden adlandır childColumnAlias
• [SPARK-48403] [SC-168319][SQL] UTF8_BINARY_LCASE ve ICU harmanlamaları için Alt ve Üst ifadeleri düzeltme
• [SPARK-48162] [SC-166062][SQL] MISC ifadeleri için harmanlama desteği ekleme
• [SPARK-48518] [SC-167718][CORE] LZF sıkıştırmanın paralel olarak çalışmasını sağlama
• [SPARK-48474] [SC-167447][CORE] & oturum SparkSubmitArguments açma işleminin sınıf adını düzeltin SparkSubmit
• [SPARK-48012] [SC-168267][SQL] SPJ: Tek Taraflı Karıştırma için Transfrom İfadelerini Destekleme
• [SPARK-48552] [SC-168212][SQL] çok satırlı CSV şema çıkarımı FAILED_READ_FILE hatasını da atmalıdır.
• [SPARK-48560] [SC-168268][SS][PYTHON] StreamingQueryListener.spark'ı ayarlanabilir hale getirme
• [SPARK-48569] [SC-168321][SS][BAĞLAN] query.name kenar örneklerini işleme
• [SPARK-47260] [SC-167323][SQL] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][PYTHON][CONNECT] Önbelleğe alınmış şemayı küme işlemlerinde yayma
• [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation for join alt öğesinin yalnızca BroadcastQueryStageExec olup olmadığını denetlemelidir
• [SPARK-48506] [SC-167720][CORE] Sıkıştırma codec'i kısa adları, olay günlüğü dışında büyük/küçük harfe duyarlı değildir
• [SPARK-48447] [SC-167607][SS] Oluşturucuyu çağırmadan önce durum deposu sağlayıcı sınıfını denetleyin
• [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff ve DateTimeUtils.timestampAdd INTERNAL_ERROR özel durum oluşturmamalıdır
• [SPARK-48513] [Backport][15.x][SC-168085][SS] Durum şeması uyumluluğu ve küçük yeniden düzenleme için hata sınıfı ekleme
• [SPARK-48413] [SC-167669][SQL] sıralama düzeni ile değiştirme COLUMN
• [SPARK-48561] [SC-168250][PS][BAĞLAN] Desteklenmeyen çizim işlevleri için oluşturma PandasNotImplementedError
• [SPARK-48465] [SC-167531][SQL] boş ilişki yayma işlemi yapılmaması
• [SPARK-48553] [SC-168166][PYTHON][BAĞLAN] Diğer özellikleri önbelleğe alma
• [SPARK-48540] [SC-168069][CORE] stdout'a sarmaşık çıktısı yükleme ayarlarından kaçının
• [SPARK-48535] [SC-168057][SS] Akış akışı birleşimleri yapılandırması için nullları atla etkinleştirildiğinde veri kaybı/bozulma sorunu olasılığını belirtmek için yapılandırma belgelerini güncelleştirin
• [SPARK-48536] [SC-168059][PYTHON][CONNECT] ApplyInPandas ve applyInArrow'da kullanıcı tarafından belirtilen şemaların önbelleğe alınması
• [SPARK-47873] [SC-163473][SQL] Normal dize türünü kullanarak Hive meta veri deposuna harmanlanmış dizeler yazma
• [SPARK-48461] [SC-167442][SQL] AssertNotNull ifadesinde NullPointerExceptions değerini hata sınıfıyla değiştirin
• [SPARK-47833] [SC-163191][SQL][CORE] checkAndGlobPathIfNecessary AnalysisException için çağıran stackstrace sağlama
• [SPARK-47898] [SC-163146][SQL] HIVE-12270 bağlantı noktası: HS2 temsilci belirtecine DBTokenStore desteği ekleme
• [SPARK-47578] [SC-167497][R] RPackageUtils'i değişkenlerle yapılandırılmış günlük çerçevesine geçirme
• [SPARK-47875] [SC-162935][CORE] kaldır spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][CORE] Eksikse spark.hadoop.fs.s3a.connection.establish.timeout 30s olarak ayarlayın
• [SPARK-47972] [SC-167692][SQL] Harmanlamalar için CAST ifadesini kısıtlama
• [SPARK-48430] [SC-167489][SQL] Eşlem harmanlanmış dizeler içerdiğinde eşleme değeri ayıklamayı düzeltme
• [SPARK-47318] [SC-162712][CORE][3.5] Standart KEX uygulamalarını izlemek için AuthEngine anahtar türetmesine HKDF yuvarlak ekler
• [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] Eşdeğer olmayan sütunlarda group-by kullanan ve yanlış şekilde izin verilen geçersiz skaler alt sorgular düzeltildi.
• [SPARK-48508] [SC-167695][CONNECT][PYTHON] Kullanıcı tarafından belirtilen şemayı DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][WINDOWS] Aynı saniye içinde birden çok Spark örneğinin başlatılmasının hataya neden olduğu Windows hatasını düzeltme
• [SPARK-45891] [SC-167608]"Varyant için parçalama düzenini açıklama"
• [SPARK-48391] [SC-167554][CORE]TaskMetrics Sınıfının fromAccumulatorInfos yönteminde add işlevi yerine addAll kullanma
• [SPARK-48496] [SC-167600][CORE] JavaUtils.timeStringAs ve JavaUtils.byteStringAs içinde statik regex Desen örneklerini kullanma
• [SPARK-48476] [SC-167488][SQL] null delmiter csv için NPE hata iletisi düzeltildi
• [SPARK-48489] [SC-167598][SQL] Metin Veri Kaynağı'ndan geçersiz şema okurken daha iyi, kullanıcıya yönelik bir hata oluşturun
• [SPARK-48471] [SC-167324][CORE] Geçmiş sunucusu için belgeleri ve kullanım kılavuzunu geliştirme
• [SPARK-45891] [SC-167597] Variant için parçalama düzenini açıklama
• [SPARK-47333] [SC-159043][SQL] İşlevin parametre türlerini denetlemek için checkInputDataTypes kullanın to_xml
• [SPARK-47387] [SC-159310][SQL] Kullanılmayan bazı hata sınıflarını kaldırma
• [SPARK-48265] [ES-1131440][SQL] Pencere grubu sınırlarını çıkarım yapan toplu işlem sabit katlama yapmalıdır
• [SPARK-47716] [SC-167444][SQL] SQLQueryTestSuite anlamsal sıralama test çalışmasında görünüm adı çakışmasından kaçının
• [SPARK-48159] [SC-167141][SQL] Datetime ifadelerinde harmanlanmış dizeler için desteği genişletme
• [SPARK-48462] [SC-167271][SQL][Testler] Testlerde SQLConf ile kullanma: HiveQuerySuite ve HiveTableScanSuite'ı yeniden düzenleme
• [SPARK-48392] [SC-167195][CORE] Ayrıca, sağlandığında da yükleyin spark-defaults.conf--properties-file
• [SPARK-48468] [SC-167417] Katalizörde LogicalQueryStage arabirimi ekleme
• [SPARK-47578] [SC-164988][CORE] Spark PR #46309 için el ile geri bağlantı noktası: LogWarning'i değişkenlerle yapılandırılmış günlük çerçevesine geçirme
• [SPARK-48415] [SC-167321]"[PYTHON] TypeName'i parametreli veri türlerini destekleyecek şekilde yeniden düzenleme"
• [SPARK-46544] [SC-151361][SQL] Tablo istatistikleriyle genişletilmiş v2 DESCRIBE TABLE desteği
• [SPARK-48325] [SC-166963][CORE] İletileri her zaman ExecutorRunner.killProcess içinde belirtin
• [SPARK-46841] [SC-167139][SQL] ICU yerel ayarları ve harmanlama tanımlayıcıları için harmanlama desteği ekleme
• [SPARK-47221] [SC-157870][SQL] CsvParser'dan AbstractParser'a imzaları kullanır
• [SPARK-47246] [SC-158138][SQL] Koleksiyon dönüştürmesini kaydetmek için ile InternalRow.fromSeq değiştirin new GenericInternalRow
• [SPARK-47597] [SC-163932][AKıŞ] Spark PR için el ile geri bağlantı noktası #46192: Akış: LogInfo'yı değişkenlerle yapılandırılmış günlük çerçevesine geçirme
• [SPARK-48415] [SC-167130][PYTHON] Parametreli veri türlerini desteklemek için yeniden düzenleme TypeName
• [SPARK-48434] [SC-167132][PYTHON][CONNECT] printSchema'nin önbelleğe alınmış şemayı kullanmasını sağla
• [SPARK-48432] [ES-1097114][SQL] UnivocityParser'da tamsayıları kutulamaktan kaçının
• [SPARK-47463] [SC-162840][SQL] V2Predicate kullanarak ifadeyi boole dönüş türüyle sarmalama
• [SPARK-47781] [SC-162293][SQL] JDBC veri kaynakları için negatif ölçek ondalıklarını işleme
• [SPARK-48394] [SC-166966][CORE] mapoutput unregister üzerinde mapIdToMapIndex'i temizleme
• [SPARK-47072] [SC-156933][SQL] Hata iletilerinde desteklenen aralık biçimlerini düzeltme
• [SPARK-47001] [SC-162487][SQL] İyileştiricide gönderim doğrulaması
• [SPARK-48335] [SC-166387][PYTHON][BAĞLAN] Spark Connect ile uyumlu hale getirme _parse_datatype_string
• [SPARK-48329] [SC-166518][SQL] Varsayılan olarak etkinleştir spark.sql.sources.v2.bucketing.pushPartValues.enabled
• [SPARK-48412] [SC-166898][PYTHON] JSON ayrıştırma veri türünü yeniden düzenleme
• [SPARK-48215] [SC-166781][SQL] date_format ifadede harmanlanmış dizeler için desteği genişletme
• [SPARK-45009] [SC-166873][SQL][TAKİP] Birleştirme koşulunda koşul alt sorgularının her iki birleşim alt türüne de başvuruda bulunarak düzeltilmesi için hata sınıfı ve test ekleme
• [SPARK-47960] [SC-165295][SS][15.x] transformWithState işlecinin ardından durum bilgisi olan diğer işleçlerin zincirlenmesine izin verin.
• [SPARK-48340] [SC-166468][PYTHON] TimestampNTZ desteği şema çıkarım hatası prefer_timestamp_ntz
• [SPARK-48157] [SC-165902][SQL] CSV ifadeleri için harmanlama desteği ekleme
• [SPARK-48158] [SC-165652][SQL] XML ifadeleri için harmanlama desteği ekleme
• [SPARK-48160] [SC-166064][SQL] XPATH ifadeleri için harmanlama desteği ekleme
• [SPARK-48229] [SC-165901][SQL] inputFile ifadeleri için harmanlama desteği ekleme
• [SPARK-48367] [SC-166487][BAĞLAN] Düzgün biçimlendirecek dosyaları algılamak için scalafmt için lint-scala düzeltmesi
• [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] DataFrame hata bağlamı için yapıyı yeniden düzenleme
• [SPARK-48370] [SC-166787][BAĞLAN] Scala Spark Connect istemcisinde Denetim Noktası ve localCheckpoint
• [SPARK-48247] [SC-166028][PYTHON] MapType şeması çıkarılırken bir sözlükteki tüm değerlerin kullanılması
• [SPARK-48395] [SC-166794][PYTHON] Parametreli türler için düzeltme StructType.treeString
• [SPARK-48393] [SC-166784][PYTHON] Sabit grubunu şuraya taşıma pyspark.util
• [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Araç StructType.treeString
• [SPARK-48258] [SC-166467][PYTHON][BAĞLAN] Spark Connect'te Denetim Noktası ve localCheckpoint

Bkz . Databricks Runtime 15.4 LTS bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Gölü: 3.2.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)