Databricks Runtime 15.2 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 15.2 hakkında bilgi sağlar.

Databricks bu sürümü Mayıs 2024'te yayımladı.

Davranış değişiklikleri

Vakum, COPY INTO meta veri dosyalarını temizler

VACUUM ile yazılmış bir tabloda COPY INTO çalıştırmak artık alınan dosyaları izlemeyle ilişkili başvurulmamış meta verileri temizler. COPY INTOişletimsel semantiği üzerinde hiçbir etkisi yoktur.

Lakehouse Federasyonu genel kullanıma sunuldu (GA)

Databricks Runtime 15.2 ve sonraki sürümlerinde, aşağıdaki veritabanı türleri genelinde Lakehouse Federation bağlayıcıları genel olarak kullanılabilir (GA):

• MySQL
• PostgreSQL
• Amazon Redshift
• Kar tanesi
• Microsoft SQL Server
• Azure Synapse (SQL Veri Ambarı)
• Databricks

Bu sürümde ayrıca aşağıdaki geliştirmeler de yer alıvermektedir:

• Snowflake ve Microsoft SQL Server bağlayıcılarında çoklu oturum açma (SSO) kimlik doğrulaması desteği.

• Sunucusuz işlem ortamlarından SQL Server bağlayıcısı için Azure Özel Bağlantı desteği. Bkz. Adım 3:özel uç nokta kuralları oluşturma.

• Ekstra indirgeme işlevleri desteği (dize, matematik ve diğer çeşitli fonksiyonlar).

• Farklı sorgu şekillerinde ișlem başarısı oranının artırılması.

• Ek pushdown hata ayıklama özellikleri:

  • EXPLAIN FORMATTED çıktısı, aşağı gönderilen sorgu metnini görüntüler.
  • Sorgu profili kullanıcı arabirimi, gönderilen sorgu metnini, federasyon düğüm tanımlayıcılarını ve JDBC sorgu yürütme sürelerini (ayrıntılı modda) görüntüler. Bkz. Sistem tarafından oluşturulan federasyon sorgularını görüntüleme.

Üst bilgisiz CSV dosyalarıyla BY POSITION kullanarak sütun eşleme için COPY INTO

Databricks Runtime 15.2 ve sonraki sürümlerinde, kaynak sütunları hedef tablo sütunları ile eşleştirmeyi basitleştirmek için başlık bilgisi olmayan CSV dosyalarında BY POSITION ile birlikte ( col_name [ , <col_name> ... ] ) anahtar sözcüklerini (veya alternatif olarak COPY INTOsöz dizimini) kullanabilirsiniz. Bkz. Parametreleri.

Spark görevleri Resubmitted hatasıyla başarısız olduğunda bellek tüketimini azaltma

Databricks Runtime 15.2 ve sonraki sürümlerinde görevler TaskInfo.accumulables() hatasıyla başarısız olduğunda Spark Resubmitted yönteminin dönüş değeri boş olur. Önceden, yöntem daha önceki başarılı bir görev denemesinin değerlerini döndürüyordu. Bu davranış değişikliği aşağıdaki tüketicileri etkiler:

• EventLoggingListener sınıfını kullanan Spark görevleri.
• Özel Spark Dinleyicileri.

Önceki davranışı geri yüklemek için spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabledfalseolarak ayarlayın.

Uyarlamalı sorgu yürütme planı sürümlerini görüntüleme devre dışı bırakıldı

Bellek tüketimini azaltmak için uyarlamalı sorgu yürütme (AQE) planı sürümleri artık Spark kullanıcı arabiriminde varsayılan olarak devre dışı bırakılmıştır. Spark kullanıcı arabiriminde AQE planı sürümlerini görüntülemeyi etkinleştirmek için spark.databricks.sql.aqe.showPlanChangesInUI.enabledtrueolarak ayarlayın.

Spark kullanıcı arabirimi bellek kullanımını azaltmak için korunan sorgulardaki sınır azaltıldı

Databricks Runtime 15.2 ve sonraki sürümlerinde, Azure Databricks işlemindeki Spark kullanıcı arabirimi tarafından tüketilen belleği azaltmak için kullanıcı arabiriminde görünen sorgu sayısı sınırı 1000'den 100'e indirilir. Sınırı değiştirmek için Spark yapılandırmasını spark.sql.ui.retainedExecutions kullanarak yeni bir değer ayarlayın.

DESCRIBE HISTORY artık sıvı kümeleme kullanan tablolar için kümeleme sütunlarını gösteriyor

DESCRIBE HISTORY sorgu çalıştırdığınızda, operationParameters sütununda clusterBy ve CREATE OR REPLACE işlemleri için varsayılan olarak bir OPTIMIZE alanı gösterilir. Sıvı kümeleme kullanan bir Delta tablosu için clusterBy alanı tablonun kümeleme sütunlarıyla doldurulur. Tablo sıvı kümelemesi kullanmıyorsa, alan boş olur.

Yeni özellikler ve geliştirmeler

Birincil ve yabancı anahtarlar için destek GA'dır

Databricks Runtime'da birincil ve yabancı anahtar desteği genel olarak kullanılabilir. GA sürümü, birincil ve yabancı anahtarları kullanmak için gereken ayrıcalıklarda aşağıdaki değişiklikleri içerir:

• Yabancı anahtarı tanımlamak için, yabancı anahtarın başvurduğu birincil anahtarı içeren tabloda SELECT ayrıcalığına sahip olmanız gerekir. Daha önce gerekli olan birincil anahtara sahip tabloya sahip olmanız gerekmez.
• CASCADE yan tümcesini kullanarak birincil anahtarı bırakmak, birincil anahtara başvuran yabancı anahtarları tanımlayan tablolarda ayrıcalık gerektirmez. Daha önce başvuru tablolarına sahip olmanız gerekiyordu.
• Kısıtlamaları içeren bir tabloyu bırakmak için artık kısıtlama içermeyen tabloları bırakmayla aynı ayrıcalıklar gerekir.

Tablo veya görünümlerle birincil ve yabancı anahtarların nasıl kullanılacağını öğrenmek için bkz. yan tümcesi , yan tümcesive yan tümcesi.

Sıvı kümeleme GA olarak bilinir

Sıvı kümeleme desteği artık Databricks Runtime 15.2 ve üzeri kullanılarak genel kullanıma sunulmuştur. Bkz. Delta tabloları için sıvı kümelenme kullanımı.

Tür genişletme Genel Önizleme'de

Artık Delta Lake tarafından desteklenen tablolarda tür genişletmeyi etkinleştirebilirsiniz. Tür genişletmesi etkinleştirilmiş tablolar, temel alınan veri dosyalarını yeniden yazmadan sütun türünü daha geniş bir veri türüne dönüştürmeye olanak sağlar. Bkz. Tür genişletme.

SQL birleştirme söz dizimine şema evrimi yan tümcesi eklendi

Artık WITH SCHEMA EVOLUTION yan tümcesini sql birleştirme deyimine ekleyerek işlem için şema evrimini etkinleştirebilirsiniz. Birleştirmeiçin şema evrimi söz dizimine bakın.

PySpark özel veri kaynakları Genel Önizleme'de kullanılabilir

Özel veri kaynaklarından okuma ve Python kullanarak Apache Spark'taki özel veri havuzlarına yazma olanağı sağlayan Python (PySpark) DataSource API'sini kullanarak bir PySpark DataSource oluşturulabilir. Bkz. PySpark özel veri kaynakları

applyInPandas ve mapInPandas artık paylaşılan erişim moduyla Unity Kataloğu işlemlerinde kullanılabilir

Databricks Runtime 14.3 LTS bakım sürümünün bir parçası olarak applyInPandas ve mapInPandas UDF türleri artık Databricks Runtime 14.3 ve üzerini çalıştıran paylaşılan erişim modu işlemlerinde desteklenmektedir.

Not defterindeki tüm pencere öğelerini almak için dbutils.widgets.getAll() kullanma

kullanaraknot defterindeki tüm pencere öğesi değerlerini için alın. Bu, bir Spark SQL sorgusuna birden çok pencere öğesi değeri geçirirken özellikle yararlıdır.

Vakum envanteri desteği

Artık Delta tablosunda VACUUM komutunu çalıştırırken göz önünde bulundurmanız gereken bir dosya envanteri belirtebilirsiniz. OSS Delta belgelerine bakın.

Zstandard sıkıştırma işlevleri desteği

Artık verileri sıkıştırmak ve açmak için zst_compress, zstd_decompressve BINARY işlevlerini kullanabilirsiniz.

Hata düzeltmeleri

SQL kullanıcı arabirimindeki sorgu planları artık PhotonWriteStage doğru şekilde görüntüleniyor

SQL kullanıcı arabiriminde görüntülendiğinde, sorgu planlarındaki write komutları PhotonWriteStage yanlışlıkla işleç olarak gösterildi. Bu sürümle, kullanıcı arabirimi PhotonWriteStage bir aşama olarak gösterecek şekilde güncelleştirilir. Bu yalnızca bir kullanıcı arabirimi değişikliğidir ve sorguların nasıl çalıştırılma şeklini etkilemez.

Ray, Ray kümelerini başlatmayla ilgili sorunları düzeltmek için güncelleştirildi

Bu sürüm, Ray kümelerinin Machine Learning için Databricks Runtime ile başlamasını engelleyen önemli bir değişikliği düzelten, Ray'in yamalanmış bir sürümünü içerir. Bu değişiklik, Ray işlevselliğinin Databricks Runtime'ın 15.2'den önceki sürümleriyle aynı olmasını sağlar.

DataFrame.sort() ve DataFrame.sortWithinPartitions() işlevleri için hata sınıfı düzeltildi

Bu sürüm, PySpark DataFrame.sort() ve DataFrame.sortWithinPartitions() işlevlerine, ZERO_INDEX dizin argümanı olarak geçirildiğinde 0 hata sınıfının oluşturulmasını sağlamak için bir güncelleme içerir. Daha önce hata sınıfı INDEX_NOT_POSITIVE atıldı.

ipywidgets 8.0.4'ten 7.7.2'ye düşürüldü

Databricks Runtime 15.0'da ipywidgets'in 8.0.4'e yükseltilmesiyle ortaya çıkan hataları düzeltmek için, Databricks Runtime 15.2'de ipywidgets 7.7.2 sürümüne düşürüldü. Bu, önceki Databricks Runtime sürümlerinde bulunan sürümle aynıdır.

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • 3.1.42 ile 3.1.43 arasında GitPython
  • 2.17.1 ile 2.18.0 arası google-api-core
  • google-auth sürümü 2.28.1'den 2.29.0'a
  • 2.15.0 ile 2.16.0 arası google-cloud-storage
  • 1.62.0 ile 1.63.0 arası googleapis-common-protos
  • ipywidgets from 8.0.4 to 7.7.2
  • 2.11.1 ile 2.11.3 arası mlflow-skinny
  • s3transfer 0.10.0'dan 0.10.1'e
  • sqlparse 0.4.4'ten 0.5.0'a
  • typing_extensions 4.7.1'den 4.10.0'a
• Yükseltilen R kitaplıkları:
• Yükseltilen Java kitaplıkları:
  • com.amazonaws.aws-java-sdk-autoscaling 1.12.390 sürümünden 1.12.610 sürümüne
  • com.amazonaws.aws-java-sdk-cloudformation 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-cloudfront 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-cloudhsm 1.12.390 sürümünden 1.12.610 sürümüne
  • com.amazonaws.aws-java-sdk-cloudsearch sürüm 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-cloudtrail 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-cloudwatch 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics sürüm 1.12.390'dan 1.12.610'a güncellendi.
  • com.amazonaws.aws-java-sdk-codedeploy 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-cognitoidentity 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-cognitosync 1.12.390 ile 1.12.610 arasında
  • com.amazonaws.aws-java-sdk-config 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-core 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-datapipeline 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-directconnect sürümünü 1.12.390'dan 1.12.610 olarak
  • com.amazonaws.aws-java-sdk-directory 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-dynamodb 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-ec2 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-ecs 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-efs 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-elasticache 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-elasticloadbalancing 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-elastictranscoder 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-emr 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-glacier 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-glue 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-iam 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-importexport 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-kinesis 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-kms 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-lambda 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-logs 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-machinelearning 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-opsworks 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-rds 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-redshift sürüm 1.12.390'dan 1.12.610'a
  • com.amazonaws.aws-java-sdk-route53 sürümü 1.12.390'dan 1.12.610'a yükseltildi.
  • com.amazonaws.aws-java-sdk-s3 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-ses 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-simpledb 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-simpleworkflow 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-sns 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-sqs 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-ssm 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-storagegateway 1.12.390 ile 1.12.610 arası
  • com.amazonaws.aws-java-sdk-sts 1.12.390 ile 1.12.610 arasında
  • com.amazonaws.aws-java-sdk-support from 1.12.390 to 1.12.610
  • com.amazonaws.aws-java-sdk-workspaces 1.12.390 ile 1.12.610 arası
  • com.amazonaws.jmespath-java 1.12.390 ile 1.12.610 arası

ApacheSpark

Databricks Runtime 15.2, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 15.1 (EoS)dahil edilen tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-47941] [SC-163568] [SS] [Connect] PySpark için ForeachBatch çalışan başlatma hatalarını kullanıcılara ilet
• [SPARK-47412] [SC-163455][SQL] LPad/RPad için Harmanlama Desteği Eklendi.
• [SPARK-47907] [SC-163408][SQL] "Bang"i bir yapılandırma ayarının altına yerleştirme
• [SPARK-46820] [SC-157093][PYTHON] new_msg geri yükleyerek hata iletisi regresyonunu düzeltme
• [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Resource managers: yapılandırılmış kayıt geçişi
• [SPARK-47890] [SC-163324][CONNECT][PYTHON] Scala ve Python'a değişken işlevler ekleyin.
• [SPARK-47894] [SC-163086][CORE][WEBUI] Ana Kullanıcı Arabirimine Environment sayfası ekleme
• [SPARK-47805] [SC-163459][SS] MapState için TTL Uygulama
• [SPARK-47900] [SC-163326] Örtük (UTF8_BINARY) harmanlama denetimi düzeltildi
• [SPARK-47902] [SC-163316][SQL]Geçerli Zamanı Hesaplama* ifadelerini katlanabilir hale getirme
• [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Scala ve Python için split işlevinde sütun türü desteği
• [SPARK-47754] [SC-162144][SQL] Postgres: Çok boyutlu dizileri okumayı destekleme
• [SPARK-47416] [SC-163001][SQL] CollationBenchmark'a yeni işlevler ekleme #90339
• [SPARK-47839] [SC-163075][SQL] RewriteWithExpression'daki toplu hatayı düzeltme
• [SPARK-47821] [SC-162967][SQL] is_variant_null ifadesinin uygulanması
• [SPARK-47883] [SC-163184][SQL] RowQueue ile CollectTailExec.doExecute gecikmeli hale getirme
• [SPARK-47390] [SC-163306][SQL] PostgresDialect, TIMESTAMP ile TIMESTAMP_TZ'yi ayırt eder.
• [SPARK-47924] [SC-163282][CORE] DiskStore.moveFileToBlock'a HATA AYıKLAMA günlüğü ekleme
• [SPARK-47897] [SC-163183][SQL][3.5] Scala 2.12'de ExpressionSet performans gerilemesi düzeltildi
• [SPARK-47565] [SC-161786][PYTHON] PySpark çalışan havuzu kilitlenme dayanıklılığı
• [SPARK-47885] [SC-162989][PYTHON][CONNECT] pyspark.resource'ı pyspark-connect ile uyumlu hale getirme
• [SPARK-47887] [SC-163122][CONNECT] Kullanılmayan içe aktarımları spark/connect/common.proto kaldır spark/connect/relations.proto
• [SPARK-47751] [SC-161991][PYTHON][CONNECT] pyspark.worker_utils pyspark-connect ile uyumlu hale getirme
• [SPARK-47691] [SC-161760][SQL] Postgres: Yazma tarafında çok boyutlu diziyi destekleme
• [SPARK-47617] [SC-162513][SQL] Harmanlamalar için TPC-DS test altyapısı ekleme
• [SPARK-47356] [SC-162858][SQL] ConcatWs & Elt için destek ekleme (tüm harmanlamalar)
• [SPARK-47543] [SC-161234][CONNECT][PYTHON] DataFrame oluşturmaya izin vermek için Pandas DataFrame'den dict olarak MapType tahmin ediliyor
• [SPARK-47863] [SC-162974][SQL] Düzeltme başlarİye & bitişleriİCU için harmanlama algılayan uygulama ile başlar
• [SPARK-47867] [SC-162966][SQL] JSON taramasında değişken desteği.
• [SPARK-47366] [SC-162475][SQL][PYTHON] PySpark için VariantVal ekleme
• [SPARK-47803] [SC-162726][SQL] Varyanta dönüştürme desteği.
• [SPARK-47769] [SC-162841][SQL] schema_of_variant_agg ifadesi ekleyin.
• [SPARK-47420] [SC-162842][SQL] Test çıkışını düzeltme
• [SPARK-47430] [SC-161178][SQL] MapType için destek GROUP BY
• [SPARK-47357] [SC-162751][SQL] Upper, Lower, InitCap desteği eklendi (tüm harmanlamalar)
• [SPARK-47788] [SC-162729][SS] Durum bilgisi olan işlemlerin akışı için aynı karma bölümlemenin sağlandığından emin olun
• [SPARK-47776] [SC-162291][SS] Durum bilgisi olan işlecin anahtar şemasında ikili eşitsizlik harmanlamasının kullanılmasına izin verme
• [SPARK-47673] [SC-162824][SS] ListState için TTL Uygulama
• [SPARK-47818] [SC-162845][CONNECT] Analiz isteklerinin performansını artırmak için SparkConnectPlanner'da plan önbelleğini tanıtma
• [SPARK-47694] [SC-162783][CONNECT] en büyük ileti boyutunu istemci tarafında yapılandırılabilir hale getirme
• [SPARK-47274] "[SC-162479][PYTHON][SQL] Daha faydalı bilgiler sağlamak için yapılan değişikliği geri al"
• [SPARK-47616] [SC-161193][SQL] MySQL'den Spark SQL Veri Türlerini Eşlemek için Kullanıcı Belgesi Ekleme
• [SPARK-47862] [SC-162837][PYTHON][CONNECT]Proto dosyalarının oluşturulmasını düzeltme
• [SPARK-47849] [SC-162724][PYTHON][CONNECT] pyspark-connect'i yayınlayacak sürüm betiğini değiştirme
• [SPARK-47410] [SC-162518][SQL] UTF8String ve CollationFactory'yi yeniden düzenleme
• [SPARK-47807] [SC-162505][PYTHON][ML] pyspark.ml pyspark-connect ile uyumlu hale getirme
• [SPARK-47707] [SC-161768][SQL] MySQL Connector/J 5.x için JSON türünün özel işlenmesi
• [SPARK-47765] Revert "[SC-162636][SQL] Ayrıştırmalara SET COLLATION ekle...
• [SPARK-47081] [SC-162151][CONNECT][FOLLOW] İlerleme İşleyicisinin kullanılabilirliğini artırma
• [SPARK-47289] [SC-161877][SQL] Uzantıların açıklama planında genişletilmiş bilgileri günlüğe kaydetmesine izin ver
• [SPARK-47274] [SC-162479][PYTHON][SQL] PySpark DataFrame API hataları için daha kullanışlı bağlam sağlayın
• [SPARK-47765] [SC-162636][SQL] Ayrıştırıcı kurallarına SET COLLATION ekleme
• [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite geçersiz planla başarısız oluyor
• [SPARK-47812] [SC-162696][CONNECT] ForEachBatch çalışanı için SparkSession Serileştirme desteği
• [SPARK-47253] [SC-162698][CORE] LiveEventBus'ın olay kuyruğunun tamamen boşaltılmadan durmasına izin ver
• [SPARK-47827] [SC-162625][PYTHON] Kullanım dışı bırakılan özellikler için eksik uyarılar
• [SPARK-47733] [SC-162628][SS] Sorgu ilerleme durumunun transformWithState işleci için özel ölçümler ekleme
• [SPARK-47784] [SC-162623][SS] TTLMode ve TimeoutMode'ı tek bir TimeMode'da birleştirin.
• [SPARK-47775] [SC-162319][SQL] Değişken belirtiminde kalan skalar türlere destek sağlanması.
• [SPARK-47736] [SC-162503][SQL] AbstractArrayType için destek ekleme
• [SPARK-47081] [SC-161758][CONNECT] Sorgu Yürütme İlerlemesini Destekleme
• [SPARK-47682] [SC-162138][SQL] Varyanttan tipe dönüşüm desteği.
• [SPARK-47802] [SC-162478][SQL] Yeniden döndür () anlam yapısından () anlamlarına *
• [SPARK-47680] [SC-162318][SQL] variant_explode ifadesi ekleyin.
• [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression her kod oluşturma modu için hatayı denetlemelidir
• [SPARK-41811] [SC-162470][PYTHON][CONNECT] SQLStringFormatter'yi WithRelations ile uygulama
• [SPARK-47693] [SC-162326][SQL] UTF8_BINARY_LCASE harmanlamada kullanılan UTF8String'in küçük harf karşılaştırması için iyileştirme eklendi
• [SPARK-47541] [SC-162006][SQL] Karmaşık türlerdeki harmanlanmış dizelerin destekleyen işlemleri: ters, array_join, concat, map
• [SPARK-46812] [SC-161535][CONNECT][PYTHON] MapInPandas / mapInArrow ResourceProfile desteği sağla
• [SPARK-47727] [SC-161982][PYTHON] SparkConf'ı hem SparkSession hem de SparkContext için kök düzeyinde yap
• [SPARK-47406] [SC-159376][SQL] MYSQLDialect'te TIMESTAMP ve DATETIME İşle
• [SPARK-47081] Geri al "[SC-161758][CONNECT] Support Query Executi...
• [SPARK-47681] [SC-162043][SQL] schema_of_variant ifadesi ekleyin.
• [SPARK-47783] [SC-162222] Bazı eksik SQLSTATE'leri ekleyin ve YY000'ı temizleyin...
• [SPARK-47634] [SC-161558][SQL] Eşleme anahtarı normalleştirmesini devre dışı bırakmak için önceki sürüm desteğinin eklenmesi
• [SPARK-47746] [SC-162022] RocksDBStateEncoder'da sıra tabanlı aralık kodlaması uygulama
• [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec her zaman context.session kullanmalıdır
• [SPARK-47643] [SC-161534][SS][PYTHON] Python akış kaynağı için pyspark testi ekleme
• [SPARK-47582] [SC-161943][SQL] Catalyst logInfo'nun değişkenlerini yapılandırılmış bir günlük kaydı çerçevesine taşımak
• [SPARK-47558] [SC-162007][SS] ValueState için Durum TTL desteği
• [SPARK-47358] [SC-160912][SQL][COLLATION] Doğru veri türü döndürmek için yineleme ifadesi desteğini geliştirme
• [SPARK-47504] [SC-162044][SQL] StringTypeCollated için AbstractDataType simpleStrings çözümleme
• [SPARK-47719] Revert "[SC-161909][SQL] Change spark.sql.legacy.t...
• [SPARK-47657] [SC-162010][SQL] Dosya kaynağı başına harmanlama filtresinin gönderilmesi desteğini uygulayın.
• [SPARK-47081] [SC-161758][CONNECT] Sorgu Yürütme İlerlemesini Destekleme
• [SPARK-47744] [SC-161999] Aralık kodlayıcıda negatif değerli baytlar için destek eklendi
• [SPARK-47713] [SC-162009][SQL][CONNECT] Kendi kendine birleştirme hatasını düzeltme
• [SPARK-47310] [SC-161930][SS] Durum deposunun değer bölümündeki birden çok değer için birleştirme işlemleri için mikro karşılaştırma ekleme
• [SPARK-47700] [SC-161774][SQL] treeNode ile hata iletilerinin biçimlendirmesini düzeltme
• [SPARK-47752] [SC-161993][PS][CONNECT] pyspark.pandas'ı pyspark-connect ile uyumlu hale getirme
• [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Yapılandırılmış günlük çerçevesine logWarning/logInfo API'sini uygulama
• [SPARK-47107] [SC-161201][SS][PYTHON] Python akış veri kaynağı için bölüm okuyucu uygulama
• [SPARK-47553] [SC-161772][SS] transformWithState işleç API'leri için Java desteği ekleme
• [SPARK-47719] [SC-161909][SQL] spark.sql.legacy.timeParserPolicy varsayılanı DÜZELTİLMİŞ olarak değiştirildi
• [SPARK-47655] [SC-161761][SS] Zamanlayıcıyı state-v2 için Başlangıç Durumu işleme ile entegre etme
• [SPARK-47665] [SC-161550][SQL] MYSQL'e ShortType Yazmak için SMALLINT Kullanma
• [SPARK-47210] [SC-161777][SQL] Belirsiz destek olmadan örtük atama ekleme
• [SPARK-47653] [SC-161767][SS] Negatif sayısal türler ve aralık tarama anahtarı kodlayıcı desteği eklendi
• [SPARK-46743] [SC-160777][SQL] Sabit katlamadan sonra sayı hatası
• [SPARK-47525] [SC-154568][SQL] Alt sorguların harita özniteliklerinde ilişkilendirilmesini destekleme
• [SPARK-46366] [SC-151277][SQL] Yinelenen ifadeleri önlemek için BETWEEN içindeki WITH ifadesini kullanma
• [SPARK-47563] [SC-161183][SQL] Oluşturma sırasında harita normalleştirme ekleme
• [SPARK-42040] [SC-161171][SQL] SPJ: Bölüm istatistiklerini raporlamak için V2 giriş bölümü için yeni bir API tanıtma
• [SPARK-47679] [SC-161549][SQL] doğrudan HiveConf.getConfVars veya Hive yapılandırma adlarını kullanma
• [SPARK-47685] [SC-161566][SQL] Stream türü için desteği geri yükle Dataset#groupBy
• [SPARK-47646] [SC-161352][SQL] Hatalı biçimlendirilmiş giriş için try_to_number'ın NULL döndürmesi
• [SPARK-47366] [SC-161324][PYTHON] PySpark ve DataFrame parse_json diğer adlar eklendi
• [SPARK-47491] [SC-161176][CORE] slf4j-api dizininin diğerlerinden önce sınıf yoluna jars jar ekleme
• [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty, CommandResults'u yerel olarak yansıtıyor
• [SPARK-47364] [SC-158927][CORE] Eklentiler tek yönlü ileti yanıtladığında PluginEndpoint uyarı verme
• [SPARK-47280] [SC-158350][SQL] ORACLE TIMESTAMP WITH TIMEZONE için saat dilimi sınırlamasını kaldırma
• [SPARK-47551] [SC-161542][SQL] variant_get ifadesi ekleyin.
• [SPARK-47559] [SC-161255][SQL] Değişken parse_json için Codegen Desteği
• [SPARK-47572] [SC-161351][SQL] Pencere partitionSpec'inin sıralanabilir olmasını zorunlu kılın.
• [SPARK-47546] [SC-161241][SQL] Parquet'ten Variant okurken doğrulamayı geliştirme
• [SPARK-47543] [SC-161234][CONNECT][PYTHON] DataFrame oluşturmaya izin vermek için Pandas DataFrame'den dict olarak MapType tahmin ediliyor
• [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Veri çerçevesi API'sinde harmanlamalarla sütun oluşturma
• [SPARK-47641] [SC-161376][SQL] UnaryMinus ve Abs için performansı geliştirme
• [SPARK-47631] [SC-161325][SQL] Kullanılmayan SQLConf.parquetOutputCommitterClass yöntemini kaldırma
• [SPARK-47674] [SC-161504][CORE] varsayılan olarak spark.metrics.appStatusSource.enabled etkinleştirme
• [SPARK-47273] [SC-161162][SS][PYTHON] Python veri akışı yazıcı arabirimini uygulayın.
• [SPARK-47637] [SC-161408][SQL] Daha fazla yerde errorCapturingIdentifier kullanın
• [SPARK-47497] Geri al "Geri al [SC-160724][SQL] Dizeler/şirketler/haritalar/binary için to_csv'nin çıktısını güzel dizeler olarak desteklemesini sağla"
• [SPARK-47492] [SC-161316][SQL] Lexer'da boşluk kurallarını genişletme
• [SPARK-47664] [SC-161475][PYTHON][CONNECT] Sütun adını önbelleğe alınmış şemayla doğrulama
• [SPARK-47638] [SC-161339][PS][CONNECT] PS'de sütun adı doğrulamayı atlama
• [SPARK-47363] [SC-161247][SS] State API v2 için durum okuyucu uygulaması olmayan başlangıç durumu.
• [SPARK-47447] [SC-160448][SQL] Parquet TimestampLTZ'nin TimestampNTZ olarak okunmasına izin ver
• [SPARK-47497] “[SC-160724][SQL] to_csv'nin array/struct/map/binary çıktısını düzgün dizeler olarak desteklemesini” Geri Al
• [SPARK-47434] [SC-160122][WEBUI] statistics'da StreamingQueryPage bağlantısını düzeltme
• [SPARK-46761] [SC-159045][SQL] JSON yolunda alıntılanan dizelerin ? sembolünü desteklemesi gerekir Karakter
• [SPARK-46915] [SC-155729][SQL] hata sınıfını UnaryMinusAbs basitleştirme ve hizalama
• [SPARK-47431] [SC-160919][SQL] Oturum düzeyinde varsayılan harmanlama eklemesi
• [SPARK-47620] [SC-161242][PYTHON][CONNECT] Sütunları sıralamak için yardımcı işlev ekleme
• [SPARK-47570] [SC-161165][SS] Aralık tarama kodlayıcı değişikliklerini zamanlayıcı uygulamasıyla tümleştirme
• [SPARK-47497] [SC-160724][SQL] to_csvarray/struct/map/binary çıkışını güzel dizeler olarak desteklemesini sağlayın
• [SPARK-47562] [SC-161166][CONNECT] plan.py dışında işlemleri ayrıştırarak sabit değerleri ele alma
• [SPARK-47509] [SC-160902][SQL] Lambda ve üst düzey işlevlerde alt sorgu ifadelerini engelleme
• [SPARK-47539] [SC-160750][SQL] Yöntemin dönüş değerini castToString olacak şekilde ayarla Any => UTF8String
• [SPARK-47372] [SC-160905][SS] Durum deposu sağlayıcısıyla kullanmak üzere aralık tarama tabanlı anahtar durumu kodlayıcı desteği eklendi
• [SPARK-47517] [SC-160642][CORE][SQL] Boyut görüntüleme için Utils.bytesToString'i tercih edin
• [SPARK-47243] [SC-158059][SS] StateMetadataSource.scala paket adını düzeltme
• [SPARK-47367] [SC-160913][PYTHON][CONNECT] Spark Connect ile Python veri kaynaklarını destekleme
• [SPARK-47521] [SC-160666][CORE] Dış depolamadan karıştırma verilerini okurken Utils.tryWithResource kullanma
• [SPARK-47474] [SC-160522][CORE] SPARK-47461'i geri döndürme ve bazı açıklamalar ekleme
• [SPARK-47560] [SC-160914][PYTHON][CONNECT] Önbelleğe alınmış şemayla sütun adını doğrulamak için RPC'yi önleyin
• [SPARK-47451] [SC-160749][SQL] to_json(variant) desteği sağlandı.
• [SPARK-47528] [SC-160727][SQL] DataTypeUtils.canWrite'ye UserDefinedType desteği ekleme
• [SPARK-44708] Revert “[SC-160734][PYTHON] AssertDataFrameEqual kullanmak için test_reset_index assert_eq fonksiyonunu taşıma işleminden geri dön”
• [SPARK-47506] [SC-160740][SQL] Harmanlanmış veri türleri için tüm dosya kaynağı biçimlerine destek ekleme
• [SPARK-47256] [SC-160784][SQL] Hata sınıflarına ad atama _LEGACY_ERROR_TEMP_102[4-7]
• [SPARK-47495] [SC-160720][CORE] K8s küme modu altında spark.jars'a iki kez eklenen birincil kaynak jar'ı düzeltildi
• [SPARK-47398] [SC-160572][SQL] İşlevin genişletilmesine izin vermek üzere InMemoryTableScanExec için bir özellik ayıklama
• [SPARK-47479] [SC-160623][SQL] Birden çok yol hata günlüğüne sahip ilişkiler için veri yazılamama hatasını optimize etme
• [SPARK-47483] [SC-160629][SQL] Harmanlanmış dize dizilerinde toplama ve birleştirme işlemleri için destek ekleme
• [SPARK-47458] [SC-160237][CORE] Engel aşaması için en fazla eşzamanlı görevi hesaplama sorununu düzeltin
• [SPARK-47534] [SC-160737][SQL] o.a.s.variant'yi o.a.s.types.variant'e taşı
• [SPARK-47396] [SC-159312][SQL] TIME WITHOUT TIME ZONE'ın TimestampNTZType'a genel bir eşlemesini ekleyin.
• [SPARK-44708] [SC-160734][PYTHON] test_reset_index assert_eq işlevini assertDataFrameEqual kullanacak şekilde taşımak
• [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Değer etiketleri için şema çıkarım testleri ekleme
• [SPARK-47007] [SC-160630][SQL] MapSort ifadesini ekleme
• [SPARK-47523] [SC-160645][SQL] Kullanım dışı bırakılan JsonParser#getCurrentNameJsonParser#currentName ile değiştirme
• [SPARK-47440] [SC-160635][SQL] Desteklenmeyen söz dizimini MsSqlServer'a göndermeyi düzeltme
• [SPARK-47512] [SC-160617][SS] RocksDB durum deposu örneği kilit alma/bırakma ile ilgili etiket işlem türü
• [SPARK-47346] [SC-159425][PYTHON] Python planner çalışanları oluştururken daemon modunu yapılandırılabilir hale getirme
• [SPARK-47446] [SC-160163][CORE] BlockManager önce uyarı ver removeBlockInternal
• [SPARK-46526] [SC-156099][SQL] Koşullarının yalnızca dış tabloya başvurduğu bağıntılı alt sorgular üzerinde LIMIT desteği
• [SPARK-47461] [SC-160297][CORE] totalRunningTasksPerResourceProfile'dan özel işlev ExecutorAllocationManager'nin kaldırılması
• [SPARK-47422] [SC-160219][SQL] Dizi işlemlerinde harmanlanmış dizeleri destekleme
• [SPARK-47500] [SC-160627][PYTHON][CONNECT] plan.py dışında faktör sütunu adı işleme
• [SPARK-47383] [SC-160144][CORE] spark.shutdown.timeout yapılandırması desteği
• [SPARK-47342] [SC-159049]Revert "[SQL] SUPPORT TimestampNTZ for DB2 TIMESTAMP WITH TIME ZONE"
• [SPARK-47486] [SC-160491][CONNECT] Kullanılmayan özel ArrowDeserializers.getString yöntemini kaldırma
• [SPARK-47233] [SC-154486][CONNECT][SS][2/2] İstemci tarafı akış sorgu dinleyicisi için istemci & Sunucu mantığı
• [SPARK-47487] [SC-160534][SQL] AnsiTypeCoercion'da kodu basitleştirme
• [SPARK-47443] [SC-160459][SQL] Harmanlamalar için Pencere Toplama desteği
• [SPARK-47296] [SC-160457][SQL][COLLATION] İkili olmayan harmanlamalar için desteklenmeyen işlevler başarısız oldu
• [SPARK-47380] [SC-160164][CONNECT] Sunucu tarafında SparkSession'ın aynı olduğundan emin olun
• [SPARK-47327] [SC-160069][SQL] Sıralama anahtarları eşzamanlılık testini CollationFactorySuite'a taşıma
• [SPARK-47494] [SC-160495][Doc] Spark 3.3'ten bu yana Parquet zaman damgası çıkarımının davranış değişikliği için geçiş belgesi ekleme
• [SPARK-47449] [SC-160372][SS] Listeyi/zamanlayıcı birimi testlerini yeniden düzenleme ve bölme
• [SPARK-46473] [SC-155663][SQL] getPartitionedFile yöntemini yeniden kullanma
• [SPARK-47423] [SC-160068][SQL] Harmanlamalar - Harmanlamalı dizeler için işlem desteği ayarlama
• [SPARK-47439] [SC-160115][PYTHON] API başvuru sayfasında Python Veri Kaynağı API'lerini belgele
• [SPARK-47457] [SC-160234][SQL] Hadoop 3.4+ ile başa çıkabilmek için IsolatedClientLoader.supportsHadoopShadedClient düzeltme
• [SPARK-47366] [SC-159348][SQL] parse_json uygulayın.
• [SPARK-46331] [SC-152982][SQL] CodegenFallback'i DateTime ifadelerinin ve version() ifadesinin alt kümesinden kaldırma
• [SPARK-47395] [SC-159404] Diğer API'lere sıralama ve harmanlama ekleme
• [SPARK-47437] [SC-160117][PYTHON][CONNECT] DataFrame.sort* için hata sınıfını düzeltin
• [SPARK-47174] [SC-154483][CONNECT][SS][1/2] İstemci tarafı akış sorgu dinleyicisi için sunucu tarafında SparkConnectListenerBusListener
• [SPARK-47324] [SC-158720][SQL] JDBC iç içe türler için eksik zaman damgası dönüştürmesi eklendi
• [SPARK-46962] [SC-158834][SS][PYTHON] Python akış veri kaynağı API'sine arabirim ekleme ve python akış veri kaynağını çalıştırmak için Python çalışanı uygulama
• [SPARK-45827] [SC-158498][SQL] Veri türü denetimlerini CreatableRelationProvider'a taşıma
• [SPARK-47342] [SC-158874][SQL] DB2 ZAMAN DİLİMLİ TIMESTAMP için TimestampNTZ desteği
• [SPARK-47399] [SC-159378][SQL] Harmanlamalı ifadelerde oluşturulan sütunları devre dışı bırakma
• [SPARK-47146] [SC-158247][CORE] Sıralamalı birleştirme yapılırken olası iş parçacığı kaybı
• [SPARK-46913] [SC-159149][SS] transformWithState işleciyle işleme/olay süresi tabanlı zamanlayıcılar için destek ekleme
• [SPARK-47375] [SC-159063][SQL] JdbcDialect#getCatalystType'de zaman damgası eşlemesi için yönergeler ekleme
• [SPARK-47394] [SC-159282][SQL] H2Dialect için TIME ZONE ile TIMESTAMP desteği
• [SPARK-45827] Revert "[SC-158498][SQL] Veri türü denetimlerini ...
• [SPARK-47208] [SC-159279][CORE] Temel ek yük belleğinin geçersiz kılınmasına izin ver
• [SPARK-42627] [SC-158021][SPARK-26494][SQL] YEREL SAAT DILIMIYLE Oracle TIMESTAMP desteği
• [SPARK-47055] [SC-156916][PYTHON] MyPy 1.8.0'ı yükseltme
• [SPARK-46906] [SC-157205][SS] Akış için durumlu operatör değişikliği kontrolü ekleyin
• [SPARK-47391] [SC-159283][SQL] JDK 8 için test çalışması geçici çözümünü kaldırma
• [SPARK-47272] [SC-158960][SS] State API v2 için MapState uygulaması ekleme.
• [SPARK-47375] [SC-159278][Doc][FollowUp] JDBC'nin preferTimestampNTZ seçenek belgesindeki bir hatayı düzeltme
• [SPARK-42328] [SC-157363][SQL] Hata sınıflarından _LEGACY_ERROR_TEMP_1175 kaldırma
• [SPARK-47375] [SC-159261][Doc][FollowUp] JDBC belgesindeki preferTimestampNTZ seçenek açıklamasını düzeltme
• [SPARK-47344] [SC-159146] INVALID_IDENTIFIER hatasının kapsamını, tırnak içinde olmayan bir tanımlayıcıda '-' yakalamanın ötesine genişlet ve "IS !" ifadesini düzelt. NULL" ve diğerleri.
• [SPARK-47340] [SC-159039][SQL] StringType tür adındaki "collate" ifadesini küçük harfle değiştirme
• [SPARK-47087] [SC-157077][SQL] Yapılandırma değeri denetiminde bir hata sınıfı aracılığıyla Spark'ın istisnasını oluşturun.
• [SPARK-47327] [SC-158824][SQL] ICU Harmanlayıcısı'ndaki iş parçacığı güvenliği sorununu düzeltme
• [SPARK-47082] [SC-157058][SQL] Sınır dışı hata koşulunu düzeltme
• [SPARK-47331] [SC-158719][SS] Arbitrary State API v2 için SQL kodlayıcısını temel alan durum sınıflarını/ilkelleri/POJO kullanarak serileştirme.
• [SPARK-47250] [SC-158840][SS] RocksDB durum sağlayıcısı ve sütun ailelerinin kullanımı için ek doğrulamalar ve NERF değişiklikleri ekleme
• [SPARK-47328] [SC-158745][SQL] UCS_BASIC harmanlamayı UTF8_BINARY olarak yeniden adlandırın
• [SPARK-47207] [SC-157845][CORE] Destek spark.driver.timeout ve DriverTimeoutPlugin
• [SPARK-47370] [SC-158956][Doc] Geçiş belgesi ekleme: Parquet dosyalarında TimestampNTZ tür çıkarımı
• [SPARK-47309] [SC-158827][SQL][XML] Şema çıkarım birimi testleri ekleme
• [SPARK-47295] [SC-158850][SQL] startsWith ve endsWith işlevleri için ICU StringSearch eklendi
• [SPARK-47343] [SC-158851][SQL] Yürütme anında sqlString değişken değeri null dize olduğunda oluşan NPE hatası düzeltildi.
• [SPARK-46293] [SC-150117][CONNECT][PYTHON] Geçişli bağımlılığı protobuf kullan
• [SPARK-46795] [SC-154143][SQL] UnsupportedOperationExceptionSparkUnsupportedOperationException'de sql/core ile değiştirme
• [SPARK-46087] [SC-149023][PYTHON] Belgeler ve geliştirme gereksinimlerinde PySpark bağımlılıklarını eşitleme
• [SPARK-47169] [SC-158848][SQL] Sıralanmış sütunlarda bölüklemeyi devre dışı bırakma
• [SPARK-42332] [SC-153996][SQL] ComplexTypeMergingExpression'da gereksinimi SparkException olarak değiştirme
• [SPARK-45827] [SC-158498][SQL] Veri türü denetimlerini CreatableRelationProvider'a taşıma
• [SPARK-47341] [SC-158825][Connect] SparkConnectClientSuite'da birkaç testteki komutları ilişkilerle değiştirme
• [SPARK-43255] [SC-158026][SQL] _LEGACY_ERROR_TEMP_2020 hata sınıfını bir iç hatayla değiştirme
• [SPARK-47248] [SC-158494][SQL][COLLATION] Geliştirilmiş dize işlevi desteği: contains
• [SPARK-47334] [SC-158716][SQL] withColumnRenamed uygulamasının withColumnsRenamed için yeniden kullanılmasını sağla
• [SPARK-46442] [SC-153168][SQL] DS V2, PERCENTILE_CONT ve PERCENTILE_DISC optimizasyonunu destekler
• [SPARK-47313] [SC-158747][SQL] QueryExecution.toInternalError içine scala.MatchError işleme eklendi.
• [SPARK-45827] [SC-158732][SQL] Java için değişken tekil tür ekleme
• [SPARK-47337] [SC-158743][SQL][DOCKER] DB2 docker görüntü sürümünü 11.5.8.0'a yükseltme
• [SPARK-47302] [SC-158609][SQL] Anahtar sözcüğü tanımlayıcı olarak harmanla
• [SPARK-46817] [SC-154196][CORE] spark-daemon.sh komutu ekleyerek decommission kullanımını düzeltme
• [SPARK-46739] [SC-153553][SQL] Hata sınıfını ekleme UNSUPPORTED_CALL
• [SPARK-47102] [SC-158253][SQL] COLLATION_ENABLED yapılandırma bayrağını ekleme
• [SPARK-46774] [SC-153925][SQL][AVRO] Avro yazma işlerinde kullanımdan kaldırılan mapred.output.compress yerine mapreduce.output.fileoutputformat.compress kullanın.
• [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: Çalışan geri bağlanmazsa zaman aşımı.
• [SPARK-46835] [SC-158355][SQL][Harmanlamalar] İkili olmayan harmanlamalar için birleştirme desteği
• [SPARK-47131] [SC-158154][SQL][COLLATION] Dize işlevi desteği: içerir, ile başlar, ile biter
• [SPARK-46077] [SC-157839][SQL] JdbcDialect.compileValue dosyasında TimestampNTZConverter tarafından oluşturulan türü göz önünde bulundurun.
• [SPARK-47311] [SC-158465][SQL][PYTHON] PySpark'ın Python yolunda bulunmadığı durumlarda Python istisnalarını bastırma
• [SPARK-47319] [SC-158599][SQL] MissingInput hesaplamayı geliştirme
• [SPARK-47316] [SC-158606][SQL] Postgres Dizisinde TimestampNTZ Düzeltildi
• [SPARK-47268] [SC-158158][SQL][Harmanlamalar] Harmanlamalarla yeniden bölümlendirme desteği
• [SPARK-47191] [SC-157831][SQL] Tablo/görünüm çıkarıldığında gereksiz ilişki aramasından kaçının
• [SPARK-47168] [SC-158257][SQL] Varsayılan olmayan sıralı dizelerle çalışırken parquet filtre itimini devre dışı bırakma
• [SPARK-47236] [SC-158015][CORE] Var olmayan dosya girişini atlamak için deleteRecursivelyUsingJavaIO düzeltme
• [SPARK-47238] [SC-158466][SQL] WSCG'de oluşturulan kodu yayın değişkeni yaparak yürütücü bellek kullanımını azaltma
• [SPARK-47249] [SC-158133][CONNECT] Gerçek durumları ne olursa olsun tüm bağlanma işlemlerinin bırakıldı olarak kabul edildiği hatayı düzeltin
• [SPARK-47202] [SC-157828][PYTHON] tzinfo ile tarih saatlerinin bozulmasına neden olan yazım hatasını düzeltme
• [SPARK-46834] [SC-158139][SQL][Harmanlamalar] Toplu İşlevler İçin Destek
• [SPARK-47277] [SC-158351][3.5] PySpark util işlevi assertDataFrameEqual akış DF'sini desteklememelidir
• [SPARK-47155] [SC-158473][PYTHON] Hata Sınıfı Sorununu Düzeltme
• [SPARK-47245] [SC-158163][SQL] INVALID_PARTITION_COLUMN_DATA_TYPE için hata kodunu geliştirme
• [SPARK-39771] [SC-158425][CORE] Çok fazla sayıda karıştırma bloğu oluşturulacaksa Dependency uyarı iletisi ekleyin.
• [SPARK-47277] [SC-158329] PySpark yardımcı işlevi assertDataFrameEqual akış DF'sini desteklememelidir
• [SPARK-47293] [SC-158356][CORE] Tek tek eklemek yerine, sparkSchema ile batchSchema oluşturma
• [SPARK-46732] [SC-153517][CONNECT]Subquery/Broadcast iş parçacığının Connect'in yapıt yönetimiyle çalışmasını sağlama
• [SPARK-44746] [SC-158332][PYTHON] Giriş tablolarını kabul eden işlevler için daha fazla Python UDTF belgesi ekleme
• [SPARK-47120] [SC-157517][SQL] Parquet filtresinde NPE'de üretilen alt sorgudan null karşılaştırması gönderme veri filtresi
• [SPARK-47251] [SC-158291][PYTHON] args komutu için sql bağımsız değişkeninden geçersiz türlerin kullanılmasını engellemek
• [SPARK-47251] “[SC-158121][PYTHON] args komutu için sql bağımsız değişkeninde geçersiz türlerin engellenmesi geri alındı”
• [SPARK-47015] [SC-157900][SQL] Harmanlanmış sütunlarda bölümlemeyi devre dışı bırakma
• [SPARK-46846] [SC-154308][CORE] WorkerResourceInfo'yi Serializable'ü açıkça genişletir hale getir
• [SPARK-46641] [SC-156314][SS] maxBytesPerTrigger eşiği eklendi
• [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner iç işlevleri özel hale getirme
• [SPARK-47266] [SC-158146][CONNECT] ProtoUtils.abbreviate girişle aynı türü döndürmesini sağlayın
• [SPARK-46961] [SC-158183][SS] İşleyiciyi depolamak ve almak için ProcessorContext kullanma
• [SPARK-46862] [SC-154548][SQL] Çok satırlı modda CSV sütun ayıklamayı devre dışı bırakma
• [SPARK-46950] [SC-155803][CORE][SQL] not available codec hata sınıfını hizala
• [SPARK-46368] [SC-153236][CORE] REST Gönderim API'sinde readyz desteği
• [SPARK-46806] [SC-154108][PYTHON] Bağımsız değişken türü yanlış olduğunda spark.table için hata iletisini geliştirme
• [SPARK-47211] [SC-158008][CONNECT][PYTHON] Yoksayılan PySpark Connect dize harmanlaması düzeltildi
• [SPARK-46552] [SC-151366][SQL] UnsupportedOperationException içinde SparkUnsupportedOperationException'yi catalyst ile değiştirme
• [SPARK-47147] [SC-157842][PYTHON][SQL] PySpark harmanlanmış dize dönüştürme hatası düzeltildi
• [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] collateId protobuf alanı ekleyerek Spark Connect harmanlama hatasını düzeltme
• [SPARK-46575] [SC-153200][SQL][HIVE] HiveThriftServer2.startWithContext DevelopApi'nin yeniden denenebilir olmasını sağlama ve ThriftServerWithSparkContextInHttpSuite'ın dalgalanmasını düzeltme
• [SPARK-46696] [SC-153832][CORE] ResourceProfileManager'da işlev çağrıları değişken bildirimlerinden sonra gerçekleşmelidir
• [SPARK-47214] [SC-157862][Python] Sabit NULL bağımsız değişkenleri ve diğer bağımsız değişken türlerini ayırt etmek için 'analyze' yöntemi için UDTF API'sini oluşturma
• [SPARK-46766] [SC-153909][SQL][AVRO] AVRO veri kaynağı için ZSTD Arabellek Havuzu Desteği
• [SPARK-47192] [SC-157819] Bazı _LEGACY_ERROR_TEMP_0035 hatalarını dönüştürme
• [SPARK-46928] [SC-157341][SS] Arbitrary State API v2'de ListState desteği eklendi.
• [SPARK-46881] [SC-154612][CORE] Destek spark.deploy.workerSelectionPolicy
• [SPARK-46800] [SC-154107][CORE] Destek spark.deploy.spreadOutDrivers
• [SPARK-45484] [SC-146014][SQL] Yanlış parquet sıkıştırma codec'i lz4raw kullanan hatayı düzeltin
• [SPARK-46791] [SC-154018][SQL] JavaTypeInference'ta Java Kümesini Destekleme
• [SPARK-46332] [SC-150224][SQL] CatalogNotFoundException hata sınıfına geçirme CATALOG_NOT_FOUND
• [SPARK-47164] [SC-157616][SQL] Geniş Bir Türe Dayanan Varsayılan Değerin Dar Bir Değişmeze Dönüştürülmesi v2'de v1 ile Aynı Şekilde Davranmasını Sağla
• [SPARK-46664] [SC-153181][CORE] Sıfır çalışan ve uygulama durumunda Master hızla kurtarılması için iyileştirme
• [SPARK-46759] [SC-153839][SQL][AVRO] Avro dosyaları için xz ve zstandard codec'leri sıkıştırma seviyesini destekler

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBCindirin JDBCindirin).

Bkz. Databricks Runtime 15.2 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.4 LTS
• Java: Zulu 8.74.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları, Posit Paket Yöneticisi CRAN anlık görüntüsündenyüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)