Databricks Runtime 13.1 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.4.0 tarafından desteklenen Databricks Runtime 13.1 hakkında bilgi sağlar.

Databricks bu sürümü Mayıs 2023'te yayımladı.

Yeni özellikler ve geliştirmeler

• JDK 17 için küme desteği (Genel Önizleme)
• Akış tablolarında veri ekleme, değiştirme veya silme
• SQL ile Kafka okuma
• Yeni SQL yerleşik işlevleri
• Küme çapında Python kitaplıkları için Unity Catalog desteği
• Unity Kataloğu'nda iyileştirilmiş yazma işlemleri için genişletilmiş varsayılan etkinleştirme
• Yapılandırılmış Akış iş yüklerinde durum bilgisi olan işleçler için gelişmiş destek
• Unity Kataloğu için delta kopyası Genel Önizleme'de
• Yapılandırılmış Akış için Pub/Sub desteği
• Yapılandırılmış Akış'ta filigranlar içinde yinelenenleri kaldırma
• Iceberg tablolarında kesik bölüm sütunları ile yapılan Delta dönüştürmeleri için genişletilmiş destek
• Delta Lake'te sütun eşlemesi ile şema değişikliklerini akışla aktarma
• START VERSION'ı kaldırma
• Python ile kullanılabilen yeni H3 ifadeleri

JDK 17 için küme desteği (Genel Önizleme)

Databricks artık Java Development Kit (JDK) 17 için küme desteği sağlıyor. Bkz. Java için Databricks SDK'sı.

Akış tablolarında veri ekleme, değiştirme veya silme

Artık DLT işlem hatlarına göre Unity Kataloğu'nda yayımlanan akış tablolarını değiştirmek için DML deyimlerini kullanabilirsiniz. Bkz. Akış tablosunda veri ekleme, değiştirme veya silme ve Hedef akış tablosunda veri ekleme, değiştirme veya silme. Databricks SQL'de oluşturulan akış tablolarını değiştirmek için DML deyimlerini de kullanabilirsiniz.

SQL ile Kafka okuma

Artık Kafka verilerini okumak için SQL işlevini kullanabilirsiniz read_kafka . SQL ile akış yalnızca DLT'de veya Databricks SQL'deki akış tablolarında desteklenir. Bakınız read_kafka tablo değerli işlev.

Yeni SQL yerleşik işlevleri

Aşağıdaki işlevler eklendi:

• array_prepend(dizi, elem) diziye elem eklenmiş haliyle array döndürür.
• try_aes_decrypt(expr, key [, mode [, padding]]) AES şifrelemesi kullanılarak üretilen ikili dosyanın şifresini çözer ve hata varsa döndürür NULL .
• sql_keywords() Azure Databricks SQL anahtar sözcüklerinden oluşan bir tablo döndürür.

Küme kapsamlı Python kitaplıkları için Unity Kataloğu desteği

Unity Kataloğu'nun kitaplık kullanımıyla ilgili bazı sınırlamaları vardır. Databricks Runtime 13.1 ve üzeri sürümlerde, çalışma alanı dosyaları olarak yüklenen Python wheel dosyaları da dahil olmak üzere, küme kapsamlı Python kütüphaneleri desteklenir. DBFS kök dizininde veya DBFS'ye bağlı bir dış konumda, DBFS dosya yolları kullanılarak başvuruda bulunılan kitaplıklar desteklenmez. Python olmayan kitaplıklar desteklenmez. Bkz. Küme kitaplıkları.

Databricks Runtime 13.0 ve altındaki, Unity Kataloğu etkin bir çalışma alanında standart erişim yöntemini (eski adıyla paylaşılan erişim yöntemi) kullanan kümelerde kümeye özgü kitaplıklar desteklenmez.

Unity Kataloğu'nda iyileştirilmiş yazma işlemleri için genişletilmiş varsayılan etkinleştirme

Unity Kataloğu'nda kayıtlı Delta tabloları için varsayılan iyileştirilmiş yazma desteği, bölümlenmiş tablolar için CTAS deyimleri ve INSERT işlemleri içerecek şekilde genişletilmiştir. Bu davranış, SQL ambarlarında varsayılanlara hizalanır. Bkz Azure Databricks'te Delta Lake için iyileştirilmiş yazma işlemleri.

Yapılandırılmış Akış iş yüklerinde durum bilgisi olan işlemciler için gelişmiş destek

Artık durum bilgisi olan birden çok işleci birbirine zincirleyebilirsiniz; başka bir deyişle, pencereli toplama gibi bir işlemin çıkışını birleştirme gibi durum bilgisi olan başka bir işleme besleyebilirsiniz. Bkz: Durum bilgisi olan akış nedir?.

Unity Kataloğu için Delta Kopyası Genel Önizleme aşamasında

Artık mevcut Unity Catalog yönetilen tablolarından yeni Unity Catalog yönetilen tabloları oluşturmak için sığ klon kullanabilirsiniz. Bkz Unity Kataloğu tabloları için yüzeysel klon.

Yapılandırılmış Akış için Pub/Sub desteği

Artık Yapılandırılmış Akış ile Google Pub/Sub'a abone olmak için yerleşik bir bağlayıcı kullanabilirsiniz. Bkz. Google Pub/Sub'a abone olma.

Yapılandırılmış Akış'ta filigranlar içinde yinelenenleri kaldırma

Artık Yapılandırılmış Akış'ta dropDuplicatesWithinWatermark'yi belirtilen bir eşik değeriyle birlikte kullanarak yinelenen kayıtları kaldırabilirsiniz. Bkz Filigran içinde yinelenenleri kaldırma.

Iceberg tablolarından kesilmiş bölüm sütunlarıyla Delta dönüşümleri için genişletilmiş destek

Artık CLONE ve CONVERT TO DELTA, int, long ve string türlerinde kesilmiş sütunlarda tanımlanmış bölümleri olan Iceberg tablolarıyla kullanabilirsiniz. Türü decimal olan kısaltılmış sütunlar desteklenmez.

Delta Lake'te sütun eşlemesi ile şema değişikliklerini akışla aktarma

Artık sütun eşlemesi etkinleştirilmiş delta tablolarından akışı etkinleştirmek için bir şema izleme konumu sağlayabilirsiniz. Bkz. Sütun eşleme ve şema değişiklikleriyle akış yapma.

START VERSION'u kaldırın

START VERSION artık için ALTER SHAREkullanım dışıdır.

Python ile kullanılabilen yeni H3 ifadeleri

h3_coverash3 ve h3_coverash3string ifadeleri Python ile kullanılabilir.

Hata düzeltmeleri

Parquet failOnUnknownFields artık tür uyuşmazlığında verileri sessizce bırakmıyor

Bir Parquet dosyası yalnızca failOnUnknownFields seçeneğiyle veya şema geliştirme modunda Otomatik Yükleyici failOnNewColumns ile okunduysa, farklı veri türlerine sahip sütunlar artık başarısız olur ve kullanılmasını rescuedDataColumnönerir. Otomatik Yükleyici artık doğru şekilde okur ve artık bu veri türlerinden biri sağlandığında Integer, Short veya Byte türlerini kurtarmaz. Parquet dosyası diğer iki türden birini önerir.

Yıkıcı değişiklikler

CVE-2023-32697'yi ele almak için sqlite-jdbc sürümünü 3.42.0.0 sürümüne yükseltin

sqlite-jdbc sürümünü 3.8.11.2 sürümünden 3.42.0.0 sürümüne yükseltin. 3.42.0.0 sürümünün API'leri 3.8.11.2 ile tam olarak uyumlu değildir. Kodunuzda sqlite-jdbc kullanıyorsanız ayrıntılar için sqlite-jdbc uyumluluk raporunu denetleyin. 13.1'e geçiş yapıp sqlite kullanıyorsanız, 3.42.0.0 sürümünde yöntemlerinizi ve dönüş türünü onaylayın.

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • 1.0.2 ile 1.0.3 arasındaki özelliklere genel bakış
  • 3.10.7 ile 3.12.0 arasında dosya kilidi
  • pyarrow 7.0.0 ile 8.0.0 arasında
  • tenacity 8.0.1'den 8.1.0'a
• Yükseltilen R kütüphaneleri:
• Yükseltilen Java kitaplıkları:
  • com.github.ben-manes.caffeine.caffeine sürümü 2.3.4'ten 2.9.3'e güncellendi
  • 0.6.8 ile 0.6.4 arasındaki io.delta.delta-sharing-spark_2.12
  • net.snowflake.snowflake-jdbc 3.13.29 ile 3.13.22 arası
  • org.checkerframework.checker-qual 3.5.0 ile 3.19.0 arası
  • org.scalactic.scalactic_2.12 sürümü 3.0.8'den 3.2.15'e
  • org.scalatest.scalatest_2.12 3.0.8 sürümünden 3.2.15 sürümüne
  • org.xerial.sqlite-jdbc 3.8.11.2 ile 3.42.0.0 arası

Apache Spark

Databricks Runtime 13.1, Apache Spark 3.4.0'ı içerir. Bu sürüm, Databricks Runtime 13.0'a (EoS) dahil olan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-42719] [DBRRM-199][sc-131578] "[SC-125225] 'MapOutputTracker#getMap...' geri al"
• [SPARK-39696] [DBRRM-166][sc-130056][CORE] Revert [SC-127830]/
• [SPARK-43331] [SC-130064][connect] Spark Connect için SparkSession.interruptAll özelliğini ekle
• [SPARK-43332] [SC-130051][connect][PYTHON] SparkConnectClient için ChannelBuilder'ı genişletmeyi mümkün hale getirme
• [SPARK-43323] [SC-129966][sql][PYTHON] DataFrame.toPandas'ı Arrow etkinleştirildiğinde özel durumları düzgün işlemek için düzeltme
• [SPARK-42940] [SC-129896][ss][CONNECT] Akış sorguları için oturum yönetimini geliştirme
• [SPARK-43032] [SC-125756] [CONNECT][ss] Akış sorgu yöneticisi ekleme
• [SPARK-16484] [SC-129975][sql] Datasketches HllSketch için destek ekleme
• [SPARK-43260] [SC-129281][python] Spark SQL pandas ok türü hatalarını hata sınıfına geçirin.
• [SPARK-41766] [SC-129964][core] Yürütücü kaydından önce gönderilen devre dışı bırakma isteğini işleme
• [SPARK-43307] [SC-129971][python] PandasUDF değer hatalarını hata sınıfına geçirme
• [SPARK-43206] [SC-129903] [SS] [BAĞLAN] StreamingQuery exception(), yığın izlemesini içerir
• [SPARK-43311] [SC-129905][ss] RocksDB durum deposu sağlayıcısı bellek yönetimi geliştirmeleri ekleme
• [SPARK-43237] [SC-129898][core] Olay günlüğünde null özel durum iletisini işleme
• [SPARK-43320] [SC-129899][sql][HIVE] Hive 2.3.9 API'lerini doğrudan çağır
• [SPARK-43270] [SC-129897][python] sütunları eklemek için __dir__()pyspark.sql.dataframe.DataFrame'te uygula
• [SPARK-43183] Geri al "[SC-128938][ss] Yeni bir geri çağırma ekle"
• [SPARK-43143] [SC-129902] [SS] [BAĞLAN] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][sql] _LEGACY_ERROR_TEMP_2022 hata sınıfını bir iç hatayla değiştirme
• [SPARK-43198] [SC-129470][bağlantı] "Ammonite sınıfı başlatılamadı..." hatası düzeltildi. filtre kullanılırken hata oluştu
• [SPARK-43165] [SC-129777][sql] CanWrite'i DataTypeUtils'e taşıma
• [SPARK-43298] [SC-129729][python][ML] skaler girişli predict_batch_udf, toplu iş boyutu bir olan durumlarda başarısız oluyor
• [SPARK-43298] [SC-129700] "Revert: [PYTHON][ml] predict_batch_udf skaler bir girişle, tek bir veri grubu boyutunda başarısız oluyor"
• [SPARK-43052] [SC-129663][core] Olay günlüğünde dosya adı null olan yığın izini işleme
• [SPARK-43183] [SC-128938][ss] StreamingQueryListener'a yeni bir "onQueryIdle" geri çağırım fonksiyonu tanıtın
• [SPARK-43209] [SC-129190][connect][PYTHON] İfade hatalarını hata sınıfına geçirme
• [SPARK-42151] [SC-128754][sql] UPDATE atamalarını tablo öznitelikleriyle hizalama
• [SPARK-43134] [SC-129468] [BAĞLAN] [SS] JVM istemcisi StreamingQuery exception() API'si
• [SPARK-43298] [SC-129699][python][ML] skaler girişli predict_batch_udf tek bir toplu iş boyutuyla başarısız oluyor
• [SPARK-43248] [SC-129660][sql] Paralel toplama bölüm istatistiklerinde Yolu gereksiz seri hale getirme/seri durumdan çıkarma
• [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] Tanıtım PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] repr ve repr_html için hızlı değerlendirmelerin uygulanması
• [SPARK-42953] [SC-129469][connect][Followup] Scala istemci UDF testleri için maven test derlemesini düzeltme
• [SPARK-43144] [SC-129280] Scala İstemcisi DataStreamReader table() API'si
• [SPARK-43136] [SC-129358][connect] groupByKey + mapGroup + coGroup işlevleri ekleme
• [SPARK-43156] [SC-129672][sc-128532][SQL] Bağıntılı skaler alt sorgudaki COUNT(*) is null hatasını düzeltme
• [SPARK-43046] [SC-129110] [SS] [Bağlan] Spark Connect için Python API dropDuplicatesWithinWatermark uygulandı
• [SPARK-43199] [SC-129467][sql] InlineCTE'yi idempotent hale getirme
• [SPARK-43293] [SC-129657][sql] __qualified_access_only normal sütunlarda yoksayılmalıdır
• [SPARK-43276] [SC-129461][connect][PYTHON] Spark Connect Penceresi hatalarını hata sınıfına geçirme
• [SPARK-43174] [SC-129109][sql] SparkSQLCLIDriver completer'ı düzeltme
• [SPARK-43084] [SC-128654] [SS] Spark connect için applyInPandasWithState desteği ekleme
• [SPARK-43119] [SC-129040][sql] SQL Anahtar Sözcüklerini JDBC API'sinde ve TVF'de Dinamik Olarak Alma Desteği
• [SPARK-43082] [SC-129112][connect][PYTHON] Spark Connect'te ok için iyileştirilmiş Python UDF'leri
• [SPARK-43085] [SC-128432][sql] Çok parçalı tablo adları için varsayılan sütun atamasını destekleme
• [SPARK-43226] [LC-671] Dosya sabiti meta verileri için ayıklayıcıları tanımlama
• [SPARK-43210] [SC-129189][connect][PYTHON] Tanıt PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] LocalTableScanExec/CommandResultExec için sürücü tarafı ölçümlerini gönder
• [SPARK-43285] [SC-129347] JDK 17 ile sürekli olarak başarısız olan ReplE2ESuite düzeltmesi
• [SPARK-43268] [SC-129249][sql] İstisnalar bir mesajla oluşturulduğunda uygun hata sınıflarını kullanın.
• [SPARK-43142] [SC-129299] Özel karakterler içeren özniteliklerdeki DSL ifadelerini düzeltme
• [SPARK-43129] [SC-128896] Spark Connect akışı için Scala çekirdek API'si
• [SPARK-43233] [SC-129250] [SS] Konu bölümlendirme, ofset aralığı ve görev kimliği için Kafka Batch Okuma'ya günlükleme ekleme
• [SPARK-43249] [SC-129195][connect] SQL Komutu için eksik istatistikleri düzeltme
• [SPARK-42945] [SC-129188][connect] Spark Connect'te PYSPARK_JVM_STACKTRACE_ENABLED desteği sağla
• [SPARK-43178] [SC-129197][connect][PYTHON] UDF hatalarını PySpark hata çerçevesine geçirme
• [SPARK-43123] [SC-128494][sql] İç alan meta verileri kataloglara sızdırılmamalıdır
• [SPARK-43217] [SC-129205] findNestedField içindeki iç içe harita/dizilerde doğru biçimde özyineleme yapma
• [SPARK-43243] [SC-129294][python][CONNECT] Python için printSchema'ya düzey parametresi ekleme
• [SPARK-43230] [SC-129191][connect] Basitleştir DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][sql] CTAS/RTAS'ta RequiresDistributionAndOrdering'e saygı gösterin
• [SPARK-43234] [SC-129192][connect][PYTHON] Conect DataFrame'den ValueError hata sınıfına geçirme
• [SPARK-43212] [SC-129187][ss][PYTHON] Yapılandırılmış Akış hatalarını hata sınıfına geçirme
• [SPARK-43239] [SC-129186][ps] info()'dan null_counts'yi kaldırma
• [SPARK-43190] [SC-128930][sql] ListQuery.childOutput alt çıkışla tutarlı olmalıdır
• [SPARK-43191] [SC-128924][core] Hadoop CallerContext için yansımayı doğrudan çağrıyla değiştirme
• [SPARK-43193] [SC-129042][ss] HADOOP-12074 için geçici çözümü kaldırma
• [SPARK-42657] [SC-128621][connect] İstemci tarafı REPL sınıf dosyalarını bulma ve yapıt olarak sunucuya aktarma desteği
• [SPARK-43098] [SC-77059][sql] Skaler alt sorguda group by yan tümcesi olduğunda doğruluk COUNT hatası düzeltildi
• [SPARK-43213] [SC-129062][python] Vanilya PySpark'a DataFrame.offset ekle
• [SPARK-42982] [SC-128400][connect][PYTHON] Verilen şema ddl'sine saygı için createDataFrame'i düzeltme
• [SPARK-43124] [SC-129011][sql] Dataset.show, CommandResults'u yerel olarak projelendirir.
• [SPARK-42998] [SC-127422][connect][PYTHON] DataFrame.collect dosyasını null yapıyla düzeltme
• [SPARK-41498] [SC-125343]"Union aracılığıyla meta verileri yay" özelliğini geri döndürme
• [SPARK-42960] [SC-129010] [BAĞLAN] [SS] Python'da Akış Sorgusu için await_termination() ve exception() API'sini ekleme
• [SPARK-42552] [SC-128824][sql] Antlr ayrıştırıcısının iki aşamalı ayrıştırma stratejisini düzeltme
• [SPARK-43207] [SC-128937][connect] Literal ifadeden değer ayıklamak için yardımcı işlevler ekleme
• [SPARK-43186] [SC-128841][sql][HIVE] FileSinkDesc için geçici çözümü kaldırma
• [SPARK-43107] [SC-128533][sql] Yayın birleştirme akışı tarafındaki birleşimde, demetleri birleştirme işlemi uygulandı
• [SPARK-43195] [SC-128922][core] HadoopFSUtils'te gereksiz serileştirilebilir sarmalayıcıyı kaldırma
• [SPARK-43137] [SC-128828][sql] Konum katlanabilir ve pozitifse ArrayInsert'i geliştirin.
• [SPARK-37829] [SC-128827][sql] Dataframe.joinWith outer-join, eşleşmeyen satır için null değer döndürmelidir
• [SPARK-43042] [SC-128602] [SS] [Bağlan] DataStreamReader için table() API desteği ekleme
• [SPARK-43153] [SC-128753][connect] Veri çerçevesi yerel olduğunda Spark yürütmesini atla
• [SPARK-43064] [SC-128496][sql] Spark SQL CLI SQL sekmesi yalnızca bir kez deyimi göstermelidir
• [SPARK-43126] [SC-128447][sql] İki Hive UDF ifadesini durum bilgisi olan olarak işaretleme
• [SPARK-43111] [SC-128750][ps][CONNECT][python] İç içe if deyimlerini tek if deyimleri halinde birleştirme
• [SPARK-43113] [SC-128749][sql] İlişkili bir koşul için kod oluştururken akış tarafı değişkenlerini değerlendirme
• [SPARK-42895] [SC-127258][connect] Durdurulan Spark oturumları için hata iletilerini iyileştirme
• [SPARK-42884] [SC-126662][connect] Ammonite REPL tümleştirmesini ekle
• [SPARK-43168] [SC-128674][sql] Datatype sınıfından Get PhysicalDataType yöntemini kaldırma
• [SPARK-43121] [SC-128455][sql] 'HiveInspectors'da el ile kopyalama yerine BytesWritable.copyBytes kullanma
• [SPARK-42916] [SC-128389][sql] JDBCTableCatalog Char/Varchar meta verisini okuma tarafında tutar
• [SPARK-43050] [SC-128550][sql] Gruplandırma işlevlerini değiştirerek yapı toplama ifadelerini düzeltme
• [SPARK-43095] [SC-128549][sql] Yığın işlemleri için Once stratejisinin idempotansının bozulmasını önleyin: Infer Filters
• [SPARK-43130] [SC-128597][sql] InternalType'ı PhysicalDataType'a Taşıma
• [SPARK-43105] [SC-128456][connect] Proto mesajındaki baytları ve dizileri kısaltın
• [SPARK-43099] [SC-128596][sql] udf'yi FunctionRegistry'ye kaydederken oluşturucu sınıf adını almak için getName yerine getCanonicalName kullanın
• [SPARK-42994] [SC-128586][ml][CONNECT] PyTorch dağıtıcısı yerel mod desteğini destekler
• [SPARK-42859] Revert "[SC-127935][connect][PS] Spark Connect'te pandas API için temel destek"
• [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin AQE kullanırken çalışmıyor
• [SPARK-43125] [SC-128477][connect] Connect Server'ın Boş Mesajla Hatasını İşleyememesi Sorunu Çözüldü
• [SPARK-43147] [SC-128594] yerel denetim için flake8 lint'i düzeltiyor
• [SPARK-43031] [SC-128360] [SS] [Bağlan] Akış için birim test ve doctest'i etkinleştirme
• [SPARK-43039] [LC-67] Dosya kaynağı _metadata sütunundaki özel alanları destekleyin.
• [SPARK-43120] [SC-128407][ss] RocksDB durum deposu için sabitlenmiş blok bellek kullanımını izleme desteği eklendi
• [SPARK-43110] [SC-128381][sql] AsIntegral'ı PhysicalDataType'a taşıma
• [SPARK-43118] [SC-128398][ss] KafkaMicroBatchStream'da UninterruptibleThread için gereksiz doğrulama ifadesini kaldırma
• [SPARK-43055] [SC-128331][connect][PYTHON] Yinelenen iç içe alan adlarını destekleme
• [SPARK-42437] [SC-128339][python][CONNECT] PySpark catalog.cacheTable depolama düzeyini belirtmeye izin verir
• [SPARK-42985] [SC-128332][connect][PYTHON] createDataFrame'i SQL yapılandırmalarını dikkate alacak şekilde düzelt
• [SPARK-39696] [SC-127830][core] TaskMetrics.externalAccums'a erişimde veri yarışlarını düzeltme
• [SPARK-43103] [SC-128335][sql] Integral'i PhysicalDataType'a Taşıma
• [SPARK-42741] [SC-125547][sql] Sabit değer null olduğunda ikili karşılaştırmada dönüşümleri kaldırma
• [SPARK-43057] [SC-127948][connect][PYTHON] Spark Connect Sütunu hatalarını hata sınıfına aktarma
• [SPARK-42859] [SC-127935][connect][PS] Spark Connect'te pandas API için temel destek
• [SPARK-43013] [SC-127773][python] ValueError DataFrame'den PySparkValueError'a geçirme.
• [SPARK-43089] [SC-128051][connect] Kullanıcı arayüzünde hata ayıklama dizesini sansürle.
• [SPARK-43028] [SC-128070][sql] Hata sınıfı ekleme SQL_CONF_NOT_FOUND
• [SPARK-42999] [SC-127842][connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][sql] JavaDatasetSuite'da dropDuplicates için test ekleme
• [SPARK-43075] [SC-127939][connect] Yüklü olmadığında gRPCgrpcio olarak değiştirin.
• [SPARK-42953] [SC-127809][connect] Türüne Göre filtre, map, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][sql] Tarih türünü zaman damgası türüne dönüştürme desteği
• [SPARK-42931] [SC-127933][ss] dropDuplicatesWithinWatermark'ı tanıtın
• [SPARK-43073] [SC-127943][connect] Proto veri türü sabitleri ekleme
• [SPARK-43077] [SC-128050][sql] UNRECOGNIZED_SQL_TYPE hata iletisini iyileştirme
• [SPARK-42951] [SC-128030][ss][Connect] DataStreamReader API'leri
• [SPARK-43049] [SC-127846][sql] Oracle JDBC için StringType için VARCHAR(255) yerine CLOB kullanma
• [SPARK-43018] [SC-127762][sql] INSERT komutlarındaki zaman damgası değişmez değerleri için hata düzeltildi.
• [SPARK-42855] [SC-127722][sql] TableOutputResolver'da çalışma zamanı null denetimlerini kullanma
• [SPARK-43030] [SC-127847][sql] Meta veri sütunlarıyla ilişkileri tekilleştirme
• [SPARK-42993] [SC-127829][ml][CONNECT] PyTorch Dağıtımcısını Spark Connect ile uyumlu hale getirme
• [SPARK-43058] [SC-128072][sql] Sayısal ve Kesirli'yi PhysicalDataType'a Taşıma
• [SPARK-43056] [SC-127946][ss] RocksDB durum deposu işlemesi yalnızca duraklatılmışsa arka plan çalışmasına devam etmelidir
• [SPARK-43059] [SC-127947][connect][PYTHON] TypeError'ı DataFrame'den Geçirme(Okuyucu|Yazıcı) hata sınıfına
• [SPARK-43071] [SC-128018][sql] ORDER BY, LIMIT, OFFSET ile SELECT DEFAULT'i INSERT kaynak ilişkisi için destekleyin.
• [SPARK-43061] [SC-127956][core][SQL] SQL işleci yürütmesi için PartitionEvaluator'ı tanıtma
• [SPARK-43067] [SC-127938][ss] Kafka bağlayıcısında hata sınıfı kaynak dosyasının konumunu düzeltme
• [SPARK-43019] [SC-127844][sql] Sıralamayı PhysicalDataType'a Taşıma
• [SPARK-43010] [SC-127759][python] Sütun hatalarını hata sınıfına geçirme
• [SPARK-42840] [SC-127782][sql] _LEGACY_ERROR_TEMP_2004 hatasını iç hata olarak değiştirme
• [SPARK-43041] [SC-127765][sql] Bağlayıcı API'sinde uyumluluk için özel durum oluşturucularını geri yükleme
• [SPARK-42939] [SC-127761][ss][CONNECT] Spark Connect için çekirdek akış Python API'si
• [SPARK-42844] [SC-127766][sql] Hata sınıfı _LEGACY_ERROR_TEMP_2008INVALID_URL olarak güncelleştirin
• [SPARK-42316] [SC-127720][sql] _LEGACY_ERROR_TEMP_2044'a ad atanması
• [SPARK-42995] [SC-127723][connect][PYTHON] Spark Connect DataFrame hatalarını hata sınıfına geçirme
• [SPARK-42983] [SC-127717][connect][PYTHON] 0-dim numpy dizisini düzgün işlemek için createDataFrame'i düzeltme
• [SPARK-42955] [SC-127476][sql] ClassifyException atlayın ve SparkThrowable için AnalysisException'ı sarmalayın
• [SPARK-42949] [SC-127255][sql] NAAJ için kodu basitleştirme
• [SPARK-43011] [SC-127577][sql] array_insert 0 dizinle hata vermelidir
• [SPARK-42974] [SC-127487][core] Utils.createTempDir kullanmak ve ShutdownHookManager yöntemini temizlemek için JavaUtils.createTempDir geri yükleyin.
• [SPARK-42964] [SC-127585][sql] PosgresDialect '42P07' ayrıca tablonun zaten var olduğu anlamına gelir
• [SPARK-42978] [SC-127351][sql] Derby&PG: RENAME, şema Adı ile yeni bir tablo Adını niteleyemez
• [SPARK-37980] [SC-127668][sql] Testlerde mümkünse _metadata aracılığıyla row_index'e erişim sağla
• [SPARK-42655] [SC-127591][sql] Yanlış anlam belirsizliği olan sütun referansı hatası
• [SPARK-43009] [SC-127596][sql] sql()Any sabitleriyle parametreli
• [SPARK-43026] [SC-127590][sql] Değişim olmayan tablo önbelleği ile AQE uygulamak
• [SPARK-42963] [SC-127576][sql] Kuralları AQE sorgu aşaması iyileştiricisine eklemek için SparkSessionExtensions'ı genişletme
• [SPARK-42918] [SC-127357] FileSourceStrategy'de meta veri özniteliklerinin işlenmesini genelleştirme
• [SPARK-42806] [SC-127452][spark-42811][CONNECT] Catalog desteği ekleme
• [SPARK-42997] [SC-127535][sql] TableOutputResolver, diziler ve haritalar için hata iletilerinde doğru sütun yollarını kullanmalıdır
• [SPARK-43006] [SC-127486][pyspark] StorageLevel eq() içindeki yazım hatalarını düzeltme
• [SPARK-43005] [SC-127485][pyspark] pyspark/pandas/config.py yazım hatalarını düzeltme
• [SPARK-43004] [SC-127457][core] ResourceRequest.equals() dosyasında yazım hatası düzeltildi
• [SPARK-42907] [SC-126984][connect][PYTHON] Avro işlevlerini uygulama
• [SPARK-42979] [SC-127272][sql] Literal oluşturucularını anahtar sözcükler olarak tanımla
• [SPARK-42946] [SC-127252][sql] Değişken değiştirme tarafından iç içe yerleştirilmiş hassas verileri yeniden işleme
• [SPARK-42952] [SC-127260][sql] PreprocessTableCreation ve DataSourceAnalysis çözümleyici kuralının parametresini basitleştirme
• [SPARK-42683] [LC-75] Çakışan meta veri sütunlarını otomatik olarak yeniden adlandırma
• [SPARK-42853] [SC-126101][followup] Çakışmaları düzeltme
• [SPARK-42929] [SC-126748][connect] mapInPandas / mapInArrow’un "is_barrier" desteği sağlamasını sağla
• [SPARK-42968] [SC-127271][ss] DSv2 kaynakları/havuzları için StreamingWrite API'sinin parçası olarak commit koordinatörünü atlama seçeneği eklendi.
• [SPARK-42954] [SC-127261][python][CONNECT] PySpark ve Spark Connect Python İstemcisi'ne YearMonthIntervalType ekleme
• [SPARK-41359] [SC-127256][sql] UnsafeRow'da DataType yerine PhysicalDataType kullanma
• [SPARK-42873] [SC-127262][sql] Spark SQL türlerini anahtar sözcük olarak tanımlama
• [SPARK-42808] [SC-126302][core] MapOutputTrackerMaster#getStatistics'da her seferinde availableProcessors'ı kullanmaktan kaçının
• [SPARK-42937] [SC-126880][sql] PlanSubqueriesInSubqueryExec#shouldBroadcast true olarak ayarlamalıdır
• [SPARK-42896] [SC-126729][sql][PYTHON] Engel modu yürütmeyi mapInPandas / mapInArrow destekleyin
• [SPARK-42874] [SC-126442][sql] Tüm giriş dosyaları için analiz için yeni altın dosya test çerçevesini etkinleştirme
• [SPARK-42922] [SC-126850][sql] Rastgele'den SecureRandom'a Taşıma
• [SPARK-42753] [SC-126369] ReusedExchange var olmayan düğümleri ifade eder
• [SPARK-40822] [SC-126274][sql] Kararlı türetilmiş sütun takma adları
• [SPARK-42908] [SC-126856][python] SparkContext gerektiğinde ancak başlatılmadığında RuntimeError'ı yükseltme
• [SPARK-42779] [SC-126042][sql] V2 yazma işlemlerinin tavsiye edilen karıştırma bölüm boyutunu belirtmesine izin ver
• [SPARK-42914] [SC-126727][python] transformUnregisteredFunctioniçin DistributedSequenceID yeniden kullanma.
• [SPARK-42878] [SC-126882][connect] DataFrameReader'daki tablo API'si de seçenekleri kabul edebilir
• [SPARK-42927] [SC-126883][core] o.a.spark.util.Iterators#size erişim kapsamını private[util] olarak değiştirme
• [SPARK-42943] [SC-126879][sql] Etkin uzunluk için StringType için TEXT yerine LONGTEXT kullanın
• [SPARK-37677] [SC-126855][core] Unzip dosya izinlerini koruyabilir
• [SPARK-42891] [13.x][sc-126458][CONNECT][python] CoGrouped Map API'yi Uygula
• [SPARK-41876] [SC-126849][connect][PYTHON] DataFrame.toLocalIterator Uygula
• [SPARK-42930] [SC-126761][core][SQL] İlgili ProtobufSerDe uygulamaların erişim kapsamını private[protobuf] olarak değiştirme
• [SPARK-42819] [SC-125879][ss] Akışta kullanılan RocksDB için max_write_buffer_number ve write_buffer_size ayarlama desteği eklendi
• [SPARK-42924] [SC-126737][sql][CONNECT][python] Parametreli SQL birleştirmelerinin açıklamasını netleştirin
• [SPARK-42748] [SC-126455][connect] Sunucu Tarafı Eser Yönetimi
• [SPARK-42816] [SC-126365][connect] 128 MB'a kadar En Fazla İleti boyutu desteği
• [SPARK-42850] [SC-126109][sql] İyileştirici'de yinelenen kuralı kaldır CombineFilters
• [SPARK-42662] [SC-126355][connect][PS] Spark'ta pandas API'nin varsayılan indeksi için proto mesajı ekle
• [SPARK-42720] [SC-126136][ps][SQL] Plan yerine dağıtılmış sıralı varsayılan dizin için ifade kullanır
• [SPARK-42790] [SC-126174][sql] JDBC docker testlerine yönelik daha iyi test için dışlanan yöntemi özetleyin.
• [SPARK-42900] [SC-126473][connect][PYTHON] Çıkarım ve sütun adlarına saygı için createDataFrame'i düzeltme
• [SPARK-42917] [SC-126657][sql] DerbyDialect için getUpdateColumnNullabilityQuery'yi düzeltme
• [SPARK-42684] [SC-125157][sql] v2 kataloğu varsayılan olarak sütun varsayılan değerine izin vermemelidir
• [SPARK-42861] [SC-126635][sql] API belgesi oluşturmaktan kaçınmak için korumalı[sql] yerine private[sql] kullanın
• [SPARK-42920] [SC-126728][connect][PYTHON] UDT ile UDF için testleri etkinleştirme
• [SPARK-42791] [SC-126617][sql] Çözümleme için yeni bir altın dosya test çerçevesi oluşturma
• [SPARK-42911] [SC-126652][python] Daha temel özel durumlar tanıtın
• [SPARK-42904] [SC-126634][sql] JDBC Kataloğu için Char/Varchar Desteği
• [SPARK-42901] [SC-126459][connect][PYTHON] Olası StorageLevel önlemek için file recursively imports ayrı bir dosyaya taşıyın
• [SPARK-42894] [SC-126451][connect] Spark connect jvm istemcisi için destek cache/persist/unpersist/storageLevel
• [SPARK-42792] [SC-125852][ss] Durum bilgisi olan işleçleri akışla aktarmada kullanılan RocksDB için WRITE_FLUSH_BYTES desteği ekleme
• [SPARK-41233] [SC-126441][connect][PYTHON] Spark Connect Python istemcisine array_prepend ekleme
• [SPARK-42681] [SC-125149][sql] ALTER TABLE ADD|REPLACE sütun tanımlayıcısı için sıralama kısıtlamasını gevşet
• [SPARK-42889] [SC-126367][connect][PYTHON] Önbellek, persist, unpersist ve storageLevel'i uygula
• [SPARK-42824] [SC-125985][connect][PYTHON] Desteklenmeyen JVM öznitelikleri için net bir hata iletisi sağlayın
• [SPARK-42340] [SC-126131][connect][PYTHON] Gruplandırılmış Eşleme API'sinin Uygulanması
• [SPARK-42892] [SC-126454][sql] SameType ve ilgili yöntemleri DataType dışına taşıma
• [SPARK-42827] [SC-126126][connect] Scala connect istemcisi için destek functions#array_prepend
• [SPARK-42823] [SC-125987][sql] spark-sql komut satırı arayüzü başlatma için çok parçalı ad alanlarını destekler
• [SPARK-42817] [SC-125960][core] Uygulama Yöneticisi'nde karıştırma hizmeti adını bir kez kaydetme
• [SPARK-42786] [SC-126438][connect] Yazılan Seçim
• [SPARK-42800] [SC-125868][connect][PYTHON][ml] ML işlevini uygulama {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][sql] HiveSimpleUDF için Codegen Desteği
• [SPARK-41233] [SC-126110][sql][PYTHON] array_prepend işlevi ekleme
• [SPARK-42864] [SC-126268][ml][3.4] IsotonicRegression.PointsAccumulator gizli hale getir
• [SPARK-42876] [SC-126281][sql] DataType'ın physicalDataType'ı private[sql] olmalıdır
• [SPARK-42101] [SC-125437][sql] InMemoryTableScanExec'e AQE desteği sağlamak
• [SPARK-41290] [SC-124030][sql] Oluştur/yerine koy tablo ifadelerinde sütunlar için GENERATED ALWAYS AS ifadelerinin desteklenmesi
• [SPARK-42870] [SC-126220][connect] toCatalystValue'yi connect-common'e taşı
• [SPARK-42247] [SC-126107][connect][PYTHON] UserDefinedFunction'ı returnType'a sahip olacak şekilde düzeltme
• [SPARK-42875] [SC-126258][connect][PYTHON] toPandas'ın saat dilimlerini ve harita türlerini düzgün şekilde işlemesi için düzeltme
• [SPARK-42757] [SC-125626][connect] DataFrameReader için textFile işlevini uygulama
• [SPARK-42803] [SC-126081][core][SQL][ml] getParameterTypes.length yerine getParameterCount işlevini kullanın
• [SPARK-42833] [SC-126043][sql] applyExtensions'da SparkSession yeniden düzenleme
• [SPARK-41765] Önceki hâline döndür “[SC-123550][sql] v1 yazma ölçümlerini ayırın...
• [SPARK-42848] [SC-126105][connect][PYTHON] DataFrame.registerTempTable'ı Uygulayın
• [SPARK-42020] [SC-126103][connect][PYTHON] Spark Connect'te UserDefinedType Desteği
• [SPARK-42818] [SC-125861][connect][PYTHON] DataFrameReader/Writer.jdbc'yi uygulayın
• [SPARK-42812] [SC-125867][connect] AddArtifactsRequest protobuf iletisine client_type'i ekleyin.
• [SPARK-42772] [SC-125860][sql] Aşağı göndermeyle ilgili JDBC seçeneklerinin varsayılan değerini true olarak değiştirme
• [SPARK-42771] [SC-125855][sql] HiveGenericUDF'yi yeniden düzenleme
• [SPARK-25050] [SC-123839][sql] Avro: karmaşık birleşimler yazma
• [SPARK-42765] [SC-125850][connect][PYTHON] pandas_udf'dan pyspark.sql.connect.functions içeri aktarmayı etkinleştirme
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocationspark.shuffle.reduceLocality.enabled'e saygı duymalıdır.
• [SPARK-42480] [SC-125173][sql] Bölüm düşürme performansını artırma
• [SPARK-42689] [SC-125195][core][SHUFFLE] ShuffleDriverComponent'ın karıştırma verilerinin güvenilir bir şekilde depolandığını bildirmesine izin ver
• [SPARK-42726] [SC-125279][connect][PYTHON] Uygula DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][sql] v1 yazma ölçümlerini WriteFiles'a çekme
• [SPARK-41171] [SC-124191][sql] PartitionSpec boşsa pencere üzerinden pencere sınırını çıkarsama ve aşağı gönderme
• [SPARK-42686] [SC-125292][core] TaskMemoryManager'da hata ayıklama iletileri için biçimlendirmeyi erteleme
• [SPARK-42756] [SC-125443][connect][PYTHON] Python İstemcisi'nde proto sabitini değere dönüştürmek için yardımcı işlev
• [SPARK-42793] [SC-125627][connect] connect modülü build_profile_flags gerektirir
• [SPARK-42701] [SC-125192][sql] try_aes_decrypt() işlevini ekleme
• [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame null kabul etmeyen şemayla çalışmıyor
• [SPARK-42733] [SC-125542][connect][Takip] Yol veya tablo belirtmeden yazma
• [SPARK-42777] [SC-125525][sql] TimestampNTZ katalog istatistiklerini plan istatistiklerine dönüştürme desteği
• [SPARK-42770] [SC-125558][connect] Java 17 günlük test GA görev geçişinde truncatedTo(ChronoUnit.MICROS) yapmak için SQLImplicitsTestSuite ekleme
• [SPARK-42752] [SC-125550][pyspark][SQL] PySpark özel durumlarını başlatma sırasında yazdırılabilir hale getirin
• [SPARK-42732] [SC-125544][pyspark][CONNECT] Spark connect oturumuna getActiveSession yöntemine destek
• [SPARK-42755] [SC-125442][connect] Literallerin değer dönüşümünü aktarma connect-common
• [SPARK-42747] [SC-125399][ml] LoR ve AFT'nin yanlış iç durumunu düzeltme
• [SPARK-42740] [SC-125439][sql] Bazı yerleşik diyalektler için koşullu erişim veya sayfalamanın geçersiz olduğu hatayı düzeltin.
• [SPARK-42745] [SC-125332][sql] Geliştirilmiş AliasAwareOutputExpression DSv2 ile çalışır
• [SPARK-42743] [SC-125330][sql] TimestampNTZ sütunlarını analiz etme desteğini sağla
• [SPARK-42721] [SC-125371][connect] RPC günlük önleyici
• [SPARK-42691] [SC-125397][connect][PYTHON] Dataset.semanticHash'i Uygula
• [SPARK-42688] [SC-124922][connect] Connect proto isteğinde client_id'yi session_id olarak değiştirin
• [SPARK-42310] [SC-122792][sql] _LEGACY_ERROR_TEMP_1289'a bir isim ata
• [SPARK-42685] [SC-125339][core] Utils.bytesToString yordamlarını iyileştirme
• [SPARK-42725] [SC-125296][connect][PYTHON] LiteralExpression'ın dizi parametrelerini desteklemesini sağla
• [SPARK-42702] [SC-125293][spark-42623][SQL] Alt sorgu ve CTE'de parametreli sorgu desteği
• [SPARK-42697] [SC-125189][webui] /api/v1/applications'ın süre alanını 0 yerine toplam çalışma süresini döndürecek şekilde düzeltilmesi
• [SPARK-42733] [SC-125278][connect][PYTHON] DataFrameWriter.save dosyasını yol parametresi olmadan çalışacak şekilde düzeltme
• [SPARK-42376] [SC-124928][ss] İşleçler arasında filigran yayma özelliği eklendi
• [SPARK-42710] [SC-125205][connect][PYTHON] FrameMap proto'sını MapPartitions olarak yeniden adlandırın
• [SPARK-37099] [SC-123542][sql] Top-k hesaplamasını iyileştirmek için derece tabanlı filtre için Window grup sınırını tanıtma
• [SPARK-42630] [SC-125207][connect][PYTHON] UnparsedDataType'ı tanıtın ve SparkConnectClient kullanılabilir olana kadar DDL dizesini ayrıştırmayı geciktirin
• [SPARK-42690] [SC-125193][connect] Scala istemcisi için CSV/JSON ayrıştırma işlevlerini uygulama
• [SPARK-42709] [SC-125172][python] Kullanılabilir __file__ varsayımını kaldırma
• [SPARK-42318] [SC-122648][spark-42319][SQL] LEGACY_ERROR_TEMP'e isim ver (2123|2125)
• [SPARK-42723] [SC-125183][sql] TimestampType olarak JSON "timestamp_ltz" veri tipini ayrıştırıcıda destekleme.
• [SPARK-42722] [SC-125175][connect][PYTHON] Python Connect def schema() şemayı önbelleğe almamalıdır
• [SPARK-42643] [SC-125152][connect][PYTHON] Java (toplama) kullanıcı tanımlı işlevleri kaydetme
• [SPARK-42656] [SC-125177][connect][Takip] Spark-connect betiğini düzeltme
• [SPARK-41516] [SC-123899] [SQL] Jdbc diyalektlerinin tablo oluşturmak için kullanılan sorguyu geçersiz kılmasına izin ver
• [SPARK-41725] [SC-124396][connect] DF.sql() için Hızlı Yürütme
• [SPARK-42687] [SC-124896][ss] Streaming'de desteklenmeyen pivot işlemi için daha iyi hata iletisi
• [SPARK-42676] [SC-124809][ss] Varsayılan FS farklı ayarlanmış olsa bile yerel dosya sistemine akış sorguları için geçici denetim noktaları yazma
• [SPARK-42303] [SC-122644][sql] _LEGACY_ERROR_TEMP_1326'e isim atama
• [SPARK-42553] [SC-124560][sql] "interval" sonrasında en az bir zaman birimi sağlayın
• [SPARK-42649] [SC-124576][core] Standart Apache Lisansı üst bilgisini üçüncü taraf kaynak dosyalarının üst kısmından kaldırma
• [SPARK-42611] [SC-124395][sql] Çözümleme sırasında iç alanlar için karakter/varchar uzunluğu denetimleri ekleme
• [SPARK-42419] [SC-124019][connect][PYTHON] Spark Connect Sütun API'si için hata çerçevesine geçiş yapın.
• [SPARK-42637] [SC-124522][connect] SparkSession.stop() ekle
• [SPARK-42647] [SC-124647][python] Kullanım dışı bırakılan ve kaldırılan numpy türleri için diğer adı değiştirme
• [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver yalnızca başlatılan hive sessionState'i kapatacaktır
• [SPARK-42593] [SC-124405][ps] Pandas 2.0'da kaldırılacak olan API'leri eskimiş olarak işaretleyin ve kaldırın.
• [SPARK-41870] [SC-124402][connect][PYTHON] Yinelenen sütun adlarını işlemek için createDataFrame'i düzeltme
• [SPARK-42569] [SC-124379][connect] Desteklenmeyen oturum API'si için özel durumlar oluşturun
• [SPARK-42631] [SC-124526][connect] Scala istemcisinde özel uzantıları destekleme
• [SPARK-41868] [SC-124387][connect][PYTHON] CreateDataFrame'i süreleri destekleyecek şekilde düzeltme
• [SPARK-42572] [SC-124171][sql][SS] StateStoreProvider.validateStateRowFormat için davranışı düzeltme

Bakım güncelleştirmeleri

Bkz . Databricks Runtime 13.1 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Gölü: 2.4.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları 2023-02-10'da Microsoft CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)