Databricks Runtime 12.2 LTS

Aşağıdaki sürüm notları, Apache Spark 3.3.2 tarafından desteklenen Databricks Runtime 12.2 LTS hakkında bilgi sağlar.

Databricks bu sürümü Mart 2023'te yayımladı.

Davranış değişiklikleri

[Yeni değişiklik] Yeni Python sürümü Databricks Connect V1 Python istemcilerinin güncelleştirilmesini gerektirir

Gerekli güvenlik düzeltme eklerini uygulamak için Databricks Runtime 12.2 LTS'deki Python sürümü 3.9.5'ten 3.9.19'a yükseltilir. Bu değişiklikler belirli PySpark işlevlerini kullanan istemcilerde hatalara neden olabileceği için, Databricks Runtime 12.2 LTS ile Python için Databricks Connect V1 kullanan tüm istemcilerin Python 3.9.7 veya sonraki bir sürüme güncelleştirilmesi gerekir.

Yeni özellikler ve geliştirmeler

• Delta Lake şema evrimi, birleştirme deyimlerinde kaynak sütunları belirtmeyi destekler
• Yapılandırılmış Akış iş yükleri, paylaşılan erişim moduna sahip kümelerde desteklenir
• Tahmine Dayalı G/Ç için yeni özellikler
• Örtük yanal sütun diğer ad desteği
• Yeni forEachBatch özelliği
• Sorgu Federasyonu için StandartLaştırılmış Bağlantı Seçenekleri
• Dizi yönetimi için genişletilmiş SQL işlev kitaplığı
• Dizeleri anonimleştirmeye yönelik yeni maske işlevi
• Yaygın hata koşulları artık SQLSTATEs döndürmektedir
• FROM yan tümcesinde oluşturucu işlevlerini çağırma
• Protokol arabellekleri desteği genel kullanıma sunuldu
• Not defteri değişkenleri ve işlevleri için tanıma gitme
• Kitaplıkları otomatik olarak içeri aktarmaya yönelik not defteri hızlı düzeltmesi
• Hata düzeltmeleri

Delta Lake şema evrimi, birleştirme deyimlerinde kaynak sütunları belirtmeyi destekler

Artık, şema evrimi etkinleştirildiğinde birleştirme deyimleri için ekleme veya güncelleştirme eylemlerinde yalnızca kaynak tabloda bulunan sütunları belirtebilirsiniz. Databricks Runtime 12.1 ve altında, birleştirme ile şema evrimi için yalnızca INSERT * veya UPDATE SET * eylemleri kullanılabilir. Bkz. Delta Lake birleştirme için otomatik şema evrimi.

Yapılandırılmış Akış iş yükleri, paylaşılan erişim moduna sahip kümelerde desteklenir

Artık paylaşılan kümelerde Unity Kataloğu ile etkileşime geçmek için Yapılandırılmış Akış'ı kullanabilirsiniz. Bazı sınırlamalar geçerlidir. Bkz . Unity Kataloğu hangi Yapılandırılmış Akış işlevini destekler?.

Tahmine Dayalı G/Ç için yeni özellikler

Havuz için Foreachbatch foton desteği artık kullanılabilir. Bir kaynaktan akış yapıp Delta Tablolarına birleştirilen veya birden çok havuza yazan iş yükleri artık Fotonizlenmiş Foreachbatch havuzdan yararlanabilir.

Örtük yanal sütun diğer ad desteği

Azure Databricks artık varsayılan olarak örtük yanal sütun diğer adını destekliyor. Artık aynı SELECT listede daha önce belirtilen bir ifadeyi yeniden kullanabilirsiniz. Örneğin, verilen SELECT 1 AS a, a + 1 AS ba içinde a + 1 önceden tanımlanmış 1 AS aolarak çözümlenebilir. Çözüm sırasına göre daha fazla ayrıntı için Ad çözümlemesini denetleyin. Bu özelliği kapatmak için olarak ayarlayabilirsiniz spark.sql.lateralColumnAlias.enableImplicitResolutionfalse.

Yeni forEachBatch özelliği

Foton artık veri havuzuna yazmak için kullanılırken foreachBatch destekleniyor.

Sorgu Federasyonu için StandartLaştırılmış Bağlantı Seçenekleri

Artık Sorgu Federasyonu'nda desteklenen veri kaynaklarına bağlanmak için birleşik bir seçenek kümesi (konak, bağlantı noktası, veritabanı, kullanıcı, parola) kullanabilirsiniz. Port isteğe bağlıdır ve belirtilmediği sürece her veri kaynağı için varsayılan bağlantı noktası numarasını kullanır.

Dizi yönetimi için genişletilmiş SQL işlev kitaplığı

Artık array_compact kullanarak dizideki tüm NULL öğeleri kaldırabilirsiniz. Diziye öğe eklemek için array_append kullanın.

Dizeleri anonimleştirmeye yönelik yeni maske işlevi

Hassas dize değerlerini anonim hale getirmek için mask işlevini çağırın.

Yaygın hata koşulları artık SQLSTATEs döndürmektedir

Databricks Runtime'ın artık SQL standart uyumlu bir şekilde hataları test etmek için kullanılabilecek belgelenmiş SQLSTATE değerlerini içerdiği hata koşullarının çoğu.

FROM yan tümcesinde oluşturucu işlevlerini çağırma

Artık sorgunun normal yan tümcesinde explodeFROMtablo değerli oluşturucu işlevlerini çağırabilirsiniz. Bu, oluşturucu işlevini çağırmayı diğer yerleşik ve kullanıcı tanımlı tablo işlevleriyle hizalar.

Protokol arabellekleri desteği genel kullanıma sunuldu

İkili from_protobuf ve yapı türleri arasında veri alışverişi yapmak için ve to_protobuf işlevlerini kullanabilirsiniz. Bkz. Okuma ve yazma protokolü arabellekleri.

Not defteri değişkenleri ve işlevleri için tanıma gitme

Not defterlerinde değişkene veya işlev adına sağ tıklayarak bir değişkeningidebilirsiniz.

Kitaplıkları otomatik olarak içeri aktarmaya yönelik not defteri hızlı düzeltmesi

Databricks Not Defterleri artık kitaplıkları otomatik olarak içeri aktarmaya yönelik bir hızlı düzeltme özelliği sunuyor. Pandas gibi bir kitaplığı içeri aktarmayı unutursanız, altı çizili söz dizimi uyarısının üzerine gelin ve Hızlı Düzeltme'ye tıklayın. Bu özellikler, Databricks Yardımcısı'nın Çalışma Alanınızda etkinleştirilmesini gerektirir.

Hata düzeltmeleri

• , updateve delete komutlarıyla ilgili mergeboş işlemler için Delta işleme davranışı için geliştirilmiş tutarlılık. Yalıtım WriteSerializable düzeyinde, hiçbir değişiklikle sonuçlanmaması gereken komutlar artık boş bir işleme oluşturur. Serializable Yalıtım düzeyinde, bu tür boş işlemler artık işleme oluşturmaz.

Davranış değişiklikleri

Yeni yanal sütun diğer adı özelliğiyle davranış değişiklikleri

Yeni yanal sütun diğer adı özelliği, ad çözümlemesi sırasında aşağıdaki durumlar için davranış değişiklikleri getirir:

• Yanal sütun diğer adı artık aynı ada sahip bağıntılı başvurulardan önceliklidir. Örneğin, bu sorgu SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)için , c1 içteki c1 AS c2 bağıntılı başvuru t.c1ile çözümlendi, ancak şimdi yan sütun diğer adı 1 AS c1olarak değiştirildi. Sorgu artık döndürür NULL.
• Yanal sütun diğer adı artık aynı ada sahip işlev parametrelerine göre önceliklidir. Örneğin, işlevi için, CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xx işlev gövdesindeki işlevi x işlevi parametresine çözümlendi, ancak işlev gövdesinde yan sütun diğer adına x + 1 değiştirildi. Sorgu şimdi SELECT * FROM func(1) döndürür 2, 2.
• Yanal sütun diğer adı özelliğini kapatmak için olarak spark.sql.lateralColumnAlias.enableImplicitResolutionayarlayınfalse. Daha fazla bilgi için bkz . Ad çözümlemesi.

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • 3.8.2 ile 3.9.0 arasında dosya kilidi
  • iş kolu 1.1.0 ile 1.1.1
  • platformdirs from 2.6.0 to 2.6.2
  • 1.0.3 ile 1.0.4
• Yükseltilen R kitaplıkları:
  • 7.3-20 ile 7.3-21 arası sınıf
  • 0.2-18 ile 0.2-19 arası kod araçları
  • 7,3-58'den 7,3-58,2'ye kadar KÜTLE
  • nlme from 3.1-160 to 3.1-162
  • 1,8-11'den 1,8-12'ye kadar rserve
  • SparkR 3.3.1 ile 3.3.2

Davranış değişiklikleri

• Kullanıcıların artık tanımlı bir konuma sahip bir şema oluştururken herhangi bir dosyada ve SELECT ayrıcalıklarına sahip olması MODIFY gerekir.

Apache Spark

Databricks Runtime 12.2, Apache Spark 3.3.2 içerir. Bu sürüm, Databricks Runtime 12.1'e (EoS) dahil olan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-42416] [SC-123205][SC-122851][SQL] Tarih kümesi işlemleri, çözümlenen mantıksal planı yeniden çözümlememelidir
• [SPARK-41848] "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] TaskResourceProfile ile fazla zamanlanmış görevi düzeltme"
• [SPARK-42162] [SC-122711][ES-556261] Büyük commutative ifade ağaçlarını kurallı hale getirme için bellek iyileştirmesi olarak MultiCommutativeOp ifadesini tanıtın
• [SPARK-42406] [SC-122998][PROTOBUF][Vişne seç] Protobuf işlevleri için özyinelemeli derinlik ayarını düzeltme
• [SPARK-42002] [SC-122476][BAĞLAN][PYTHON] DataFrameWriterV2 Uygulama
• [SPARK-41716] [SC-122545][BAĞLAN] katalogda _catalog_to_pandas _execute_and_fetch olarak yeniden adlandırma
• [SPARK-41490] [SC-121774][SQL] _LEGACY_ERROR_TEMP_2441'a ad atama
• [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][BAĞLAN] Catalog.cacheTable, isCached ve uncache uygulama
• [SPARK-42191] [SC-121990][SQL] udf 'luhn_check' desteği
• [SPARK-42253] [SC-121976][PYTHON] Yinelenen hata sınıfını algılama testi ekleme
• [SPARK-42268] [SC-122251][BAĞLAN][PYTHON] Protos'a UserDefinedType ekleme
• [SPARK-42231] [SC-121841][SQL] Şu duruma dön:MISSING_STATIC_PARTITION_COLUMNinternalError
• [SPARK-42136] [SC-122554] BroadcastHashJoinExec çıkış bölümleme hesaplamasını yeniden düzenleme
• [SPARK-42158] [SC-121610][SQL] ile tümleştirme _LEGACY_ERROR_TEMP_1003FIELD_NOT_FOUND
• [SPARK-42192] [12.x][SC-121820][PYTHON] TypeError'ı pyspark/sql/dataframe.py'den PySparkTypeError'a geçirme
• [SPARK-35240] Revert "[SC-118242][SS] Use CheckpointFileManager ...
• [SPARK-41488] [SC-121858][SQL] _LEGACY_ERROR_TEMP_1176 (ve 1177) için ad atama
• [SPARK-42232] [SC-122267][SQL] Hata sınıfını yeniden adlandır: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
• [SPARK-42346] [SC-122480][SQL] Alt sorgu birleştirme işleminden sonra ayrı toplamaları yeniden yazma
• [SPARK-42306] [SC-122539][SQL] ile tümleştirme _LEGACY_ERROR_TEMP_1317UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-42234] [SC-122354][SQL] Hata sınıfını yeniden adlandır: UNSUPPORTED_FEATURE.REPEATED_PIVOT
• [SPARK-42343] [SC-122437][CORE] SparkContext durdurulursa içinde IOException yoksay handleBlockRemovalFailure
• [SPARK-41295] [SC-122442][SPARK-41296][SQL] Hata sınıflarını yeniden adlandırma
• [SPARK-42320] [SC-122478][SQL] _LEGACY_ERROR_TEMP_2188'a ad atama
• [SPARK-42255] [SC-122483][SQL] _LEGACY_ERROR_TEMP_2430'a ad atama
• [SPARK-42156] [SC-121851][BAĞLAN] SparkConnectClient şimdi RetryPolicies'i destekliyor
• [SPARK-38728] [SC-116723][SQL] Hata sınıfını test edin: FAILED_RENAME_PATH
• [SPARK-40005] [12.X] PySpark'ta bağımsız örnekler
• [SPARK-39347] [SC-122457][SS] Olay zamanı < 0 olduğunda zaman penceresi hesaplaması için hata düzeltmesi
• [SPARK-42336] [SC-122458][CORE] ResourceAllocator yerine getOrElse() kullanın contains()
• [SPARK-42125] [SC-121827][BAĞLAN][PYTHON] Spark Connect'te Pandas UDF
• [SPARK-42217] [SC-122263][SQL] Window ile sorgularda örtük yanal sütun diğer adını destekleme
• [SPARK-35240] [SC-118242][SS] Denetim noktası dosya işlemesi için CheckpointFileManager kullanma
• [SPARK-42294] [SC-122337][SQL] V2 tabloları için DESCRIBE çıktısında sütun varsayılan değerlerini dahil etme
• [SPARK-41979] "Revert "[12.x][SC-121190][SQL] Hata sınıflarındaki hata iletileri için eksik noktalar eklendi."
• [SPARK-42286] [SC-122336][SQL] CAST ile karmaşık ifade için önceki codegen kod yoluna geri dönüş
• [SPARK-42275] [SC-122249][BAĞLAN][PYTHON] Yerleşik liste, statik yazmada dikte kullanmaktan kaçının
• [SPARK-41985] [SC-122172][SQL] Daha fazla sütun çözümleme kuralını merkezileştirme
• [SPARK-42126] [SC-122330][PYTHON][BAĞLAN] Spark Connect'te Python Scalar UDF'leri için DDL dizelerinde dönüş türünü kabul etme
• [SPARK-42197] [SC-122328][SC-121514][BAĞLAN] JVM başlatmayı yeniden kullanarak uzak yerel modda ayarlamak için yapılandırma gruplarını ayırır
• [SPARK-41575] [SC-120118][SQL] _LEGACY_ERROR_TEMP_2054'a ad atama
• [SPARK-41985] "[SC-122172][SQL] Daha fazla sütun çözümleme kuralını merkezileştirme"
• [SPARK-42123] [SC-122234][SC-121453][SQL] DESCRIBE ve SHOW CREATE TABLE çıkışına sütun varsayılan değerlerini ekleme
• [SPARK-41985] [SC-122172][SQL] Daha fazla sütun çözümleme kuralını merkezileştirme
• [SPARK-42284] [SC-122233][BAĞLAN] İstemci testlerini çalıştırmadan önce sunucu derlemesini bağlamanın derlendiğinden emin olun - SBT
• [SPARK-42239] [SC-121790][SQL] Entegre MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42278] [SC-122170][SQL] DS V2 anında iletme, kendi kendine derlenen SortOrder JDBC diyalektlerini destekler
• [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics, Python UDAF ile ilgilenmelidir
• [SPARK-41979] "[12.x][SC-121190][SQL] Hata sınıflarındaki hata iletileri için eksik noktalar ekleyin.
• [SPARK-42224] [12.x][SC-121708][BAĞLAN] TypeError'ı Spark Connect işlevleri için hata çerçevesine geçirme
• [SPARK-41712] [12.x][SC-121189][PYTHON][BAĞLAN] Spark Connect hatalarını PySpark hata çerçevesine geçirin.
• [SPARK-42119] [SC-121913][SC-121342][SQL] Yerleşik tablo değerli işlevleri satır içi ve inline_outer ekleme
• [SPARK-41489] [SC-121713][SQL] _LEGACY_ERROR_TEMP_2415'a ad atama
• [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][BAĞLAN] PySparkValueError ve PySparkTypeError'ı tanıtma
• [SPARK-42081] [SC-121723][SQL] Plan değişikliği doğrulamasını geliştirme
• [SPARK-42225] [12.x][SC-121714][BAĞLAN] Spark Connect hatasını hassas bir şekilde işlemek için SparkConnectIllegalArgumentException ekleyin.
• [SPARK-42044] [12.x][SC-121280][SQL] için yanlış hata iletisi düzeltilir MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42194] [12.x][SC-121712][PS] Series ile DataFrame oluştururken sütunlara izin ver parametresi.
• [SPARK-42078] [12.x][SC-120761][PYTHON] JVM tarafından oluşan hataları PySparkException'a geçirin.
• [SPARK-42133] [12.x][SC-121250] SparkConnect Scala İstemcisi'ne temel Veri Kümesi API'si yöntemleri ekleme
• [SPARK-41979] [12.x][SC-121190][SQL] Hata sınıflarında hata iletileri için eksik noktalar ekleyin.
• [SPARK-42124] [12.x][SC-121420][PYTHON][BAĞLAN] Spark Connect'te Skaler Satır içi Python UDF
• [SPARK-42051] [SC-121994][SQL] HiveGenericUDF için Codegen Desteği
• [SPARK-42257] [SC-121948][CORE] Kullanılmayan değişken dış sıralayıcısını kaldırma
• [SPARK-41735] [SC-121771][SQL] SparkListenerSQLExecutionEnd için STANDARD yerine MINIMAL kullanma
• [SPARK-42236] [SC-121882][SQL] Arıtmak NULLABLE_ARRAY_OR_MAP_ELEMENT
• [SPARK-42233] [SC-121775][SQL] için hata iletisini iyileştirme PIVOT_AFTER_GROUP_BY
• [SPARK-42229] [SC-121856][CORE] Hata sınıflarına geçiş SparkCoreErrors
• [SPARK-42163] [SC-121839][SQL] Katlanabilir olmayan dizi dizini veya eşleme anahtarı için şema ayıklamayı düzeltme
• [SPARK-40711] [SC-119990][SQL] Pencere için taşma boyutu ölçümleri ekleme
• [SPARK-42023] [SC-121847][SPARK-42024][BAĞLAN][PYTHON] Destek createDataFrame zorlaması yapma AtomicType -> StringType
• [SPARK-42202] [SC-121837][Bağlan][Test] E2E test sunucusu durdurma mantığını geliştirme
• [SPARK-41167] [SC-117425][SQL] Dengeli bir ifade ağacı koşulu oluşturarak çok benzer performansı geliştirme
• [SPARK-41931] [SC-121618][SQL] Tamamlanmamış karmaşık tür tanımı için daha iyi hata iletisi
• [SPARK-36124] [SC-121339][SC-110446][SQL] UNION aracılığıyla bağıntı ile alt sorguları destekleme
• [SPARK-42090] [SC-121290][3.3] RetryingBlockTransferor'da sasl yeniden deneme sayısı eklendi
• [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR FAIR scheduler sağlamalıdır
• [SPARK-41572] [SC-120772][SQL] _LEGACY_ERROR_TEMP_2149'a ad atama
• [SPARK-41983] [SC-121224][SQL] için yeniden adlandırın ve hata iletisini geliştirin NULL_COMPARISON_RESULT
• [SPARK-41976] [SC-121024][SQL] için hata iletisini iyileştirme INDEX_NOT_FOUND
• [SPARK-41994] [SC-121210][SC-120573] SQLSTATE'leri atama (1/2)
• [SPARK-41415] [SC-121117][3.3] SASL İsteği Yeniden Denemeleri
• [SPARK-38591] [SC-121018][SQL] flatMapSortedGroups ve cogroupSorted ekleme
• [SPARK-41975] [SC-120767][SQL] için hata iletisini iyileştirme INDEX_ALREADY_EXISTS
• [SPARK-42056] [SC-121158][SQL][PROTOBUF] Protobuf işlevleri için eksik seçenekler ekleme
• [SPARK-41984] [SC-120769][SQL] için yeniden adlandırın ve hata iletisini geliştirin RESET_PERMISSION_TO_ORIGINAL
• [SPARK-41948] [SC-121196][SQL] Hata sınıfları için NPE düzeltilir: CANNOT_PARSE_JSON_FIELD
• [SPARK-41772] [SC-121176][BAĞLAN][PYTHON] 's doctest'teki withFieldyanlış sütun adı düzeltilir
• [SPARK-41283] [SC-121175][BAĞLAN][PYTHON] Bağlan'a Ekle array_append
• [SPARK-41960] [SC-120773][SQL] _LEGACY_ERROR_TEMP_1056'a ad atama
• [SPARK-42134] [SC-121116][SQL] Başvurulmamış öznitelikleri olmayan filtreleri işlemek için getPartitionFiltersAndDataFilters() düzeltildi
• [SPARK-42096] [SC-121012][BAĞLAN] Modül için connect bazı kod temizleme
• [SPARK-42099] [SC-121114][SPARK-41845][BAĞLAN][PYTHON] Düzeltme count(*) ve count(col(*))
• [SPARK-42045] [SC-120958][SC-120450][SQL] ANSI SQL modu: Yuvarlama/Yuvarlama, tamsayı taşmasında hata döndürmelidir
• [SPARK-42043] [SC-120968][BAĞLAN] E2E Testleri ile Scala İstemci Sonucu
• [SPARK-41884] [SC-121022][BAĞLAN] İç içe satır olarak saf tanımlama grubu desteği
• [SPARK-42112] [SC-121011][SQL][SS] İşlev kapatılmadan önce ContinuousWriteRDD#compute null denetim ekleme dataWriter
• [SPARK-42077] [SC-120553][BAĞLAN][PYTHON] Değişmez değer desteklenmeyen DataType için TypeError oluşturmalı
• [SPARK-42108] [SC-120898][SQL] Çözümleyici'yi dönüştür Count(*)Count(1)
• [SPARK-41666] [SC-120928][SC-119009][PYTHON] Parametreli SQL desteği: sql()
• [SPARK-40599] [SC-120930][SQL] Alternatiflerin herhangi bir Seq türü olmasını sağlamak için multiTransform kural türünü gevşetin
• [SPARK-41574] [SC-120771][SQL] olarak _LEGACY_ERROR_TEMP_2009güncelleştirinINTERNAL_ERROR.
• [SPARK-41579] [SC-120770][SQL] _LEGACY_ERROR_TEMP_1249'a ad atama
• [SPARK-41974] [SC-120766][SQL] Şu duruma dön:INCORRECT_END_OFFSETINTERNAL_ERROR
• [SPARK-41530] [SC-120916][SC-118513][CORE] MedianHeap'ı PercentileMap olarak yeniden adlandırın ve yüzdebirliği destekleyin
• [SPARK-41757] [SC-120608][SPARK-41901][BAĞLAN] Column sınıfı için dize gösterimini düzeltme
• [SPARK-42084] [SC-120775][SQL] Yalnızca nitelikli erişim kısıtlamasının sızmasını önleyin
• [SPARK-41973] [SC-120765][SQL] _LEGACY_ERROR_TEMP_1311'a ad atama
• [SPARK-42039] [SC-120655][SQL] SPJ: KeyGroupedPartitioning#partitionValuesOpt içindeki Seçeneği Kaldır
• [SPARK-42079] [SC-120712][BAĞLAN][PYTHON] ve için toDF proto iletilerini yeniden adlandırma withColumnsRenamed
• [SPARK-42089] [SC-120605][BAĞLAN][PYTHON] İç içe lambda işlevlerindeki değişken adı sorunlarını düzeltme
• [SPARK-41982] [SC-120604][SQL] Dize türü bölümleri sayısal türler olarak değerlendirilmemelidir
• [SPARK-40599] [SC-120620][SQL] Alternatifler oluşturmak için TreeNode'a multiTransform yöntemleri ekleme
• [SPARK-42085] [SC-120556][BAĞLAN][PYTHON] İç içe türler için destek oluşturma from_arrow_schema
• [SPARK-42057] [SC-120507][SQL][PROTOBUF] Hata raporlamada özel durumun nasıl işleneceğini düzeltin.
• [SPARK-41586] [12.x][TÜM TESTLER][SC-120544][PYTHON] PySpark için tanıtma pyspark.errors ve hata sınıfları.
• [SPARK-41903] [SC-120543][BAĞLAN][PYTHON] Literal 1-dim ndarray'ı desteklemelidir
• [SPARK-42021] [SC-120584][BAĞLAN][PYTHON] Destek olun createDataFramearray.array
• [SPARK-41896] [SC-120506][SQL] Satır dizinine göre filtreleme boş sonuçlar döndürür
• [SPARK-41162] [SC-119742][SQL] Toplamalarla kendi kendine birleşim için anti-ve yarı birleştirmeyi düzeltme
• [SPARK-41961] [SC-120501][SQL] LATERAL ile tablo değerli işlevleri destekleme
• [SPARK-41752] [SC-120550][SQL][UI] İç içe yürütmeleri kök yürütme altında gruplandırma
• [SPARK-42047] [SC-120586][SPARK-41900][BAĞLAN][PYTHON][12.X] Değişmez değer, Numpy veri türlerini desteklemelidir
• [SPARK-42028] [SC-120344][BAĞLAN][PYTHON] Nanosaniye zaman damgalarını kesme
• [SPARK-42011] [SC-120534][BAĞLAN][PYTHON] DataFrameReader.csv uygulama
• [SPARK-41990] [SC-120532][SQL] V1 ile FieldReference.column V2 arasında filtre dönüştürme yerine kullanın apply
• [SPARK-39217] [SC-120446][SQL] DPP'nin budama tarafının Union'a sahip olmasını sağlar
• [SPARK-42076] [SC-120551][BAĞLAN][PYTHON] Factor data conversion arrow -> rows out to conversion.py
• [SPARK-42074] [SC-120540][SQL] SQL sınıf kaydını zorunlu kılmak için 'de KryoSerializer etkinleştirin TPCDSQueryBenchmark
• [SPARK-42012] [SC-120517][BAĞLAN][PYTHON] DataFrameReader.orc uygulama
• [SPARK-41832] [SC-120513][BAĞLAN][PYTHON] düzeltme DataFrame.unionByName, allow_missing_columns ekleme
• [SPARK-38651] [SC-120514] [SQL] Eklemek spark.sql.legacy.allowEmptySchemaWrite
• [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert ExpressionProxy'i alt öğe olarak kabul etmelidir
• [SPARK-41232] [SC-120073][SQL][PYTHON] array_append işlevi ekleme
• [SPARK-42041] [SC-120512][SPARK-42013][BAĞLAN][PYTHON] DataFrameReader yolların listesini desteklemelidir
• [SPARK-42071] [SC-120533][CORE] KyroSerializer'a kaydolma scala.math.Ordering$Reverse
• [SPARK-41986] [SC-120429][SQL] SinglePartition'ta karıştırmayı tanıtma
• [SPARK-42016] [SC-120428][BAĞLAN][PYTHON] İç içe sütunla ilgili testleri etkinleştirme
• [SPARK-42042] [SC-120427][BAĞLAN][PYTHON] DataFrameReader StructType şemasını desteklemelidir
• [SPARK-42031] [SC-120389][CORE][SQL] Geçersiz kılma gerektirmeyen yöntemleri temizleme remove
• [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][BAĞLAN][PYTHON] İç içe türler için destek oluşturma createDataFrame(rows/lists/tuples/dicts)
• [SPARK-41437] [SC-117601][SQL][TÜM TESTLER] Giriş sorgusunu v1 geri yazma geri dönüşü için iki kez iyileştirmeyin
• [SPARK-41840] [SC-119719][BAĞLAN][PYTHON] Eksik diğer adı ekleme groupby
• [SPARK-41846] [SC-119717][BAĞLAN][PYTHON] Pencere işlevleri için doctest'leri etkinleştirme
• [SPARK-41914] [SC-120094][SQL] FileFormatWriter outputOrdering'e erişmeden önce AQE planını gerçekleştirir
• [SPARK-41805] [SC-119992][SQL] WindowSpecDefinition'da ifadeleri yeniden kullanma
• [SPARK-41977] [SC-120269][SPARK-41978][BAĞLAN] Bağımsız değişken olarak float almak için SparkSession.range
• [SPARK-42029] [SC-120336][BAĞLAN] Başlangıç hatasını önlemek için guava connect-common gölgelendirme kuralları ekleme
• [SPARK-41989] [SC-120334][PYTHON] pyspark.pandas dosyasından hataya neden olan günlük yapılandırmasından kaçının
• [SPARK-42003] [SC-120331][SQL] ResolveGroupByAll'da yinelenen kodu azaltma
• [SPARK-41635] [SC-120313][SQL] Tüm hata raporlamaya göre grubu düzeltme
• [SPARK-41047] [SC-120291][SQL] Yuvarlak belgeleri geliştirme
• [SPARK-41822] [SC-120122][BAĞLAN] Scala/JVM istemcisi için gRPC bağlantısını ayarlama
• [SPARK-41879] [SC-120264][BAĞLAN][PYTHON] İç içe türler için destek oluşturma DataFrame.collect
• [SPARK-41887] [SC-120268][BAĞLAN][PYTHON] Kabul edilen liste parametresini kabul et DataFrame.hint
• [SPARK-41964] [SC-120210][BAĞLAN][PYTHON] Desteklenmeyen GÇ işlevlerinin listesini ekleme
• [SPARK-41595] [SC-120097][SQL] FROM yan tümcesinde destek oluşturucu işlevi explode/explode_outer
• [SPARK-41957] [SC-120121][BAĞLAN][PYTHON] için doctest'i etkinleştirme DataFrame.hint
• [SPARK-41886] [SC-120141][BAĞLAN][PYTHON] DataFrame.intersect doctest çıktısı farklı sırada
• [SPARK-41442] [SC-117795][SQL][TÜM TESTLER] SQLMetric değerini yalnızca geçerli ölçümle birleştiriyorsanız güncelleştirin
• [SPARK-41944] [SC-120046][BAĞLAN] Yerel uzak mod açıkken yapılandırmaları geçirme
• [SPARK-41708] [SC-119838][SQL] v1write bilgilerini çek WriteFiles
• [SPARK-41780] [SC-120000][SQL] INVALID_PARAMETER_VALUE atmalı. Parametreler regexp geçersiz olduğunda PATTERN
• [SPARK-41889] [SC-119975][SQL] InvalidPatternError ve refactor hata sınıflarına kök neden ekleme INVALID_PARAMETER_VALUE
• [SPARK-41860] [SC-120028][SQL] AvroScanBuilder ve JsonScanBuilder örnek olay sınıfları oluşturma
• [SPARK-41945] [SC-120010][BAĞLAN][PYTHON] Python: İstemci kayıp sütun verilerini pyarrow ile bağlayın. Table.to_pylist
• [SPARK-41690] [SC-119102][SC-119087][SQL][BAĞLAN] Belirsiz Kodlayıcılar
• [SPARK-41354] [SC-119995][BAĞLAN][PYTHON] RepartitionByExpression Uygulama
• [SPARK-41581] [SC-119997][SQL] Farklı güncelleştir _LEGACY_ERROR_TEMP_1230INTERNAL_ERROR
• [SPARK-41928] [SC-119972][BAĞLAN][PYTHON] için desteklenmeyen listeyi ekleme functions
• [SPARK-41933] [SC-119980][BAĞLAN] Sunucuyu otomatik olarak başlatan yerel mod sağlama
• [SPARK-41899] [SC-119971][BAĞLAN][PYTHON] createDataFrame' kullanıcı tarafından sağlanan DDL şemasına saygı duymalıdır
• [SPARK-41936] [SC-119978][BAĞLAN][PYTHON] withMetadata Proto'ları withColumns yeniden kullanma
• [SPARK-41898] [SC-119931][BAĞLAN][PYTHON] Window.rowsHata, Window.rangeBetween parametreleri tür denetimi eşlik ile pyspark
• [SPARK-41939] [SC-119977][BAĞLAN][PYTHON] İşlevler için catalog desteklenmeyenler listesini ekleme
• [SPARK-41924] [SC-119946][BAĞLAN][PYTHON] StructType destek meta verilerini oluşturma ve Uygulama DataFrame.withMetadata
• [SPARK-41934] [SC-119967][BAĞLAN][PYTHON] için desteklenmeyen işlev listesini ekleme session
• [SPARK-41875] [SC-119969][BAĞLAN][PYTHON] için test çalışmaları ekleme Dataset.to()
• [SPARK-41824] [SC-119970][BAĞLAN][PYTHON] Bağlantının açıklaması için doctest'i yeniden oluşturma
• [SPARK-41880] [SC-119959][BAĞLAN][PYTHON] İşlevin from_json değişmez olmayan şemayı kabul etmesini sağlama
• [SPARK-41927] [SC-119952][BAĞLAN][PYTHON] için desteklenmeyen listeyi ekleme GroupedData
• [SPARK-41929] [SC-119949][BAĞLAN][PYTHON] İşlev ekleme array_compact
• [SPARK-41827] [SC-119841][BAĞLAN][PYTHON] Sütun listesini kabul et GroupBy
• [SPARK-41925] [SC-119905][SQL] Varsayılan olarak etkinleştir spark.sql.orc.enableNestedColumnVectorizedReader
• [SPARK-41831] [SC-119853][BAĞLAN][PYTHON] Sütun listesini kabul et DataFrame.select
• [SPARK-41455] [SC-119858][BAĞLAN][PYTHON] Saat DataFrame.collect dilimi bilgilerini at
• [SPARK-41923] [SC-119861][BAĞLAN][PYTHON] Desteklenmeyenler listesine ekleme DataFrame.writeTo
• [SPARK-41912] [SC-119837][SQL] Alt sorgu CTE'yi doğrulamamalıdır
• [SPARK-41828] [SC-119832][BAĞLAN][PYTHON][12.X] Desteği boş veri çerçevesi yapma createDataFrame
• [SPARK-41905] [SC-119848][BAĞLAN] Dilimde dize olarak destek adı
• [SPARK-41869] [SC-119845][BAĞLAN] DropDuplicates içindeki tek dizeyi reddet
• [SPARK-41830] [SC-119840][BAĞLAN][PYTHON] DataFrame.sample PySpark ile aynı parametreleri kabul edin
• [SPARK-41849] [SC-119835][BAĞLAN] DataFrameReader.text uygulama
• [SPARK-41861] [SC-119834][SQL] v2 ScanBuilders'ın build() dönüş türü tarama yapma
• [SPARK-41825] [SC-119710][BAĞLAN][PYTHON] ile ilgili doctest'leri etkinleştirme DataFrame.show
• [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][BAĞLAN][PYTHON][12.X] Yok/NaN tutamacını düzgün yap createDataFrame
• [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][BAĞLAN][PYTHON] Yok/NaN/Dizi/İkili porperly tutamacını yapma DataFrame.collect
• [SPARK-39318] [SC-119713][SQL] tpch-plan-stability WithStats altın dosyalarını kaldırma
• [SPARK-41791] [SC-119745] Yeni dosya kaynağı meta veri sütun türleri ekleme
• [SPARK-41790] [SC-119729][SQL] TRANSFORM okuyucu ve yazıcının biçimini doğru ayarlama
• [SPARK-41829] [SC-119725][BAĞLAN][PYTHON] ve içinde eksik sıralama parametresini Sort ekleyin sortWithinPartitions
• [SPARK-41576] [SC-119718][SQL] _LEGACY_ERROR_TEMP_2051'a ad atama
• [SPARK-41821] [SC-119716][BAĞLAN][PYTHON] DataFrame için belge testlerini düzeltme.describe
• [SPARK-41871] [SC-119714][BAĞLAN] DataFrame ipucu parametresi str, float veya int olabilir
• [SPARK-41720] [SC-119076][SQL] UnresolvedFunc adını UnresolvedFunctionName olarak yeniden adlandırın
• [SPARK-41573] [SC-119567][SQL] _LEGACY_ERROR_TEMP_2136'a ad atama
• [SPARK-41862] [SC-119492][SQL] Ork okuyucuda DEFAULT değerleriyle ilgili doğruluk hatasını düzeltme
• [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] Yerine yeniden kullanma INVALID_TYPED_LITERAL_LEGACY_ERROR_TEMP_0022

Bakım güncelleştirmeleri

Bkz . Databricks Runtime 12.2 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 20.04.5 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.9.19
• R: 4.2.2
• Delta Gölü: 2.2.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları 2022-11-11'de Microsoft CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)