Databricks Runtime 16.2

Aşağıdaki sürüm notları, Apache Spark 3.5.2 tarafından desteklenen Databricks Runtime 16.2 hakkında bilgi sağlar.

Databricks bu sürümü Şubat 2025'te yayımladı.

Davranış değişiklikleri

ANALYZE artık desteklenmeyen türlerdeki sütunları atlıyor.

ANALYZE TABLE artık ARRAY veya MAPgibi desteklenmeyen türlere sahip bir tabloda çalıştırıldığında hata iletisiyle sonuçlanmamıştır. Desteklenmeyen sütunlar artık otomatik olarak atlanır. Bu hataların beklendiği mantığı uygulayan kullanıcıların kodlarını güncelleştirmeleri gerekir.

Delta Paylaşımı'nda tablo geçmişi varsayılan olarak etkindir

SQL komutu kullanılarak oluşturulan paylaşımlar ALTER SHARE <share> ADD TABLE <table> artık varsayılan olarak geçmiş paylaşımı (WITH HISTORY) etkindir. Bkz. ALTER SHARE.

Kimlik bilgisi türü uyuşmazlığı olduğunda kimlik bilgisi SQL deyimleri hata döndürür

Bu sürümde, kimlik bilgisi yönetimi SQL deyiminde belirtilen kimlik bilgisi türü kimlik bilgisi bağımsız değişkeninin türüyle eşleşmiyorsa bir hata döndürülür ve deyimi çalıştırılmaz. Örneğin, DROP STORAGE CREDENTIAL 'credential-name'deyimi için credential-name bir depolama kimlik bilgisi değilse, deyimi hatayla başarısız olur.

Bu değişiklik, kullanıcı hatalarını önlemeye yardımcı olmak için yapılır. Daha önce, belirtilen kimlik bilgisi türüyle uyuşmayan bir kimlik bilgisi geçirilse bile bu bildirimler başarıyla çalıştırılırdı. Örneğin, aşağıdaki ifade storage-credential'ı başarılı bir şekilde düşürecektir: DROP SERVICE CREDENTIAL storage-credential.

Bu değişiklik aşağıdaki deyimleri etkiler:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT... ÜZERİNDE... KIMLIK BILGISI
• REVOKE... ÜZERİNDE... KIMLIK BILGISI
• SHOW GRANTS AÇıK... KIMLIK BILGISI

Yeni özellikler ve geliştirmeler

• transformWithState ile özel, durum bilgisi taşıyan uygulamalar oluşturun
• Hizmet kimlik bilgileriyle bulut nesne depolamada kimlik doğrulaması
• Hizmet kimlik bilgilerini kullanarak dış bulut hizmetlerine Unity Kataloğu tarafından yönetilen erişim artık genel kullanıma açık
• Not Defterleri çalışma alanı dosyaları olarak desteklenir
• Oluşturulan sütun ifadelerinde timestampdiff & timestampadd kullanma
• SQL işlem hattı söz dizimi için destek
• http_request işlevini kullanarak HTTP isteğinde bulunma
• DESCRIBE TABLE güncellemesi, meta verilerini yapılandırılmış JSON olarak döndürür.
• Boşlukları görmezden gelen sıralama düzenlemeleri
• Demet bölümleme ile Iceberg tablolarını bölümlenmemiş Delta tablolarına dönüştürme
• Standart erişim modu (eski adıyla paylaşılan erişim modu) işlem artık foreach, foreachBatchve flatMapGroupsWithStateSpark Scala yöntemlerini destekliyor.

transformWithState ile durum bilgisi olan özel uygulamalar oluşturma

Yapılandırılmış Akış sorgularının bir parçası olarak özel durum bilgisi olan uygulamalar uygulamak için artık transformWithState ve ilgili API'leri kullanabilirsiniz. Bkz. özel durum bilgisi olan bir uygulama oluşturma.

Hizmet kimlik bilgileriyle bulut nesne depolamada kimlik doğrulaması

Artık Otomatik Yükleyici ile bulut nesne depolamada kimlik doğrulaması yapmak için Databricks hizmeti kimlik bilgilerini kullanabilirsiniz. Bkz. Otomatik Yükleyici dosya bildirim modu nedir?.

Hizmet kimlik bilgilerini kullanarak dış bulut hizmetlerine Unity Catalog tarafından yönetilen erişim artık genel kullanıma (GA) sunulmuştur.

Hizmet kimlik bilgileri, bulut kiracınızın Azure Databricks hizmetleriyle basit ve güvenli kimlik doğrulaması sağlar. Databricks Runtime 16.2 ile hizmet kimlik bilgileri genel kullanıma sunuldu ve genel önizlemede desteklenen Python SDK'sına ek olarak Scala SDK'larını destekliyor. bkz. hizmet kimlik bilgilerini kullanarak dış bulut hizmetlerine erişimi yönetme.

Not defterleri çalışma alanı dosyaları olarak desteklenir

Databricks Runtime 16.2 ve üzerinde, not defterleri çalışma alanı dosyaları olarak desteklenir. Artık diğer dosyalar gibi not defterlerini yazma, okuma ve silme dahil olmak üzere çalışma alanı dosya sisteminin kullanılabilir olduğu her yerden not defterleriyle program aracılığıyla etkileşim kurabilirsiniz. Daha fazla bilgi edinmek için bkz. çalışma alanı dosyaları olarak not defterleri.

Oluşturulan sütun ifadelerinde timestampdiff & timestampadd kullanma

Databricks Runtime 16.2 ve üzeri sürümlerde, Delta Lake'teki oluşturulmuş sütun ifadelerinde timestampdiff ve timestampadd işlevlerini kullanabilirsiniz. Delta Lake tarafından oluşturulan sütunlarınıgörün.

SQL işlem hattı söz dizimi desteği

Databricks Runtime 16.2 ve üzerinde SQL işlem hatlarınıoluşturabilirsiniz. SQL işlem hattı, aşağıdaki örnekte gösterildiği gibi SELECT c2 FROM T WHERE c1 = 5gibi standart bir sorguyu adım adım bir dizi halinde düzenler:

FROM T
|> SELECT c2
|> WHERE c1 = 5

SQL işlem hatları için desteklenen söz dizimi hakkında bilgi edinmek için bkz. SQL İşlem Hattı Söz Dizimi.

Bu sektörler arası uzantının arka planı için bkz. SQL'in Sorunları . Bunları düzeltebiliriz: SQL'de boru söz dizimi (Google Research tarafından).

http_request işlevini kullanarak HTTP isteğinde bulunma

Databricks Runtime 16.2 ve üzerinde, HTTP bağlantıları oluşturabilir ve bunlar aracılığıyla http_request işlevini kullanarak HTTP istekleri gönderebilirsiniz.

DESCRIBE TABLE güncelleştirme, meta verileri yapılandırılmış JSON olarak döndürür

Databricks Runtime 16.2 ve üzerinde tablo meta verilerini JSON belgesi olarak döndürmek için DESCRIBE TABLE AS JSON komutunu kullanabilirsiniz. JSON çıkışı, varsayılan insan tarafından okunabilir rapordan daha yapılandırılmıştır ve bir tablonun şemasını program aracılığıyla yorumlamak için kullanılabilir. Daha fazla bilgi edinmek için bkz. AS JSON DESCRIBE TABLE.

Sondaki boşluklara duyarsız dizilimler

Databricks Runtime 16.2, Databricks Runtime 16.1'de eklenen harmanlama desteğine ek olarak, sondaki boşlukları göz ardı eden harmanlamalar için destek ekler. Örneğin, bu harmanlamalar 'Hello' ve 'Hello ' eşit olarak ele alır. Daha fazla bilgi edinmek için bkz. RTRIM harmanlama .

Demet bölümlemeli Iceberg tablolarını bölümlenmemiş Delta tablolarına dönüştürme

CONVERT TO DELTA ve CREATE TABLE CLONE deyimleri artık demet bölümlemeli bir Iceberg tablosunun bölümlenmemiş delta tablosuna dönüştürülmesini destekliyor.

Standart erişim modu (eski adıyla paylaşılan erişim modu) artık foreach, foreachBatchve flatMapGroupsWithState Spark Scala yöntemlerini destekliyor.

Databricks Runtime 16.2 ve üzeri sürümlerde standart erişim modu işlem artık DataStreamWriter.foreachBatch ve KeyValueGroupedDataset.flatMapGroupsWithStateScala yöntemlerini destekler. Databricks Runtime 16.1 ve üzeri sürümlerde standart erişim modu hesaplama artık DataStreamWriter.foreachScala yöntemini destekliyor.

Hata düzeltmeleri

Geliştirilmiş artımlı kopya işleme

Bu sürüm, artımlı bir CLONE'ın kaynak tablodan hedef tabloya zaten kopyalanmış dosyaları yeniden kopyalayabileceği bir sınır durumuna yönelik bir düzeltme içerir. Bkz. Azure Databricks'da bir tabloyu klonlama.

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
• Güncellenmiş R kütüphaneleri:
• Yükseltilen Java kitaplıkları:
  • org.json4s.json4s-ast_2.12 3.7.0-M11 sürümünden 4.0.7 sürümüne.
  • org.json4s.json4s-core_2.12 3.7.0-M11 sürümünden 4.0.7 sürümüne
  • org.json4s.json4s-jackson_2.12 from 3.7.0-M11 to 4.0.7
  • org.json4s.json4s-scalap_2.12 from 3.7.0-M11 to 4.0.7

Apache Spark

Databricks Runtime 16.2, Apache Spark 3.5.2'i içerir. Bu sürüm, Databricks Runtime 16.1içinde bulunan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-49966] Revert "[SC-179501][sql] JsonToStructs(from_json)" uygulamak için Invoke kullanın
• [SPARK-50904] [SC-186976][sql] Harmanlama ifadesi yürütücüsü sorgu yürütmeyi düzeltme
• [SPARK-49666] [SQL] InSet ifadesi için kırpma testlerini etkinleştirme
• [SPARK-50669] [SC-184566][es-1327450][SQL] TimestampAdd ifadesinin imzasını değiştirme
• [SPARK-50795] [16.x][sc-186719][SQL] Zaman damgasını long türü olarak describe LinkedHashMap içinde depola
• [SPARK-50870] [SC-186950][sql] V2ScanRelationPushDown'da zaman damgasına dönüştürme yaparken saat dilimini ekle
• [SPARK-50735] [SC-186944][connect] ExecuteResponseObserver hatası sonsuz yeniden ekleme isteklerine neden olur
• [SPARK-50522] [SC-186500][sql] Belirsiz harmanlama desteği
• [SPARK-50525] [SC-186058][sql] InsertMapSortInRepartitionExpressions Optimizasyon Kuralını Tanımla
• [SPARK-50679] [SC-184572][sql] Farklı "With" ifadeleri içinde yinelenen ortak ifadeler yalnızca bir kez yansıtılmalıdır.
• [SPARK-50847] [SC-186916] [SQL] ApplyCharTypePadding'in belirli In ifadelerine uygulanmasını reddet
• [SPARK-50714] [SC-186786][sql][SS] Avro kodlaması kullanıldığında TransformWithState için şema evrimini etkinleştirme
• [SPARK-50795] [SC-186390][sql] TÜM DESCRIBE AS JSON tarihlerini ve türlerini ISO-8601 biçiminde göster dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: UNIFORM SQL işlevi için tür zorlamasını ve sınır denetimini geliştirme
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalogbuiltin sihirli değeri destekler
• [SPARK-50831] [SC-186736][sql] Kırpma harmanlamasını varsayılan olarak etkinleştirme
• [SPARK-50263] [SC-186793][connect] System.currentTimeMillis yerine System.nanoTime
• [SPARK-48730] [SC-184926][sql] SQL Skaler ve Tablo İşlevleri için CreateSQLFunctionCommand Komutunu Gerçekleştir
• [SPARK-50830] [SC-186718] [SQL] Tek geçiş sonucunu çift çalıştırma analiz sonucu olarak döndür.
• [SPARK-50707] [SC-186098][sql] Karakter/varchar'a dönüştürmeyi etkinleştirme
• [SPARK-49490] [SC-182137][sql] initCap için karşılaştırma ekleme
• [SPARK-50529] [SC-184535][sql] spark.sql.preserveCharVarcharTypeInfo yapılandırması altındaki karakter/varchar davranışını değiştirme
• [SPARK-49632] [SC-184179][sql] CANNOT_PARSE_TIMESTAMP'da ANSI yapılandırma önerisini kaldırma
• [SPARK-50815] [SC-186487][python][SQL] CreateDataFrame'de null Değişken geçirmenin başarısız olmasına neden olan hatayı düzeltin ve Spark Connect'te createDataFrame fonksiyonuna Değişken desteği ekleyin
• [SPARK-50828] [SC-186493][python][ML][connect] pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Çözümleme hatasına göre analiz edilen küme
• [SPARK-50824] [SC-186472][python] Denetim için isteğe bağlı Python paketlerini içeri aktarmaktan kaçının
• [SPARK-50755] [SC-185521][sql] InsertIntoHiveTable için güzel plan gösterimi
• [SPARK-50789] [SC-186312][connect] Yazılan toplamalar için girişler analiz edilmelidir
• [SPARK-50791] [SC-185867][sc-186338][SQL] State Store'da NPE hata işlemeyi düzeltme
• [SPARK-50801] [SC-186365] [SQL] Yalnızca çözümlenmemiş ve çözümlenmiş planları göstermesi için PlanLogger.logPlanResolution'yi iyileştirme
• [SPARK-50749] [SC-185925][sql] CommutativeExpression.gatherCommutative yönteminde sıralama hatası düzeltildi
• [SPARK-50783] [SC-186347] DFS'de JVM profil oluşturucu sonuçları dosya adını ve düzenini standartlaştırma
• [SPARK-50790] [SC-186354][python] pyspark'ta JSON ayrıştırılması uygulamasını gerçekleştir
• [SPARK-50738] [SC-184856][python] Siyahı 23.12.1 sürümüne yükseltin
• [SPARK-50764] [SC-185930][python] Xpath ile ilgili yöntemlerin docstring'ini daraltma
• [SPARK-50798] [SC-186277][sql] İyileştirme NormalizePlan
• [SPARK-49883] [SC-183787][ss] State Store Checkpoint Yapısı V2 Entegrasyonu RocksDB ve RocksDBFileManager ile
• [SPARK-50779] [SC-186062][sql] Nesne düzeyinde harmanlamalar için özellik bayrağı ekleme
• [SPARK-50778] [SC-186183][python] PySpark DataFrame'e metadataColumn ekleme
• [SPARK-49565] [SC-186056][sql] DBR 16.x seçilen değişiklik: Kanal SQL operatörleriyle otomatik olarak oluşturulan ifade takma adlarını iyileştirme
• [SPARK-50541] [16.x][sc-184937] Tabloyu JSON Olarak Açıklama
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: SET, GENİŞLET, DROP işleçlerinden sonra tablo takma adlarını koru
• [SPARK-50769] [SC-185919][sql] HistogramNumeric'te ClassCastException Düzeltmesi
• [SPARK-49025] [SC-174667] Delta kodu farklılığını DBR'ye senkronizasyon
• [SPARK-50752] [SC-185547][python][SQL] Python UDF'sini Ok olmadan ayarlamak için yapılandırmalar eklendi
• [SPARK-50705] [SC-185944][sql] QueryPlan kilit gerektirmez hale getirme
• [SPARK-50690] [16.x][sc-184640][SQL] Sorgu çıktı sütunlarını görüntüleme DESCRIBE TABLE sorgu çıktı sütunlarındaki tutarsızlık düzeltildi
• [SPARK-50746] [SC-184932][sql] Birini VariantPathSegment ile değiştirin.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder yapılandırmaları toplu olarak ayarlar
• [SPARK-50480] [SC-183359][sql] CharType ve VarcharType'in StringType'tan türetilmesi
• [SPARK-50675] [SC-184539][sql] Tablo ve görünüm düzeyi harmanlama desteği
• [SPARK-50409] [SC-184516][sql] Set deyiminin SET;, SET -v; ve SET key; sonundaki ;’i yoksaymasını sağlamak için düzeltin.
• [SPARK-50743] [SC-185528][sql] CTERelationDef ve CTERelationRef Kimliklerini Normalleştirme
• [SPARK-50693] [SC-184684][connect] TypedScalaUdf girişleri analiz edilmelidir
• [SPARK-50744] [SC-184929][sql] Görünüm/CTE ad çözümleme önceliği için test durumu ekleme
• [SPARK-50710] [SC-184767][connect] Sürümden sonra oturumlara isteğe bağlı istemci yeniden bağlanma desteği eklendi
• [SPARK-50703] [SC-184843][python] regexp_replace, regexp_substr ve regexp_instr belge dizesini düzenleme
• [SPARK-50716] [SC-184823][core] JavaUtils.deleteRecursivelyUsingJavaIO yöntemindeki sembolik bağlantılar için temizleme mantığını düzeltme
• [SPARK-50630] [SC-184443][sql] Pipeline SQL TOPLAMA işleçleri için GROUP BY sıralı destek düzeltildi
• [SPARK-50614] [SC-184729][sql] Parquet için Değişken parçalama desteği ekleme
• [SPARK-50661] [SASP-4936] Eski istemci FEB için geriye dönük uyumluluk eklenmesi.
• [SPARK-50676] [SC-184641][sql] Kullanılmayan private lazy val mapValueContainsNull'nin ElementAt'ten kaldırılması
• [SPARK-50515] [SC-183813][core] SparkConf için salt okunur bir arabirim ekle
• [SPARK-50697] [SC-184702][sql] Mümkün oldukça kuyruk önelemesini etkinleştirme
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Spark connect'te ilk durum olmadığında FlatMapGroupsWithState için durum şemasını düzeltme
• [SPARK-50701] [SC-184704][python] Grafik çiziminde minimum Plotly sürümünü gerektirme
• [SPARK-50702] [SC-184727][python] regexp_count, regexp_extract ve regexp_extract_all belgelerinin açıklama dizesini iyileştirme
• [SPARK-50499] [SC-184177][python] BasePythonRunner'dan ölçümleri kullanıma açma
• [SPARK-50692] [SC-184705][16.x] RPAD pushdown desteği ekleme
• [SPARK-50682] [SC-184579][sql] İç Takma Ad standart hale getirilmelidir
• [SPARK-50699] [SC-184695][python] Belirtilen oturumla DDL dizesini ayrıştırma ve oluşturma
• [SPARK-50573] [SC-184568][ss] Şema evrimi için Durum Satırlarına Durum Şema Kimliği Ekleme
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Spark Connect Scala foreachBatch uygulamasını düzeltin. veri kümesini[T] desteklemek için.
• [SPARK-50689] [SC-184591][sql] LCA proje listelerinde belirlenimci sıralamayı zorunlu kılma
• [SPARK-50696] [SC-184667][python] DDL ayrıştırma yöntemi için Py4J çağrısını iyileştirme
• [SPARK-49670] [SC-182902][sql] Tüm geçiş ifadeleri için kırpma harmanlamasını etkinleştirme
• [SPARK-50673] [SC-184565][ml] Word2VecModel oluşturucuda model katsayılarını iki kez dolaşmaktan kaçının
• [SPARK-50687] [SC-184588][python] DataFrameQueryContext için yığın izlemeleri almak için mantığı iyileştirme
• [SPARK-50681] [SC-184662][python][CONNECT] MapInXXX ve ApplyInXXX için ayrıştırılmış şemayı önbelleğe alma
• [SPARK-50674] [SC-184589][python] UDTF değerlendirmesi sırasında 'terminate' yönteminin varlığını denetleme hatasını düzeltme
• [SPARK-50684] [SC-184582][python] DataFrameQueryContext'te Py4J performansını geliştirme
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] TransformWithStateInPandas için durum meta verilerinin yeni sürümü için destek eklendi
• [SPARK-50602] [SC-184439][sql] Geçersiz dizin sütunları belirtildiğinde düzgün bir hata iletisi göstermek için dönüştürmeyi düzeltme
• [SPARK-50650] [SC-184532][sql] Tek geçişli Çözümleyici'de günlüğe kaydetmeyi geliştirme
• [SPARK-50665] [SC-184533][sql] LocalRelation yerine NormalizePlan'da ComparableLocalRelation yazın
• [SPARK-50644] [SC-184486][sql] Parquet okuyucusunda varyant yapıyı okuyun.
• [SPARK-49636] [SC-184089][sql] INVALID_ARRAY_INDEX ve INVALID_ARRAY_INDEX_IN_ELEMENT_AT'da ANSI yapılandırma önerisini kaldırma
• [SPARK-50659] [SC-184514][sql] Tek geçişli Analizör'de yeniden kullanmak için Birleşim çıkış hesaplamasını yeniden düzenlemek
• [SPARK-50659] [SC-184512][sql] Birleşimle ilgili hataları QueryCompilationErrors'a taşıma
• [SPARK-50530] [SC-183419][sql] Hatalı örtük dize türü bağlam hesaplaması düzeltildi
• [SPARK-50546] [SC-183807][sql] Harmanlama türü zorlamasına alt sorgu atama desteği ekleme
• [SPARK-50405] [SC-182889][sql] Karmaşık veri türlerinin harmanlama türü zorlamasını düzgün bir şekilde işleme
• [SPARK-50637] [SC-184434][sql] Tek geçişli Çözümleyici için kod stilini düzeltme
• [SPARK-50638] [SC-184435][sql] Tek geçişli Çözümleyici'de yeniden kullanmak için görünüm çözünürlüğünü ayrı dosyada yeniden düzenleme
• [SPARK-50615] [SC-184298][sql] Taramaya değişken gönderme.
• [SPARK-50619] [SC-184210][sql] Cast bağımsız değişkenlerini paketlemek için VariantGet.cast dosyasını yeniden düzenleme
• [SPARK-50599] [SC-184058][sql] Avro ve UnsafeRow kodlamasına izin veren DataEncoder özelliğini oluşturma
• [SPARK-50076] [SC-183809] Logkeys'i düzelt
• [SPARK-50597] [SC-183972][sql] Optimizer.scala ve SparkOptimizer.scala'da toplu derleme yapısını yeniden düzenleme
• [SPARK-50339] [SC-183063][spark-50360][SS] Köken bilgilerini depolamak için değişiklik günlüğü etkinleştirme
• [SPARK-50526] [SC-183811][ss] Depolama kodlama formatı konfigürasyonunu offset günlüğüne ekleme ve desteklenmeyen durum bilgili işleçlerin avro kullanmasını engelleme
• [SPARK-50540] [SC-183810][python][SS] StatefulProcessorHandle için dize şemasını düzeltme
• [SPARK-50157] [SC-183789][sql] Önce SparkSession tarafından sağlanan SQLConf'ı kullanma.
• [SPARK-48898] [SC-183793][sql] Değişken şemasında null atanabilirliği doğru ayarlama
• [SPARK-50559] [SC-183814][sql] Except, Intersect ve Union'ın çıktılarını tembel değişkenler olarak sakla
• [SPARK-48416] [SC-183643][sql] İç içe geçmiş bağıntılı With ifadesi desteği
• [SPARK-50428] [SC-183566][ss][PYTHON] Toplu sorgularda TransformWithStateInPandas desteği
• [SPARK-50063] [SC-183350][sql][CONNECT] Spark Connect Scala istemcisinde Variant desteği eklendi
• [SPARK-50544] [SC-183569][python][CONNECT] Implementasyon StructType.toDDL
• [SPARK-50443] [SC-182590][ss] RocksDBStateStoreProvider'da Guava önbelleği tarafından sunulan Maven derleme hatalarını düzeltme
• [SPARK-50491] [SC-183434][sql] Boş BEGIN END bloklarının hata oluşturması sorununu düzeltin
• [SPARK-50536] [SC-183443][core] İndirilen arşiv dosyası boyutlarını SparkContext ve Executor kaydet
• [SPARK-45891] [SC-183439][sql] Parçalanmış verilerden değişken ikili dosyasını yeniden oluşturun.
• [SPARK-49565] [SC-183465][sql] FROM işleci için SQL kanal söz dizimi ekleme
• [SPARK-50497] [SC-183338][sql] MultiAlias oluşturucu olmayan bir işlev içeriyorsa sorguları uygun bir mesajla başarısız yapın.
• [SPARK-50460] [SC-183375][python][CONNECT] Connect özel durum işlemeyi genelleştirin ve basitleştirin
• [SPARK-50537] [SC-183452][connect][PYTHON] df.write.parquet'de sıkıştırma seçeneğinin değiştirilmesini düzeltme
• [SPARK-50329] [SC-183358][sql] InSet$toString düzeltmesi
• [SPARK-50524] [SC-183364][sql] Düzeyin hatalarını ayıklamak için alt RowBasedKeyValueBatch.spill uyarı iletisi
• [SPARK-50528] [SC-183385][connect] InvalidCommandInput'yi ortak modüle taşıma
• [SPARK-50017] [SC-182438][ss] TransformWithState işleci için Avro kodlama desteği
• [SPARK-50463] [SC-182833][sql] Columnar to Row dönüştürme ile ConstantColumnVector'yi düzeltme
• [SPARK-50235] [SC-180786][sql] ColumnarToRowExec içindeki tüm satırları işledikten sonra ColumnVector kaynağını temizleme
• [SPARK-50516] [SC-183279][ss][MINOR] StreamManualClock kullanmak için init durumuyla ilgili testi düzeltin
• [SPARK-50478] [SC-183188][sql] StringType eşleştirmesini düzeltme
• [SPARK-50492] [SC-183177][ss] dropDuplicatesWithinWatermark sonrasında olay zamanı sütunu bırakıldıktan sonra ortaya çıkan java.util.NoSuchElementException hatası düzeltildi.
• [SPARK-49566] [SC-182589][sql] SET işleci için SQL kanal söz dizimi ekleme
• [SPARK-50449] [SC-183178][sql] Döngüler, IF ve CASE için boş gövdelere izin veren SQL Betik dili dil bilgisi düzeltme
• [SPARK-50251] [SC-180970][python] PySpark'a getSystemProperty ekleme SparkContext
• [SPARK-50421] [SC-183091][core] Birden çok kaynak profili çalıştığında yürütücüyle ilgili yanlış bellek yapılandırması düzeltildi.
• [SPARK-49461] [SC-179572][ss] Günlükleri kaydetmek ve yeniden okumak için Kalıcı Denetim Noktası Kimliği
• [SPARK-50343] [SC-183119][spark-50344][SQL] DROP ve AS işleçleri için SQL kanalı söz dizimi ekleme
• [SPARK-50481] [SC-182880][core] Sağlama toplamı devre dışı bırakıldığında sağlama toplamı dosya mantığını atlamak için SortShuffleManager.unregisterShuffle geliştirildi.
• [SPARK-50498] [SC-183090][python] listFunctions'de gereksiz py4j çağrısından kaçının
• [SPARK-50489] [SC-183053][sql][PYTHON] applyInArrow sonra kendi kendine birleştirmeyi düzeltme
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres fix xor push-down

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBCindirin JDBCindirin).

Bakım güncelleştirmeleri

Bkz. Databricks Runtime 16.2 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları, 2024-08-04 tarihinde Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenmiştir: https://packagemanager.posit.co/cran/2024-08-04/.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)