Sunucusuz bilgi işlem sürüm notları

Bu makalede, not defterleri ve işler için sunucusuz işlemde şu anda kullanılabilen ve yaklaşan özellikler ve davranışlar açıklanmaktadır.

Sunucusuz işlem hakkında daha fazla bilgi için bkz . Sunucusuz işlemle bağlantı kurma.

Azure Databricks düzenli aralıklarla sunucusuz işlem güncelleştirmeleri yayınlar ve platforma yapılan iyileştirmeleri ve yükseltmeleri desteklemek için sunucusuz işlem çalışma zamanını otomatik olarak yükselter. Tüm kullanıcılar kısa bir süre içinde dağıtılan aynı güncelleştirmeleri alır.

Sunucusuz ortam sürümleri

Not defterleri ve işler için Databricks sunucusuz işlem Spark Connect tabanlı bir mimariye sahiptir ve uygulamayı etkilemeden bağımsız altyapı yükseltmelerine olanak tanır. Uygulama uyumluluğunu sağlamak için sunucusuz iş yükleri, ortam sürümü veya istemci olarak bilinen ve daha yeni sunucu sürümleriyle uyumlu kalan bir sürüme sahip API kullanır.

En son ortam sürümü, yeni bir sürüm yayınlanana kadar güncelleştirmeleri almaya devam eder. Kullanıcılar aşağıdaki desteklenen ortam sürümlerinden herhangi birini seçebilir:

• Sunucusuz ortam sürüm 2
• Sunucusuz ortam sürüm 1

Sürüm notları

Bu bölüm sunucusuz işlem için sürüm notlarını içerir. Sürüm notları yıla ve yılın haftasına göre düzenlenir. Sunucusuz işlem her zaman burada listelenen en son yayınlanan sürümü kullanarak çalışır.

• Sunucusuz not defterlerinde yüksek bellek ayarı (Genel Önizleme)
• Sürüm 16.1
• Sürüm 15.4
• JDK, JDK 8'den JDK 17'ye yükseltilir
• Sürüm 15.1
• Sürüm 14.3

Sunucusuz not defterlerinde yüksek bellek ayarı kullanılabilir (Genel Önizleme)

7 Şubat 2025

Artık sunucusuz işlem not defteri iş yükleriniz için daha yüksek bir bellek boyutu yapılandırabilirsiniz. Bu ayar hem etkileşimli hem de zamanlanmış not defteri iş yüklerine uygulanabilir.

Yüksek bellekli sunucusuz kullanım, standart bellekten daha yüksek bir DBU emisyon oranına sahiptir.

Daha fazla bilgi için sunucusuz iş yükleriniz için yüksek bellek yapılandırma bölümüne bakın.

Sürüm 16.1

5 Şubat 2025

Bu sunucusuz işlem sürümü kabaca Databricks Runtime 16.0 ve Databricks Runtime 16.1 karşılık gelir.

Yeni özellikler

• Özyinelemeli şema için avro desteği : Artık recursiveFieldMaxDepth işlevi ve from_avro veri kaynağı ile avro seçeneğini kullanabilirsiniz. Bu seçenek Avro veri kaynağında şema özyinelemesi için en yüksek derinliği ayarlar. Bkz . Akış Avro verilerini okuma ve yazma.

• Avro ile ilgili Confluent Schema Registry desteği genişletildi: Sunucusuz artık Confluent Schema Registry ile Avro şema referanslarını destekliyor. Bkz . Dış Confluent Schema Registry'de kimlik doğrulaması.

• Sıvı kümelemesi olan tablolarda yeniden kümelemeye zorla:OPTIMIZE FULL söz dizimini kullanarak sıvı kümelemesi etkin bir tablodaki tüm kayıtların yeniden kümelemeye zorlanmasını sağlayabilirsiniz. Zorla kümelemeye tüm kayıtlar içinbakın.

• Python için Delta API'leri artık kimlik sütunlarını destekliyor: Artık Kimlik sütunları içeren tablolar oluşturmak için Python için Delta API'lerini kullanabilirsiniz. Bkz. Delta Lake'te kimlik sütunlarını kullanma.

• Akış yazma işlemleri sırasında sıvı kümelenmiş tablolar oluşturma: Yapılandırılmış Akış yazmaları ile yeni tablolar oluştururken sıvı kümelemeye olanak tanımak için artık clusterBy kullanabilirsiniz. Bkz . Sıvı kümelemasını etkinleştirme.

• OPTIMIZE FULL yan tümcesi için Desteği: Sunucusuz işlem artık OPTIMIZE FULL yan tümcesini destekliyor. Bu yan tümce, daha önce kümelenmiş olabilecek veriler de dahil olmak üzere sıvı kümeleme kullanan bir tablodaki tüm kayıtları iyileştirir.

• INSERT ve tablo başvurusunda WITH seçenekleri belirtimi desteği: Sunucusuz işlem artık veri kaynaklarının davranışını denetlemek için kullanılabilecek bir deyiminin tablo başvuruları ve tablo adları için INSERT destekliyor.

• Yeni SQL işlevleri: Sunucusuz işlemde şu SQL işlevleri kullanılabilir:

  • try_url_decode, url_decode'nin hataya dayanıklı bir sürümüdür.
  • zeroifnull, zeroifnull() işlevine giriş ifadesi NULLise, 0 döndürür.
  • nullifzero, giriş 0 ise NULL veya 0 değilse girişi döndürür.
  • dayname(expr) verilen tarih için haftanın günü için üç harfli İngilizce kısaltmasını döndürür.
  • uniform(expr1, expr2 [,seed]) belirtilen sayı aralığında bağımsız ve aynı şekilde dağıtılmış değerlerle rastgele bir değer döndürür.
  • randstr(uzunluk)length alfasayısal karakterden oluşan rastgele bir dize döndürür.

• Desteği eklendi. İşlemler sırasında withSchemaEvolution() otomatik şema evrimi etkinleştirmek için kullanınMERGE. Örneğin, mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

• Apache Spark'ta harmanlamalar için Desteği Genel Önizleme aşamasındadır: Artık STRING sütun ve ifadelere dil kullanan, büyük/küçük harfe duyarlı olmayan ve erişime duyarsız harmanlamalar atayabilirsiniz. Bu harmanlamalar dize karşılaştırmalarında, sıralama, gruplandırma işlemlerinde ve birçok dize işlevinde kullanılır. Bkz. harmanlama.

• Delta Lake'teki harmanlamalar için Desteği Genel Önizleme aşamasındadır: Artık Delta tablosu oluştururken veya değiştirirken sütunlar için harmanlamalar tanımlayabilirsiniz. Delta Lakeiçin Sıralama desteğine bakın.

• Vakum için LITE modu Genel Önizleme aşamasındadır: Delta işlem günlüğündeki meta verilerden yararlanan daha hafif bir vakum işlemi gerçekleştirmek için artık VACUUM table_name LITE kullanabilirsiniz. Bkz. Tam ve lite modu ve VACUUM.

• USE CATALOG with IDENTIFIER yan tümcesini parametreleştirmek için Desteği:IDENTIFIER yan tümcesi artık USE CATALOG deyimi için desteklenmektedir. Bu destekle, geçerli kataloğu bir dize değişkenine veya parametre işaretçisine göre parametreleştirebilirsiniz.

• Tablolar ve görünümler için COMMENT ONCOLUMN desteği:COMMENT ON deyimi artık görünüm ve tablo sütunları için açıklamaları değiştirmeyi destekliyor.

• Daha fazla işlev için Adlandırılmış parametre çağırma: Aşağıdaki işlevler adlandırılmış parametre çağırma destekler:

  • varyant_patlama
  • variant_explode_outer
  • ve satır içi
  • inline_outer
  • posexplode
  • posexplode_outer

• SYNC METADATA komutuna REPAIR TABLE parametresi Hive meta veri deposuyla desteklenir: Artık SYNC METADATA komutuyla REPAIR TABLE parametresini kullanarak Hive meta veri deposu yönetilen tablosunun meta verilerini güncelleştirebilirsiniz. Bkz. REPAIR TABLE.

• Sıkıştırılmış Apache Arrow toplu işlemleri için gelişmiş veri bütünlüğü: Veri bozulmasına karşı daha fazla koruma sağlamak amacıyla artık her LZ4 sıkıştırılmış Arrow toplu işlemi, LZ4 içerik ve blok sağlama toplamlarını içerir. bkz. LZ4 Çerçeve Biçimi Açıklaması.

• Yerleşik Oracle JDBC Sürücüsü: Sunucusuz işlemde artık Oracle JDBC Sürücüsü yerleşik olarak bulunur. DriverManageraracılığıyla müşteri tarafından yüklenen bir JDBC sürücüsü JAR kullanıyorsanız, özel JAR'yi açıkça kullanmak için betikleri yeniden yazmanız gerekir. Aksi takdirde, yerleşik sürücü kullanılır. Bu sürücü yalnızca Lakehouse Federasyonu'nü destekler. Diğer kullanım örnekleri için kendi sürücünüzü sağlamanız gerekir.

• Yollarla erişilen Delta tabloları için daha ayrıntılı hatalar: Yollar kullanılarak erişilen Delta tabloları için yeni bir hata iletisi deneyimi kullanıma sunuldu. Tüm özel durumlar artık kullanıcıya iletilir. Özel durum DELTA_MISSING_DELTA_TABLE artık temel alınan dosyaların Delta tablosu olarak okunamadığı durumlar için ayrılmıştır.

Davranış değişiklikleri

• Kırıcı Değişiklik: Barındırılan RStudio'nun Kullanım Ömrünün Sonu: Bu sürümle birlikte, Databricks tarafından barındırılan RStudio Server, sunucusuz işlem üzerinde çalışan Azure Databricks çalışma alanlarında kullanım dışıdır. Daha fazla bilgi edinmek ve RStudio'nun alternatiflerinin listesini görmek için bkz. Barındırılan RStudio Server kullanımdan kaldırma.

• Hataya neden olan değişiklik: byte, short, int ve long türlerini daha geniş türlerle değiştirme desteğinin kaldırılması: Delta ve Iceberg tablolarında tutarlı davranış sağlamak için, türü genişletme özelliği etkin olan tablolara artık aşağıdaki veri türü değişiklikleri uygulanamıyor:

  • byte, shortint ve long için decimal.
  • byte, shortve int için double.

• İç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırılması: Bu sürüm, iç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırılmasını destekleyen bir değişiklik içerir. Örneğin, [^[abc]] "'abc'lerden biri olmayan herhangi bir karakter" olarak ayrıştırılır.

  Buna ek olarak, iç içe karakter sınıfları için Foton davranışı Spark ile tutarsızdı. İç içe karakter sınıfları içeren regex desenleri artık Photon kullanmaz ve spark kullanır. İç içe yerleştirilmiş karakter sınıfı, gibi [[a-c][1-3]]köşeli ayraçlar içinde köşeli ayraç içeren herhangi bir desendir.

• Delta Lake MERGE'de yinelenen eşleşme algılamasını geliştirme:MERGE artık WHEN MATCHED yan tümcesinde belirtilen koşulları dikkate alır. Birleştirmeyi kullanarak bkz . Delta Lake tablosuna upsert ekleme.

• addArtifact() işlevi artık işlem türleri arasında tutarlıdır: Sunucusuz işlemde bağımlılık eklemek için addArtifact(archive = True) kullandığınızda arşiv otomatik olarak açılır. Bu değişiklik, addArtifact(archive = True) davranışını arşivleri otomatik olarak açmayı zaten destekleyen tek kullanıcılı hesaplamayla tutarlı hale getirir.

• VARIANT veri türü artık karşılaştırma gerektiren işlemlerle kullanılamaz:VARIANT veri türü içeren sorgularda aşağıdaki yan tümceleri veya işleçleri kullanamazsınız:

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

  Ayrıca, şu DataFrame işlevlerini kullanamazsınız:

  • df.dropDuplicates()
  • df.repartition()

  Bu işlemler karşılaştırmalar gerçekleştirir ve VARIANT veri türünü kullanan karşılaştırmalar tanımsız sonuçlar üretir ve Databricks'te desteklenmez. Azure Databricks iş yüklerinizde veya tablolarınızda VARIANT türünü kullanırsanız, Databricks aşağıdaki değişiklikleri önerir:

  • VARIANT değerleriVARIANT olmayan veri türlerine açıkça aktarmak için sorguları veya ifadeleri güncelleştirin.
  • Yukarıdaki işlemlerden herhangi biriyle kullanılması gereken alanlarınız varsa, bu alanları VARIANT veri türünden ayıklayın veVARIANT olmayan veri türlerini kullanarak depolayın.

  Bkz. Varyant veri sorgula.

Hata düzeltmeleri

• Saat dilimi farkları artık CSV, JSON ve XML formatında seri hale getirildiğinde saniyeleri içeriyor. Saniyeleri içeren saat dilimi farklarına sahip zaman damgaları (1900'den önceki zaman damgaları için yaygındır) CSV, JSON ve XML olarak seri hale getirildiğinde saniyeleri içermezdi. Varsayılan zaman damgası biçimlendiricisi düzeltildi ve şimdi bu zaman damgaları için doğru uzaklık değerlerini döndürür.

Diğer değişiklikler

• cloudFiles Yapılandırılmış Akış kaynağı için Yeniden Adlandırılmış hata kodları: Aşağıdaki hata kodları yeniden adlandırıldı:
  • _LEGACY_ERROR_TEMP_DBR_0143 CF_INCORRECT_STREAM_USAGEolarak yeniden adlandırılır.
  • _LEGACY_ERROR_TEMP_DBR_0260 CF_INCORRECT_BATCH_USAGE olarak yeniden adlandırılır.

Sürüm 15.4

28 Ekim 2024, Cumartesi

Bu sunucusuz işlem sürümü kabaca Databricks Runtime 15.4'e karşılık gelir

Yeni özellikler

• UTF-8 doğrulama işlevleri: Bu sürüm, UTF-8 dizelerini doğrulamak için aşağıdaki işlevleri tanıtır:
  • is_valid_utf8 bir dizenin geçerli bir UTF-8 dizesi olup olmadığını doğruladı.
  • make_valid_utf8, değiştirme karakterlerini kullanarak geçersiz olabilecek bir UTF-8 dizesini geçerli bir UTF-8 dizesine dönüştürür.
  • giriş geçerli bir UTF-8 dizesi değilse validate_utf8 bir hata oluşturur.
  • try_validate_utf8, giriş geçerli bir UTF-8 dizesi değilse döndürürNULL.
• ALTER TABLEkullanarak UniForm Iceberg'i etkinleştirme: Artık veri dosyalarını yeniden yazmadan mevcut tablolarda UniForm Buzdağı'nı etkinleştirebilirsiniz. Bkz. mevcut bir tabloda Iceberg okumalarını etkinleştirme.
• try_url_decode işlevi: Bu sürüm, URL ile kodlanmış bir dizenin kodunu çözen try_url_decode işlevini tanıtır. Dize doğru biçimde değilse, işlev hata oluşturmak yerine döndürür NULL .
• İsteğe bağlı olarak iyileştiricinin zorunlu olmayan yabancı anahtar kısıtlamalarına güvenmesine izin verin: Sorgu performansını artırmak için artık create veya ALTER tablo kısıtlamaları üzerinde anahtar sözcüğünü belirtebilirsiniz.
• Seçmeli üzerine yazmalar için paralel iş yürütme: Seçmeli üzerine yazmalar kullanan replaceWhere, artık verileri silip yeni verileri paralel olarak ekleyen işleri çalıştırarak sorgu performansını ve küme kullanımını iyileştirir.
• Seçmeli üzerine yazmalarla değişiklik veri akışı için geliştirilmiş performans: Değişiklik veri akışı olan tablolarda replaceWhere kullanan seçmeli üzerine yazmalar artık eklenen veriler için ayrı değişiklik veri dosyaları yazmaz. Bu işlemler, değişiklikleri yazma amplifikasyonu olmadan kaydetmek için temel Parquet veri dosyalarında bulunan gizli bir _change_type sütunu kullanır.
• Komut için COPY INTO sorgu gecikme süresi geliştirildi: Bu sürüm, komutun sorgu gecikme süresini COPY INTO geliştiren bir değişiklik içerir. Bu geliştirme, RocksDB durum deposu tarafından durum yüklemesini zaman uyumsuz hale getirerek uygulanır. Bu değişiklikle, zaten alınmış çok sayıda dosya içeren sorgular gibi büyük durumlara sahip sorguların başlangıç zamanlarında bir gelişme görmeniz gerekir.
• Denetim kısıtlamaları tablosu özelliğini bırakma desteği: Artık checkConstraintskullanarak ALTER TABLE table_name DROP FEATURE checkConstraints tablo özelliğini delta tablosundan bırakabilirsiniz. Bkz. Denetim kısıtlamalarını devre dışı bırakma.

Davranış değişiklikleri

• görünümler için şema bağlama değişikliği : Görünümün temel sorgularındaki veri türleri, görünüm ilk oluşturulduğunda kullanılanlardan değiştiğinde Databricks artık güvenli bir atama gerçekleştirilemiyorsa görünüme başvurular için hata oluşturmaz.

  Bunun yerine, görünüm , mümkün olduğunca normal dönüştürme kurallarını kullanarak telafi eder. Bu değişiklik, Databricks'in tablo şeması değişikliklerini daha hazır bir şekilde tolere etmesine olanak tanır.

• ! Databricks artık boole mantığının dışında bir eş anlamlı NOT olarak kullanılmasını tolere etmeyecektir.! Bu değişiklik karışıklığı azaltır, SQL standardıyla uyumludur ve SQL'i daha taşınabilir hale getirir. Örneğin:

  CREATE ... IF ! EXISTS, IS ! NULL, ! NULL sütun veya alan özelliği, ! IN ve ! BETWEEN ile değiştirilmelidir.

  CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL sütun veya alan özelliği, NOT IN ve NOT BETWEEN.

  Boole ön ek işleci! (ör. !is_mgr veya !(true AND false)) bu değişiklikten etkilenmez.

• Görünümlerde sütun tanımı söz diziminin belgelenmemiş ve işlenmemiş bölümlerine izin verilmemelidir: Databricks, adlandırılmış sütunlar ve sütun açıklamalarıyla CREATE VIEW destekler.

  Sütun türlerinin, NOT NULL kısıtlamaların veya DEFAULT belirtimi söz diziminde herhangi bir etkisi olmadan tolere edilmiştir. Databricks bu söz dizimi toleranslarını kaldırır. Bunun yapılması karışıklığı azaltır, SQL standardıyla uyumludur ve gelecekteki iyileştirmelere olanak tanır.

• Spark ve Photon'da Base64 kod çözme için tutarlı hata işleme: Bu sürüm, Photon'un Base64 kod çözme hatalarını işleme biçimini bu hataların Spark işlemesi ile eşleşecek şekilde değiştirir. Bu değişikliklerden önce, Photon ve Spark kod oluşturma yolu bazen ayrıştırma özel durumlarını tetiklemezken Spark yürütmeyi doğru veya olarak yorumladı IllegalArgumentExceptionConversionInvalidInputError. Bu güncelleştirme, Photon'un Base64 kod çözme hataları sırasında Spark ile tutarlı bir şekilde aynı özel durumları oluşturmasını sağlayarak daha öngörülebilir ve güvenilir hata işleme sağlar.

• Geçersiz bir sütuna CHECK kısıtlaması eklemek artık UNRESOLVED_COLUMN.WITH_SUGGESTION hata sınıfını döndürüyor: Daha faydalı hata mesajları sağlamak için, Databricks Runtime 15.3 ve üzeri sürümlerde, geçersiz sütun adına başvuran bir ALTER TABLE ADD CONSTRAINT deyimi içeren CHECK kısıtlaması UNRESOLVED_COLUMN.WITH_SUGGESTION hata sınıfını döndürüyor. Daha önce bir INTERNAL_ERROR döndürüldü.

JDK, JDK 8'den JDK 17'ye yükseltilir

15 Ağustos 2024, Ağustos 2024, Saat 20:00

Not defterleri ve iş akışları için sunucusuz işlem, sunucu tarafında Java Development Kit (JDK) 8'den JDK 17'ye geçirildi. Bu yükseltme aşağıdaki davranış değişikliklerini içerir:

• İç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırılması: Bu yükseltmeyle Azure Databricks artık iç içe karakter gruplandırmasında olumsuzlama ile regex desenlerinin doğru ayrıştırma işlemini destekliyor. Örneğin, [^[abc]] "'abc'lerden biri olmayan herhangi bir karakter" olarak ayrıştırılır.

  Buna ek olarak, iç içe karakter sınıfları için Foton davranışı Spark ile tutarsızdı. İç içe karakter sınıfları içeren regex desenleri artık Photon kullanmaz ve spark kullanır. İç içe yerleştirilmiş karakter sınıfı, gibi [[a-c][1-3]]köşeli ayraçlar içinde köşeli ayraç içeren herhangi bir desendir.

Sürüm 15.1

23 Temmuz 2024, Saat 2024, Temmuz 2024, Saat 20:00

Bu sunucusuz işlem sürümü kabaca Databricks Runtime 15.1'e karşılık gelir

Yeni özellikler

yan tümcesinde yıldız () söz dizimi için destek : Artık listesindeki tüm sütunlara başvurmak için yan tümcesindeki yıldız () söz dizimini kullanabilirsiniz.

Örneğin, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Değişiklikler

JSON ayrıştırma için geliştirilmiş hata kurtarma: ve JSON yol ifadeleri için from_json() kullanılan JSON ayrıştırıcısı artık yanlış biçimlendirilmiş söz diziminden daha hızlı kurtarılarak daha az veri kaybına neden olur.

Yapı alanında, dizi değerinde, eşleme anahtarında veya eşleme değerinde hatalı biçimlendirilmiş JSON söz dizimi ile karşılaşıldığında, JSON ayrıştırıcısı artık yalnızca okunamayan alan, anahtar veya öğe için döndürülecektir NULL . Sonraki alanlar, anahtarlar veya öğeler düzgün şekilde ayrıştırılır. Bu değişiklik öncesinde JSON ayrıştırıcısı dizi, yapı veya eşleme ayrıştırma işlemini bıraktı ve kalan içerik için döndürüldü NULL .

Sürüm 14.3

15 Nisan 2024, Saat 2024, Temmuz 2024, Saat 20:00

Bu, ilk sunucusuz işlem sürümüdür. Bu sürüm kabaca Databricks Runtime 14.3 bazı sunucusuz ve eski özelliklerin desteğini kaldıran bazı değişikliklere karşılık gelir.

Desteklenen Spark yapılandırma parametreleri

Sunucusuz işlemde Spark yapılandırmasını otomatikleştirmek için, Azure Databricks çoğu Spark yapılandırmasının el ile ayarlanması desteğini kaldırmıştır. Yalnızca aşağıdaki Spark yapılandırma parametrelerini el ile ayarlayabilirsiniz:

• spark.sql.legacy.timeParserPolicy (Varsayılan değer CORRECTED)
• spark.sql.session.timeZone (Varsayılan değer Etc/UTC)
• spark.sql.shuffle.partitions (Varsayılan değer auto)
• spark.sql.ansi.enabled (Varsayılan değer true)

Bu listede olmayan bir Spark yapılandırması ayarlarsanız sunucusuz işlem üzerinde çalışan iş başarısız olur.

Spark özelliklerini yapılandırma hakkında daha fazla bilgi için bkz. Azure DatabricksSpark yapılandırma özelliklerini ayarlama.

input_file işlevleri kullanım dışı bırakıldı

input_file_name(), input_file_block_length() ve input_file_block_start() işlevleri kullanım dışı bırakıldı. Bu işlevlerin kullanılması önerilmez.

Bunun yerine, dosya meta verileri bilgilerini almak için dosya meta veri sütununu kullanın.

Davranış değişiklikleri

Sunucusuz işlem sürümü 2024.15 aşağıdaki davranış değişikliklerini içerir:

• unhex(hexStr) hata düzeltmesi: İşlev kullanılırken unhex(hexStr) , hexStr her zaman bir baytta sola doldurulur. Daha önce unhex işlevi ilk yarım baytı yoksaymıştı. Örneğin: unhex('ABC') artık yerine x'0ABC'üretirx'BC'.
• Otomatik oluşturulan sütun takma adları artık kararlıdır: Bir ifadenin sonucuna kullanıcı tarafından belirtilen bir sütun takma adı olmadan başvurulduğunda, otomatik oluşturulan bu takma ad artık kararlı olacaktır. Yeni algoritma, gerçekleştirilmiş görünümler gibi özelliklerde kullanılan önceden otomatik olarak oluşturulan adlarda değişiklik olmasına neden olabilir.
• CHAR tür alanlarıyla Tablo taramaları artık her zaman doldurulmuş durumdadır: Delta tabloları, belirli JDBC tabloları ve dış veri kaynakları CHAR verilerini doldurulmamış biçimde depolar. Okurken Azure Databricks artık doğru semantiği sağlamak için verileri belirtilen uzunlukta boşluklarla doldurmaya devam edecektir.
• Atamaları BIGINT/DECIMAL'den TIMESTAMP'ye taşan değerler için bir özel durum oluşturur: Azure Databricks, değeri Unix döneminin saniye sayısı olarak kabul ederek BIGINT ve DECIMAL'den TIMESTAMP'ye dönüştürmeye izin verir. Daha önce Azure Databricks aşım değerler döndürüyordu, ancak artık aşım durumlarında istisna fırlatıyor. Özel durum yerine NULL döndürmek için kullanın try_cast .
• PySpark UDF yürütmesi, tek kullanıcı işlemlerinde UDF yürütmesinin tam davranışıyla eşleşecek şekilde geliştirilmiştir: Aşağıdaki değişiklikler yapılmıştır:
  • Dize dönüş türüne sahip UDF'ler artık dize olmayan değerleri örtük olarak dizelere dönüştürmez. Daha önce, dönüş türüne str sahip UDF'ler, döndürülen değerin gerçek veri türünden bağımsız olarak sonuda bir str(..) sarmalayıcı uygulardı.
  • timestamp dönüş türlerine sahip UDF'ler tarih damgalarına artık örtülü olarak saat dilimi dönüştürmesi uygulamaz.