Databricks Runtime 10.3 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.2.1 tarafından desteklenen Databricks Runtime 10.3 ve Databricks Runtime 10.3 Photon hakkında bilgi sağlar. Photon, Genel Önizleme aşamasındadır. Databricks bu sürümü Şubat 2022'de yayımladı.

Yeni özellikler ve geliştirmeler

• Parquet ve Avro yazarları artık Parquet veri kaynaklarında zaman damgalarını yeniden oluştururken oturum saat dilimini kullanıyor
• Spark SQL'deki yeni işlevler
• Düşük karıştırmalı birleştirme genel kullanıma sunuldu
• Yeni COPY INTO özellikleri: doğrulama modu ve schema evrim
• Kimlik columns artık Delta tables (Genel Önizleme)

Parquet ve Avro yazarları artık Parquet veri kaynaklarında zaman damgalarını yeniden oluştururken oturum saat dilimini kullanıyor

Parquet ve Avro yazarları artık varsayılan JVM saat dilimini kullanmak yerine zaman damgası modda yeniden başlatılırken legacy oturum saat dilimini kullanır. Oturum saat dilimi, varsayılan olarak set tipi saat diliminden JVM saat dilimine ayarlanır.

Spark SQL'deki yeni işlevler

Aşağıdaki Spark SQL işlevleri artık bu sürümde desteklenmektedir:

• aes_decrypt: AES kullanarak girişin şifresini çözer.
• aes_encrypt: AES kullanarak girişi şifreler.
• contains: bir ifadenin başka bir ifade içerip içermediğini belirler.
• endswith: bir ifadenin başka bir ifadeyle bitip bitmeyeceğini belirler.
• percentile_cont: bir yüzdebirlik değer döndürür.
• startswith: bir ifadenin başka bir ifadeyle başlayıp başlamadığını belirler.

Düşük karıştırmalı birleştirme genel kullanıma sunuldu

Delta MERGE INTO komutu, değiştirilmemiş satırların karıştırılma oranını azaltan düşük karıştırmalı birleştirme adlı bir teknik kullanır. Bu, komutun performansını artırır ve tableüzerinde Z sıralama gibi mevcut kümelemenin korunmasına yardımcı olur. Bu işlev Genel Önizleme için Databricks Runtime 9.0'da kullanıma sunulmuştur ve genel kullanıma sunulmuştur. Düşük karıştırmalı birleştirmeyi etkinleştirmek için setspark.databricks.delta.merge.enableLowShuffle'den true'ye. Bkz. Azure Databricks'te düşük karışık birleştirme.

Yeni COPY INTO özellikleri: doğrulama modu ve schema evrimi

Doğrulama modu: COPY INTO artık bir table yüklenecek verilerin doğrulanması wheretableyazılmadığını VALIDATE modunu destekliyor. Bu doğrulamalar şunlardır:

• Verilerin ayrıştırılıp ayrıştırılamayacağı.
• schema table ile eşleşip eşleşmediği veya schema geliştirilmesi gerekip gerekmediği.
• Tüm null atanabilirlik ve denetim kısıtlamalarının karşılanıp karşılanmadığı.

Örnek kullanım:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

Varsayılan değer, yüklenecek tüm verileri doğrulamaktır. anahtar sözcüğüyle ROWS doğrulanacak bir dizi satır sağlayabilirsiniz, örneğin VALIDATE 15 ROWS. deyimi COPY INTO , anahtar sözcükle 50'den az bir sayı kullanıldığında 50 satır veya daha az olan verilerin önizlemesini ROWS döndürür.

Schema evrim: COPY INTO artık COPY_OPTIONS'deki mergeSchema seçeneğiyle schema evrimi destekliyor. Bir table'in schema'ını geliştirmek için tableüzerinde OWN izinlerine sahip olmalısınız.

Örnek kullanım:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Bkz. COPY INTO.

Kimlik columns artık Delta tables'de (Herkese Açık Önizleme) destekleniyor.

Delta Lake artık kimlik columns'ı destekliyor. table ile kimlik tanımlayan bir Delta columnyazdığınızda ve bu columniçin values sağlamadığınızda, Delta artık otomatik olarak benzersiz ve istatistiksel olarak artan veya azalan bir değer atar. Bkz. CREATE TABLE [KULLANARAK].

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • 0.3.3 ile 0.3.4
  • 3.4.0 ile 3.4.2 arasında dosya kilidi
  • 1.19.2 ile 1.20.1
  • çizim 5.3.1 ile 5.5.0
• Yükseltilen R kitaplıkları:
  • 1.4.0 ile 1.4.1 için backports
  • brio from 1.1.2 to 1.1.3
  • süpürge 0.7.10 ile 0.7.11
  • 7.3-19 ile 7.3-20 arası sınıf
  • cpp11 0.4.1 ile 0.4.2
  • DBI 1.1.1 ile 1.1.2
  • 2.4.2 ile 2.4.3 arasında geliştirici araçları
  • özet 0.6.28 ile 0.6.29
  • dtplyr 1.1.0 ile 1.2.0
  • 0.5.0 ile 1.0.2 arası fansi
  • 0,8-81 ile 0,8-82 arası yabancı
  • fs 1.5.0 ile 1.5.2
  • 1.4.3'ten 1.5.0'a kadar gert
  • 1.5.0'dan 1.6.0'a tutkalla
  • httpuv 1.6.3 ile 1.6.5
  • 1.7.2 ile 1.7.3 arasındaki jsonlite
  • 1,36'dan 1,37'ye kadar örgü örme
  • 7,3-54'ten 7,3-55'e KADAR KÜTLE
  • 1,3-4 ile 1,4-0 arası matris
  • nlme 3.1-152 ile 3.1-155 arası
  • nnet frm 7.3-16 - 7.3-17
  • 1.4.5 ile 1.4.6 arasını açar
  • paralel olarak 1.29.0 ile 1.30.0
  • pkgbuild 1.2.0 ile 1.3.1
  • 1.2.3'ten 1.2.4'e pkgload
  • 0.9.0'dan 0.10.0'a kadar ilerleme
  • Rcpp 1.0.7 ile 1.0.8
  • 2.1.0 ile 2.1.1 için readr
  • 2.4.1 ile 2.4.2 uzaktan kumandaları
  • 2.2.8 ile 2.2.9 arasında RSQLite
  • 1.2.1 ile 1.2.2 oturum bilgileri
  • sparklyr 1.7.2 ile 1.7.4
  • 3.1.0'dan 3.1.1'e kadar olan test
  • tinytex 0,35'ten 0,36'ya
  • 2.1.3 ile 2.1.5
  • 1.5.6 ile 1.5.7 arasında vroom
  • 2.4.2 ile 2.4.3
  • 0,28 ile 0,29 xfun
  • 1.3.2 ile 1.3.3 arasındaki xml2
• Yükseltilen Java kitaplıkları:
  • dev.ludovic.netlib.arpack 1.3.2 ile 2.2.1 arasında
  • dev.ludovic.netlib.blas 1.3.2 ile 2.2.1 arasında
  • dev.ludovic.netlib.lapack 1.3.2 ile 2.2.1 arasında
  • 0.2.0 ile 0.3.0 arasındaki io.delta.delta-sharing-spark_2.12

Apache Spark

Databricks Runtime 10.3, Apache Spark 3.2.1'i içerir. Bu sürüm, Databricks Runtime 10.2'de (EoS) bulunan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-37896] [SQL] ConstantColumnVector uygulama ve gizli dosya meta verilerinin performansını geliştirme
• [SPARK-37924] [SQL] VIEW (v1) üzerinde table özelliklerini SHOW CREATE TABLE içinde anahtara göre sıralama.
• [SPARK-37636] [SQL] CREATE AD ALANıNı varsayılan olarak V2 komutunu kullanacak şekilde geçirme
• [SPARK-37381] [SQL] v1 ve v2 SHOW CREATE TABLE testlerini birleştirme
• [SPARK-37876] [CORE][SQL] Şuraya taşı SpecificParquetRecordReaderBase.listDirectory : TestUtils
• [SPARK-37854] [CORE] Tür denetimini Spark kodunda desen eşleştirme ile değiştirme
• [SPARK-36967] [CORE] Çarpıtılmışsa doğru karıştırma bloğu boyutunu bildirin
• [SPARK-37864] [SQL] Parquet DataPage V2 ile RLE kodlamasını kullanma values vektörleştirilmiş okuma boole'yu destekleme
• [SPARK-37862] [SQL] RecordBinaryComparator, hizalanmamış platformla hizalama denetimini hızla atlamalıdır
• [SPARK-37855] [SQL] İç içe bir yapı içindeki bir diziyi dönüştürürken IllegalStateException
• [SPARK-37858] [SQL] AES işlevlerinden hata sınıflarıyla oluşturma SparkRuntimeException
• [SPARK-37841] [SQL] BasicWriteTaskStatsTracker atlanan bir dosya için get durumunu denememelidir
• [SPARK-37860] [UI] Aşama sayfası görev olayı zaman çizelgesindeki taskindex'i düzeltme
• [SPARK-36879] [SQL] Vektörleştirilmiş yol için Parquet v2 veri sayfası kodlamasını (DELTA_BINARY_PACKED) destekleme
• [SPARK-37828] [SQL] RebalancePartitions aracılığıyla filtreleri aşağı gönderme
• [SPARK-37802] [SQL][3.2] Bileşik alan adı Toplama aşağı gönderme ile çalışmalıdır
• [SPARK-37826] [SQL] Hive orc impl için ORC dosya adlarında zstd codec adını kullanma
• [SPARK-37820] [SQL] Dize funcs için ApacheCommonBase64 yerine JavaBase64 yazın
• [SPARK-37832] [SQL] Orc yapısı dönüştürücüsü, bağlı list yerine alan dönüştürücülerini aramak için bir dizi kullanmalıdır
• [SPARK-37786] [SQL] StreamingQueryListener, SQLConf kullanımını destekler. İlgili SessionState'in SQLConf içingetget
• [SPARK-37527] [SQL] Aşağı itme için daha fazla standart toplama işlevi çevirin
• [SPARK-37777] [SQL] UpdateSHOW FUNCTIONS SQL söz dizimi
• [SPARK-8582] [CORE] Gerçek olarak bunu yapmak isteyip istemediğiniz sorulduğunda denetim noktası hevesle
• [SPARK-37822] [SQL] StringSplit null olmayan öğelerde bir dizi döndürmelidir
• [SPARK-37812] [SQL] Bir Orc yapısını seri durumdan çıkarırken, mümkün olduğunda sonuç satırını yeniden kullanın
• [SPARK-37367] [SQL] DDLParserSuite.create görünümünde özel durum testlerini yeniden kullanılabilir – temel
• [SPARK-37796] [SQL] ByteArrayMethods dizisiEquals, hizalanmamış platformla hizalama denetimini hızla atlamalıdır
• [SPARK-37817] [SQL][Minor] Remove complexTypeExtractors.scala dosyasında erişilemeyen kod
• [SPARK-37807] [SQL] HttpAuthenticationException iletisindeki yazım hatası düzeltilir
• [SPARK-37750] [SQL] ANSI modu: öğe dizi/eşlem içinde yoksa isteğe bağlı olarak null sonuç döndür
• [SPARK-37789] [SQL] DS V2'de genel toplama işlevlerini temsil eden bir sınıf ekleme
• [SPARK-37785] [SQL][CORE] Utils.isInRunningSparkTask ekleme
• [SPARK-37780] [SQL] QueryExecutionListener desteği, ilgili SessionState'in SQLConf'ine karşılık gelen SQLConf'u kullanır.getget
• [SPARK-37783] [SS][SQL][CORE] Mümkün olduğunca kuyruk özyinelemesi etkinleştirme
• [SPARK-37726] [SQL] Sıralama birleştirme join için taşma boyutu ölçümleri ekleme
• [SPARK-37800] [SQL] TreeNode.argString Settüründeki bağımsız değişkenleri yanlış biçimlendiriyor [_]
• [SPARK-37716] [SQL] LateralJoin'de belirleyici olmayan ifadeler olduğunda hata iletilerini geliştirme
• [SPARK-37779] [SQL] ColumnarToRowExec planını serileştirmeden sonra kurallı hale getirme
• [SPARK-37578] [SQL] Update ds v2 özel ölçümlerinden görev ölçümleri
• [SPARK-37676] [SQL] ANSI Toplama İşlevini Destekleme: percentile_cont
• [SPARK-37724] [SQL] ANSI modu: ANSI ayrılmış anahtar sözcüklerini varsayılan olarak devre dışı bırakma
• [SPARK-37705] [SQL][3.2] Parquet/Avro meta verilerinde kaydedilen oturum saat dilimindeki zaman damgalarını yeniden temel alma
• [SPARK-34755] [SQL] Dönüştürme numarası biçimi için yardımcı programları destekleme
• [SPARK-36703] [SQL] RepartitionByExpression'ın alt öğesiyse Sıralamayı
• [SPARK-37369] [SQL] InMemoryTableScan'da yedekli ColumnarToRow geçişini önle
• [SPARK-37450] [SQL] Gereksiz alanları Generate'den buda
• [SPARK-37728] [SQL] ORC vektörleştirilmiş okuyucu ile iç içe columns okumak ArrayIndexOutOfBoundsException'a neden olabilir
• [SPARK-37564] [SQL] Gruplandırma anahtarları olmadan sıralama toplaması için kod gen'i ekleme
• [SPARK-37659] [UI][3.2] list ve delet günlük bilgileri arasındaki FsHistoryProvider yarış durumu düzeltildi
• [SPARK-37727] [SQL] SparkSession.builder.getOrCreate dosyasında zaten set olan conf için yoksayılan konfederasyonları göster & uyarıları gizleyin
• [SPARK-37391] [SQL]JdbcConnectionProvider güvenlik bağlamı değiştirip değiştirmediğini söyler
• [SPARK-37273] [SQL] Spark SQL'de gizli dosya meta verileri columns desteği
• [SPARK-36876] [SQL] HiveTableScanExec için Dinamik Partition ayıklamayı destekler
• [SPARK-37546] [SQL] V2 ReplaceTableAsSelect komutunda konum olmalıdır qualify
• [SPARK-37545] [SQL] V2 CreateTableAsSelect komutunun qualify konum belirlemesi gereklidir.
• [SPARK-37707] [SQL] Tarih saat türleri arasında mağaza atamasına ve örtük atamaya izin ver
• [SPARK-37644] [SQL] Destek veri kaynağı v2 tam toplama gönderimi
• [SPARK-37695] [CORE][SHUFFLE] İtme tabanlı karıştırmadan ob birleştirilmiş blokları tanılamayı atlayın
• [SPARK-35295] [ML] tam com.github.fommil.netlib yerine dev.ludovic.netlib:2.0 yazın
• [SPARK-37694] [SQL] Spark SQL CLI'da kaynakları silmeye izin verme
• [SPARK-37330] [SQL] ReplaceTableStatement'i v2 komutuna geçirme
• [SPARK-27974] [SQL] ANSI Toplama İşlevi Desteği: array_agg
• [SPARK-36902] [SQL] CreateTableAsSelectStatement öğesini v2 komutuna geçirme
• [SPARK-37678] [PYTHON] _cleanup_and_return imzayı düzeltme
• [SPARK-37613] [SQL] ANSI Toplama İşlevi Desteği: regr_count
• [SPARK-37689] [SQL] Genişletme, PropagateEmptyRelation'da desteklenmelidir
• [SPARK-37654] [SQL] Alan Null olduğunda Row.getSeq dosyasındaki NPE düzeltildi
• [SPARK-37496] [SQL] ReplaceTableAsSelectStatement öğesini v2 komutuna geçirme
• [SPARK-37483] [SQL] Üst N'yi JDBC veri kaynağı V2'ye gönderme desteği
• [SPARK-37577] [SQL] ClassCastException Hatasını Düzeltme: ArrayType, StructType olarak yayınlanamaz Generate Ayıklama için
• [SPARK-37310] [SQL] ALTER AD ALANıNı geçir ... SET ÖZELLİKLERİ, varsayılan olarak V2 komutunu kullanacak şekilde ayarlayın.
• [SPARK-37501] [SQL] CREATE/REPLACE TABLE, v2 komutu için konum qualify olmalıdır
• [SPARK-37343] [SQL] JDBC'de createIndex, IndexExists ve dropIndex uygulama (Postgres diyalekt)
• [SPARK-37060] [CORE][3.2] Yedekleme ana kaynaklarından sürücü durumu yanıtını işleme
• [SPARK-37629] [SQL] İfadeyi Hızlandırma.kurallı hale getirilmiş
• [SPARK-37633] [SQL] Aşağı yayın başarısız olursa unwrap cast atlanmalıdır...
• [SPARK-37631] [SQL] Matematik işlevlerinde dizeleri çift türe yükseltmeye yönelik kod temizleme
• [SPARK-37569] [SQL] İç içe görünüm alanlarını null atanabilir olarak işaretlemeyin
• [SPARK-37557] [SQL] Alt öğe zaten sıralanmışsa nesne karması ile sıralama toplamını değiştirme
• [SPARK-36850] [SQL] CreateTableStatement'i v2 komut çerçevesine geçirme
• [SPARK-37592] [SQL] Performansını geliştirme JoinSelection
• [SPARK-37217] [SQL] Dış tables'ye yazmadan önce dinamik bölüm sayısı erken kontrol edilmelidir.
• [SPARK-37584] [SQL] Yeni SQL işlevi: map_contains_key
• [SPARK-37455] [SQL] Alt öğe zaten sıralanmışsa karmayı sıralama toplamasıyla değiştirme
• [SPARK-34735] [SQL][UI] Kullanıcı arabiriminde SQL yürütmesi için değiştirilmiş yapılandırmalar ekleme
• [SPARK-37540] [SQL] Daha fazla desteklenmeyen zaman yolculuğu algılama
• [SPARK-37376] [SQL] Yeni bir DataSource V2 arabirimi HasPartitionKey tanıtın
• [SPARK-37666] [SQL] 'da varsayılan mod olarak
• [SPARK-37573] [SQL] IsolatedClientLoader her zaman hadoop-2.7.4 değil ilgili sürüme geri dönmeli
• [SPARK-37561] [SQL] Hive'ın DelegationToken'ini alırken tüm işlevleri yüklemekten kaçının
• [SPARK-37370] [SQL] 3.3'te yeni eklenen join code-gen'i denetlemek için SQL yapılandırmaları ekleme
• [SPARK-37311] [SQL] ALTER AD ALANıNı geçir ... SET KONUM'unu varsayılan olarak V2 komutunu kullanmak üzere ayarlayın.
• [SPARK-37192] [SQL] SHOW TBLPROPERTIES varsayılan olarak V2 komutunu kullanacak şekilde değiştirme
• [SPARK-37219] [SQL] AS OF söz dizimi desteği ekleme
• [SPARK-37316] [SQL] Varlık sıralama birleştirme join için kod gen ekleme
• [SPARK-37591] [SQL] GCM modunu destekleyen aes_encrypt()/aes_decrypt()
• [SPARK-37586] [SQL] mode ve padding args öğesini ekleme aes_encrypt()/aes_decrypt()
• [SPARK-12567] [SQL] aes_encrypt ve aes_decrypt yerleşik işlevler ekleme
• [SPARK-37392] [SQL] Generate kısıtlamaları çıkarılırken performans hatasını düzeltin
• [SPARK-37481] [Çekirdek][WebUI] Atlanan aşamaların yeniden denendikten sonra ortadan kaybolması düzeltildi
• [SPARK-37533] [SQL] Yeni SQL işlevi: try_element_at
• [SPARK-37451] [SQL] spark.sql.legacy.allowNegativeScaleOfDecimal etkinse, dize türünü ondalık türe dönüştürme düzeltin
• [SPARK-37062] [SS] Mikrobatch başına tutarlı set satır sağlamak için yeni bir veri kaynağı sunun
• [SPARK-37552] [SQL] İşlevi convert_timezone() ekleme
• [SPARK-37555] [SQL] spark-sql son kapatılmamış açıklamayı arka uca geçirmelidir
• [SPARK-37286] [SQL] JDBCRDD'den JdbcDialect'e compileAggregates taşıma
• [SPARK-37485] [CORE][SQL] yerine hiçbir sonuç üretmeyen ifadelerle değiştirin mapforeach
• [SPARK-37556] [SQL] Deser void sınıfı Java serileştirme ile başarısız oldu
• [SPARK-37520] [SQL] startswith() ve endswith() dize işlevlerini ekleme
• [SPARK-37471] [SQL] iç içe yerleştirilmiş köşeli ayraçlı açıklama içinde spark-sql desteği ;
• [SPARK-37360] [SQL] JSON veri kaynağında TimestampNTZ desteği
• [SPARK-37508] [SQL] ADD CONTAINS() dize işlevi
• [SPARK-37494] [SQL] Komutun v1 ve v2 seçenekleri çıkışını birleştirme SHOW CREATE TABLE
• [SPARK-37524] [SQL] Dinamik partition ayıklamayı test ettikten sonra, tüm tables'yi bırakmalıyız.
• [SPARK-37389] [SQL] Kapatılmamış köşeli ayraçlı açıklamaları denetleme
• [SPARK-37220] [SQL] Parquet okuyucu için giriş dosyasını toplu aşağı gönderme ile bölmeyin
• [SPARK-37326] [SQL] CSV veri kaynağında TimestampNTZ desteği
• [SPARK-35867] [SQL] VectorizedPlainValuesReader.readBooleans için vektörleştirilmiş okumayı etkinleştirme
• [SPARK-37484] [CORE][SQL] ve değerini şununla değiştiringet:getOrElsegetOrElse
• [SPARK-37492] [SQL] withAllNativeOrcReaders kullanılarak Orc test kodu Optimize
• [SPARK-37458] [SS] Remove foreachBatch planından gereksiz SerializeFromObject

Bakım güncelleştirmeleri

Bkz . Databricks Runtime 10.3 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Gölü: 1.1.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları 2022-01-19 tarihinde Microsoft CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)