Databricks Runtime 10.2 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.2.0 tarafından desteklenen Databricks Runtime 10.2 ve Databricks Runtime 10.2 Photon hakkında bilgi sağlar. Databricks bu sürümü Aralık 2021'de yayımladı. Photon, Genel Önizleme aşamasındadır.

Yeni özellikler ve geliştirmeler

• Spark Akışı ile Depolardaki Dosyaları Kullanma
• Databricks Yardımcı Programları bir güncelleştirme bağlama komutu ekler
• Delta Lake sütunları yeniden adlandırmayı destekler (Genel Önizleme)
• Delta Lake tablo geçmişi Databricks Runtime sürüm bilgilerini ekler
• Databricks Yardımcı Programları dizinler listelendiğinde en son değişiklik zamanı bilgilerini ekler
• Spark SQL, en çok kullanılan öğeleri ve bunların sayılarını döndürmek için bir approx_top_k işlev ekler
• Trigger.AvailableNow artık Hem Python'da hem de Scala'da kullanılabilir
• Otomatik Yükleyici artık Avro için şema geliştirmeyi destekliyor (Genel Önizleme)

Spark Akışı ile Depolardaki Dosyaları Kullanma

Artık Spark Streaming'den Repos'taki Dosyalara erişebilirsiniz.

Databricks Yardımcı Programları bir güncelleştirme bağlama komutu ekler

Yeni dbutils.fs.updateMount komut ile dbutils.fs.mountbenzerdir, ancak bu yeni komut yeni bir bağlama noktası oluşturmak yerine var olan bir bağlama noktasını güncelleştirir. Bkz . updateMount komutu (dbutils.fs.updateMount).

Delta Lake sütunları yeniden adlandırmayı destekler (Genel Önizleme)

Delta Lake artık sütun yeniden adlandırmayı destekliyor. Delta tablosunun sütununu yeniden adlandırmak için Delta tablonuzun sürümünü yükseltmeniz ve ardından sütun eşleme modunu ad eşleme olarak ayarlamanız gerekir. Bkz . Delta Lake sütun eşlemesi ile sütunları yeniden adlandırma ve bırakma.

Delta Lake tablo geçmişi Databricks Runtime sürüm bilgilerini ekler

Delta tablosuna yazma işlemi yapıldığında, yazma işlemini yapan Databricks Runtime sürümü hakkındaki bilgiler de kaydedilir. Sürüm bilgilerini almak için tabloda komutunu çalıştırın DESCRIBE HISTORY ve çıktıdaki sütuna engineInfo bakın. Bkz. DESCRIBE HISTORY ve Delta Lake tablo geçmişiyle çalışma.

Databricks Yardımcı Programları dizinler listelendiğinde en son değişiklik zamanı bilgilerini ekler

Bir dbutils.fs.ls dizinin içeriğini listeleme komutu artık bir modificationTime alan oluşturur. Bu alan, listelenen her dosya veya dizin için en son değişiklik süresini içerir. Bkz. ls komutu (dbutils.fs.ls).

Spark SQL, en çok kullanılan öğeleri ve bunların sayılarını döndürmek için bir approx_top_k işlev ekler

Yeni approx_top_k işlev, belirtilen ifade için en sık gerçekleşen öğe değerlerini ve bunların yaklaşık sayılarını döndürür. Bazı Örnekler:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

Her iki örneği çalıştırmanın sonucu şöyledir:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

Bkz. approx_top_k toplama işlevi.

Trigger.AvailableNow artık Hem Python'da hem de Scala'da kullanılabilir

Bu değişiklik Hem Python'daki Delta kaynağı akış sorgularını Trigger.AvailableNow hem de Scala'yi destekler. Databricks Runtime 10.1, Scala'da bu tetikleyici için destek kullanıma sunulmuştur. Databricks Runtime 10.2 artık Python'da da bu tetikleyiciyi destekliyor. Otomatik Yükleyici nedir? bölümünde kapsamına Trigger.AvailableNowbakın.

Otomatik Yükleyici artık Avro için şema geliştirmeyi destekliyor (Genel Önizleme)

Bkz . Otomatik Yükleyici'de şema çıkarımı ve evrimi yapılandırma.

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • 3.3.1 ile 3.4.0 arasında dosya kilidi
  • çizim 5.3.0 ile 5.3.1
• Yükseltilen R kitaplıkları:
  • 4.1.1 ile 4.1.2 taban
  • derleyici 4.1.1 ile 4.1.2
  • 4.1.1 ile 4.1.2 arasında veri kümeleri
  • 4.1.1 ile 4.1.2 için grafikler
  • grDevices from 4.1.1 to 4.1.2
  • kılavuz 4.1.1 ile 4.1.2
  • 4.1.1 ile 4.1.2 yöntemleri
  • 4.1.1 ile 4.1.2 paralel
  • 1,8-8 ile 1,8-10 arasında Rserve
  • 4.1.1 ile 4.1.2 splines
  • 4.1.1 ile 4.1.2
  • 4.1.1 ile 4.1.2
  • 4.1.1 ile 4.1.2 tcltk
  • 4.1.1 ile 4.1.2 için araçlar
  • 4.1.1 ile 4.1.2 için yardımcı programlar
  • 1.2.1 ile 1.4.0 için backports
  • süpürge 0.7.9 ile 0.7.10
  • cli 3.0.1 ile 3.1.0
  • cpp11 0.4.0 ile 0.4.1
  • boya kalemi 1.4.1 ile 1.4.2
  • 1.3.1 ile 1.3.2 kimlik bilgileri
  • gelecek 1.22.1 ile 1.23.0
  • 1.4.1'den 1.4.3'e kadar gert
  • 4.1-2 ile 4.1-3 arası glmnet
  • 1.4.2'den 1.5.0'a tutkalla
  • 2.0.0 ile 2.0.1 arasında not
  • paralel olarak 1.28.1 ile 1.29.0
  • 2.0.2 ile 2.1.0
  • 1.1.1 ile 1.2.1 oturum bilgileri
  • stringi 1.7.5 ile 1.7.6
  • 3.1.5 ile 3.1.6 tibble
  • tinytex 0,34'ten 0,35'e
  • 0.1.2 ile 0.2.0 tzdb
  • 2.1.2 ile 2.1.3
  • 0,1-4 ile 1,0-3 arası uuid
  • 1.5.5 ile 1.5.6 arasında vroom
  • 0,27 ile 0,28 xfun
• Yükseltilen Java kitaplıkları:
  • com.fasterxml.jackson 2.12.2'den 2.12.3'e
  • 0,19 ile 0,21 arası io.airlift.aircompressor
  • io.netty.netty-all 4.1.63.Final'den 4.1.68.Final'e
  • 2.10.5 ile 2.10.10 arası joda-time.joda-time
  • org.apache.commons.commons-compress 1.20 ile 1.21 arası
  • org.apache.orc 1.6.10 ile 1.6.12
  • org.eclipse.jetty from 9.4.40.v20210413 to 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 1.0 ile 1.2 arası
  • 1.0 ile 1.2 org.scalanlp.breeze_2.12
  • 2.0.0 ile 2.0.1 org.org.typelevel.algebra_2.12
  • org.typelevel.cats-kernel_2.12 2.0.0 ile 2.0.1 arası

Apache Spark

Databricks Runtime 10.2, Apache Spark 3.2.0'ı içerir. Bu sürüm, Databricks Runtime 10.1'de (EoS) bulunan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-37447] [SQL] Cache LogicalPlan.isStreaming() gecikmeli bir değerle sonuçlanır
• [SPARK-37468] [SQL] UnionEstimation için ANSI aralıklarını ve TimestampNTZ'yi destekleme
• [SPARK-37464] [SQL] SCHEMA ve DATABASE yalnızca NAMESPACE'in diğer adları olmalıdır.
• [SPARK-37452] [SQL] Char ve Varchar, v3.1 ile v2 arasındaki geriye dönük uyumluluğu bozar
• [SPARK-36861] [SQL] Bölüm bulmada tarih deseni olarak kullan yyyy-MM-dd
• [SPARK-37456] [SQL] CREATE NAMESPACE, v2 komutu için konumu nitelemelidir
• [SPARK-37357] [SQL] Bölümleri yeniden dengelemek için küçük bölüm faktörü ekleme
• [SPARK-37446] [SQL] Derleme için farklı Hive sürümlerine izin vermek için getWithoutRegisterFns için yansıma kullanma
• [SPARK-37444] [SQL] ALTER AD ALANı ... SET LOCATION, v1 ve v2 komutunda boş konumu tutarlı bir şekilde işlemelidir
• [SPARK-36357] [SQL] Orc için saat dilimi olmadan gönderim Zaman Damgası desteği
• [SPARK-36346] [SQL] Orc dosya kaynağında TimestampNTZ türünü destekleme
• [SPARK-36646] [SQL] Toplama için bölüm sütununa göre grup aşağı gönderme
• [SPARK-34960] [SQL] ORC için toplu gönderim
• [SPARK-37386] [SQL] Maliyet değerlendiricisini çalıştırmamak için OptimizeSkewedJoin'i basitleştirme
• [SPARK-36073] [SQL] EquivalentExpressions düzeltmeleri ve iyileştirmeleri
• [SPARK-35352] [SQL] Tam dış sıralama birleştirme birleştirmesi için kod-nesil ekleme
• [SPARK-37292] [SQL] Yalnızca diğer adla akışlı tarafında DISTINCT varsa dış birleşimi kaldırır
• [SPARK-37371] [SQL] Tüm alt öğeler columnar destekliyorsa UnionExec sütunlu desteği vermelidir
• [SPARK-36645] [SQL] Parquet için toplama (En Az/En Fazla/Sayı) aşağı itme
• [SPARK-37379] [SQL] CTESubstitution kuralına ağaç deseni ayıklama ekleme
• [SPARK-37332] [SQL] içinde ANSI aralıklarına izin ver ALTER TABLE .. ADD COLUMNS
• [SPARK-37224] [SS] RocksDB durum deposu sağlayıcısında yazma yolunu iyileştirme
• [SPARK-37304] [SQL] v2'de ANSI aralıklarına izin ver ALTER TABLE .. REPLACE COLUMNS
• [SPARK-36924] [SQL] ANSI aralıkları ile IntegralType arasında CAST
• [SPARK-37289] [SQL] Remove partitionSchemaOption işlevi
• [SPARK-37270] [SQL] CaseWhen dalları elseValue boşsa içine iterek katlanabilir göndermeyi düzeltme
• [SPARK-35345] [SQL] BloomFilterBenchmark'a Parquet testleri ekleme
• [SPARK-37341] [SQL] Tam dış sıralama birleştirme birleştirmesinde gereksiz arabellekten ve kopyalamadan kaçının
• [SPARK-37266] [SQL] Görünüm metni yalnızca SELECT sorgular olabilir
• [SPARK-37288] [PYTHON][3.2] Ek açıklama güncelleştirmeden sonra geri bağlantı noktası
• [SPARK-37262] [SQL] JDBCScan'da boş toplama ve gruplandırma ölçütü günlüğe kaydetme
• [SPARK-37283] [SQL] ANSI aralıklarını içeren bir V1 tablosunu Hive uyumlu biçimde depolamayı denemeyin
• [SPARK-37221] [SQL] SparkPlan'daki toplama benzeri API sütunlu çıkışı desteklemelidir
• [SPARK-37202] [SQL] Başvuruda bulunulan geçici işlevleri izlemek için AnalysisContext kullanma
• [SPARK-37023] [CORE] Yeniden deneme sırasında shuffleDependency için shuffleMergeEnabled yanlış olduğunda birleştirme durumunu getirmekten kaçının
• [SPARK-37307] [CORE] Boş bölümler için JDBC bağlantısı edinme
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions, kök olmayan düğümü iyileştirmeyi destekler
• [SPARK-36799] [SQL] CLI'da queryExecution adını geçirme
• [SPARK-37261] [SQL] DSv2'de ANSI aralıklarıyla bölüm eklemeye izin ver
• [SPARK-37203] [SQL] TypedImperativeAggregate ile gözlemlendiğinde NotSerializableException düzeltildi
• [SPARK-37199] [SQL] QueryPlan'a belirleyici alan ekleme
• [SPARK-37253] [PYTHON] try_simplify_traceback Yok olduğunda tb_frame.f_lineno başarısız olmamalıdır
• [SPARK-37214] [SQL] Daha önce geçersiz tanımlayıcılarla başarısız sorgu analizi
• [SPARK-37240] [SQL] ANSI aralıklarını işleme ölçütü: ColumnVectorUtils.populate()
• [SPARK-35437] [SQL] İstemci tarafında Hive bölümlerini filtrelemek için ifadeleri kullanma
• [SPARK-32940] [SQL] Collect, first ve last, deterministic aggregate işlevleri olmalıdır
• [SPARK-37231] [SQL] ANSI aralık bölümlerinin dinamik yazma/okuma işlemleri
• [SPARK-37038] [SQL] DSV2 Örnek Aşağı Gönderme
• [SPARK-36665] [SQL] Daha fazla Not işleci basitleştirmesi ekleme
• [SPARK-37150] [SQL] DESCRIBE AD ALANıNı varsayılan olarak V2 komutunu kullanacak şekilde geçirme
• [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale başarısız oldu null döndüremedi
• [SPARK-37212] [SQL] Toplu gönderimin uygulanmasını geliştirin.
• [SPARK-37190] [SQL] ANSI modunda Atama için hata iletilerini iyileştirme
• [SPARK-37161] [SQL] RowToColumnConverter, AnsiIntervalType desteği
• [SPARK-37160] [SQL] karakter türü için doldurmayı isteğe bağlı olarak devre dışı bırakmak için yapılandırma ekleme
• [SPARK-36554] [SQL][PYTHON] functions.scala dosyasında make_date ifadesini kullanıma sunma
• [SPARK-37200] [SQL] Veri Kaynağı V2 için destek bırakma dizini
• [SPARK-37179] [SQL] ANSI modu: Datetime ile Sayısal arasında atamaya izin vermek için yapılandırma ekleme
• [SPARK-37168] [SQL] ANSI modunda SQL işlevleri ve işleçleri için hata iletilerini iyileştirme
• [SPARK-36935] [SQL] ParquetSchemaConverter'ı işlem Parquet yinelemesi ve tanım düzeyine genişletme
• [SPARK-37066] [SQL] Sonraki dosya okunamadığında dosya yolunu göstermek için hata iletisini iyileştirme
• [SPARK-32567] [SQL] Tam dış karışık karma birleştirme için kod gen'i ekleme
• [SPARK-37176] [SQL] JsonInferSchema#infer yönteminin özel durum işleme mantığını JacksonParser#parse yöntemiyle eşitleyin
• [SPARK-37149] [SQL] ANSI modunda aritmetik taşma özel durumları için hata iletilerini geliştirme
• [SPARK-37136] [SQL] Hive buildin işleviyle ilgili kodu kaldırma ancak spark'ta uygulamama
• [SPARK-16280][SPARK-37082] [SQL] Kısmi toplamayı destekleyen histogram_numeric toplama işlevini uygular.
• [SPARK-36975] [SQL] HiveClientImpl'de hive istemci çağrılarının ölçümlerini düzeltme

Bakım güncelleştirmeleri

Bkz . Databricks Runtime 10.2 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Gölü: 1.1.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları 2021-11-30'da Microsoft CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)