Databricks Runtime 11.2 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.3.0 tarafından desteklenen Databricks Runtime 11.2 hakkında bilgi sağlar. Databricks bu sürümü Eylül 2022'de yayımladı.

Yeni özellikler ve geliştirmeler

• Tablo erişim denetimlerinde (tablo ACL'leri) ALTER TABLE izinlerine değiştirme
• MERGE INTO için dinamik ayıklama
• Dinamik dosya ayıklama ile Delta'da geliştirilmiş çakışma algılama
• DSE/SQL giriş sayfalarında yeni Açık Kaynak Tümleştirmeleri kartı
• CONVERT TO DELTA bölüm algılama geliştirmeleri
• Tablo şemaları artık sütunlar için varsayılan değerleri destekliyor
• Yeni H3 jeo-uzamsal işlevleri
• Yeni Databricks Runtime bağımlılığı
• Kendi anahtarınızı getirin: Git kimlik bilgileri şifrelemesi
• SQL: Yeni toplama işlevi any_value
• Daha fazla küme türünde izin verilen Databricks Utilities dosya sistemi komutları
• Create ayrıcalıkları artık Unity Kataloğu için meta veri depolarında verilebilir
• Foton özellikli kümelerde bölümlenmemiş tablolar için iyileştirilmiş yazma işlemleri
• Daha fazla veri kaynağı için foton desteği
• sql : ALTER SHARE artık START VERSION'ı destekliyor

Tablo erişim denetimlerinde (tablo ACL'leri) ALTER TABLE izinlerine değiştirme

Artık kullanıcıların, MODIFY ile bir tablonun şemasını veya özelliklerini değiştirmek için yalnızca izinlere ihtiyacı vardır ALTER TABLE. Bir tablonun üzerinde izinler vermek, sahibini ve konumunu değiştirmek veya adını yeniden adlandırmak için hala sahiplik gereklidir. Bu değişiklik, tablo ACL'leri için izin modelini Unity Kataloğu ile tutarlı hale getirir. Bkz. ALTER TABLE.

MERGE INTO için dinamik ayıklama

Foton özellikli işlem kullanılırken, MERGE INTO örneğin küçük bir kaynak tablo daha büyük bir hedef tabloyla birleştirildiğinde, performansı geliştirmek için uygun olduğunda dinamik dosya ve bölüm ayıklamayı kullanır.

Dinamik dosya ayıklama ile Delta'da geliştirilmiş çakışma algılama

İşlemeler sırasında olası çakışmaları denetlerken, çakışma algılama artık dinamik dosya ayıklama tarafından ayıklama yapılan ancak statik filtreler tarafından ayıklama yapılmayan dosyaları dikkate alır. Bu, başarısız işlem sayısının azalmasına neden olur.

DSE/SQL giriş sayfalarında yeni Açık Kaynak Tümleştirmeleri kartı

DLT ve dbt core gibi açık kaynak tümleştirme seçeneklerini görüntüleyen DSE/SQL giriş sayfalarındaki yeni 'Açık Kaynak Tümleştirmeleri' kartına giriş.

CONVERT TO DELTA bölme algılama iyileştirmeleri

CONVERT TO DELTA Hive meta veri deposunda veya Unity Kataloğu'nda kayıtlı Parquet tabloları için bölüm şemasını otomatik olarak çıkarır, böylece PARTITIONED BY ifadesine ihtiyaç kalmaz.

CONVERT TO DELTA , temel yolun tamamını listelemek yerine, bırakılan bölümlerin Delta tablosuna eklenmemesini sağlamak amacıyla, Parquet tablosunun dosyalarını bulmak için meta veri deposundan bölüm bilgilerini kullanır.

Bkz Delta Lake'e Dönüştürme.

Tablo şemaları artık sütunlar için varsayılan değerleri destekliyor

Tablo şemaları artık sütunlar için varsayılan değerleri ayarlamayı destekliyor. INSERT, UPDATE, ve DELETE komutları, anahtar sözcük DEFAULT ile bu değerlere bu sütunlar için başvurabilir. Örneğin, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET ve ardından INSERT INTO t VALUES (1, DEFAULT) kullanılarak (1, 42) satırı eklenir. Bu davranış CSV, JSON, Orc ve Parquet veri kaynakları için desteklenir.

Yeni H3 jeo-uzamsal işlevleri

Artık SQL, Scala ve Python'da kullanılabilen Foton özellikli kümelerde jeo-uzamsal işleme için 28 yeni yerleşik H3 ifadesi kullanabilirsiniz. Bkz. H3 jeo-uzamsal işlevler.

Yeni Databricks Runtime bağımlılığı

Databricks Runtime artık H3 Java kitaplığı sürüm 3.7.0'a bağlıdır.

Kendi anahtarınızı getirin: Git kimlik bilgileri şifrelemesi

Git kişisel erişim belirtecini (PAT) veya diğer Git kimlik bilgilerini şifrelemek için Azure Key Vault kullanabilirsiniz.

Bkz: Databricks Git klasörlerini (Repos) ayarlayın.

SQL: Yeni toplama işlevi any_value

Yeni any_value toplama işlevi, bir satır grubundaki expr'in herhangi bir rastgele değerini döndürür. any_value toplama işlevinebakın.

Daha fazla küme türünde izin verilen Databricks Utilities dosya sistemi komutları

dbutils.fs komutlarına (bağlamayla ilgili komutlar dışında) artık Unity Kataloğu ile kullanıcı yalıtım kümelerinde ve kullanıcının ANY FILE izinleri olduğunda eski tablo ACL kümelerinde izin verilir.

Create ayrıcalıkları artık Unity Kataloğu için meta veri depolarında verilebilir

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENTve CREATE PROVIDER ayrıcalıkları artık Unity Kataloğu meta veri depolarında verilebilir.

Foton özellikli kümelerde bölümlenmemiş tablolar için iyileştirilmiş yazma işlemleri

Unity Kataloğu yönetilen tabloları artık sorgu hızını artırmak ve performansı iyileştirmek için bölümlenmemiş tablolardan iyi ayarlanmış boyuttaki dosyaları otomatik olarak kalıcı hale getirir.

Daha fazla veri kaynağı için foton desteği

Photon artık CSV ve Avro gibi daha fazla veri kaynağını destekler ve önbelleğe alınmış veri çerçeveleriyle de uyumludur. Daha önce, bu veri kaynaklarının taranması, sorgunun işleçleri veya ifadeleri ne olursa olsun, sorgunun tamamının fotonize edilememesi anlamına geliyordu. Artık bu veri kaynaklarını tarayan sorgular için foton tabanlı işleme geçiş yapılabilir ve bu da önemli ölçüde gecikme süresi ve toplam sahip olma maliyeti (TCO) iyileştirmeleri sağlayabilir.

Bu özellik, spark.databricks.photon.photonRowToColumnar.enabled yapılandırması tarafından varsayılan olarak etkinleştirilir.

Sınırlamalar:

• İç içe türleri olan şemalar bu sürümde desteklenmiyor (diziler, haritalar ve yapılar).
• ORC, RDD, Kinesis, Kafka ve EventHub kaynakları bu sürümde desteklenmiyor.

SQL: ALTER SHARE artık START VERSION'ı destekliyor

ALTER SHARE Komutu artık belirli bir tablo sürümünden başlayarak veri paylaşmasına olanak tanıyan START VERSION desteği sağlar ve böylece sağlayıcıların veri paylaşmasını mümkün kılar. Bkz. ALTER SHARE.

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • distlib 0.3.4 sürümünden 0.3.5 sürümüne
  • 3.7.1 ile 3.8.0 arasında dosya kilidi
  • plotly 5.8.2'den 5.9.0'a
  • 4.21.2 ile 4.21.5 arasındaki protobuf
• Güncellenmiş R kitaplıkları
  • broom 0.8.0'dan 1.0.0'a
  • bslib 0.3.1 sürümünden 0.4.0 sürümüne
  • callr 3.7.0 sürümünden 3.7.1 sürümüne
  • 6.0-92'den 6.0-93'e caret işareti
  • dbplyr 2.2.0'dan 2.2.1'e
  • 2.4.3 ile 2.4.4 arasında geliştirici araçları
  • 0,15 ile 0,16 arasında değerlendir
  • renkler 2.1.0'dan 2.1.1'e
  • fontawesome 0.2.2 sürümünden 0.3.0 sürümüne
  • 1.26.1 sürümünden 1.27.0 sürümüne güncelleme
  • 0.1.2 sürümünden 0.1.3 sürümüne genel türler
  • gert 1.6.0'dan 1.7.0'a
  • globals 0.15.1'den 0.16.0'a
  • googlesheets4 1.0.0 ile 1.0.1 arası
  • "hardhat'i 1.1.0'dan 1.2.0'a"
  • htmltools 0.5.2’den 0.5.3’e
  • 1.32.0'dan 1.32.1'e paralel olarak
  • sütun 1.7.0'dan 1.8.0'a
  • pkgload sürümü 1.2.4'ten 1.3.0'a güncellendi.
  • 3.6.1 ile 3.7.0 arasinda processx
  • Rcpp 1.0.8.3'ten 1.0.9'a
  • 0.2.0 ile 1.0.1 sürümleri arasındaki tarifler
  • 1.0.2 ile 1.0.4 arası rlang
  • roxygen2 7.2.0 ile 7.2.1
  • 2.2.14 ile 2.2.15 arasında RSQLite
  • sass sürüm 0.4.1'den 0.4.2'ye
  • parlak 1.7.1 ile 1.7.2
  • stringi 1.7.6'dan 1.7.8'e
  • tibble 3.1.7'den 3.1.8'e
  • tidyverse 1.3.1 ile 1.3.2
  • timeDate 3043.102'dan 4021.104'e
  • xfun 0,31'den 0,32'ye
• Yükseltilen Java kitaplıkları:
  • org.apache.orc.orc-core 1.7.4 ile 1.7.5 arası
  • org.apache.orc.orc-mapreduce 1.7.4'ten 1.7.5'e
  • org.apache.orc.orc-shims 1.7.4'ten 1.7.5'e

Apache Spark

Databricks Runtime 11.2, Apache Spark 3.3.0'ı içerir. Bu sürüm, Databricks Runtime 11.1'e (EoS) dahil olan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Yüzde birlik işlevlerden daha geniş ANSI aralık türleri döndür
• [SPARK-40054] [SQL] try_cast() hata işleme söz dizimini geri yükleme
• [SPARK-39489] [CORE] Json4s yerine Jackson kullanarak olay günlüğü JsonProtocol performansını geliştirme
• [SPARK-39319] [CORE][sql] Sorgu bağlamlarını SparkThrowable'nin bir parçası yapın
• [SPARK-40085] [SQL] Hataları göstermek için IllegalStateException yerine INTERNAL_ERROR hata sınıfını kullanın
• [SPARK-40001] [SQL] JSON DEFAULT sütunlarına NULL yazma işlemi yapın ve depolama alanına 'null' yazın
• [SPARK-39635] [SQL] DS v2 özel ölçüm API'sinde sürücü ölçümlerini destekleme
• [SPARK-39184] [SQL] Küçük boyutlu sonuçlar dizisini tarih ve zaman damgası dizilerinde işleme
• [SPARK-40019] [SQL] ArrayType'ın containsNull açıklamasını yeniden düzenleme ve collectionOperator'ın ifadesindeki yanlış anlama mantığını yeniden düzenleme containsNull
• [SPARK-39989] [SQL] Katlanabilir ifadeyse tahmin sütunu istatistiklerini destekleme
• [SPARK-39926] [SQL] Vektörleştirilmemiş Parquet taramaları için sütun varsayılan desteğindeki hata düzeltildi
• [SPARK-40052] [SQL] VectorizedDeltaBinaryPackedReader'da doğrudan bayt arabelleklerini işleme
• [SPARK-40044] [SQL] Dönüştürme taşması hatalarında hedef aralık türünü düzeltin
• [SPARK-39835] [SQL] EliminateSorts'un yerel sıralama altında genel sıralamayı kaldırması hatası düzeltildi
• [SPARK-40002] [SQL] Ntile kullanarak pencere boyunca sınırı aşağı itme
• [SPARK-39976] [SQL] ArrayIntersect sol ifadede null değerini doğru işlemelidir
• [SPARK-39985] [SQL] DataFrame'lerden eklemelerde örtük DEFAULT sütun değerlerini etkinleştirme
• [SPARK-39776] [SQL] JOIN ayrıntılı metin, Birleştirme türünü eklemelidir.
• [SPARK-38901] [SQL] DS V2, çeşitli işlevleri aşağı itme desteği sağlar
• [SPARK-40028] [SQL][followup] Dize işlevlerinin örneklerini geliştirme
• [SPARK-39983] [CORE][sql] Serialize edilmemiş yayın ilişkilerini sürücüde önbelleğe almayın
• [SPARK-39812] [SQL] AggregateExpression ve toAggregateExpression ile oluşturulan kodu basitleştirme
• [SPARK-40028] [SQL] Dize ifadeleri için ikili örnekler ekleme
• [SPARK-39981] [SQL] Cast işlemi sırasında QueryExecutionErrors.castingCauseOverflowErrorInTableInsert hatasını fırlat.
• [SPARK-40007] [PYTHON][sql] İşlevlere 'mod' ekleme
• [SPARK-40008] [SQL] ANSI aralıklarına integral atama desteği
• [SPARK-40003] [PYTHON][sql] İşlevlere 'ortanca' ekleme
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand sonuç ilişkisini geri almalıdır
• [SPARK-39951] [SQL] İç içe alanlar için Parquet V2 sütunlu denetimini güncelleştirme
• [SPARK-33236] [karıştırma] DBR 11.x'e geri aktarım: Çalışma durumunu koruyan yeniden başlatmalar için NM düzeyinde veritabanında durumu saklamak amacıyla İtme tabanlı karıştırma hizmetini etkinleştirin.
• [SPARK-39836] [SQL] Yaygın yöntemi ayıklayarak V2ExpressionBuilder'i basitleştirin.
• [SPARK-39873] [SQL] OptimizeLimitZero kaldır ve EliminateLimits ile birleştir
• [SPARK-39961] [SQL] DS V2 aşağıya iletme, Cast güvenliyse Cast yapma
• [SPARK-39872] [SQL] BytePackerForLong#unpack8Values ile Dizi giriş API'si kullanılarak değişiklik yapma VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Gereksiz AliasHelper veya PredicateHelper bazı kurallar için kaldırma
• [SPARK-39900] [SQL] İkili biçimin koşul indirmesinde kısmi ya da olumsuz koşulları ele alın
• [SPARK-39904] [SQL] inferDate'i tercihEderTarih olarak yeniden adlandırın ve CSV veri kaynağındaki seçeneğin anlamını netleştirin
• [SPARK-39958] [SQL] Özel ölçüm nesnesi yüklenemediğinde uyarı günlüğü ekleme
• [SPARK-39932] [SQL] WindowExec, son bölüm arabelleğini temizlemelidir
• [SPARK-37194] [SQL] Dinamik bölüm değilse v1 yazmada gereksiz sıralama yapmaktan kaçının
• [SPARK-39902] [SQL] SparkUI'deki Spark plan tarama düğümüne tarama ayrıntıları ekle
• [SPARK-39865] [SQL] Tabloda veri ekleme taşma hatalarında meydana gelen doğru hata iletilerini göster
• [SPARK-39940] [SS] DSv1 havuzuyla akış sorgusundaki katalog tablosunu yenileme
• [SPARK-39827] [SQL] int taşmasında hata sınıfını ARITHMETIC_OVERFLOW kullanma add_months()
• [SPARK-39914] [SQL] V1 Filtresi dönüştürmesine DS V2 Filtresi ekleme
• [SPARK-39857] [SQL] El ile DBR 11.x arka bağlantı noktası; V2ExpressionBuilder In koşulu #43454 için yanlış LiteralValue veri türünü kullanıyor
• [SPARK-39840] [SQL][python] PythonArrowOutput'a benzer şekilde PythonArrowInput'u ayırmak
• [SPARK-39651] [SQL] Rand ile karşılaştırmak belirleyiciyse, budama filtresi koşulu
• [SPARK-39877] [PYTHON] PySpark DataFrame API'sine unpivot ekleme
• [SPARK-39909] [SQL] JDBCV2Suite için aşağı gönderme bilgilerinin denetimini düzenleme
• [SPARK-39834] [SQL][ss] DataFrame'den geliyorsa LogicalRDD'nin kaynak istatistiklerini ve kısıtlamalarını ekleyin
• [SPARK-39849] [SQL] Dataset.as(StructType) eksik yeni sütunları null değerle dolduruyor
• [SPARK-39860] [SQL] Diğer ifadeler Koşul'un kapsamını genişletmelidir
• [SPARK-39823] [SQL][python] Dataset.as Dataset.to olarak yeniden adlandırın ve PySpark'ta DataFrame.to ekleyin
• [SPARK-39918] [SQL][minor] Hata iletisindeki "karşılaştırılamaz" sözcüğünü "karşılaştırılamaz" ile değiştirin
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder In koşulu için yanlış LiteralValue veri türünü kullanıyor
• [SPARK-39862] [SQL] DBR 11.x'i hedefleyen PR 43654 için el ile geri bağlantı: ALTER TABLE izin/reddetme durumuna göre SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS güncelleştir ... COLUMN komutlarını ayrı ayrı EKLEYIN.
• [SPARK-39844] [SQL] DBR 11.x'i hedefleyen PR 43652 için el ile geriye taşıma
• [SPARK-39899] [SQL] İleti parametrelerinin belirtilen yere geçirilmesinin düzeltilmesi InvalidUDFClassException
• [SPARK-39890] [SQL] TakeOrderedAndProjectExec'in AliasAwareOutputOrdering devralmasını sağlama
• [SPARK-39809] [PYTHON] PySpark'ta CharType desteği
• [SPARK-38864] [SQL] Veri Kümesine unpivot / melt ekleme
• [SPARK-39864] [SQL] ExecutionListenerBus'ı tembel bir şekilde kaydet
• [SPARK-39808] [SQL] Toplama işlevi MODE'unu destekleme
• [SPARK-39875] [SQL] Son sınıftaki protected yöntemini private veya package-visible olarak değiştirin
• [SPARK-39731] [SQL] "yyyyMMdd" biçimindeki tarihleri düzeltildi zaman ayrıştırıcı ilkesiyle ayrıştırırken CSV ve JSON veri kaynaklarında oluşan sorun düzeltildi.
• [SPARK-39805] [SS] Trigger.Once'ı Kullanımdan Kaldır ve Trigger.AvailableNow'u Yükselt
• [SPARK-39784] [SQL] Catalyst İfadesini veri kaynağı filtresine çevirdikten sonra veri kaynağı filtresinin sağına Sabit Değerler koyun
• [SPARK-39672] [SQL][3.1] Bağıntılı alt sorgu ile filtre uygulamadan önce projeyi kaldırma düzeltildi
• [SPARK-39552] [SQL] v1 ve v2'i birleştirme DESCRIBE TABLE
• [SPARK-39810] [SQL] Catalog.tableExists iç içe ad alanını işlemelidir
• [SPARK-37287] [SQL] FileFormatWriter'dan dinamik bölüm ve demet sıralamayı çekme
• [SPARK-39469] [SQL] CSV şema çıkarımı için tarih türünü çıkarsama
• [SPARK-39148] [SQL] DS V2 toplama aşağı gönderme işlemi OFFSET veya LIMIT ile çalışabilir
• [SPARK-39818] [SQL] NULL alanlarla DEFAULT değerlerine sahip ARRAY, STRUCT, MAP türlerindeki hata düzeltildi
• [SPARK-39792] [SQL] Ondalık ortalama için DecimalDivideWithOverflowCheck ekleme
• [SPARK-39798] [SQL] GenericArrayData oluşturucusunda toSeq.toArray'yi .toArray[Any] ile değiştirin.
• [SPARK-39759] [SQL] JDBC'de listIndexes uygulama (H2 diyalekt)
• [SPARK-39385] [SQL] Aşağı REGR_AVGX göndermeyi destekler ve REGR_AVGY
• [SPARK-39787] [SQL] hata sınıfını işlev to_timestamp ayrıştırma hatasında kullanma
• [SPARK-39760] [PYTHON] PySpark'ta Varchar desteği
• [SPARK-39557] [SQL] DBR 11.x'e el ile geri bağlantı noktası: ARRAY, STRUCT, MAP türlerini DEFAULT değerleri olarak destekler
• [SPARK-39758] [SQL][3.3] Geçersiz desenlerde regexp işlevlerinden kaynaklanan NPE hatası düzeltildi.
• [SPARK-39749] [SQL] ANSI SQL modu: Ondalık'ı Dizeye dönüştürmede düz dize gösterimi kullanma
• [SPARK-39704] [SQL] JDBC'de createIndex & dropIndex & indexExists uygulama (H2 diyalekt)
• [SPARK-39803] [SQL] Yerine kullanın LevenshteinDistanceStringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] JDBC veri kaynağında TimestampNTZ türü desteği
• [SPARK-39781] [SS] rocksdb durum deposu sağlayıcısına max_open_files desteği ekleme
• [SPARK-39719] [R] SparkR desteğinde 3L ad alanı içinde databaseExists/getDatabase fonksiyonlarını uygulama
• [SPARK-39751] [SQL] Karma toplama anahtarı yoklamaları ölçümünü yeniden adlandırma
• [SPARK-39772] Eski oluşturucularda veritabanı null olduğunda [SQL] ad alanı null olmalıdır
• [SPARK-39625] [SPARK-38904][sql] Add Dataset.as(StructType)
• [SPARK-39384] [SQL] JDBC diyalekt için yerleşik doğrusal regresyon toplama işlevlerini derleme
• [SPARK-39720] [R] 3L ad alanı için SparkR'de tableExists/getTable uygulama
• [SPARK-39744] [SQL] İşlevi REGEXP_INSTR ekleme
• [SPARK-39716] [R] SparkR'de currentDatabase/setCurrentDatabase/listCatalogs'ın 3L ad alanını desteklemesi sağlanacak
• [SPARK-39788] [SQL] catalogName, JdbcUtils için dialectName olarak yeniden adlandır.
• [SPARK-39647] [CORE] BlockManager'ı kaydetmeden önce yürütücüsü ESS'ye kaydedin
• [SPARK-39754] [CORE][sql] Kullanılmayan import veya gereksiz {} kaldırma
• [SPARK-39706] [SQL] Varsayılan değerle eksik sütunu sabit olarak ayarlayın ParquetColumnVector
• [SPARK-39699] [SQL] CollapseProject'i koleksiyon oluşturma ifadeleri hakkında daha akıllı hale getirme
• [SPARK-39737] [SQL] PERCENTILE_CONT ve PERCENTILE_DISC toplam filtreyi desteklemelidir
• [SPARK-39579] [SQL][python][R] ListFunctions/getFunction/functionExists'i 3 katmanlı ad alanıyla uyumlu hale getirme
• [SPARK-39627] [SQL] JDBC V2 anında iletme, derleme API'sini birleştirmelidir
• [SPARK-39748] [SQL][ss] DataFrame'den geliyorsa LogicalRDD için kaynak mantıksal planını dahil edin
• [SPARK-39385] [SQL] İtme için doğrusal regresyon toplama fonksiyonlarını dönüştürme
• [SPARK-39695] [SQL] İşlevi REGEXP_SUBSTR ekleme
• [SPARK-39667] [SQL] Tabloyu oluşturmak ve yayınlamak için yeterli bellek olmadığında başka bir geçici çözüm ekleyin
• [SPARK-39666] [ES-337834][sql] ExpressionEncoder'da spark.sql.codegen.factoryMode'yi dikkate almak için UnsafeProjection.create'i kullanma
• [SPARK-39643] [SQL] DEFAULT değerlerinde alt sorgu ifadelerini yasakla
• [SPARK-38647] [SQL] Tarama arabiriminde SupportsReportOrdering karışımı ekleme (DataSourceV2)
• [SPARK-39497] [SQL] Eksik eşleme anahtarı sütununun analiz özel durumunu iyileştirme
• [SPARK-39661] [SQL] Gereksiz SLF4J Logger oluşturulmasından kaçının
• [SPARK-39713] [SQL] ANSI modu: INVALID_ARRAY_INDEX hatası için try_element_at kullanma önerisi ekleme
• [SPARK-38899] [SQL]DS V2, tarih ve zaman işlevlerini itme desteği sağlar.
• [SPARK-39638] [SQL] Bölüm sütunlarını depolama yöntemini ConstantColumnVector kullanacak şekilde OrcColumnarBatchReader olarak değiştirme
• [SPARK-39653] [SQL] ColumnVectorUtils kaynağından ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)'yi temizle
• [SPARK-39231] [SQL] On/OffHeapColumnVector yerine ConstantColumnVector kullanarak bölüm sütunlarını VectorizedParquetRecordReader'de depolayın
• [SPARK-39547] [SQL] V2SessionCatalog, loadNamspaceMetadata içinde NoSuchDatabaseException oluşturmamalıdır
• [SPARK-39447] [SQL] AdaptiveSparkPlanExec.doExecuteBroadcast içinde AssertionError kullanmaktan kaçının
• [SPARK-39492] [SQL] MISSING_COLUMN'ı yeniden düzenle
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec alt çıkış sıralamasını dikkate almalıdır
• [SPARK-39606] [SQL] Sipariş operatörünü tahmin etmek için alt istatistikleri kullan
• [SPARK-39611] [PYTHON][ps] array_ufunc'deki yanlış diğer adlar düzeltildi
• [SPARK-39656] [SQL][3.3] DescribeNamespaceExec'te yanlış ad alanı düzeltildi
• [SPARK-39675] [SQL] 'spark.sql.codegen.factoryMode' yapılandırmasını test amacından iç amaca değiştirme
• [SPARK-39139] [SQL] DS V2, DS V2 UDF'yi aşağıya itme işlemini destekler
• [SPARK-39434] [SQL] Dizi dizini sınırları aştığında çalışma zamanı hatası sorgu bağlamı sağlama
• [SPARK-39479] [SQL] DS V2, matematik işlevlerini (ANSI olmayan) aşağı göndermeyi destekler
• [SPARK-39618] [SQL] İşlevi REGEXP_COUNT ekleme
• [SPARK-39553] [CORE] Scala 2.13 kullanılırken çok iş parçacıklı kayıt silme karıştırması NPE oluşturmamalıdır
• [SPARK-38755] [PYTHON][3.3] Eksik pandas genel işlevlerini gidermek için dosya ekleme
• [SPARK-39444] [SQL] OptimizeSubqueries'i nonExcludableRules listesine ekleme
• [SPARK-39316] [SQL] PromotePrecision ve CheckOverflow'u ondalık ikili aritmetik olarak birleştirme
• [SPARK-39505] [UI] Kullanıcı arabiriminde işlenen kaçış günlüğü içeriği
• [SPARK-39448] [SQL] Listeye ekle ReplaceCTERefWithRepartitionnonExcludableRules
• [SPARK-37961] [SQL] Bazı mantıksal işleçler için maxRows/maxRowsPerPartition işlevini geçersiz kılma
• [SPARK-35223] IssueNavigationLink Eklemeyi Geri Al
• [SPARK-39633] [SQL] Dataframe seçeneklerini kullanarak TimeTravel için saniyeler içinde zaman damgası desteği
• [SPARK-38796] [SQL] {try_}to_number işlevleriyle sayı biçimi dizeleri için belgeleri güncelleştirin
• [SPARK-39650] [SS] Geriye dönük uyumlulukla akışta yinelenenlerin ortadan kaldırılmasındaki yanlış değer şemasını düzeltme
• [SPARK-39636] [CORE][ui] JsonProtocol'da yığın StorageLevels ve Task/Executor ResourceRequests'i etkileyen birden çok hatayı düzeltme
• [SPARK-39432] [SQL] element_at(*, 0) işlevinden ELEMENT_AT_BY_INDEX_ZERO değerini döndürür.
• [SPARK-39349] Hata yolunun QA'sı için merkezi bir CheckError yöntemi ekleme
• [SPARK-39453] [SQL] DS V2, toplama olmayan işlevleri (ANSI olmayan) aşağı göndermeyi destekler
• [SPARK-38978] [SQL] DS V2, aşağı gönderme OFFSET işlecini destekler
• [SPARK-39567] [SQL] Yüzdebirlik işlevlerinde ANSI aralıklarını destekleme
• [SPARK-39383] [SQL] V2 veri kaynaklarına ALTER TABLE ALTER COLUMNS varsayılan sütunlarını destekleme
• [SPARK-39396] [SQL] LDAP oturum açma özel durumu 'hata kodu 49 - geçersiz kimlik bilgileri' düzeltildi
• [SPARK-39548] [SQL] Window clause sorgusuyla CreateView Komutu yanlış bir pencere tanımı bulunamadı hatası ile karşılaştı
• [SPARK-39575] [AVRO] ByteBuffer#get içinde ByteBuffer#rewind ekleyin.
• [SPARK-39543] v1'e geri dönme durumunda DataFrameWriterV2 seçeneği depolama özelliklerine geçirilmelidir
• [SPARK-39564] [SS] Katalog tablosunun bilgilerini akış sorgusundaki mantıksal plana sunma
• [SPARK-39582] [SQL] için "Since" işaretçisini düzeltme array_agg
• [SPARK-39388] [SQL] Orc koşullarını aşağı iterken yeniden kullan orcSchema
• [SPARK-39511] [SQL] Birleştirme koşulu boşsa sol yarı/anti birleştirme için yerel sınır 1'i iyileştirin
• [SPARK-38614] [SQL] percent_rank kullanan pencerede sınırı aşağı itme
• [SPARK-39551] [SQL] AQE geçersiz plan denetimi ekleme
• [SPARK-39383] [SQL] ALTER TABLE ADD COLUMNS V2 veri kaynaklarında VARSAYıLAN sütunları destekler
• [SPARK-39538] [SQL] Gereksiz SLF4J Logger oluşturmaktan kaçının
• [SPARK-39383] [SQL] DBR 11.x'e elle geri portlama: Birincil Analyzer'ı geçmeyi atlamak için DEFAULT sütun desteğini yeniden yapılandırma
• [SPARK-39397] [SQL] İfadelerle birlikte takma adları desteklemek için AliasAwareOutputExpression'ı esnetin
• [SPARK-39496] [SQL] içinde null yapıyı işleme Inline.eval
• [SPARK-39545] [SQL] Scala 2.13'te performansı artırmak için concat için ExpressionSet yöntemini geçersiz kılın.
• [SPARK-39340] [SQL] DS v2 agg pushdown, en üst düzey sütunlar adına nokta eklemeye izin vermelidir
• [SPARK-39488] [SQL] TempResolvedColumn hata işlemeyi basitleştirme
• [SPARK-38846] [SQL] Teradata Sayısal Türü ile Spark DecimalType arasında açık veri eşlemesi ekleme
• [SPARK-39520] [SQL] Scala 2.13'te için -- geçersiz kılma ExpressionSet yöntemi
• [SPARK-39470] [SQL] ANSI aralıklarını ondalıklara dönüştürme desteği
• [SPARK-39477] [SQL] SQLQueryTestSuite'ın altın dosyalarından "Sorgu sayısı" bilgilerini kaldırın
• [SPARK-39419] [SQL] Karşılaştırıcı null döndürdüğünde özel durum oluşturacak ArraySort düzeltildi
• [SPARK-39061] [SQL] Çıkış öznitelikleri için null değer atanabilirliği doğru ayarlama
• [SPARK-39320] [SQL] Destek toplama işlevi MEDIAN
• [SPARK-39261] [CORE] Hata iletileri için yeni satır biçimlendirmesini geliştirme
• [SPARK-39355] [SQL] Tek sütun UnresolvedAttribute oluşturmak için quoted kullanır
• [SPARK-39351] [SQL] SHOW CREATE TABLE özellikleri sansürlemelidir.
• [SPARK-37623] [SQL] ANSI Toplama İşlevi Desteği: regr_intercept
• [SPARK-39374] [SQL] Kullanıcı tarafından belirtilen sütun listesi için hata iletisini iyileştirme
• [SPARK-39255] [SQL][3.3] Hata iletilerini iyileştirme
• [SPARK-39321] [SQL] TryCast'ı RuntimeReplaceable kullanmak için yeniden düzenleme
• [SPARK-39406] [PYTHON] createDataFrame'de NumPy dizilerini kabul etme
• [SPARK-39267] [SQL] DSL gereksiz simgesini temizleme
• [SPARK-39171] [SQL] Atama ifadesini birleştirme
• [SPARK-28330] [SQL] ANSI SQL desteği: sorgu ifadesinde sonuç uzaklığı yan tümcesi
• [SPARK-39203] [SQL] Veritabanı URI'sini temel alarak tablo konumunu mutlak URI'ye yeniden yazma
• [SPARK-39313] [SQL] toCatalystOrdering V2Expression çevrilemiyorsa başarısız olmalıdır
• [SPARK-39301] [SQL][python] Optimize edilmiş Arrow ile createDataFrame'de LocalRelation'ı kullanın ve Arrow toplu işlem boyutuna saygı gösterin
• [SPARK-39400] [SQL] spark-sql her durumda hive kaynak dizinini kaldırmalıdır

Bakım güncelleştirmeleri

Bkz . Databricks Runtime 11.2 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Gölü: 2.1.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları, 2022-08-15'te Microsoft CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)