Databricks Runtime 16.1

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 16.1 hakkında bilgi sağlar.

Databricks bu sürümü Aralık 2024'te yayımladı.

Davranış değişiklikleri

Önemli değişiklik: Photon düzenli ifade işleme artık Apache Spark ile tutarlı

Databricks Runtime 15.4 ve üzerinde, Photon'daki normal ifade işleme, Apache Spark normal ifade işleme davranışıyla eşleşecek şekilde güncelleştirilir. Daha önce, split() ve regexp_extract()gibi Photon tarafından çalıştırılan normal ifade işlevleri Spark ayrıştırıcısı tarafından reddedilen bazı normal ifadeleri kabul etti. Apache Spark ile tutarlılığı korumak için Artık Spark'ın geçerli olmadığını düşündüğü normal ifadelerde Foton sorguları başarısız olur.

Bu değişiklik nedeniyle Spark kodunuz geçersiz normal ifadeler içeriyorsa hatalar görebilirsiniz. Örneğin, eşleşmeyen bir ayraç içeren ve daha önce Photon tarafından kabul edilen split(str_col, '{')ifadesi artık başarısız oluyor. Bu ifadeyi düzeltmek için küme ayracı karakterinden kaçabilirsiniz: split(str_col, '\\{').

Photon ve Spark davranışı, ASCII olmayan karakterlerin bazı normal ifade eşleştirmeleri için de farklılık gösterir. Bu, Photon'un Apache Spark davranışıyla eşleşmesi için de güncelleştirilir.

VARIANT veri türü artık karşılaştırma gerektiren işlemlerle kullanılamaz

Databricks Runtime 16.1 ve üzerinde, VARIANT veri türü içeren sorgularda aşağıdaki yan tümceleri veya işleçleri kullanamazsınız:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Ayrıca, şu DataFrame işlevlerini kullanamazsınız:

• df.dropDuplicates()
• df.repartition()

Bu işlemler karşılaştırma yapar ve VARIANT veri türünü kullanan karşılaştırmalar tanımlanmamış sonuçlar üretir. Bu durum Databricks'te desteklenmez. Azure Databricks iş yüklerinizde veya tablolarınızda VARIANT türünü kullanıyorsanız Databricks aşağıdaki değişiklikleri önerir:

• VARIANT değerleriVARIANT olmayan veri türlerine açıkça aktarmak için sorguları veya ifadeleri güncelleştirin.
• Yukarıdaki işlemlerden herhangi biriyle kullanılması gereken alanlarınız varsa, bu alanları VARIANT veri türünden ayıklayın veVARIANT olmayan veri türlerini kullanarak depolayın.

Daha fazla bilgi edinmek için bkz. Query variant data.

Yeni özellikler ve geliştirmeler

• Apache Spark'ta harmanlamalar için Desteği Genel Önizleme
• Delta Lake'teki harmanlamalar için Desteği Genel Önizleme
• Vakum için LITE modu, Genel Önizleme modundadır
• USE CATALOG with IDENTIFIER yan tümcesinin parametreleştirilmesi için destek
• tablolar ve görünümler için COMMENT ONCOLUMN desteği
• Yeni SQL işlevleri
• Daha fazla işlev için numaralı Adlandırılmış parametre çağırma
• SYNC METADATA komutundaki REPAIR TABLE parametresi, Hive meta veri deposu ile desteklenir.
• Sıkıştırılmış Apache Arrow partileri için gelişmiş veri bütünlüğü
• Unity Kataloğu paylaşılan erişim modu işlem Scala yöntemleri için Desteği eklendi
• Yerleşik Teradata JDBC Sürücüsü
• Scala için StreamingQueryListener desteği
• Yerleşik Oracle JDBC Sürücüsü
• Yollarla erişilen Delta tabloları için daha detaylı hatalar

Apache Spark'ta harmanlama desteği Genel Önizlemede

Artık STRING sütunlara ve ifadelere dile duyarlı, büyük/küçük harfe duyarlı olmayan ve erişime duyarsız harmanlamalar atayabilirsiniz. Bu harmanlamalar dize karşılaştırmalarında, sıralama, gruplandırma işlemlerinde ve birçok dize işlevinde kullanılır. Bkz. harmanlama.

Delta Lake'te harmanlama desteği Genel Önizlemede

Artık Delta tablosu oluştururken veya değiştirirken sütunlar için harmanlamalar tanımlayabilirsiniz. Delta Lakeiçin Sıralama desteğine bakın.

Vakum için LITE modu Genel Önizleme'de

Artık delta işlem günlüğündeki meta verilerden yararlanan daha hafif bir vakum işlemi gerçekleştirmek için VACUUM table_name LITE kullanabilirsiniz. Bkz. Tam ve lite modu ve VACUUM.

USE CATALOG with IDENTIFIER yan tümcesini parametreleştirme desteği

Databricks Runtime 16.1 ve üstü sürümlerde, IDENTIFIER yan tümcesiUSE CATALOG deyimi için desteklenmektedir. Bu destekle, geçerli kataloğu bir dize değişkenine veya parametre işaretçisine göre parametreleştirebilirsiniz.

Tablolar ve görünümler için COMMENT ONCOLUMN desteği

Databricks Runtime 16.1 ve üzeri sürümlerde, COMMENT ON deyimi görünüm ve tablo sütunları için açıklamaları değiştirmeyi destekler.

Yeni SQL işlevleri

Databricks Runtime 16.1 ve üzeri sürümlerde aşağıdaki yeni yerleşik SQL işlevleri kullanılabilir:

• dayname(expr) verilen tarih için haftanın günü için üç harfli İngilizce kısaltmasını döndürür.
• uniform(expr1, expr2 [,seed]) belirtilen sayı aralığında bağımsız ve aynı şekilde dağıtılmış değerlerle rastgele bir değer döndürür.
• randstr(uzunluk)length alfasayısal karakterden oluşan rastgele bir dize döndürür.

Daha fazla işlev için adlandırılmış parametre çağırma

Databricks Runtime 16.1 ve sonraki sürümlerde, aşağıdaki işlevler adıyla parametre çağırmayadestek verir:

• variant_explode
• variant_explode_outer
• ve satır içi
• inline_outer
• posexplode
• posexplode_outer

SYNC METADATA komutuna REPAIR TABLE parametresi Hive meta veri deposu ile desteklenir

Databricks Runtime 16.1 ve sonrası sürümlerde, Hive metastore tarafından yönetilen tablonun meta verilerini güncellemek için SYNC METADATA komutuyla REPAIR TABLE parametresini kullanabilirsiniz. Bkz. REPAIR TABLE.

Sıkıştırılmış Apache Arrow kümeleri için gelişmiş veri bütünlüğü

Databricks Runtime 16.1 ve üzeri sürümlerde, veri bozulmasına karşı daha fazla koruma sağlamak için LZ4 sıkıştırılmış her Arrow paketi artık LZ4 içeriğini ve blok kontrol toplamlarını içerir. bkz. LZ4 Çerçeve Biçimi Açıklaması.

Unity Kataloğu paylaşılan erişim modu işlemlerinde Scala yöntemleri için destek eklendi

Databricks Runtime 16.1 ve üzeri sürümlerinde, Unity Catalog paylaşılan erişim modu hesaplamasında şu Scala yöntemleri için destek eklenir: Dataset.flatMapGroups(), Dataset.mapGroups()ve DataStreamWriter.foreach().

Yerleşik Teradata JDBC Sürücüsü

Databricks Runtime 16.1 ve üzerinde Teradata JDBC Sürücüsü, Azure Databricks'te yerleşik olarak bulunur. DriverManageraracılığıyla müşteri tarafından yüklenen bir JDBC sürücüsü JAR kullanıyorsanız, özel JAR'yi açıkça kullanmak için betikleri yeniden yazmanız gerekir. Aksi takdirde, yerleşik sürücü kullanılır. Bu sürücü yalnızca Lakehouse Federasyonu'nü destekler. Diğer kullanım örnekleri için kendi sürücünüzü sağlamanız gerekir.

Scala için StreamingQueryListener desteği

Artık paylaşılan erişim moduyla yapılandırılmış işlemde Scala'da StreamingQueryListener kullanabilirsiniz.

Yerleşik Oracle JDBC Sürücüsü

Databricks Runtime 16.1 ve üzerinde Oracle JDBC Sürücüsü Azure Databricks'te yerleşik olarak bulunur. DriverManageraracılığıyla müşteri tarafından yüklenen bir JDBC sürücüsü JAR kullanıyorsanız, özel JAR'yi açıkça kullanmak için betikleri yeniden yazmanız gerekir. Aksi takdirde, yerleşik sürücü kullanılır. Bu sürücü yalnızca Lakehouse Federasyonu'nü destekler. Diğer kullanım örnekleri için kendi sürücünüzü sağlamanız gerekir.

Yol kullanılarak erişilen Delta tabloları için daha ayrıntılı hatalar

Yollar kullanılarak erişilen Delta tabloları için yeni bir hata iletisi deneyimi kullanıma sunuldu. Tüm özel durumlar artık kullanıcıya iletilir. Özel durum DELTA_MISSING_DELTA_TABLE artık temel alınan dosyaların Delta tablosu olarak okunamadığı durumlar için ayrılmıştır.

Diğer değişiklikler

cloudFiles Yapılandırılmış Akış kaynağı için yeniden adlandırılan hata kodları

Bu sürüm, aşağıdaki hata kodlarını yeniden adlandırmak için bir değişiklik içerir:

• _LEGACY_ERROR_TEMP_DBR_0143 CF_INCORRECT_STREAM_USAGEolarak yeniden adlandırılır.
• _LEGACY_ERROR_TEMP_DBR_0260 CF_INCORRECT_BATCH_USAGE olarak yeniden adlandırılır.

Hata düzeltmeleri

İç içe türler artık NULL kısıtlamalarını düzgün bir şekilde kabul ediyor

Bu sürüm Delta tarafından oluşturulan, örneğin STRUCTiç içe yerleştirilmiş türlerdeki bazı sütunları etkileyen bir hatayı düzeltir. Bu sütunlar bazen iç içe alanların NULL veya NOT NULL kısıtlamalarına göre ifadeleri yanlış reddeder. Bu durum düzeltildi.

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • 0.0.198 ile 0.0.201 arası ipyflow-core
  • pyccolo 0.0.52'den 0.0.65'e
• R kütüphaneleri yükseltildi.
• Yükseltilen Java kitaplıkları:
  • 1.2.1 ile 1.2.2 arasındaki io.delta.delta-sharing-client_2.12
  • org.lz4.lz4-java 1.8.0'dan 1.8.0-databricks-1'e
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider sürümü 1.6.2-linux-x86_64'dan 2.4.1-linux-x86_64'e güncellendi

Apache Spark

Databricks Runtime 16.1, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 16.0içinde bulunan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmelerini içerir:

• [SPARK-50482] [SC-182879][CORE] Kullanım dışı no-op spark.shuffle.spill yapılandırması
• [SPARK-50032] [SC-182706][SQL][16.x] Tam nitelikli harmanlama adının kullanılmasına izin ver
• [SPARK-50467] [SC-182823][PYTHON] Yerleşik işlevler için __all__ ekleme
• [SPARK-48898] [SC-182828][SQL] Değişken parçalama hatasını düzeltme
• [SPARK-50441] [SC-182668][SQL] CTE'lere başvururken parametrized tanımlayıcıların çalışmaması düzeltildi
• [SPARK-50446] [SC-182639][PYTHON] Arrow ile iyileştirilmiş Python UDF'de eşzamanlılık seviyesi
• [SPARK-50430] [SC-182536][CORE] Elle kopyalama yerine standart Properties.clone kullanın
• [SPARK-50471] [SC-182790][PYTHON] Ok tabanlı Python Veri Kaynağı Yazıcı desteği
• [SPARK-50466] [SC-182791][PYTHON] Dize işlevleri için doküman açıklamasını iyileştirme - bölüm 1
• [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Zamanlayıcı ile Yeni Zamanlayıcı API'sinin ve İlk Durum API'sinin tümleştirilmesi
• [SPARK-50437] [SC-182586][SS] TransformWithStateExec'te seri durumdan çıkarıcı oluşturma yükünü azaltma
• [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Chaining o... desteği eklendi
• [SPARK-49294] [SC-182730][UI] Karıştırma-yazma zamanı onay kutusu için 'width' özniteliğini ekleyin.
• [SPARK-50426] [SC-182540][PYTHON] Yerleşik veya Java veri kaynaklarını kullanırken statik Python veri kaynağı aramasından kaçının
• [SPARK-48356] [SC-182603][SQL] FOR deyimi desteği
• [SPARK-50333] [SC-182136][SQL] CsvToStructs için Codegen Desteği (Invoke & RuntimeReplaceable ile)
• [SPARK-50285] [SC-182575] StagedTable örneklerine yapılan taahhütler için ölçümler
• [SPARK-50081] [SC-182344][SQL] XPath*için Codegen Desteği (Invoke & RuntimeReplaceable ile)
• [SPARK-50440] [SC-182592] [SQL] Refactor AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][SQL] SchemaOfCsv için Codegen Desteği(Invoke & RuntimeReplaceable)
• [SPARK-49873] [SC-178577][SQL] hata testinde birleştirme sonrası hata düzeltildi
• [SPARK-50118] [SC-181259][CONNET] Görevler çalışırken yalıtılmış durum önbelleğini sıfırlama
• [SPARK-49873] [SC-178577][SQL] _LEGACY_ERROR_TEMP_1325 için düzgün hata sınıfı atama
• [SPARK-50381] [SC-182197][CORE] Destek spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][SQL] DAYNAME işlevini ekle
• [SPARK-50270] [SC-181179][SS][PYTHON] TransformWithStateInPandas için özel durum ölçümleri eklendi
• [SPARK-50118] "[SC-181259][CONNET] Görevler çalışırken yalıtılmış durum önbelleğini sıfırlamayı geri al"
• [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] Tablo değerli işlevler için DataFrame API'leri ekleme
• [SPARK-49470] [SC-175736][UI] DataTables stil sayfalarını ve javascript'leri 1.13.5'ten 1.13.11'e güncelleştirme
• [SPARK-50235] "[SC-180786][SQL] ColumnarToRowExec içindeki tüm satırları işledikten sonra ColumnVector kaynağını temizleme" işlemini geri al
• [SPARK-50324] [SC-182278][PYTHON][CONNECT] createDataFrame tetikleyicisini Config RPC'yi en fazla bir kez çalıştıracak şekilde ayarla
• [SPARK-50387] [SC-182441][SS] Zamanlayıcı süre sonu ve ilgili test için güncelleştirme koşulu
• [SPARK-50287] [SC-182400][SQL] FileTable'da WriteBuilder oluştururken tablo ve ilişki birleştirme seçenekleri
• [SPARK-50066] [SC-181484][SQL] SchemaOfXml İçin Codegen Desteği (Invoke & RuntimeReplaceable tarafından)
• [SPARK-50092] [SC-181568][SQL] Çok boyutlu diziler için PostgreSQL bağlayıcı davranışını düzeltme
• [SPARK-50318] [SC-181641][SQL] Yorumlayıcı ve kod oluşturan arasında kod tekrarını önlemek için IntervalUtils.makeYearMonthInterval ekleme
• [SPARK-50312] [SC-181646][SQL] Kerberos true olduğunda SparkThriftServer createServer parametresi geçirme hatası
• [SPARK-50246] [SC-181468][SQL] _LEGACY_ERROR_TEMP_2167için uygun hata koşulu atayın: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][SQL] Json/xml dosyasındaki harmanlamalar verilen şemada değiştirilmemelidir
• [SPARK-50250] [SC-181466][SQL] _LEGACY_ERROR_TEMP_2075için uygun hata koşulu atayın: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][SQL] _LEGACY_ERROR_TEMP_2058için uygun hata koşulu atayın: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][CONNET] Görevler çalışırken yalıtılmış durum önbelleğini sıfırlama
• [SPARK-50235] [SC-180786][SQL] ColumnarToRowExec içindeki tüm satırları işledikten sonra ColumnVector kaynağını temizleme
• [SPARK-50156] [SC-180781][SQL] _LEGACY_ERROR_TEMP_2113'nin UNRECOGNIZED_STATISTIC ile tümleştirilmesi
• [SPARK-50069] [SC-180163][SQL] _LEGACY_ERROR_TEMP_0028'yi UNSUPPORTED_FROM_TO_EXPRESSION ile tümleştir
• [SPARK-50154] [SC-180663][SQL] _LEGACY_ERROR_TEMP_0043için uygun hata koşulu atayın: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][SQL] StructsToJsoniçin Codegen Desteği (to_json)
• [SPARK-50055] [SC-180978][SQL] TryMakeInterval alternatifi ekleme
• [SPARK-50397] [SC-182367][CORE] --ip'ten kullanım dışı olan -i ve Master/Worker bağımsız değişkenlerini kaldırma
• [SPARK-50238] [SC-181434][PYTHON] PySpark UDF/UDF/UDAF ve Python UC UDF'lerinde Değişken Desteği Ekleme
• [SPARK-50079] [SC-179830][SQL] _LEGACY_ERROR_TEMP_2013için uygun hata koşulu atayın: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][ÖRNEK] submit-sql.sh REST API örneği ekleme
• [SPARK-49966] [SC-179501][SQL] Invokeuygulamak için JsonToStructs kullanma (from_json)
• [SPARK-50302] [SC-182518][SS] TTL ile TransformWithState durum bilgisi olan değişkenler için ikincil dizin boyutlarının birincil dizin boyutlarına eşit olduğundan emin olun
• [SPARK-50301] [SC-182241][SS][16.x] TransformWithState ölçümlerinin sezgisel anlamlarını yansıtmasını sağlama
• [SPARK-50175] [SC-182140][SQL] Harmanlama önceliği hesaplamasını değiştirme
• tr-TR: [SPARK-50148] [SC-180292][SQL] StaticInvoke istisna fırlatmayı belirten yöntemle uyumlu hale getirme
• [SPARK-50280] [SC-181214][PYTHON] compute_hist'da sonuç sıralamayı ve boş bölme doldurmayı yeniden düzenleme
• [SPARK-50190] [SC-182458][PYTHON] Histogramdan Numpy'nin doğrudan bağımlılığını kaldırma
• [SPARK-50382] [SC-182368][CONNECT] Spark Connect ile uygulama geliştirme/genişletme hakkında genel bilgi için belgeler ekleme
• [SPARK-50296] [SC-181464][PYTHON][CONNECT] Python Connect istemcisi için threadpool'da sınıf özelliği kullanmaktan kaçının
• [SPARK-49566] [SC-182239][SQL] EXTEND işleci için SQL kanal söz dizimi ekleme
• [SPARK-50036] [SC-179533][CORE][PYTHON] REPL kabuğu bağlamında SPARK_LOG_SCHEMA'yı dahil etme
• [SPARK-49859] [SC-178259][CONNECT] multiprocessing.ThreadPool yerine ThreadPoolExecutor kullanın
• [SPARK-50141] [SC-182378][PYTHON] lpad ve rpad'ün Sütun türü bağımsız değişkenlerini kabul etmesini sağla
• [SPARK-50379] [SC-182142][SQL] WindowExecBase'de DayTimeIntevalType işlemeyi düzeltme
• [SPARK-49954] [SC-179110][SQL] SchemaOfJson için Codegen Desteği (Invoke & RuntimeReplaceable kullanılarak)
• [SPARK-50398] [SC-182341][CORE] Spark betiklerinde 0 kullanımı için ExitCode --help kullanma
• [SPARK-50377] [SC-182238][SQL] Katlanabilir RuntimeReplaceable değerlendirmesine izin ver
• [SPARK-50241] [SC-181444][SQL] NullIntolerant Mixin'i Expression.nullIntolerant yöntemiyle değiştirme
• [SPARK-50084] [SC-179672][SQL] _LEGACY_ERROR_TEMP_3168için uygun hata koşulu atayın: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][SQL] _LEGACY_ERROR_TEMP_0038için uygun hata koşulu atayın: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][SQL] _LEGACY_ERROR_TEMP_1049için uygun hata koşulu atayın: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][SQL] _LEGACY_ERROR_TEMP_0039'nin UNSUPPORTED_SQL_STATEMENT'e entegre edilmesi
• [SPARK-50378] [SC-182235][SS] transformWithState'te proc ilk durumu için harcanan süreyi izlemek amacıyla özel metrik ekleme
• [SPARK-50029] [SC-179531][SQL] StaticInvokeAny döndüren yöntemle uyumlu hale getirme
• [SPARK-49990] [SC-179497][SQL] randStr Performansı İyileştir
• [SPARK-50048] [SC-179528][SQL] _LEGACY_ERROR_TEMP_2114için uygun hata koşulu atayın: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][SQL] _LEGACY_ERROR_TEMP_2104'yi INTERNAL_ERROR'ye dönüştür
• [SPARK-49665] [SC-180054][SQL] Dize işlevleri için harmanlama desteğini kırp
• [SPARK-48549] [SC-176472][SQL][PYTHON] SQL işlevini geliştirme sentences
• [SPARK-50022] [SC-179503][CORE][UI] Kullanıcı arabirimi devre dışı bırakıldığında Uygulama Kullanıcı Arabirimi bağlantılarını gizlemek için MasterPage düzeltme
• [SPARK-50087] [SC-182152] MsSqlServer ve gelecekteki bağlayıcılar için CASE WHEN'da boole ifadelerinin sağlam işlenmesi
• [SPARK-49991] [SC-179481][SQL] Dosya adları oluşturmak için HadoopMapReduceCommitProtocol'a 'mapreduce.output.basename' saygısını sağlayın
• [SPARK-50038] [SC-179521][SQL] _LEGACY_ERROR_TEMP_0008için uygun hata koşulu atayın: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][SQL] _LEGACY_ERROR_TEMP_1156için uygun hata koşulu atayın: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][CORE][UI] Kullanıcı arabirimi devre dışı bırakıldığında uygulama kullanıcı arabirimi bağlantılarını gizlemek için ApplicationPage düzeltildi
• [SPARK-49911] [SC-179111][SQL] İkili eşitliğin semantiğini desteklemek için düzeltme
• [SPARK-50025] [SC-179496][SQL] _LEGACY_ERROR_TEMP_1253'nin EXPECT_VIEW_NOT_TABLE ile entegrasyonu
• [SPARK-49829] [SC-179480][SS] Stream-stream join'te durum deposuna giriş eklemeye ilişkin iyileştirmedeki hatayı düzeltin
• [SPARK-50004] [SC-179499][SQL] _LEGACY_ERROR_TEMP_3327'yi FIELD_NOT_FOUND ile tümleştirme
• [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator ConstantFolding'deki sözleşmeye saygı duymalıdır
• [SPARK-50340] [SC-181859][SQL] INSERT giriş sorgusunda UDT'yi çözme
• [SPARK-50237] [SC-181660][SQL] _LEGACY_ERROR_TEMP_2138-9için uygun hata koşulu atayın: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][SQL] AQE iyileştirmesi sonrasında çıkış sütun sırası değiştirme sorunu düzeltildi
• [SPARK-49773] [SC-178369][SQL] hatalı saat dilimi olan make_timestamp()'den gelen yakalanmamış bir Java özel durumu
• [SPARK-49977] [SC-179265][SQL] Derin ifade ağaçları için birçok Scala List nesnesi oluşturmamak için yığın tabanlı yinelemeli hesaplama kullanın
• [SPARK-50153] [SC-181591][SQL] namegünlüklerini daha net yazdırmak için RuleExecutor'nin QueryExecutionMetrics'e eklenmesi
• [SPARK-50320] [SC-181668][CORE] --remote uyarısını kaldırarak experimental resmi bir seçenek haline getirme
• [SPARK-49909] [SC-179492]"[SQL] Bazı ifadelerin güzel adını düzeltme" değişikliğini geri al
• [SPARK-50330] [SC-180720][SC-181764][SQL] Sıralama ve Pencere düğümlerine ipuçları ekleme
• [SPARK-50364] [SC-182003][SQL] Row.jsonValue'da LocalDateTime türü için serileştirme uygulama
• [SPARK-50016] [SC-182139][SQL] _LEGACY_ERROR_TEMP_2067için uygun hata koşulu atayın: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][PYTHON][SS] TransformWithStateInPandas için deleteIfExists desteği
• [SPARK-49757] [SC-177824][SQL] IDENTIFIERSET deyiminde CATALOG ifadesini destekleme
• [SPARK-50315] [SC-181886][SQL] V1Fallback yazma işlemleri için özel ölçümleri destekleme
• [SPARK-42838] [SC-181509][SQL] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][SQL] ResolveSQLOnFile dosyasını yeniden düzenleme
• [SPARK-48344] [SC-181967][SQL] Execution Framework'ün eklenmesi için SQL Betiği Hazırlama
• [SPARK-49345] [SC-174786][CONNECT] Geçerli çalışan Spark Oturumunu kullandığınızdan emin olun
• [SPARK-49925] [SC-178882][SQL] Harmanlanmış dizelerle sırayla test ekleme
• [SPARK-50167] [SC-181199][PYTHON][CONNECT] PySpark çizim hata iletilerini ve içeri aktarma işlemlerini geliştirme
• [SPARK-49368] [SC-174999][CONNECT] Protobuf lite sınıflarına doğrudan erişmekten kaçının
• [SPARK-50056] [SC-181378][SQL] ParseUrl için Codegen Desteği (RuntimeReplaceable'ı Çağırarak &)
• [SPARK-49601] [SC-180770][SS][PYTHON] TransformWithStateInPandas için İlk Durum İşleme desteği
• [SPARK-49908] [SC-178768][SQL] _LEGACY_ERROR_TEMP_0044 için uygun hata koşulu atama
• [SPARK-50144] [SC-180307][SS] DSv1 akış kaynaklarıyla ölçüm hesaplama sınırlamasını ele alın
• [SPARK-49874] [SC-178303][SQL] Trim ve ltrim harmanlama tanımlayıcılarını kaldırın.
• [SPARK-49513] [SC-180339][SS] transformWithStateInPandas API'sinde zamanlayıcı desteği eklendi
• [SPARK-49119] [SC-175607][SQL] v1 ile v2 arasında söz dizimi show columns tutarsızlığını düzeltme
• [SPARK-49206] [SC-173704][CORE][UI] Ana Environment Variables'e EnvironmentPage tablosu ekleyin
• [SPARK-49934] [SC-179581][SQL] Sabit değerle harmanlanmış haritaya erişmek için örtük dönüştürme ekleme
• [SPARK-50049] [SC-181659][SQL] v2 tablosuna yazmada özel sürücü ölçümlerini destekleme
• [SPARK-50171] [SC-180295][PYTHON] KDE çizimi için numpy'i isteğe bağlı yapma
• [SPARK-49962] [SC-179320][SQL] AbstractStringTypes sınıf hiyerarşisini basitleştirme
• [SPARK-50226] [SC-181483][SQL] MakeDTInterval ve MakeYMInterval işlevlerini düzelt ve Java özel durumlarını yakala
• [SPARK-48775] [SC-170801][SQL][STS] SQLContext'i STS'de SparkSession ile değiştirme
• [SPARK-49015] [SC-175688][CORE] Connect Server saygı göstermelidir spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][SQL][16.x] İşlev çözünürlüğünü tek geçişli Çözümleyicide yeniden kullanılmak üzere ayır
• [SPARK-49995] [SC-180762][SQL] Daha fazla TVF'ye adlandırılmış bağımsız değişken desteği ekleme
• [SPARK-49268] [SC-174903][CORE] SHS geçmiş sağlayıcısında GÇ özel durumlarını kaydet
• [SPARK-48123] [SC-164989][Core] Yapılandırılmış günlükleri sorgulamak için sabit bir tablo şeması sağlama
• [SPARK-49217] [SC-174904][CORE] UnsafeShuffleWriter'da ayrı bir arabellek boyutu yapılandırmasını destekleme
• [SPARK-50325] [SC-181664][SQL][16.x] Tek geçişli Çözümleyici'de yeniden kullanılacak diğer ad çözümlemesini ayır
• [SPARK-50322] [SC-181665][SQL] Alt sorgudaki parametreli tanımlayıcı düzeltildi
• [SPARK-48400] [SC-175283][CORE] PrometheusServletDeveloperApi yükseltme
• [SPARK-50118] "[SC-181259][CONNET] Görevler çalışırken yalıtılmış durum önbelleğini sıfırlamayı geri al"
• [SPARK-50306] [SC-181564][PYTHON][CONNECT] Spark Connect'te Python 3.13 desteği
• [SPARK-50152] [SC-181264][SS] Durum veri kaynağı okuyucusu ile handleInitialState desteği
• [SPARK-50260] [SC-181271][CONNECT] Spark C'yi yeniden düzenleme ve iyileştirme...
• [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: LogInfo'u değişkenlerle yapılandırılmış günlükleme çerçevesine geçirme
• [SPARK-49312] [SC-174672][PYTHON] assertSchemaEqual için hata iletisini iyileştirme
• [SPARK-49439] [SC-175236][SQL] FromProtobuf & ToProtobuf ifadesinin güzel adını düzeltme
• [SPARK-50092] [ES-1258521] Çok boyutlu diziler için PostgreSQL bağlayıcı davranışını düzeltme
• [SPARK-49913] [SC-181565][SQL] İç içe etiketlenmiş kapsamlarda benzersiz etiket adları için denetim ekleme
• [SPARK-49563] [SC-181465][SQL] WINDOW işleci için SQL kanal söz dizimi ekleme
• [SPARK-49661] [SC-179021][SQL] Trim sıralama karması ve karşılaştırmayı uygulayın.
• [SPARK-38912] [SC-181543][PYTHON] classmethod ve özelliğiyle ilgili açıklamayı kaldırma
• [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Sağlamlaştırma] RocksDB SST dosya eşleme yönetimini geliştirme ve mevcut anlık görüntüde aynı sürümü yeniden yükleme sorununu düzeltme
• [SPARK-49002] "[SC-172846][SQL] WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY'deki geçersiz konumları tutarlı bir şekilde ele almayı geri al"
• [SPARK-49668] [SC-178268][SQL] Kırpma harmanlaması için harmanlama anahtarı desteği uygulama
• [SPARK-50262] [SC-181193][SQL] Harmanlama değiştirilirken karmaşık türlerin belirtilmesi yasaklandı.
• [SPARK-48898] [SC-181435][SQL] Değişken parçalama işlevleri ekleme
• [SPARK-48273] [SC-181381]Revert "[SQL] PlanWithUnresolvedIdentifier'ın geç yeniden yazılmasını düzeltin
• [SPARK-50222] [SC-180706][CORE] Destek spark.submit.appName
• [SPARK-50208] [SC-180662][CORE] Destek spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][SQL] IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8, NullIntolerant olarak belirtilmelidir
• [SPARK-50247] [SC-180962][CORE] BLOCK_MANAGER_REREGISTRATION_FAILEDExecutorExitCode olarak tanımlama
• [SPARK-50282] [SC-181221][ML] Basitleştir TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][SQL] TransformWithState işlecinin Avro kodlamasını kullanmasına izin verme
• [SPARK-50267] [SC-181180][ML] DataFrame API'leriyle TargetEncoder.fit geliştirme
• [SPARK-37178] [SC-180939][ML] ml.feature'a Hedef Kodlama Ekleme
• [SPARK-50118] [SC-181259][CONNET] Görevler çalışırken yalıtılmış durum önbelleğini sıfırlama
• [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] np.int8 ile lit(ndarray)'nin numpy veri tipine uygun olmasını sağlamak
• [SPARK-50256] [SC-181048][SQL] Her iyileştirici kuralından sonra bir mantıksal planın çözümlenmemiş olup olmadığını denetlemek için basit doğrulama ekleme
• [SPARK-50196] [SC-180932][CONNECT] Python hata bağlamı düzelterek uygun bağlamı kullanma
• [SPARK-50274] [SC-181181][CORE] DirectByteBufferOutputStream'de kullanımdan sonra kapatmaya karşı koruma
• [SPARK-49999] [SC-180063][PYTHON][CONNECT] Box, kde ve hist çizimlerinde isteğe bağlı "column" parametresinin desteklenmesi sağlanıyor.
• [SPARK-50273] [SC-181178][SS] RocksDB kilit edinme/serbest bırakma durumları için günlüklemeyi iyileştirme
• [SPARK-50033] [SC-180720][SC-180659][SQL] logical.Aggregate() düğümüne bir ipucu ekleyin
• [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Tamamlama dinleyicisi nedeniyle RocksDB ekstra acquireLock sürümünü düzeltme
• [SPARK-50253] [SC-180969][SS] Stream-Stream Join desteklenmiyorsa denetim noktası kimliğini getirmemelidir.
• [SPARK-50255] [SC-180964][PYTHON] Gereksiz tür dönüşümlerinden kaçının compute_hist
• [SPARK-50228] [SC-180780][SQL] RewriteCollationJoin kuralını FinishAnalysis'e taşıyın
• [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] "duyarlılık" kutu grafikleri için kwargs'ın parçası olacak şekilde ayarlayın
• [SPARK-49637] [SC-180160][SQL] INVALID_FRACTION_OF_SECOND için hata iletisi değiştirildi
• [SPARK-49530] [SC-180658][PYTHON] Veri çerçevelerinden etkin oturum alma
• [SPARK-50195] [SC-180654][CORE] StandaloneRestServer düzgün bir şekilde spark.app.name olarak SparkSubmit yaymak için düzeltme
• [SPARK-50229] [SC-180773] Mantıksal planlama sırasında oluşturulan AttributeReference nesnelerinin ömrünü azaltarak geniş şemalar için sürücüde bellek kullanımını azaltma
• [SPARK-50231] [SC-180815][PYTHON] İşlevi Sütun instr kabul substring yapma
• [SPARK-49854] [SC-179812][16.x][SQL] Oturum kopyalama sırasında yapıt yöneticisini kopyalama
• [SPARK-50219] [SC-180694][SQL] Yardımcı yöntemlerin tek geçişli çözümleyicide kullanılabilmesi için ApplyCharTypePadding yeniden düzenleme
• [SPARK-50077] [SC-179827][SQL] Varsayılan tam parametreler desenini önlemeye yardımcı olmak için LogicalRelation için yeni bir desen nesnesi ekleme
• [SPARK-50128] [Backport][16x][SC-180677][SS] Scala'da örtük kodlayıcıları kullanarak durum bilgisi olan işlemci işleyicisi API'leri ekleme
• [SPARK-50061] [SC-179961][SQL] Harmanlanmış sütunlar için çözümleme tablosunu etkinleştirme
• [SPARK-49993] [SC-180084][SQL] Toplam ve Ortalama için hata iletilerini iyileştirme
• [SPARK-49638] [SC-179665][SQL] INVALID_URL'da ANSI yapılandırma önerisini kaldırma
• [SPARK-50204] [SC-180660][SQL] Okuma yolu çözümlemesinin HiveTableRelation ayrıştırılması
• [SPARK-50193] [SC-180651][SS] Zaman modlarını doğrulamak için özel durum işlemeyi düzeltme
• [SPARK-50179] [SC-180342][CORE] REST API'de spark.app.name özelliğini isteğe bağlı yapma
• [SPARK-50068] [SC-180300][SQL] Tek düğümlü dönüştürmeleri ayırmak için TypeCoercion ve AnsiTypeCoercion'ü yeniden düzenleyin
• [SPARK-49411] [SC-179483][SS] Sürücü ve durum bilgisi olan işleçler arasında Durum Deposu Denetim Noktası Kimliğini İlet
• [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET veri sıralamasını korumalıdır
• [SPARK-49506] [SC-180165][SQL] Katlanabilir dizi için ArrayBinarySearch'i iyileştirme
• [SPARK-50097] [SC-179908][SQL] _LEGACY_ERROR_TEMP_1248için uygun hata koşulu atayın: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][SQL][PYTHON] try_make_timestamp(_ltz ve _ntz) fonksiyonunu ekleyin ve ilgili testleri yapın
• [SPARK-50054] [SC-180228][PYTHON][CONNECT] Histogram çizimlerini destekleme
• [SPARK-50015] [SC-179964][SQL] _LEGACY_ERROR_TEMP_1125için uygun hata koşulu atayın: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] Scala ve java dosyalarını varsayılan klasörlerine taşıma
• [SPARK-49980] [SC-180353][CORE][SQL] İptal edilen görevlerde kesintiden kaynaklanan olası dosya akışı sızıntılarını düzeltme
• [SPARK-49010] [SC-172304][SQL][XML] XML şeması çıkarımı büyük/küçük harf duyarlılığı için birim testleri ekleme
• [SPARK-49562] [SC-180211][SQL] Toplama için SQL kanal söz dizimi ekleme
• [SPARK-49663] [SC-180239][SQL] Harmanlama ifadelerinde RTRIM önerilerini etkinleştirme
• [SPARK-48965] [SC-175926][SQL] Doğru şemayı kullanın Dataset#toJSON
• [SPARK-48493] [SC-175893][PYTHON] Geliştirilmiş performans için Python Veri Kaynağı Okuyucusu'nun doğrudan Arrow Batch desteğiyle artırılması
• [SPARK-49734] [SC-180226][PYTHON] İşlev seed için shuffle bağımsız değişkeni ekleme
• [SPARK-50174] [16.x][SC-180253][SQL] UnresolvedCatalogRelation çözümlemesini küçümser
• [SPARK-49989] [SC-179512][PYTHON][CONNECT] KDE/yoğunluk grafikleri desteği
• [SPARK-49805] [SC-180218][SQL][ML] private[xxx] işlevlerini kaldırın function.scala
• [SPARK-49808] [SC-179490][SQL] Lazy vals yüzünden alt sorgu yürütülmesinde bir kilitlenme sorununu düzeltme
• [SPARK-49929] [SC-180144][PYTHON][CONNECT] Destek kutusu çizimleri
• [SPARK-50008] [SC-179290][PS][CONNECT] attach_distributed_sequence_column gereksiz işlemlerden kaçının.
• [SPARK-49767] [SC-180161][PS][CONNECT] İç işlev çağrısını yeniden düzenleme
• [SPARK-49683] [SC-178341][SQL] Kırpma harmanlamasını engelle
• [SPARK-49939] [SC-178941][SQL] json_object_keys için Codegen Desteği (Invoke & RuntimeReplaceable tarafından)
• [SPARK-50031] [SC-179582][SQL] TryParseUrl ifadesini ekleme
• [SPARK-49766] [SC-178933][SQL] json_array_length için Codegen Desteği (Invoke & RuntimeReplaceable)
• [SPARK-50046] [SC-180026][SS] Filigranı hesaplamak için EventTimeWatermark düğümünün kararlı sırasını kullanma
• [SPARK-49540] [SC-180145][PS] distributed_sequence_id kullanımını birleştirme
• [SPARK-50060] [SC-179965][SQL] TypeCoercion ve AnsiTypeCoercion'da farklı harmanlanmış türler arasında dönüştürme devre dışı bırakıldı
• [SPARK-49004] [SC-173244][CONNECT] Sütun API'si iç işlevleri için ayrı kayıt defteri kullanma
• [SPARK-49811] [SC-177888][SQL]Rename StringTypeAnyCollation
• [SPARK-49202] [SC-180059][PS] Histogram için ArrayBinarySearch uygula
• [SPARK-49203] [SC-175734][SQL] java.util.Arrays.binarySearch için ifade ekleme
• [SPARK-50034] [SC-179816][CORE] SparkUncaughtExceptionHandler'da Yakalanmayan Özel Durumlar Olarak Önemli Hataların Yanlış Raporlanması Düzeltildi
• [SPARK-50093] [SC-179836][SQL] ICU kullanan harmanlamalar, kullanılan ICU kitaplığının sürümüne sahip olmalıdır
• [SPARK-49985] [SC-179644][SQL] Variant'da aralık türleri desteğini kaldırma
• [SPARK-49103] [SC-173066][CORE] Destek spark.master.rest.filters
• [SPARK-50090] [SC-179819] Tek düğümlü dönüştürmeyi ayırmak için ResolveBinaryArithmetic'i yeniden düzenleme
• [SPARK-49902] [SC-179650][SQL] RegExpReplace'da temel çalışma zamanı hatalarını yakalama
• [SPARK-49126] [SC-173342][CORE] Yapılandırma tanımını spark.history.ui.maxApplicationsHistory.scala taşıma
• [SPARK-50094] [SC-179820][PYTHON][CONNECT] Satır numarası olmayan düzenleyicilerde bellek profili oluşturucu kullanılırken daha iyi hata iletisi
• [SPARK-50062] [SC-179835][SQL] Yerleşim dizgelerini destekleme InSet
• [SPARK-50035] [Backport][16x][SC-179530][SS] Durum bilgisi olan işlemcinin açık handleExpiredTimer işlevi bölümü için destek eklendi
• [SPARK-49982] [SC-179814][SQL] InMemoryRelation'da negatif önbelleğe almayı düzeltme
• [SPARK-49082] [SC-173350][SQL] AvroDeserializer'da tür yükseltmelerini genişletme
• [SPARK-50088] [SC-179680][SQL] Yeniden düzenleme UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][SS] Durum bilgisi olan işlemcilerde kullanılan harita ve liste türleri için okuma değişiklik akışı desteği eklendi
• [SPARK-49846] [SC-179506][SS] NumUpdatedStateRows ve NumRemovedStateRows metriklerini transformWithState operatörü ile kullanım için ekle
• [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Lit'in str ve bool türü numpy ndarray kabul etmesini sağla
• [SPARK-49821] [SC-179527][SS][PYTHON] TransformWithStateInPandas için MapState ve TTL desteği uygulama
• [SPARK-49558] [SC-179485][SQL] LIMIT/OFFSET ve ORDER/SORT/CLUSTER/DISTRIBUTE BY için SQL kanal söz dizimi ekleme
• [SPARK-48144] [SC-165725][LC-4080][SQL] canPlanAsBroadcastHashJoin'yi karıştırma birleştirme ipuçlarını dikkate alacak şekilde düzeltme
• [SPARK-50051] [SC-179571][PYTHON][CONNECT] lit'nin boş numpy ndarray ile çalışmasını sağlamak
• [SPARK-50018] [SC-179488][SQL] AbstractStringType'ı serileştirilebilir hale getirme
• [SPARK-50016] [SC-179491][SQL] Açık harmanlama uyuşmazlığı hatasını iyileştirme
• [SPARK-50010] [SC-179487][SQL] Örtük harmanlama uyuşmazlığı hatasını açıklama
• [SPARK-48749] [SC-170116][SQL] UnaryPositive'i basitleştirin ve RuntimeReplaceable ile Katalizör Kurallarını ortadan kaldırın
• [SPARK-49857] [SC-178576][SQL] Dataset localCheckpoint API'sine storageLevel ekleme
• [SPARK-50058] [SC-179538][SQL] Daha sonra bunları tek geçişli Çözümleyici testinde kullanmak için plan normalleştirme işlevlerini dikkate alma
• [SPARK-50052] [SC-179535][PYTHON][16.X] NumpyArrayConverter'ın boş str ndarray'i desteklemesini sağla
• [SPARK-47261] [SC-173665][SQL] _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 ve _LEGACY_ERROR_TEMP_1174 hatalar için daha iyi ad atayın
• [SPARK-49147] [SC-173471][CORE] DeveloperApi arabirimiyle KryoRegistrator işaretle
• [SPARK-48949] [SC-173070][SQL] SPJ: Çalışma zamanı bölüm filtrelemesi
• [SPARK-50044] [SC-179523][PYTHON] Birden çok matematik işlevinin belge dizesini daraltma
• [SPARK-48757] [SC-170113][CORE] IndexShuffleBlockResolver için açık oluşturucular sağla
• [SPARK-50037] [SQL] AttributeSeq.resolve(...) yeniden yapılandırılması
• [SPARK-48782] [SC-177056][SQL] Kataloglarda yordam yürütme desteği eklendi
• [SPARK-49057] [SC-173081][SQL] Sorgu aşamaları gönderilirken AQE döngüsünü engelleme
• [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Kimlik Sütunu Ekle SQL söz dizimi
• [SPARK-48773] [SC-170773] Yapılandırma oluşturucu çerçevesi tarafından yapılan "spark.default.parallelism" belge yapılandırması
• [SPARK-48735] [SC-169810][SQL] BIN işlevi için performans iyileştirmesi
• [SPARK-48900] [SC-172433] İş/aşama iptali için tüm iç çağrılar için reason alanı ekleme
• [SPARK-48488] [SC-167605][CORE] log[info|warning|error] içindeki SparkSubmit yöntemlerini düzeltme
• [SPARK-48708] [SC-169809][CORE] KryoSerializer'den üç gereksiz tür kaydını kaldırma
• [SPARK-49958] [SC-179312][PYTHON] Dize doğrulama işlevleri için Python API'si
• [SPARK-49979] [SC-179264][SQL] Başarısız bir planda iki kez toplanması durumunda AQE'nin kilitlenme sorununu giderme
• [SPARK-48729] [SC-169795][SQL] Bir SQL işlevini temsil etmek için UserDefinedFunction arabirimi eklemek
• [SPARK-49997] [SC-179279][SQL] _LEGACY_ERROR_TEMP_2165'yi MALFORMED_RECORD_IN_PARSING ile entegre et
• [SPARK-49259] [SC-179271][SS]Kafka okuma sırasında boyut tabanlı bölüm oluşturma
• [SPARK-48129] [SC-165006][PYTHON] Yapılandırılmış günlükleri sorgulamak için PySpark'ta sabit tablo şeması sağlama
• [SPARK-49951] [SC-179259][SQL] LEGACY_ERROR_TEMPiçin düzgün hata koşulu atama (1099|3085)
• [SPARK-49971] [SC-179278][SQL] _LEGACY_ERROR_TEMP_1097 için uygun hata koşulu atama
• [SPARK-49998] [SC-179277][SQL] _LEGACY_ERROR_TEMP_1252'nin EXPECT_TABLE_NOT_VIEW ile entegrasyonu
• [SPARK-49876] [SC-179262][CONNECT] Spark Connect Hizmeti'nden genel kilitlerden kurtulma
• [SPARK-49957] [SC-179202][SQL] Dize doğrulama işlevleri için Scala API
• [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener spark.interrupt() tarafından etkilenmemelidir
• [SPARK-49643] [SC-179239][SQL] _LEGACY_ERROR_TEMP_2042'yi ARITHMETIC_OVERFLOW'a birleştir.
• [SPARK-49959] [SC-179109][SQL] ColumnarArray.copy()'yi doğru ofsetten boş değerleri okuyacak şekilde düzeltme
• [SPARK-49956] Geri Al "[SC-179070] collect_set ifadesi ile dizilimleri devre dışı bıraktı"
• [SPARK-49987] [SC-179180][SQL] seedExpressionrandstr'nin katlanabilir olmadığı durumdaki hata uyarısını düzeltme.
• [SPARK-49948] [SC-179158][PS][CONNECT] Spark üzerindeki pandas kutusu çizimine "hassasiyet" parametresi ekleme
• [SPARK-49970] [SC-179167][SQL] _LEGACY_ERROR_TEMP_2069 için düzgün hata koşulu atama
• [SPARK-49916] [SC-179108][SQL] Bazı satırlarda ColumnType ile veri türü arasında tür uyuşmazlığı için uygun Özel Durum oluşturun
• [SPARK-49956] [SC-179070] collect_set ifadesiyle harmanlamalar devre dışı bırakıldı
• [SPARK-49974] [16.x][SC-179071][SQL] resolveRelations(...) öğesini Analyzer.scala dışına taşıma
• [SPARK-47259] [SC-176437][SQL] Aralık hatalarına ilişkin hata koşullarına ad atama
• [SPARK-47430] [SC-173679][SQL] Referans bağlama istisnasını düzeltmek için grup içinde eşleme türünü yeniden düzenle.
• [SPARK-49067] [SC-172616][SQL] Utf-8 litera değerlerini UrlCodec sınıfının iç metotlarına taşıma
• [SPARK-49955] [SC-178989][SQL] null değeri, JSON dizesi RDD ayrıştırılırken bozuk dosya anlamına gelmez
• [SPARK-49393] [SC-175212][SQL] Kullanım dışı katalog eklentisi API'lerinde varsayılan olarak başarısız
• [SPARK-49952] [SC-178985][SQL] _LEGACY_ERROR_TEMP_1142 için uygun hata koşulu atama
• [SPARK-49405] [SC-175224][SQL] JsonOptions'da karakter kümelerini kısıtlama
• [SPARK-49892] [SC-178975][SQL] _LEGACY_ERROR_TEMP_1136 için düzgün hata sınıfı atama
• [SPARK-49904] [SC-178973][SQL] _LEGACY_ERROR_TEMP_2140 için uygun hata koşulu atama
• [SPARK-47257] [SC-174244][SQL] _LEGACY_ERROR_TEMP_105[3-4] ve _LEGACY_ERROR_TEMP_1331 hata sınıflarına ad atama
• [SPARK-49915] [SC-178869][SQL] ReorderAssociativeOperator'da sıfırları ve birleri işleme
• [SPARK-49891] [SC-178970][SQL] _LEGACY_ERROR_TEMP_2271 için uygun hata koşulu atama
• [SPARK-49918] [SC-178748][CORE] Uygun durumlarda SparkContext'de yapılandırmaya salt okunur erişim kullanılması
• [SPARK-49666] [SC-177891][SQL] Kırpma harmanlama özelliği için bir özellik bayrağı ekleyin
• [SPARK-48885] [SC-171050][SQL] RuntimeReplaceable sınıfının bazı alt sınıflarını tembel değerle değiştirecek şekilde geçersiz kılın
• [SPARK-49932] [SC-178931][CORE] Bellek sızıntılarını önlemek için tryWithResource yayın JsonUtils#toJsonString kaynaklarını kullanın
• [SPARK-49949] [SC-178978][PS] attach_sequence_column'da gereksiz çözümleme görevlerinden kaçının
• [SPARK-49924] [SC-178935][SQL] containsNull değiştirildikten sonra ArrayCompact tutulmalı
• [SPARK-49121] [SC-174787][SQL] SQL işlevleri için from_protobuf ve to_protobuf desteği
• [SPARK-47496] [SC-160529][SQL] Dinamik JDBC diyalekt kaydı için Java SPI Desteği
• [SPARK-49359] [SC-174895][SQL] StagedTableCatalog uygulamalarının atomik olmayan yazma işlemine geri dönmesine izin ver
• [SPARK-49895] [SC-178543][SQL][ES-1270338] SELECT yan tümcesinde sondaki virgülle karşılaşıldığında hatayı iyileştirme
• [SPARK-47945] [SC-163457][SQL] MsSQLServer: Microsoft SQL Server'dan Spark SQL Veri Türlerini Belge Eşleme ve test ekleme
• [SPARK-46037] [SC-175495][SQL] Codegen olmadan oluşturulan Karıştırılmış Hash Join için doğruluk düzeltmesi
• [SPARK-47813] [SC-162615][SQL] getArrayDimension değerini updateExtraColumnMeta ile değiştirme
• [SPARK-49542] [SC-178765][SQL] Bölüm dönüştürme özel durumu değerlendirme hatası
• [SPARK-47172] [SC-169537][CORE] RPC şifrelemesi için AES-GCM desteği eklendi
• [SPARK-47666] [SC-161476][SQL] mysql bit diziyi LongType olarak okurken NPE'yi düzelt
• [SPARK-48947] [SC-174239][SQL] Charset.forName dosyasında önbelleğin eksik olmasını azaltmak için küçük harfli karakter kümesi adı kullanın
• [SPARK-49909] [SC-178552][SQL] Bazı ifadelerin güzel adını düzeltme
• [SPARK-47647] [SC-161377][SQL] MySQL veri kaynağının bitleri (n>1) Postgres gibi BinaryType olarak okuyabilmesini sağlama
• [SPARK-46622] [SC-153004][CORE] toString için o.a.s.network.shuffledb.StoreVersion yöntemini geçersiz kılma
• [SPARK-48961] [SC-171910][PYTHON] PySparkException parametre adlandırmasını JVM ile tutarlı hale getirme
• [SPARK-49889] [SC-178474][PYTHON] İşlevler için bağımsız değişken trim eklemetrim/ltrim/rtrim
• [SPARK-47537] [SC-160747][SQL] MySQL Bağlayıcısı/J'de hata veri türü eşlemesini düzeltme
• [SPARK-47628] [SC-161257][SQL] Postgres bit dizisi sorunu düzeltildi 'Boole'a bırakılamıyor'
• [SPARK-49843] [SC-178084][ES-1268164][SQL] Char/varchar sütunlarında değişiklik açıklamasını düzeltme
• [SPARK-49549] [SC-178764][SQL] Hata koşullarına ad atama _LEGACY_ERROR_TEMP_3055, 3146
• [SPARK-49791] [SC-177730][SQL] DelegatingCatalogExtension'ı daha genişletilebilir hale getirme
• [SPARK-49559] [SC-178551][SQL] Ayarlama işlemleri için SQL kanal söz dizimi ekleme
• [SPARK-49906] [SC-178536][SQL] PartitioningUtils için ÇAKIŞAN_DİZİN_YAPILARI hatasını tanıtma ve kullanma
• [SPARK-49877] [SC-178392][SQL] ClassifyException işlev imzasını değiştirme: isRuntime bağımsız değişkenini ekleme
• [SPARK-47501] [SC-160532][SQL] Mevcut convertTimestampToTimestamp gibi JdbcDialect için convertDateToDate özelliği ekle.
• [SPARK-49044] [SC-175746][SQL] ValidateExternalType hata durumunda alt öğeyi döndürmelidir
• [SPARK-47462] [SC-160460][SQL] MySQLDialect'te diğer imzalanmamış sayısal türlerin eşlemelerini TINYINT ile hizalama
• [SPARK-47435] [SC-160129][SQL] SPARK-45561'in neden olduğu MySQL UNSIGNED TINYINT taşması sorununu düzeltme
• [SPARK-49398] [SC-176377][SQL] CACHE TABLE ve CREATE VIEW sorgusundaki parametreler için hatayı iyileştirme
• [SPARK-47263] [SC-177012][SQL] Eski koşullara ad atama _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][SQL] ascendingOrderDataTypeMismatchSortArray olduğunda uyarıyı düzelt
• [SPARK-49806] [SC-178304][SQL][CONNECT] blank space ve show istemcilerinde Scala'ten sonra yedekli Connect'yi kaldırma
• [SPARK-47258] [SC-175032][SQL] Hata sınıflarına ad atama _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][SQL] JOIN işleci için SQL kanal söz dizimi ekleme
• [SPARK-49836] [SC-178339][SQL][SS] Window/session_window fonksiyonuna pencere sağlandığında muhtemelen bozuk olan sorgu düzeltildi
• [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Postgres ve MySQL için SQL zaman damgaları eşlemesini işleme
• [SPARK-49776] [SC-177818][PYTHON][CONNECT] Pasta çizimlerini destekleme
• [SPARK-49824] [SC-178251][SS][CONNECT] SparkConnectStreamingQueryCache'te günlüğe kaydetmeyi iyileştirme
• [SPARK-49894] [SC-178460][PYTHON][CONNECT] Sütun alanı işlemlerinin dize gösterimini daraltma
• [SPARK-49764] [SC-177491][PYTHON][CONNECT] Destek alanı çizimleri
• [SPARK-49694] [SC-177376][PYTHON][CONNECT] Dağılım çizimlerini destekleme
• [SPARK-49744] [SC-178363][SS][PYTHON] TransformWithStateInPandas'ta ListState için TTL desteği uygulama
• [SPARK-49879] [SC-178334][CORE] Java derleme uyarılarını ortadan kaldırmak için TransportCipherUtil ayrı bir dosyaya taşıma
• [SPARK-49866] [SC-178353][SQL] Bölüm sütunlarıyla tabloyu açıklama hata iletisini iyileştirme
• [SPARK-49867] [SC-178302][ES-1260570][SQL] GetColumnByOrdinal çağrılırken dizin sınırların dışında olduğunda hata iletisini geliştirme
• [SPARK-49607] [SC-177373][PYTHON] Örneklenmiş çizimler için örnekleme yaklaşımını güncelleştirme
• [SPARK-49626] [SC-177276][PYTHON][CONNECT] Yatay ve dikey çubuk grafiklerini destekleme
• [SPARK-49531] [SC-177770][PYTHON][CONNECT] Plotly arka ucu ile çizgi grafiği desteği
• [SPARK-49444] [SC-177692][ES-1203248][SQL] UnivocityParser, ArrayIndexOutOfBounds'un neden olduğu çalışma zamanı hatalarını, daha kullanıcı dostu mesajlarla bildirecek şekilde değiştirildi.
• [SPARK-49870] [SC-178262][PYTHON] Spark Classic'te Python 3.13 desteği ekleme
• [SPARK-49560] [SC-178121][SQL] TABLESAMPLE işleci için SQL kanal söz dizimi ekleme
• [SPARK-49864] [SC-178305][SQL] BINARY_ARITHMETIC_OVERFLOW iletisini geliştirme
• [SPARK-48780] [SC-170274][SQL] İşlevler ve yordamları işlemek için NamedParametersSupport içindeki hataları genel hale getirme
• [SPARK-49358] [SC-178158][SQL] Harmanlanmış dizelerle eşleme türleri için mod ifadesi
• [SPARK-47341] [SC-178157][SQL] RuntimeConfig#get dosyasının yanlış belgeleri düzeltildi
• [SPARK-48357] [SC-178153][SQL] LOOP deyimi desteği
• [SPARK-49845] [SC-178059][CORE] REST API'de appArgs ve environmentVariables isteğe bağlı hale getirme
• [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable bunun yazmak için olup olmadığını göstermelidir
• [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Scala için istemci tarafı dinleyici desteği eklendi
• [SPARK-48700] [SC-177978][SQL] Karmaşık türler için mod ifadesi (tüm harmanlamalar)
• [SPARK-48196] [SC-177899][SQL] QueryExecution lazy val planlarını LazyTry'ye dönüştürme
• [SPARK-49749] [16.x][SC-177877][CORE] BlockManagerInfo'da hata ayıklamak için günlük düzeyini değiştirme
• [SPARK-49561] [SC-177897][SQL] PIVOT ve UNPIVOT işleçleri için SQL kanal söz dizimi ekleme
• [SPARK-49823] [SC-177885][SS] RocksDB kapatma işlemi sırasında boşaltmayı önleme
• [SPARK-49820] [SC-177855] [PYTHON] raise IOErrorraise OSError olarak değiştirme
• [SPARK-49653] [SC-177266][SQL] Bağıntılı skaler alt sorgular için tek birleşim
• [SPARK-49552] [SC-177477][PYTHON] Yeni 'randstr' ve 'tekdüzen' SQL işlevleri için DataFrame API desteği ekleme
• [SPARK-48303] [16.x][SC-166251][CORE] LogKeys'i Yeniden Düzenleme
• [SPARK-49656] [16x][Backport][SS] Değer durumu koleksiyon türlerine sahip durum değişkenleri için destek ekleme ve değişiklik akışı seçeneklerini okuma
• [SPARK-48112] [SC-165129][CONNECT] SparkConnectPlanner'da oturumu eklentilere sunma
• [SPARK-48126] [16.x][SC-165309][Core] spark.log.structuredLogging.enabled etkin hale getirme
• [SPARK-49505] [SC-176873][SQL] Aralıklar içinde rastgele dizeler veya sayılar oluşturmak için yeni "randstr" ve "tekdüzen" SQL işlevleri oluşturma
• [SPARK-49463] [SC-177474] TransformWithStateInPandas için ListState Desteği
• [SPARK-48131] [SC-165007][Core] MDC anahtarı mdc.taskName ve task_name birleştirme
• [SPARK-49557] [SC-177227][SQL] WHERE işleci için SQL kanal söz dizimi ekleme
• [SPARK-49323] [16.x][SC-174689][CONNECT] MockObserver'ı Spark Connect Sunucusunun test klasöründen Sunucunun ana klasörüne taşıma
• [SPARK-49745] [SC-177501][SS] Durum veri kaynağı okuyucusu aracılığıyla kayıtlı zamanlayıcıları okumak için değişiklik ekleme
• [SPARK-49772] [16.x][SC-177478][SC-177214][SS] ColumnFamilyOptions'ı kaldırma ve rocksDB'deki dbOptions'a doğrudan yapılandırma ekleme

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBCindirin JDBCindirin).

Bkz. Databricks Runtime 16.1 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları, 2024-08-04tarihinde Posit Paket Yöneticisi CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)