Szerver nélküli megoldások kibocsátási megjegyzései

Ez a cikk ismerteti azokat a funkciókat és viselkedéseket, amelyek jelenleg elérhetők és hamarosan elérhetők a jegyzetfüzetek és feladatok kiszolgáló nélküli számításán.

A kiszolgáló nélküli számítással kapcsolatos további információkért lásd: Csatlakozás kiszolgáló nélküli számításhoz.

Az Azure Databricks rendszeresen kiadja a kiszolgáló nélküli számítás frissítéseit, és automatikusan frissíti a kiszolgáló nélküli számítási futtatókörnyezetet a platform fejlesztéseinek és frissítéseinek támogatásához. Minden felhasználó ugyanazokat a frissítéseket kapja, és rövid idő alatt kerülnek bevezetésre.

kiszolgáló nélküli környezet verziói

A notebookokhoz és feladatokhoz készült Databricks kiszolgáló nélküli számítás egy Spark Connect-alapú architektúrával rendelkezik, amely lehetővé teszi a független motorfrissítéseket anélkül, hogy az hatással lenne az alkalmazásra. Az alkalmazáskompatibilitás biztosítása érdekében a kiszolgáló nélküli számítási feladatok egy verziószámozott API-t használnak, más néven a környezeti verziót vagy az ügyfelet, amely továbbra is kompatibilis marad az újabb kiszolgálóverziókkal.

A legújabb környezeti verzió továbbra is frissítéseket kap, amíg új verziót nem ad ki. A felhasználók a következő támogatott környezetverziók közül választhatnak:

• Kiszolgáló nélküli környezet 2
• kiszolgáló nélküli környezet 1. verziója

Kibocsátási megjegyzések

Ez a szakasz a kiszolgáló nélküli számítás kibocsátási megjegyzéseit tartalmazza. A kibocsátási megjegyzések év és hét szerint vannak rendszerezve. A kiszolgáló nélküli számítás mindig az itt felsorolt legújabb kiadású verzióval fut.

• Magas memóriabeállítás érhető el a kiszolgáló nélküli jegyzetfüzetekben (nyilvános előzetes verzió)
• 16.1-es verzió
• 15.4-es verziójú
• A JDK JDK 8-ról JDK 17-re frissül
• 15.1-es verzió
• 14.3-es verzió

Kiszolgáló nélküli jegyzetfüzeteken elérhető magas memóriabeállítás (nyilvános előzetes verzió)

2025. február 7-én

Mostantól nagyobb memóriaméretet konfigurálhat a kiszolgáló nélküli számítási jegyzetfüzet számítási feladataihoz. Ez a beállítás interaktív és ütemezett jegyzetfüzet-számítási feladatokra is alkalmazható.

A magas memóriával rendelkező kiszolgáló nélküli használat magasabb DBU-kibocsátási sebességgel rendelkezik, mint a normál memória.

További információ: Magas memória konfigurálása kiszolgáló nélküli számítási feladatokhoz.

16.1-es verzió

2025. február 5-én

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel Databricks Runtime 16.0 és Databricks Runtime 16.1.

Új funkciók

• Avro-támogatás rekurzív sémához: Mostantól használhatja a recursiveFieldMaxDepth lehetőséget a from_avro függvénnyel és az avro adatforrással. Ez a beállítás a séma-rekurzió maximális mélységét állítja be az Avro-adatforráson. Lásd a streamelt Avro-adatok olvasását és írását.

• Avro Confluent sémaregisztrációs adatbázisának bővített támogatása: Kiszolgáló nélküli mostantól támogatja az Avro-sémahivatkozást a Confluent sémaregisztrációs adatbázisával. Lásd: Hitelesítés külső Confluent-sémaregisztrációs adatbázisba.

• A folyékony fürtözésű táblákon a reclustering kényszerítése: Mostantól a OPTIMIZE FULL szintaxissal kényszerítheti a tábla összes rekordjának újrafürtözését, ha a folyékony fürtözés engedélyezve van. Lásd: Az összes rekord újracsoportosításának kényszerítése.

• A PythonHoz készült Delta API-k mostantól támogatják az identitásoszlopokat: Mostantól a Python Delta API-ival is létrehozhat identitásoszlopokat tartalmazó táblákat. Lásd: Az identitásoszlopok használata a Delta Lake esetében.

• Dinamikus fürtözött táblák létrehozása streamelési írások során: Mostantól a clusterBy használatával engedélyezheti a dinamikus fürtözést, amikor új táblákat hoz létre strukturált streamelési írásokkal. Lásd: Folyékony fürtözés engedélyezése.

• A OPTIMIZE FULL záradék támogatása: Kiszolgáló nélküli számítás mostantól támogatja a OPTIMIZE FULL záradékot. Ez a záradék optimalizálja a folyékony fürtözést használó táblák összes rekordjait, beleértve a korábban fürtözött adatokat is.

• A WITH beállításspecifikáció támogatása INSERT és a táblahivatkozásokban: A kiszolgáló nélküli számítás mostantól támogatja a beállításspecifikációt, egy INSERT utasítás táblahivatkozásaihoz és táblázatneveihez, amely az adatforrások viselkedésének szabályozására használható.

• Új SQL-függvények: A következő SQL-függvények már elérhetők kiszolgáló nélküli számításon:

  • try_url_decode a url_decodehibatűrő verziója.
  • nullifnull 0 értéket ad vissza, ha a zeroifnull() függvény bemeneti kifejezése NULL.
  • nullifzero visszaadja NULL-t, ha a bemenet 0, vagy a bemenetet, ha az nem 0.
  • dayname(expr) a hét napjának hárombetűs angol betűszóját adja vissza az adott dátumhoz.
  • uniform(expr1, expr2 [,seed]) egy véletlenszerű értéket ad vissza független és azonos eloszlású értékekkel a megadott számtartományon belül.
  • randstr(hossz) egy véletlenszerű karaktersorozatot ad vissza length alfa-numerikus karakterekből.

• Automatikus sémafejlődés engedélyezése az adatok Delta-táblába való egyesítésekor: a withSchemaEvolution() osztály DeltaMergeBuilder tagjának támogatása lett hozzáadva. A műveletek során withSchemaEvolution() az automatikus sémafejlődés engedélyezésére használhatóMERGE. Például: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

• Az Apache Sparkban a rendezések támogatása nyilvános előzetes verzióban érhető el: Mostantól nyelvérzékeny, kis- és nagybetűket nem érzéketlen és hozzáférés-érzéketlen rendezéseket rendelhet STRING oszlopokhoz és kifejezésekhez. Ezeket a kollációkat karakterlánc-összehasonlításokban, rendezési, csoportosítási műveletekben és több karakterláncfüggvényben használják. Lásd a rendezés-je.

• A Delta Lake-ben a rendezések támogatása nyilvános előzetes verzióban érhető el: A Delta-tábla létrehozásakor vagy módosításakor mostantól oszlopok rendezéseit is definiálhatja. Lásd a Delta Lake betűrendbe rendezési támogatást.

• LITE vákuum mód nyilvános előzetes verzióban érhető el: Mostantól a VACUUM table_name LITE használatával kisebb súlyú vákuumműveletet hajthat végre, amely a Delta tranzakciónapló metaadatait használja. Lásd: Teljes vs. könnyű mód és VACUUM.

• A USE CATALOG with IDENTIFIER záradék paraméterezésének támogatása: A IDENTIFIER záradék mostantól támogatott a USE CATALOG utasításhoz. Ezzel a támogatással paraméterezheti az aktuális katalógust egy sztringváltozó vagy paraméterjelölő alapján.

• COMMENT ON COLUMN táblák és nézetek támogatása: A COMMENT ON utasítás mostantól támogatja a nézet- és táblázatoszlopok megjegyzéseinek módosítását.

• Elnevezett paraméter meghívása további függvényekhez: Az alábbi függvények támogatják elnevezett paraméterhívási:

  • változat_robban
  • változat_kinyílása_külső
  • beágyazott
  • inline_outer
  • posexplode
  • posexplode_outer

• Az SYNC METADATA parancshoz tartozó REPAIR TABLE paramétert a Hive metaadattár támogatja: Mostantól a SYNC METADATA paramétert a REPAIR TABLE paranccsal frissítheti a Hive metaadattár által felügyelt táblák metaadatait. Lásd a(z) REPAIR TABLE.

• Bővített adatintegritás tömörített Apache Arrow-kötegekhez: Az adatsérülés elleni további védelem érdekében minden LZ4 tömörített Arrow köteg tartalmazza a LZ4 tartalom- és blokkok-ellenőrzőösszegeket. Lásd: LZ4 keretformátum leírása.

• beépített Oracle JDBC-illesztőprogram: kiszolgáló nélküli számításban már beépített Oracle JDBC-illesztőprogram található. Ha ügyfél által feltöltött JDBC-illesztő JAR-t használ DriverManagerkeresztül, át kell írnia szkripteket az egyéni JAR explicit használatához. Ellenkező esetben a beépített illesztőprogramot használja a rendszer. Ez az illesztőprogram csak a Lakehouse Federationt támogatja. Egyéb használati esetekben saját illesztőprogramot kell megadnia.

• Az elérési utakkal elért Delta-táblák részletesebb hibái: Mostantól új hibaüzenet jelenik meg az elérési utakkal elért Delta-táblákhoz. A rendszer minden kivételt továbbít a felhasználónak. A kivétel DELTA_MISSING_DELTA_TABLE akkor van fenntartva, ha a mögöttes fájlok nem olvashatók Delta-táblaként.

Viselkedésbeli változások

• Kompatibilitástörő változás: Az üzemeltetett RStudio élettartama lejárt.: Ezzel a kiadással a Databricks által üzemeltetett RStudio-kiszolgáló élettartama is lejárt, és nem érhető el a szerver nélküli számításokon futó Azure Databricks-munkaterületeken. További információkért és az RStudio alternatíváinak listájáért lásd: Az üzemeltetett RStudio-kiszolgáló elavulása.

• Kompatibilitástörő változás: A byte, short, int és long típusok szélesebb típusokra történő módosításának támogatásának megszüntetése: Annak érdekében, hogy a Delta- és Iceberg-táblák konzisztens viselkedését biztosítsuk, a következő adattípus-módosítások többé nem alkalmazhatók a típus szélesítés funkcióval rendelkező táblákra.

  • byte, shortés intlong a .decimal
  • byte, shortés int a .double

• Regex-minták helyes elemzése beágyazott karaktercsoportba rendezéssel: Ez a kiadás tartalmaz egy módosítást, amely támogatja a regex minták megfelelő elemzését a beágyazott karaktercsoportozásban való negációval. A rendszer például [^[abc]] "bármely olyan karakterként lesz elemezve, amely NEM az "abc" egyike.

  Emellett a Photon viselkedése inkonzisztens volt a Sparkkal a beágyazott karakterosztályok esetében. A beágyazott karakterosztályokat tartalmazó Regex-minták már nem használják a Photont, hanem a Sparkot. A beágyazott karakterosztály minden olyan minta, amely szögletes zárójeleket tartalmaz, például [[a-c][1-3]].

• Duplikált egyezés észlelésének javítása a Delta Lake MERGE:MERGE most már figyelembe veszi a WHEN MATCHED záradékban megadott feltételeket. Lásd: Az Upsert használata egy Delta Lake-táblához történő egyesítéssel.

• A addArtifact() funkció mostantól konzisztens a számítási típusok között: Amikor addArtifact(archive = True) használ függőséget a kiszolgáló nélküli számításhoz, a rendszer automatikusan kicsomagolja az archívumot. Ez a módosítás konzisztenssé teszi a addArtifact(archive = True) viselkedését az egyfelhasználós számítással, amely már támogatja az archívumok automatikus kicsomagolását.

• A VARIANT adattípus már nem használható összehasonlítást igénylő műveletekkel: Az VARIANT adattípust tartalmazó lekérdezésekben nem használhatja az alábbi záradékokat vagy operátorokat:

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

  Ezenkívül nem használhatja ezeket a DataFrame-függvényeket:

  • df.dropDuplicates()
  • df.repartition()

  Ezek a műveletek összehasonlítást végeznek, és az VARIANT adattípust használó összehasonlítások nem definiált eredményeket eredményeznek, és a Databricks nem támogatja őket. Ha az Azure Databricks számítási feladataiban vagy tábláiban a VARIANT típust használja, a Databricks a következő módosításokat javasolja:

  • Frissítse a lekérdezéseket vagy kifejezéseket úgy, hogy a VARIANT értékeket kifejezetten átalakítsa aVARIANT adattípusokra.
  • Ha olyan mezőkkel rendelkezik, amelyeket a fenti műveletek bármelyikével együtt kell használnia, bontsa ki ezeket a mezőket a VARIANT adattípusból, és neVARIANT adattípusokkal tárolja őket.

  Lásd: Lekérdezésvariánsadatok.

Hibajavítások

• Az időzóna-eltolások mostantól másodperceket is tartalmaznak, amikor CSV-, JSON- és XML-formátumba szerializálják őket. Az olyan időbélyegek, amelyek időzóna-eltolása másodperceket tartalmaz (ami gyakori az 1900 előtti dátumoknál), a másodperceket kihagyták, amikor CSV-, JSON- és XML-formátumba szerializálták őket. Az alapértelmezett időbélyeg-formázó ki lett javítva, és most a megfelelő eltolási értékeket adja vissza ezekhez az időbélyegekhez.

Egyéb módosítások

• Átnevezett hibakódok a strukturált streamelési forrás cloudFiles esetében: A következő hibakódok lettek átnevezve:
  • _LEGACY_ERROR_TEMP_DBR_0143 át lett nevezve CF_INCORRECT_STREAM_USAGE-re.
  • _LEGACY_ERROR_TEMP_DBR_0260 át lett nevezve CF_INCORRECT_BATCH_USAGE -re.

15.4-es verzió

2024. október 28.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 15.4-nek

Új funkciók

• UTF-8 érvényesítési függvények: Ez a kiadás az alábbi függvényeket mutatja be az UTF-8 sztringek érvényesítéséhez:
  • is_valid_utf8 ellenőrizte, hogy egy sztring érvényes UTF-8 sztring-e.
  • make_valid_utf8 egy potenciálisan érvénytelen UTF-8 sztringet helyettesítő karakterek használatával konvertál érvényes UTF-8 sztringgé.
  • validate_utf8 hibát jelez, ha a bemenet nem érvényes UTF-8 sztring.
  • try_validate_utf8 akkor ad NULL vissza, ha a bemenet nem érvényes UTF-8 sztring.
• UniForm Iceberg engedélyezése ALTER TABLEhasználatával: Mostantól adatfájlok újraírása nélkül engedélyezheti az UniForm Iceberget a meglévő táblákon. Lásd: Iceberg olvasási funkció engedélyezése meglévő táblán.
• try_url_decode függvény: Ez a kiadás bemutatja a try_url_decode függvényt, amely egy URL-kódolt sztringet dekódol. Ha a sztring nem a megfelelő formátumban van, a függvény hibafelismertetés helyett ad vissza NULL .
• Opcionálisan engedélyezheti az optimalizáló számára, hogy nem kényszerített idegenkulcs-megkötésekre támaszkodjon: A lekérdezési teljesítmény javítása érdekében most már megadhatja a RELY kulcsszót FOREIGN KEY korlátozásokhoz, amikor CREATE vagy ALTER egy táblát.
• Párhuzamosan futó feladatok szelektív felülírásokhoz: A szelektív felülírások replaceWhere mostantól párhuzamosan futtatnak olyan feladatokat, amelyek adatokat törölnek és új adatokat szúrnak be, javítva ezzel a lekérdezési teljesítményt és a fürt kihasználtságát.
• Jobb teljesítmény a szelektív felülírásokkal rendelkező adatcsatornák módosításához: A módosítási adatcsatornával rendelkező táblák replaceWhere használatával végzett szelektív felülírás már nem ír külön módosítási adatfájlokat a beszúrt adatokhoz. Ezek a műveletek a mögöttes Parquet-adatfájlokban található rejtett _change_type oszlopot használják a módosítások íráserősítés nélküli rögzítéséhez.
• COPY INTO Ez a fejlesztés úgy valósul meg, hogy a RocksDB állapottároló aszinkron módon tölti be az állapotot. Ezzel a módosítással javulni fog a nagy állapotú lekérdezések kezdési ideje, például a nagy számú már betöltött fájllal rendelkező lekérdezések esetében.
• Az ellenőrzőkorlátok táblafunkciójának elvetése: Mostantól elvetheti a checkConstraints tábla funkciót egy Delta-táblából ALTER TABLE table_name DROP FEATURE checkConstraintshasználatával. Lásd: Ellenőrzési korlátozások letiltása.

Viselkedésbeli változások

• nézetek sémakötésének módosítása: Amikor a nézet alapjául szolgáló lekérdezés adattípusai a nézet első létrehozásakor használt adatoktól változnak, a Databricks többé nem ad hibát a nézetre mutató hivatkozásoknál, ha nem lehet biztonságos megjelenítést végezni.

  Ehelyett a nézet kompenzálja a-et azzal, hogy ahol lehetséges, a rendszeres öntési szabályokat alkalmazza. Ez a módosítás lehetővé teszi, hogy a Databricks könnyebben tolerálja a táblaséma változásait.

• A nem dokumentált ! szintaxistűrés NOT letiltása a logikai logikán kívül: A Databricks többé nem tolerálja a logikai logikán kívüli szinonimák ! használatátNOT. Ez a módosítás csökkenti a zavart, igazodik az SQL szabványhoz, és hordozhatóbbá teszi az SQL-t. Példa:

  CREATE ... IF ! EXISTS, IS ! NULL, ! NULL oszlop- vagy mezőtulajdonság, ! IN és ! BETWEEN a következőre kell cserélni:

  CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL oszlop- vagy mezőtulajdonság, NOT IN és NOT BETWEEN.

  Ez a módosítás nem érinti a logikai előtag operátort! (pl. !is_mgr vagy !(true AND false)) .

• Tilos a nézetekben az oszlopdefiníció szintaxisának nem dokumentált és feldolgozatlan részeinek használata: A Databricks támogatja a névvel ellátott oszlopokat és oszlophozzászólásokat tartalmazó CREATE VIEW.

  Az oszloptípusok, NOT NULL korlátozások vagy DEFAULT meghatározása a szintaxisban semmilyen hatás nélkül eltűrhető. A Databricks eltávolítja ezt a szintaxistűrést. Ez csökkenti a zavart, igazodik az SQL szabványhoz, és lehetővé teszi a jövőbeli fejlesztéseket.

• A Base64-dekódolás konzisztens hibakezelése a Sparkban és a Photonben: Ez a kiadás megváltoztatja, hogy a Photon hogyan kezeli a Base64 dekódolási hibáit a hibák Spark-kezelésének megfelelően. A módosítások előtt a Photon és a Spark kódgenerálási útvonala néha nem tudott elemzési kivételeket emelni, míg a Spark helyesen értelmezte a végrehajtást IllegalArgumentException , vagy ConversionInvalidInputError. Ez a frissítés biztosítja, hogy a Photon következetesen ugyanazokat a kivételeket emelje ki, mint a Spark a Base64 dekódolási hibái során, kiszámíthatóbb és megbízhatóbb hibakezelést biztosítva.

• Egy érvénytelen oszlopra vonatkozó CHECK kényszer hozzáadása mostantól az UNRESOLVED_COLUMN.WITH_SUGGESTION hibaosztályt adja vissza: Annak érdekében, hogy hasznosabb hibaüzeneteket nyújtsunk, a Databricks Runtime 15.3-ban és az újabb verziókban egy ALTER TABLE ADD CONSTRAINT utasítás, amely egy érvénytelen oszlopnévre hivatkozó CHECK kényszert tartalmaz, a UNRESOLVED_COLUMN.WITH_SUGGESTION hibaosztályt adja vissza. Korábban vissza lett adva egy INTERNAL_ERROR .

A JDK JDK 8-ról JDK 17-re frissül

2024. augusztus 15.

A notebookok és munkafolyamatok kiszolgáló nélküli számítása a Kiszolgálóoldali Java Development Kit (JDK) 8-ból a JDK 17-be migrálva lett. Ez a frissítés a következő viselkedési változásokat tartalmazza:

• Regex-minták helyes elemzése beágyazott karaktercsoportozással: Ezzel a frissítéssel az Azure Databricks mostantól támogatja a regex minták megfelelő elemzését beágyazott karaktercsoportozással. A rendszer például [^[abc]] "bármely olyan karakterként lesz elemezve, amely NEM az "abc" egyike.

  Emellett a Photon viselkedése inkonzisztens volt a Sparkkal a beágyazott karakterosztályok esetében. A beágyazott karakterosztályokat tartalmazó Regex-minták már nem használják a Photont, hanem a Sparkot. A beágyazott karakterosztály minden olyan minta, amely szögletes zárójeleket tartalmaz, például [[a-c][1-3]].

15.1-es verzió

2024. július 23.

Ez a kiszolgáló nélküli számítási kiadás nagyjából megfelel a Databricks Runtime 15.1-nek

Új funkciók

Csillag (*) szintaxis támogatása a WHERE záradék: Mostantól a csillag (*) szintaxist használhatja a WHERE záradékban a SELECT lista összes oszlopára való hivatkozáshoz.

Például: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Változások

Továbbfejlesztett hibahelyreállítás a JSON-elemzéshez: A JSON-elemző from_json() és a JSON-elérésiút-kifejezések mostantól gyorsabban helyreállnak a hibás szintaxisból, ami kevesebb adatvesztést eredményez.

Ha hibás JSON-szintaxissal találkozik egy strukturált mezőben, egy tömbértékben, egy térképkulcsban vagy egy leképezési értékben, a JSON-elemző mostantól csak az olvashatatlan mezőre, kulcsra vagy elemre ad vissza.NULL A következő mezők, kulcsok vagy elemek megfelelően lesznek elemezve. A módosítás előtt a JSON-elemző megszakította a tömb, a strukturálás vagy a leképezés elemzését, és visszaadta NULL a fennmaradó tartalmat.

14.3-es verzió

2024. április 15.

Ez a kezdeti kiszolgáló nélküli számítási verzió. Ez a verzió nagyjából megfelel Databricks Runtime 14.3- néhány módosítással, amelyek bizonyos nem kiszolgáló nélküli és örökölt funkciók támogatását megszüntetik.

Támogatott Spark-konfigurációs paraméterek

A Spark konfigurációjának kiszolgáló nélküli számításon való automatizálásához az Azure Databricks eltávolította a legtöbb Spark-konfiguráció manuális beállításának támogatását. Manuálisan csak a következő Spark-konfigurációs paramétereket állíthatja be manuálisan:

• spark.sql.legacy.timeParserPolicy (Az alapértelmezett érték CORRECTED)
• spark.sql.session.timeZone (Az alapértelmezett érték Etc/UTC)
• spark.sql.shuffle.partitions (Az alapértelmezett érték auto)
• spark.sql.ansi.enabled (Az alapértelmezett érték true)

A kiszolgáló nélküli számítási feladatok futtatása sikertelen lesz, ha olyan Spark-konfigurációt állít be, amely nem szerepel ebben a listában.

További információ a Spark-tulajdonságok konfigurálásáról: Spark-konfigurációs tulajdonságok beállítása az Azure Databricks.

input_file függvények elavultak

A input_file_name(), input_file_block_length() és input_file_block_start() függvény elavult. Ezeknek a függvényeknek a használata erősen elriasztja őket.

Ehelyett használja a fájl metaadat-oszlopát a fájl metaadatainak lekéréséhez.

Viselkedési változások

A kiszolgáló nélküli számítási 2024.15-ös verzió a következő viselkedési változásokat tartalmazza:

• unhex(hexStr) hibajavítás: A függvény használatakor a unhex(hexStr) hexStr mindig egy egész bájtra van kipárnázva. Korábban az unhex függvény figyelmen kívül hagyta az első fél bájtot. Például: most a következő helyett állítja elő unhex('ABC') a következőtx'0ABC': x'BC' .
• automatikusan létrehozott oszlop aliasok mostantól stabilak: Ha egy kifejezés eredménye felhasználó által megadott oszlop alias nélkül van hivatkozva, ez az automatikusan létrehozott alias stabil lesz. Az új algoritmus a korábban automatikusan létrehozott nevek módosítását eredményezheti olyan funkciókban, mint a materializált nézetek.
• CHAR típusú mezőket tartalmazó táblavizsgálatok mostantól mindig ki vannak jelölve: Delta-táblák, bizonyos JDBC-táblák és külső adatforrások nem párnázott formában tárolják a CHAR-adatokat. Olvasáskor az Azure Databricks mostantól a deklarált hosszúságú szóközökkel fogja kipárnázni az adatokat a megfelelő szemantikák biztosítása érdekében.
• BIGINT-ről/DECIMAL-ről IDŐBÉLYEGre történő típusátalakítások kivételt okoznak a túlcsordult értékek esetében: Az Azure Databricks lehetővé teszi a BIGINT-ből és DECIMAL-ból az IDŐBÉLYEGgé történő típusátalakítást úgy, hogy az értéket a Unix-korszak másodperceinek számaként kezeli. Korábban az Azure Databricks túlcsordult értékeket adott vissza, de most kivételt eredményez a túlcsordulás esetén. Null try_cast értéket ad vissza kivétel helyett.
• A PySpark UDF végrehajtása továbbfejlesztve lett, hogy megfeleljen az UDF-végrehajtás pontos viselkedésének az egyfelhasználós számításon: A következő módosítások történtek:
  • Az UDF-ek karaktersorozat visszatérési típussal mostantól nem konvertálják implicit módon a nem karaktersorozat értékeket karaktersorozattá. Korábban a visszatérési str típusú UDF-ek burkolót str(..) alkalmaztak az eredményre, függetlenül a visszaadott érték tényleges adattípusától.
  • Az timestamp visszatérési típussal rendelkező UDF-ek többé nem alkalmazzák implicit módon az időzónák időbélyegekké való konvertálását.