Databricks Runtime 9.1 LTS

Následující poznámky k verzi obsahují informace o Databricks Runtime 9.1 LTS a Databricks Runtime 9.1 LTS Photon s využitím Apache Sparku 3.1.2. Databricks vydala tuto verzi v září 2021. Photon je ve verzi Public Preview.

Nové funkce a vylepšení

• schema nápovědy automatického zavaděče teď fungují s typy polí a mapování
• podpora souborů Avro pro slučovací schema
• Podpora přírůstkového výpisu automatického zavaděče (Public Preview)
• Delta teď podporuje libovolnou hodnotu ReplaceWhere
• Automatický zavaděč pro Google Cloud teď podporuje oznámení o souborech (Public Preview)
• CREATE FUNCTION teď podporuje vytváření funkcí table
• Streamovací zdroj Kafka teď hlásí estimatedTotalBytesBehindLatest metriku
• Pro struktury uvnitř polí nyní Delta MERGE INTO řeší pole struktury podle názvu a rozvíjí schémata struktury

Funkce automatického zavaděče schema nyní fungují s typy pole a map.

Typy polí a map jsou podporovány v přepsání schema odvození pomocí schema tipů pro automatický zavaděč.

Mezi příklady schema tipů pro pole patří:

1. arr Array<TYPE> změní typ pole.
2. arr.element TYPE změní typ pole (pomocí klíčového element slova).
3. arr.element.x TYPE změní typ vnořeného pole v poli struktur.

První dva příklady jsou rady ke změně typu pole arr na TYPE, ale používají jinou syntaxi. Ve třetím příkladu arr je pole struktur s polem x. Tento příklad ukazuje, jak změnit typ x na TYPE.

Mezi příklady schema tipů pro mapy patří:

1. m Map<KEY-TYPE, VALUE-TYPE> změní typy klíčů a hodnot mapování.
2. m.key TYPE změní typ mapových klíčů.
3. m.value TYPE změní typ valuesmapy .
4. m.key.x TYPE změní typ pole v klíči mapy.
5. m.value.x TYPE změní typ pole hodnoty mapy.

První příklad změní typ mapování mKEY_TYPE na klíč i hodnotu a VALUE_TYPE v uvedeném pořadí. Druhý a třetí příklad lze použít, pokud je potřeba změnit pouze typ klíče nebo pouze typ hodnoty. Ve čtvrtém a pátém příkladu m je mapa s klíčem a hodnotou typů struktury s polem x. Tento příklad ukazuje, jak změnit typ x na TYPE.

Podpora souborů Avro pro slučování schema

Formát souboru Avro teď podporuje mergeSchema možnost při čtení souborů. Nastavení mergeSchema na hodnotu true při čtení souborů Avro odvodí schema z set souborů Avro, nikoli z jednoho souboru. To zlepšuje použitelnost odvozením schema, která může být schopna číst všechny soubory, i když se jejich jednotlivá schémata liší. Viz Konfigurace.

Podpora přírůstkového výpisu automatického zavaděče (Public Preview)

V případě lexikálních vygenerovaných souborů teď využívá auto loader? Teď využívá lexikální řazení souborů a stávající optimalizovaná rozhraní API k efektivnějšímu výpisu adresáře výpisem z dříve přijatých souborů, nikoli výpisem celého adresáře. Automatický zavaděč automaticky zjistí, jestli je daný adresář vhodný pro přírůstkové výpisy ve výchozím nastavení. Pokud chcete toto chování řídit explicitně, set novou možnost cloudFiles.useIncrementalListing na zapnuto (true), vypnuto (false) nebo automaticky (auto). Pokud set toto chování na true, můžete také naplánovat set možnost cloudFiles.backfillInterval, která umožňuje pravidelné doplnění dat, abyste měli jistotu, že jsou všechna vaše data zcela zpracovaná.

Delta teď podporuje libovolnou hodnotu ReplaceWhere

V kombinaci s režimem replaceWhere přepsání lze tuto možnost použít k současnému přepsání dat, která odpovídají predikátu definovanému v této možnosti. Dříve replaceWhere podporoval predikát pouze přes partitioncolumns, ale teď může být libovolným výrazem. Podívejte se na Zápis do table.

Automatický zavaděč pro Google Cloud teď podporuje oznámení o souborech (Public Preview)

Auto Loader teď podporuje režim oznámení souborů v Google Cloudu. Set .option("cloudFiles.useNotifications", "true") umožnit automatickému zavaděči automaticky set prostředky Google Cloud Pub/Sub za vás. V režimu oznámení o souborech se při doručení zjistí a ingestují nové soubory bez výpisu vstupního adresáře. Podívejte se, co je režim oznámení souboru automatického zavaděče?.

CREATE FUNCTION teď podporuje vytváření funkcí table

Kromě vytvoření skalární funkce, která vrací skalární hodnotu, teď můžete vytvořit table funkci, která vrací set řádků. Viz (SQL a Python).

Streamovací zdroj Kafka teď hlásí estimatedTotalBytesBehindLatest metriku

Zdroj streamování Kafka teď hlásí odhad, kolik bajtů je příjemce po každé dávce za nejnovějším dostupným bajtem. Tuto metriku můžete použít ke sledování průběhu streamu. Viz Načtení metrik Kafka.

Příklad výstupu metriky:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

U struktur uvnitř polí nyní Delta MERGE INTO řeší pole struktur podle názvu a rozvíjí schémata struktur.

Delta MERGE INTO nyní podporuje rozlišení polí struktury podle názvu a automatický vývoj schema pro pole struktur. Pokud je automatická evoluce schema povolena nastavením spark.databricks.delta.schema.autoMerge.enabled na hodnotu true, klauzule UPDATE a INSERT přeloží pole struktur uvnitř pole podle názvu, přetypují je na odpovídající datový typ definovaný v cílovém poli a vyplní další nebo chybějící pole ve zdroji nebo cíli hodnotou null values. Pokud je automatický vývoj schema zakázán, klauzule UPDATE a INSERT vyřeší pole struktury uvnitř pole podle jména, ale nebudou moci vyvíjet další pole. Podívejte se na Update Delta Lake tableschema.

Opravy chyb

• Opravili jsme nevracení paměti v konektoru Amazon S3, ke kterému mohlo dojít v dlouhotrvajících úlohách nebo službách, což způsobilo funkce JVM DeleteOnExit .

Upgrady knihoven

• Upgradované knihovny Pythonu:
  • vykreslovat od 4.14.3 do 5.1.0
• Upgradované knihovny jazyka R:
  • od 4.1.0 do 4.1.1
  • bslib od 0.2.5.1 do 0.3.0
  • cachem from 1.0.5 to 1.0.6
  • kompilátor z verze 4.1.0 do 4.1.1
  • datové sady od 4.1.0 do 4.1.1
  • budoucí od 1.21.0 do 1.22.1
  • gert od 1.3.1 do 1.3.2
  • grafika od 4.1.0 do 4.1.1
  • grDevices od 4.1.0 do 4.1.1
  • mřížka od 4.1.0 do 4.1.1
• Upgradované knihovny Java:
  • org.eclipse.jetty od 9.4.36.v20210114 do 9.4.42.v20210604

Apache Spark

Databricks Runtime 9.1 LTS zahrnuje Apache Spark 3.1.2. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 9.0 (EoS), a také následující další opravy chyb a vylepšení Sparku:

• [SPARK-36674][SQL][CHERRY-PICK] Podpora ILIKE - malá a malá písmena nerozlišující LIKE
• [SPARK-36353][SQL][3.1] RemoveNoopOperators by měl zachovat výstup schema
• [SPARK-35876][SQL][3.1] ArraysZip by měl uchovávat názvy polí, aby se zabránilo opětovnému zápisu analyzátorem nebo optimalizátorem.
• [SPARK-36398][SQL] Redact sensitive information in Spark Thrift Server log
• [SPARK-36498][SQL] Změna pořadí vnitřních polí vstupního dotazu v zápisu byName V2
• [SPARK-36614][JÁDRO][UŽIVATELSKÉ ROZHRANÍ] Oprava důvodu ztráty exekutoru způsobeného vyřazením z provozu v uživatelském rozhraní
• [SPARK-36012][SQL] Přidání příznaku null v SHOW CREATE TABLE
• [SPARK-36509][JÁDRO] Oprava problému, kdy exekutory nejsou nikdy znovu naplánovány, pokud se pracovní proces zastaví v samostatném clusteru
• [SPARK-36603][JÁDRO] Použití WeakReference ne SoftReference v LevelDB
• [SPARK-36564][JÁDRO] Oprava hodnoty NullPointerException v LiveRDDDistribution.toApi
• [SPARK-36086][SQL][3.1] Projekt CollapseProject by měl nahradit alias a používat původní jméno column.
• [SPARK-33527][SQL] Rozšiřte funkci dekódování tak, aby byla konzistentní s hlavními databázemi.
• [SPARK-36400][SPARK-36398][SQL][WEBI] Rozpoznávání thriftServeru spark.sql.redaction.string.regex
• [SPARK-34054][JÁDRO] BlockManagerDecommissioner – vyčištění kódu
• [SPARK-36500][JÁDRO] Oprava úniku souboru temp_shuffle při přerušení úlohy
• [SPARK-36489][SQL] Agregační funkce bez klíčů seskupení, v tables s jedním kontejnerem vrátí více řádků.
• [SPARK-36464][JÁDRO] Oprava inicializace proměnné podkladové velikosti v blokuedByteBufferOutputStream pro zápis více než 2 GB dat
• [SPARK-36339][SQL][3.0] Odkazy na seskupení, které nejsou součástí agregace, by se měly nahradit
• [SPARK-36354][JÁDRO] EventLogFileReader by měl přeskočit průběžné adresáře protokolu událostí bez protokolů.
• [SPARK-36242][CORE][3.1] Před set úspěchem zajistěte zavření souboru přelití = true v metodě ExternalSorter.spillMemoryIteratorToDisk.
• [SPARK-36211][PYTHON] Oprava psaní návratové udf hodnoty
• [SPARK-34222][SQL] Zlepšení pravidla zjednodušení logických pravidel
• [SPARK-35027][JÁDRO] Zavřete inputStream v FileAppender při zápisu...
• [SPARK-36269][SQL] Oprava konfigurace pouze set dat na názvy Hive columnscolumn
• [SPARK-36213][SQL] Normalizace PartitionSpec pro příkaz Describe Table s PartitionSpec
• [SPARK-36210][SQL] Zachovat pořadí vložení column v Dataset.withColumns
• [SPARK-36079][SQL] Odhad filtru založený na hodnotě Null by měl vždy být v rozsahu [0, 1]
• [SPARK-28266][SQL] convertToLogicalRelation by neměl při čtení tables Hive interpretovat vlastnost path

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 9.1 LTS.

Prostředí systému

• Operační systém: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2021-09-08.

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)