DLT SQL nyelvi referencia

Ez a cikk a DLT SQL programozási felületének részleteit tartalmazza.

• A Python API-val kapcsolatos információkért lásd a DLT Python nyelvi referencia.
• További információ az SQL-parancsokról: SQL nyelvi referencia.

A Python felhasználó által definiált függvényeket (UDF-eket) használhatja az SQL-lekérdezésekben, de ezeket az UDF-eket Python-fájlokban kell definiálnia, mielőtt SQL-forrásfájlokban hívhatja meg őket. Lásd: felhasználó által definiált skaláris függvények – Python.

Korlátozások

A PIVOT záradék nem támogatott. A Spark pivot művelete megköveteli a bemeneti adatok lelkes betöltését a kimeneti séma kiszámításához. A DLT nem támogatja ezt a képességet.

DLT materializált nézet vagy streamelési tábla létrehozása

Ugyanazt az alapszintű SQL-szintaxist használja streamelési tábla vagy materializált nézet deklarálásakor.

DLT materializált nézet deklarálása SQL-lel

Az alábbiakban a materializált nézetnek az SQL-sel rendelkező DLT-ben való deklarálásának szintaxisát ismerteti:

CREATE OR REFRESH MATERIALIZED VIEW view_name [CLUSTER BY (col_name1, col_name2, ... )]
  [(
    [
    col_name1 col_type1 [ GENERATED ALWAYS AS generation_expression1 ] [ COMMENT col_comment1 ] [ column_constraint ] [ MASK func_name [ USING COLUMNS ( other_column_name | constant_literal [, ...] ) ] ],
    col_name2 col_type2 [ GENERATED ALWAYS AS generation_expression2 ] [ COMMENT col_comment2 ] [ column_constraint ] [ MASK func_name [ USING COLUMNS ( other_column_name | constant_literal [, ...] ) ] ],
    ...
    ]
    [
    CONSTRAINT expectation_name_1 EXPECT (expectation_expr1) [ON VIOLATION { FAIL UPDATE | DROP ROW }],
    CONSTRAINT expectation_name_2 EXPECT (expectation_expr2) [ON VIOLATION { FAIL UPDATE | DROP ROW }],
    ...
    ]
    [ table_constraint ] [, ...]
  )]
  [USING DELTA]
  [PARTITIONED BY (col_name1, col_name2, ... )]
  CLUSTER BY clause
  [LOCATION path]
  [COMMENT table_comment]
  [TBLPROPERTIES (key1 [ = ] val1, key2 [ = ] val2, ... )]
  [ WITH { ROW FILTER func_name ON ( [ column_name | constant_literal [, ...] ] ) [...] } ]
  AS select_statement

DLT-streamelési tábla deklarálása SQL-lel

Adatfolyam táblákat csak olyan lekérdezésekkel hozhat létre, amelyek egy adatfolyamforrásból olvasnak. A Databricks azt javasolja, hogy az Automatikus betöltő használatával streamelje a felhőobjektum-tárolóból származó fájlok betöltését. Lásd: Autobetöltő SQL-szintaxis.

Ha a csővezetékben más táblákat vagy nézeteket ad meg streamforrásként, az adathalmaz neve köré kell alkalmaznia a STREAM() függvényt.

Az alábbiakban egy streamelési tábla DLT-ben sql-lel való deklarálásának szintaxisát ismerteti:

CREATE OR REFRESH [TEMPORARY] STREAMING TABLE table_name [CLUSTER BY (col_name1, col_name2, ... )]
  [(
    [
    col_name1 col_type1 [ GENERATED ALWAYS AS generation_expression1 ] [ COMMENT col_comment1 ] [ column_constraint ] [ MASK func_name [ USING COLUMNS ( other_column_name | constant_literal [, ...] ) ] ],
    col_name2 col_type2 [ GENERATED ALWAYS AS generation_expression2 ] [ COMMENT col_comment2 ] [ column_constraint ] [ MASK func_name [ USING COLUMNS ( other_column_name | constant_literal [, ...] ) ] ],
    ...
    ]
    [
    CONSTRAINT expectation_name_1 EXPECT (expectation_expr1) [ON VIOLATION { FAIL UPDATE | DROP ROW }],
    CONSTRAINT expectation_name_2 EXPECT (expectation_expr2) [ON VIOLATION { FAIL UPDATE | DROP ROW }],
    ...
    ]
    [ table_constraint ] [, ...]
  )]
  [USING DELTA]
  [PARTITIONED BY (col_name1, col_name2, ... )]
  [CLUSTER BY clause]
  [LOCATION path]
  [COMMENT table_comment]
  [TBLPROPERTIES (key1 [ = ] val1, key2 [ = ] val2, ... )]
  [ WITH { ROW FILTER func_name ON ( [ column_name | constant_literal [, ...] ] ) [...] } ]
  AS select_statement

DLT-nézet létrehozása

Az alábbiakban a nézetek SQL-sel való deklarálásának szintaxisát ismerteti:

CREATE TEMPORARY [STREAMING] LIVE VIEW view_name
  [(
    [
    col_name1 [ COMMENT col_comment1 ],
    col_name2 [ COMMENT col_comment2 ],
    ...
    ]
    [
    CONSTRAINT expectation_name_1 EXPECT (expectation_expr1) [ON VIOLATION { FAIL UPDATE | DROP ROW }],
    CONSTRAINT expectation_name_2 EXPECT (expectation_expr2) [ON VIOLATION { FAIL UPDATE | DROP ROW }],
    ...
    ]
  )]
  [COMMENT view_comment]
  AS select_statement

Automatikus Betöltő SQL-szintaxisa

Az alábbiak az automatikus betöltő SQL-ben való használatának szintaxisát ismertetik:

CREATE OR REFRESH STREAMING TABLE table_name
AS SELECT *
  FROM read_files(
    "<file-path>",
    "<file-format>",
    map(
      "<option-key>", "<option_value>",
      "<option-key>", "<option_value>",
      ...
    )
  )

Az Automatikus betöltővel támogatott formátumbeállításokat használhat. A map() függvénnyel a beállításokat átadhatja a read_files() metódusnak. A beállítások kulcs-érték párok, ahol a kulcsok és az értékek sztringek. A támogatási formátumokkal és beállításokkal kapcsolatos részletekért lásd Fájlformátum beállításai.

Példa: Táblák definiálása

Adathalmazt úgy hozhat létre, hogy egy külső adatforrásból vagy egy folyamatban definiált adathalmazból olvas be. Belső adatkészletből való olvasáshoz adja meg azt a táblanevet, amely a konfigurált folyamat alapértelmezett beállításait fogja használni a katalógushoz és a sémához. A következő példa két különböző adatkészletet határoz meg: egy taxi_raw nevű táblát, amely egy JSON-fájlt fogad bemeneti forrásként, és egy filtered_data nevű táblát, amely bemenetként veszi fel a taxi_raw táblát:

CREATE OR REFRESH MATERIALIZED VIEW taxi_raw
AS SELECT * FROM json.`/databricks-datasets/nyctaxi/sample/json/`

CREATE OR REFRESH MATERIALIZED VIEW filtered_data
AS SELECT
  ...
FROM taxi_raw

Példa: Olvasás streamelési forrásból

Ha streamelési forrásból, például automatikus betöltőből vagy belső adatkészletből szeretne adatokat olvasni, definiáljon egy STREAMING táblát:

CREATE OR REFRESH STREAMING TABLE customers_bronze
AS SELECT * FROM read_files("/databricks-datasets/retail-org/customers/", "csv")

CREATE OR REFRESH STREAMING TABLE customers_silver
AS SELECT * FROM STREAM(customers_bronze)

További információért az adatfolyamokról, tekintse meg a Folyamatokkal történő adatátalakítást.

Rekordok végleges törlése materializált nézetből vagy streamelési táblából

Ha véglegesen törölni szeretné a rekordokat egy materializált nézetből vagy streamelőtáblából, és engedélyezve van a törlési vektorok használata, például a GDPR-megfelelőség érdekében, további műveleteket kell végrehajtani az objektum alapjául szolgáló Delta-táblákon. A rekordok materializált nézetből való törlésének biztosításához lásd: Rekordok végleges törlése materializált nézetben, engedélyezett törlési vektorokkal. A rekordok streamelési táblából való törlésének biztosításához lásd: Rekordok végleges törlése streamelési táblából.

A táblák materializálásának irányítása

A táblák a materializációjuk további szabályozását is lehetővé teszi:

• Adja meg, hogyan lehet táblákat klaszterezni a használatával CLUSTER BY. A lekérdezések felgyorsításához folyékony fürtözést használhat. Lásd A Delta-táblákfolyékony fürtözésének használata című témakört.
• Adja meg, hogyan vannak a táblák particionálva a PARTITIONED BY használatával.
• A táblatulajdonságokat a TBLPROPERTIEShasználatával állíthatja be. Lásd a DLT-tábla tulajdonságait.
• Állítson be egy tárolóhelyet a LOCATION beállítással. A táblaadatok alapértelmezés szerint a folyamat tárolási helyén lesznek tárolva, ha LOCATION nincs beállítva.
• A sémadefinícióban használhat létrehozott oszlopokat. Lásd: Példa: Séma és klaszteroszlopok megadása.

Példa: Séma és fürtoszlopok megadása

Tábla definiálásakor igény szerint megadhatja a sémát. Az alábbi példa a céltábla sémáját határozza meg, beleértve a Delta Lake generált oszlopokat, és definiálja a tábla fürtözési oszlopait.

CREATE OR REFRESH MATERIALIZED VIEW sales
(customer_id STRING,
  customer_name STRING,
  number_of_line_items STRING,
  order_datetime STRING,
  order_number LONG,
  order_day_of_week STRING GENERATED ALWAYS AS (dayofweek(order_datetime))
) CLUSTER BY (order_day_of_week, customer_id)
COMMENT "Raw data on sales"
AS SELECT * FROM ...

Alapértelmezés szerint a DLT a sémát a table definíciójából következteti, ha nem ad meg sémát.

Példa: Partícióoszlopok megadása

A tábla partícióoszlopait igény szerint megadhatja:

CREATE OR REFRESH MATERIALIZED VIEW sales
(customer_id STRING,
  customer_name STRING,
  number_of_line_items STRING,
  order_datetime STRING,
  order_number LONG,
  order_day_of_week STRING GENERATED ALWAYS AS (dayofweek(order_datetime))
) PARTITIONED BY (order_day_of_week)
COMMENT "Raw data on sales"
AS SELECT * FROM ...

A folyékony klaszterezés rugalmas, optimalizált megoldást biztosít a csoportosításhoz. Fontolja meg a CLUSTER BY használatát a DLT-PARTITIONED BY helyett.

Példa: Táblakorlátozások definiálása

Séma megadásakor megadhatja az elsődleges és az idegen kulcsokat. A korlátozások tájékoztató jellegűek, és nincsenek kényszerítve. Tekintse meg a CONSTRAINT záradékot az SQL nyelvi hivatkozásában.

Az alábbi példa egy elsődleges és idegenkulcs-korlátozással rendelkező táblát határoz meg:

CREATE OR REFRESH MATERIALIZED VIEW sales
(customer_id STRING NOT NULL PRIMARY KEY,
  customer_name STRING,
  number_of_line_items STRING,
  order_datetime STRING,
  order_number LONG,
  order_day_of_week STRING GENERATED ALWAYS AS (dayofweek(order_datetime)),
  CONSTRAINT fk_customer_id FOREIGN KEY (customer_id) REFERENCES main.default.customers(customer_id)
)
COMMENT "Raw data on sales"
AS SELECT * FROM ...

Táblák vagy nézetek SQL-sel történő deklarálásakor használt értékek paraméterezése

A SET használatával megadhat egy konfigurációs értéket egy táblát vagy nézetet deklaráló lekérdezésben, beleértve a Spark-konfigurációkat is. A jegyzetfüzetben definiált bármely tábla vagy nézet, miután a SET utasítás hozzáfér a megadott értékhez. A SET utasítással megadott Spark-konfigurációk a Spark-lekérdezés végrehajtásakor használhatók a SET utasítást követő bármely táblához vagy nézethez. A konfigurációs érték lekérdezésben való olvasásához használja a sztring interpolációs szintaxisát ${}. Az alábbi példa egy startDate nevű Spark-konfigurációs értéket állít be, és ezt az értéket használja egy lekérdezésben:

SET startDate='2020-01-01';

CREATE OR REFRESH MATERIALIZED VIEW filtered
AS SELECT * FROM src
WHERE date > ${startDate}

Több konfigurációs érték megadásához minden értékhez használjon külön SET utasítást.

Példa: Sorszűrő és oszlopmaszk definiálása

Ha materializált nézetet vagy streamelési táblát szeretne létrehozni sorszűrővel és oszlopmaszkkal, használja a ROW FILTER záradékot és a MASZK záradékot. Az alábbi példa bemutatja, hogyan definiálhat materializált nézetet és streamelési táblát sorszűrővel és oszlopmaszkkal is:

CREATE OR REFRESH STREAMING TABLE customers_silver (
  id int COMMENT 'This is the customer ID',
  name string,
  region string,
  ssn string MASK catalog.schema.ssn_mask_fn COMMENT 'SSN masked for privacy'
)
WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
AS SELECT * FROM STREAM(customers_bronze)

CREATE OR REFRESH MATERIALIZED VIEW sales (
  customer_id STRING MASK catalog.schema.customer_id_mask_fn,
  customer_name STRING,
  number_of_line_items STRING COMMENT 'Number of items in the order',
  order_datetime STRING,
  order_number LONG,
  order_day_of_week STRING GENERATED ALWAYS AS (dayofweek(order_datetime))
)
COMMENT "Raw data on sales"
WITH ROW FILTER catalog.schema.order_number_filter_fn ON (order_number)
AS SELECT * FROM sales_bronze

További információ a sorszűrőkről és az oszlopmaszkokról: Táblázatok közzététele sorszűrőkkel és oszlopmaszkokkal.

SQL-tulajdonságok

Adatrögzítés módosítása az SQL használatával a DLT-ben

Használja a APPLY CHANGES INTO utasítást a DLT CDC funkcióinak használatához, az alábbiak szerint:

CREATE OR REFRESH STREAMING TABLE table_name;

APPLY CHANGES INTO table_name
FROM source
KEYS (keys)
[IGNORE NULL UPDATES]
[APPLY AS DELETE WHEN condition]
[APPLY AS TRUNCATE WHEN condition]
SEQUENCE BY orderByColumn
[COLUMNS {columnList | * EXCEPT (exceptColumnList)}]
[STORED AS {SCD TYPE 1 | SCD TYPE 2}]
[TRACK HISTORY ON {columnList | * EXCEPT (exceptColumnList)}]

Egy APPLY CHANGES-cél adatminőségi korlátozásait ugyanazzal a CONSTRAINT záradékkal határozhatja meg, mint a nemAPPLY CHANGES lekérdezéseket. Lásd: Az adatminőség kezelése az adatcsatornákkal kapcsolatos elvárásokkal.

Lásd: A MÓDOSÍTÁSOK ALKALMAZÁSA API-k: A változásadatok rögzítésének egyszerűsítése A DLThasználatával.