Mengembangkan dan men-debug alur DLT di buku catatan

Artikel ini menjelaskan fitur di notebook Azure Databricks yang membantu pengembangan dan debugging kode DLT.

Gambaran umum fitur

Saat Anda mengerjakan buku catatan Python atau SQL yang dikonfigurasi sebagai kode sumber untuk alur DLT yang sudah ada, Anda bisa menyambungkan buku catatan langsung ke alur. Saat buku catatan tersambung ke alur, fitur berikut ini tersedia:

• Mulai dan validasi alur dari buku catatan.
• Tampilkan grafik aliran data alur dan log peristiwa untuk pembaruan terbaru di buku catatan.
• Tampilkan diagnostik alur di editor buku catatan.
• Tampilkan status kluster pipeline di notebook.
• Akses UI DLT dari buku catatan.

Prasyarat

• Anda harus memiliki alur DLT yang sudah ada dengan buku catatan Python atau SQL yang dikonfigurasi sebagai kode sumber.
• Anda harus menjadi pemilik pipeline atau memiliki hak istimewa CAN_MANAGE.

Keterbatasan

• Fitur yang tercakup dalam artikel ini hanya tersedia di notebook Azure Databricks. File ruang kerja tidak didukung.
• Terminal web tidak tersedia ketika dilampirkan ke alur kerja. Akibatnya, itu tidak terlihat sebagai tab di panel bawah.

Menyambungkan buku catatan ke alur DLT

Di dalam buku catatan, klik menu drop-down yang digunakan untuk memilih komputasi. Menu drop-down memperlihatkan semua alur DLT Anda dengan buku catatan ini sebagai kode sumber. Untuk menyambungkan buku catatan ke rangkaian data, pilih buku catatan dari daftar.

Lihat status kluster pipeline

Agar lebih mudah memahami kondisi kluster pipeline Anda, statusnya ditampilkan dalam menu drop-down komputasi dan diberi warna hijau untuk menunjukkan bahwa kluster tersebut aktif.

Memvalidasi kode alur

Anda dapat memvalidasi pipeline untuk memeriksa kesalahan sintaks dalam kode sumber Anda tanpa memproses data apa pun.

Untuk memvalidasi alur, lakukan salah satu hal berikut ini:

• Di sudut kanan atas buku catatan, klik Validasi.
• Tekan Shift+Enter di sel buku catatan apa pun.
• Di menu dropdown sel, klik Validasi Alur.

Memulai pembaruan alur

Untuk memulai pembaruan alur Anda, klik tombol Mulai di sudut kanan atas buku catatan. Lihat Menjalankan pembaruan pada alur DLT.

Menampilkan status pembaruan

Panel atas di buku catatan menampilkan apakah pembaruan alur adalah:

• Mulai
• Memvalidasi
• Menghentikan

Melihat kesalahan dan diagnostik

Setelah Anda memulai pembaruan atau validasi alur, kesalahan apa pun ditampilkan sebaris dengan garis bawah merah. Gerakkan kursor ke atas kesalahan untuk melihat informasi lebih lanjut.

Menampilkan peristiwa alur

Saat dilampirkan ke pipeline, ada tab log peristiwa DLT di bagian bawah buku catatan.

Lihat Grafik Aliran Data Pipeline

Untuk menampilkan grafik aliran data alur, gunakan tab grafik DLT di bagian bawah buku catatan. Memilih simpul dalam grafik menampilkan skemanya di panel kanan.

Cara mengakses UI DLT dari buku catatan

Untuk melompat ke antarmuka pengguna DLT dengan mudah, gunakan menu di sudut kanan atas notebook.

Mengakses log driver dan UI Spark dari buku catatan

Log driver dan antarmuka pengguna Spark yang terkait dengan alur yang sedang dikembangkan dapat dengan mudah diakses dari menu Tampilan buku catatan.