Bagikan melalui

Memantau aktivitas akun dengan tabel sistem

  • Artikel

Artikel ini menjelaskan konsep tabel sistem di Azure Databricks dan menyoroti sumber daya yang bisa Anda gunakan untuk mendapatkan hasil maksimal dari data tabel sistem Anda.

Apa itu tabel sistem?

Tabel sistem adalah penyimpanan analitik yang dikelola oleh Azure Databricks dari data operasional akun Anda yang terdapat dalam katalog system. Tabel sistem dapat digunakan untuk pengamatan historis di seluruh akun Anda.

Catatan

Untuk dokumentasi tentang system.information_schema, lihat skema Informasi .

Persyaratan

  • Untuk mengakses tabel sistem, ruang kerja Anda harus diaktifkan untuk Katalog Unity. Untuk informasi selengkapnya, lihat Mengaktifkan skema tabel sistem.
  • Tabel sistem tidak tersedia di wilayah berikut:
    • Kawasan Azure China
    • Kawasan Azure Government
    • India Barat
    • Bagian Barat Swiss

Tabel sistem mana yang tersedia?

Saat ini, Azure Databricks menghosting tabel sistem berikut:

Tabel Deskripsi Lokasi Mendukung streaming Periode gratis retensi Mencakup data global atau regional
Catatan audit (Pratinjau Publik) Menyertakan rekaman untuk semua peristiwa audit dari ruang kerja di wilayah Anda. Untuk daftar peristiwa audit yang tersedia, lihat referensi log diagnostik . system.access.audit Ya 365 hari Regional untuk peristiwa tingkat ruang kerja. Peristiwa tingkat akun bersifat global.
Silsilah Tabel (Pratinjau Umum) Menyertakan rekaman untuk setiap peristiwa baca atau tulis pada tabel atau jalur Katalog Unity. system.access.table_lineage Ya 365 hari Wilayah
silsilah kolom (Pratinjau Umum) Menyertakan rekaman untuk setiap peristiwa baca atau tulis pada kolom Katalog Unity (tetapi tidak menyertakan peristiwa yang tidak memiliki sumber). system.access.column_lineage Ya 365 hari Wilayah
Penggunaan yang dapat ditagih Mencakup catatan untuk semua penggunaan yang dapat ditagih untuk seluruh akun Anda. system.billing.usage Ya 365 hari Global
Penentuan Harga Catatan sejarah harga SKU. Catatan ditambahkan setiap kali ada perubahan pada harga SKU. system.billing.list_prices Tidak Tidak Terbatas Global
Kluster (Pratinjau Umum) Tabel dimensi yang berubah lambat yang berisi riwayat lengkap konfigurasi komputasi dari waktu ke waktu untuk kluster apa pun. system.compute.clusters Ya 365 hari Wilayah
Linimasa Node (Pratinjau Umum) Menangkap metrik pemanfaatan sumber daya komputasi semua tujuan dan pekerjaan Anda. system.compute.node_timeline Ya 30 hari Wilayah
Tipe Node (Pratinjau Umum) Menangkap jenis node yang saat ini tersedia dengan informasi perangkat keras dasarnya. system.compute.node_types Tidak Tidak Berlaku Wilayah
Gudang Data SQL (Pratinjau Umum) Berisi riwayat lengkap konfigurasi dari waktu ke waktu untuk gudang SQL apa pun. system.compute.warehouses Ya 365 hari Wilayah
Event gudang SQL (Pratinjau Umum) Menangkap peristiwa yang terkait dengan gudang SQL. Misalnya, memulai, menghentikan, menjalankan, memperbesar, dan memperkecil skala. system.compute.warehouse_events Ya 365 hari Wilayah
Pekerjaan (Pratinjau Umum) Melacak semua pekerjaan yang dibuat di akun. system.lakeflow.jobs Ya 365 hari Wilayah
Tugas pekerjaan (Pratinjau Umum) Melacak semua tugas pekerjaan yang berjalan di akun. system.lakeflow.job_tasks Ya 365 hari Wilayah
Linimasa Pemrosesan Pekerjaan (Pratinjau Umum) Melacak waktu mulai dan berakhir dari proses pekerjaan. system.lakeflow.
job_run_timeline		 Ya 365 hari Wilayah
Garis waktu tugas pekerjaan (Pratinjau Umum) Melacak waktu mulai dan berakhir serta sumber daya komputasi yang digunakan untuk menjalankan tugas pekerjaan. system.lakeflow.
job_task_run_timeline		 Ya 365 hari Wilayah
Peristiwa corong di marketplace (Pratinjau Publik) Termasuk kesan konsumen dan data saluran untuk daftar Anda. system.marketplace.listing_
funnel_events		 Ya 365 hari Wilayah
Akses daftar marketplace (Pratinjau Umum) Menyertakan info konsumen untuk peristiwa permintaan data lengkap atau pengambilan data di daftar Anda. system.marketplace.listing_
access_events		 Ya 365 hari Wilayah
Pengoptimalan prediktif (Pratinjau Umum) Melacak riwayat operasi fitur pengoptimalan prediktif. system.storage.predictive_
optimization_operations_history		 Tidak 180 hari Wilayah
Peristiwa Asisten Databricks (Pratinjau Umum) Melacak pesan pengguna yang dikirim ke Asisten Databricks. system.access.assistant_events Tidak 365 hari Wilayah
Riwayat Kueri (Pratinjau Publik) Mengambil rekaman untuk semua kueri yang dijalankan di gudang SQL dan komputasi tanpa server untuk buku catatan dan pekerjaan . system.query.history Tidak 90 hari Wilayah
Acara clean room (Pratinjau Umum) Menangkap peristiwa yang terkait dengan ruang bersih. system.access.clean_room_events Ya 365 hari Wilayah
Model yang melayani penggunaan titik akhir (Pratinjau Umum) Menangkap jumlah token untuk setiap permintaan ke model yang melayani titik akhir dan responsnya. Untuk merekam penggunaan titik akhir dalam tabel ini, Anda harus mengaktifkan pelacakan penggunaan pada titik akhir layanan Anda. system.serving.endpoint_usage. Ya 90 hari Wilayah
Data titik akhir penyajian model (Pratinjau Umum) Tabel dimensi yang berubah perlahan yang menyimpan metadata untuk setiap model fondasi yang disajikan pada titik akhir penyajian model. system.serving.served_entities Ya 365 hari Wilayah
Kejadian Akses Jaringan (Pratinjau Publik) Tabel yang mencatat peristiwa setiap kali akses internet dari akun Anda ditolak. system.access.outbound_network Ya 365 hari Wilayah

Tabel penggunaan yang dapat ditagihkan dan harga dapat digunakan secara gratis. Tabel dalam Pratinjau Umum juga dapat digunakan secara gratis selama pratinjau tetapi dapat dikenakan biaya di masa mendatang.

Catatan

Anda mungkin melihat tabel sistem lain di akun Anda selain tabel yang tercantum di atas. Tabel tersebut saat ini berada di Pratinjau Privat dan kosong secara default. Jika Anda tertarik menggunakan salah satu tabel ini, silakan hubungi tim akun Databricks Anda.

Aktifkan skema tabel sistem

Karena tabel sistem diatur oleh Unity Catalog, Anda harus memiliki setidaknya satu ruang kerja yang mendukung Unity Catalog di akun Anda untuk mengaktifkan dan mengakses tabel sistem. Tabel sistem menyertakan data dari semua ruang kerja di akun Anda tetapi hanya dapat diakses dari ruang kerja yang mendukung Katalog Unity.

Tabel sistem diaktifkan pada tingkat skema. Jika Anda mengaktifkan skema sistem, Anda mengaktifkan semua tabel dalam skema tersebut. Saat skema baru dirilis, admin akun perlu mengaktifkan skema secara manual.

Tabel sistem harus diaktifkan oleh admin akun. Anda dapat mengaktifkan tabel sistem menggunakan perintah di Databricks CLI atau menggunakan API SystemSchemas .

Catatan

Skema billing diaktifkan secara default. Skema lain harus diaktifkan secara manual.

Mencantumkan skema sistem yang tersedia

Gunakan perintah curl berikut untuk mencantumkan skema sistem yang tersedia:

curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"

Berikut ini adalah contoh output perintah GET :

{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}

state: AVAILABLE: Skema sistem tersedia tetapi belum diaktifkan.

state: EnableCompleted: Anda telah mengaktifkan skema sistem dan skema tersebut terlihat di Catalog Explorer.

Mengaktifkan skema sistem

Gunakan perintah curl berikut untuk mengaktifkan skema sistem:

curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Jika skema sistem berhasil diaktifkan, kode hasil 200 dikembalikan.

Jika Anda mencoba mengaktifkan kembali skema sistem, berikut ini dikembalikan: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".

Menonaktifkan skema sistem

Gunakan perintah curl berikut untuk menonaktifkan skema sistem:

curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Memberikan akses ke tabel sistem

Akses ke tabel sistem diatur oleh Katalog Unity. Tidak ada pengguna yang memiliki akses ke skema sistem ini secara default. Untuk memberikan akses, pengguna yang merupakan admin metastore dan admin akun harus memberikan izin USE dan SELECT pada skema sistem. Lihat Kelola hak akses di Unity Catalog.

Tabel sistem bersifat baca-saja dan tidak dapat dimodifikasi.

Catatan

Jika akun Anda dibuat setelah 9 November 2023, Anda mungkin tidak memiliki admin metastore secara default. Untuk informasi selengkapnya, lihat Menyiapkan dan mengelola Katalog Unity.

Apakah tabel sistem berisi data untuk semua ruang kerja di akun Anda?

Tabel sistem berisi data operasional untuk semua ruang kerja di akun Anda yang disebarkan dalam wilayah cloud yang sama. Tabel sistem penagihan berisi data di seluruh akun.

Meskipun tabel sistem hanya dapat diakses melalui ruang kerja Unity Catalog, tabel juga menyertakan data operasional untuk ruang kerja Katalog non-Unity di akun Anda.

Di mana data tabel sistem disimpan?

Data tabel sistem akun Anda disimpan di akun penyimpanan yang dihosting Azure Databricks yang terletak di wilayah yang sama dengan metastore Anda. Data dibagikan dengan aman kepada Anda menggunakan Berbagi Delta.

Setiap tabel memiliki periode retensi data gratis. Untuk informasi tentang memperpanjang periode retensi, hubungi tim akun Azure Databricks Anda.

Di mana tabel sistem berada di Catalog Explorer?

Tabel-tabel sistem di akun Anda berada di katalog yang disebut system, yang disertakan dalam setiap metastore Katalog Unity. Dalam katalog system Anda akan melihat skema seperti access dan billing yang berisi tabel sistem.

Pertimbangan untuk tabel sistem streaming

Azure Databricks menggunakan Berbagi Delta untuk berbagi data tabel sistem dengan pelanggan. Ketahui pertimbangan berikut saat streaming dengan Berbagi Delta:

  • Jika Anda menggunakan streaming dengan tabel sistem, atur opsi skipChangeCommits ke true. Ini memastikan pekerjaan streaming tidak terganggu dari penghapusan dalam tabel sistem. Lihat Mengabaikan pembaruan dan penghapusan.
  • Trigger.AvailableNow tidak didukung pada Delta Sharing streaming. Ini akan dikonversi ke Trigger.Once.

Jika Anda menggunakan pemicu dalam pekerjaan streaming Anda dan menemukan bahwa itu tidak mengikuti versi tabel sistem terbaru, Databricks merekomendasikan untuk meningkatkan frekuensi penjadwalan pekerjaan tersebut.

Membaca perubahan inkremental dari tabel sistem streaming

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Masalah umum

  • Saat ini tidak ada dukungan untuk pemantauan real-time. Data diperbarui sepanjang hari. Jika Anda tidak melihat log untuk peristiwa terbaru, periksa kembali nanti.
  • Skema tabel sistem __internal_logging digunakan untuk mendukung pencatatan payload menggunakan tabel inferensi dengan dukungan AI Gateway untuk model eksternal dan beban kerja throughput yang ditetapkan. Skema ini terlihat oleh admin akun, tetapi tidak dapat diaktifkan dan tidak boleh digunakan untuk alur kerja pelanggan.
  • Untuk mengaktifkan tabel sistem, Anda mungkin perlu memberikan akses jaringan ke titik akhir penyimpanan Blob pada tabel sistem. Untuk melihat daftar titik akhir penyimpanan tabel sistem setiap wilayah, lihat alamat IP titik akhir penyimpanan .
  • Skema sistem system.operational_data dan system.lineage tidak digunakan lagi dan akan berisi tabel kosong.