Pengaturan rute yang ditentukan pengguna untuk Azure Databricks
Jika ruang kerja Azure Databricks disebarkan ke jaringan virtual (VNet) Anda sendiri, Anda dapat menggunakan rute kustom, yang juga dikenal sebagai rute yang ditentukan pengguna (UDR), untuk memastikan bahwa lalu-lintas jaringan dirutekan dengan benar untuk ruang kerja Anda. Misalnya, jika Anda menyambungkan jaringan virtual ke jaringan lokal, lalu-lintas dapat dirutekan melalui jaringan lokal dan tidak dapat mencapai sarana kontrol Azure Databricks. Rute yang ditentukan pengguna dapat memecahkan masalah itu.
Anda memerlukan UDR untuk setiap jenis koneksi keluar dari VNet. Anda dapat menggunakan tag layanan Azure dan alamat IP untuk menentukan kontrol akses jaringan pada rute yang ditentukan pengguna Anda. Databricks merekomendasikan penggunaan tag layanan Azure untuk mencegah pemadaman layanan karena perubahan IP.
Mengonfigurasi rute yang ditentukan pengguna dengan tag layanan Azure
Databricks merekomendasikan agar Anda menggunakan tag layanan Azure, yang mewakili sekelompok awalan alamat IP dari layanan Azure tertentu. Microsoft mengelola awalan alamat yang dicakup oleh tag layanan dan secara otomatis memperbarui tag layanan saat alamat berubah. Ini membantu mencegah pemadaman layanan karena perubahan IP dan menghapus kebutuhan untuk mencari IP ini secara berkala dan memperbaruinya di tabel rute Anda. Namun, jika kebijakan organisasi Anda melarang tag layanan, Anda dapat secara opsional menentukan rute sebagai alamat IP.
Menggunakan tag layanan, rute yang ditentukan pengguna Anda harus menggunakan aturan berikut dan mengaitkan tabel rute ke subnet publik dan privat jaringan virtual Anda.
| Sumber | Awalan alamat | Jenis hop berikutnya |
|---|---|---|
| Default | Tag layanan Azure Databricks | Internet |
| Default | Tag layanan Azure SQL | Internet |
| Default | Tag layanan Azure Storage | Internet |
| Default | Tag layanan Azure Event Hubs | Internet |
Catatan
Anda dapat memilih untuk menambahkan tag layanan ID Microsoft Entra untuk memfasilitasi autentikasi ID Microsoft Entra dari kluster Azure Databricks ke sumber daya Azure.
Jika Azure Private Link diaktifkan di ruang kerja Anda, tag layanan Azure Databricks tidak diperlukan.
Tag layanan Azure Databricks mewakili alamat IP untuk koneksi keluar yang diperlukan ke sarana kontrol Azure Databricks, konektivitas kluster aman (SCC), dan aplikasi web Azure Databricks.
Tag layanan Azure SQL mewakili alamat IP untuk koneksi keluar yang dibutuhkan ke metastore Azure Databricks, dan tag layanan Azure Storage mewakili alamat IP untuk penyimpanan Blob artefak dan penyimpanan Blob log. Tag layanan Azure Event Hubs mewakili koneksi keluar yang diperlukan untuk pengelogan ke Azure Event Hub.
Beberapa tag layanan memungkinkan kontrol yang lebih terperinci dengan membatasi rentang IP ke wilayah tertentu. Misalnya, tabel rute untuk ruang kerja Azure Databricks di wilayah US Barat mungkin terlihat seperti:
| Nama | Awalan alamat | Jenis hop berikutnya |
|---|---|---|
| adb-servicetag | AzureDatabricks | Internet |
| adb-metastore | Sql.WestUS | Internet |
| adb-storage | Storage.WestUS | Internet |
| adb-eventhub | EventHub.WestUS | Internet |
Untuk mendapatkan tag layanan yang diperlukan untuk rute yang ditentukan pengguna, lihat tag layanan jaringan virtual .
Mengonfigurasi rute yang ditentukan pengguna dengan alamat IP
Databricks merekomendasikan agar Anda menggunakan tag layanan Azure, tetapi jika kebijakan organisasi Anda tidak mengizinkan tag layanan, Anda dapat menggunakan alamat IP untuk menentukan kontrol akses jaringan pada rute yang ditentukan pengguna Anda.
Detailnya bervariasi berdasarkan apakah konektivitas kluster aman (SCC) diaktifkan untuk ruang kerja:
- Jika konektivitas kluster aman diaktifkan untuk ruang kerja, Anda memerlukan UDR untuk memungkinkan kluster terhubung ke relai konektivitas kluster yang aman di bidang kontrol. Pastikan untuk menyertakan sistem yang ditandai sebagai IP relai SCC untuk wilayah Anda.
- Jika konektivitas kluster aman dinonaktifkan untuk ruang kerja, ada koneksi masuk dari NAT Sarana Kontrol, tetapi TCP SYN-ACK tingkat rendah ke koneksi tersebut secara teknis adalah data keluar yang memerlukan UDR. Pastikan untuk menyertakan sistem yang ditandai sebagai IP NAT Sarana Kontrol untuk wilayah Anda.
Rute yang ditentukan pengguna Anda harus menggunakan aturan berikut dan mengaitkan tabel rute ke subnet publik dan privat jaringan virtual Anda.
| Sumber | Awalan alamat | Jenis hop berikutnya |
|---|---|---|
| Default | IP NAT Sarana Kontrol (jika SCC dinonaktifkan) | Internet |
| Default | IP relai SCC (jika SCC diaktifkan) | Internet |
| Default | IP Webapp | Internet |
| Default | IP Metastore | Internet |
| Default | IP penyimpanan Blob Artefak | Internet |
| Default | IP penyimpanan Blob Log | Internet |
| Default | IP penyimpanan ruang kerja - Titik akhir Blob Storage | Internet |
| Default | IP penyimpanan ruang kerja - titik akhir ADLS gen2 (dfs) |
Internet |
| Default | Event Hubs IP | Internet |
Jika Azure Private Link diaktifkan di ruang kerja Anda, rute yang ditentukan pengguna harus menggunakan aturan berikut dan mengaitkan tabel rute ke subnet publik dan privat jaringan virtual Anda.
| Sumber | Awalan alamat | Jenis hop berikutnya |
|---|---|---|
| Default | IP Metastore | Internet |
| Default | IP penyimpanan Blob Artefak | Internet |
| Default | IP penyimpanan Blob Log | Internet |
| Default | Event Hubs IP | Internet |
Untuk mendapatkan alamat IP yang diperlukan untuk rute yang ditentukan pengguna, gunakan tabel dan instruksi di wilayah Azure Databricks, khususnya: