Menjalankan kueri federasi di PostgreSQL

Artikel ini menjelaskan cara menyiapkan Federasi Lakehouse untuk menjalankan kueri federasi pada data PostgreSQL yang tidak dikelola oleh Azure Databricks. Untuk mempelajari selengkapnya tentang Federasi Lakehouse, lihat Apa itu Federasi Lakehouse?.

Untuk menjalankan kueri pada database PostgreSQL menggunakan Lakehouse Federation, Anda harus membuat yang berikut ini di metastore Azure Databricks Unity Catalog Anda:

• Koneksi ke database Run queries on PostgreSQL Anda.
• Katalog asing yang mencerminkan kueri yang Anda jalankan di database PostgreSQL di Unity Catalog agar Anda dapat menggunakan sintaks kueri Unity Catalog dan alat tata kelola data untuk mengelola akses pengguna Azure Databricks ke dalam database.

Sebelum Anda mulai

Persyaratan ruang kerja:

• Ruang kerja telah diaktifkan untuk Katalog Unity.

Persyaratan komputasi:

• Konektivitas jaringan dari sumber daya komputasi Anda ke sistem database target. Lihat Rekomendasi jaringan untuk Federasi Lakehouse.
• Komputasi Azure Databricks harus menggunakan Databricks Runtime 13.3 LTS atau lebih tinggi dan mode akses Bersama atau mode akses pengguna tunggal.
• Gudang SQL harus pro atau tanpa server dan harus menggunakan 2023.40 atau lebih tinggi.

Izin yang diperlukan:

• Untuk membuat koneksi, Anda harus menjadi admin metastore atau pengguna dengan hak istimewa CREATE CONNECTION pada metastore Katalog Unity yang terhubung ke ruang kerja.
• Untuk membuat katalog asing, Anda harus memiliki izin CREATE CATALOG di metastore dan menjadi pemilik koneksi atau memiliki hak istimewa CREATE FOREIGN CATALOG pada koneksi.

Persyaratan izin tambahan ditentukan di setiap bagian berbasis tugas yang mengikuti.

Buat sambungan

Koneksi menentukan jalur dan kredensial untuk mengakses sistem database eksternal. Untuk membuat koneksi, Anda bisa menggunakan Catalog Explorer atau perintah SQL CREATE CONNECTION di buku catatan Azure Databricks atau editor kueri Databricks SQL.

Izin diperlukan: Admin atau pengguna Metastore dengan CREATE CONNECTION hak istimewa.

Penjelajah Katalog

1. Di ruang kerja Azure Databricks Anda, klik ikon Katalog Katalog.

2. Di bagian atas panel Katalog , klik ikon Tambahkan atau plusikon Tambahkan dan pilih Tambahkan koneksi dari menu.

   Atau, dari halaman akses cepat , klik tombol Data eksternal >, buka tab Koneksi, dan klik Buat koneksi.

3. Pada halaman dasar-dasar Koneksi wizard Menyiapkan koneksi, masukkan nama Koneksi yang mudah digunakan.

4. Pilih jenis Koneksi dari PostgreSQL.

5. (Opsional) Tambahkan komentar.

6. Klik Berikutnya.

7. Pada halaman Autentikasi , masukkan properti koneksi berikut untuk instans PostgreSQL Anda.

   • Host: Misalnya, postgres-demo.lb123.us-west-2.rds.amazonaws.com
   • Port: Misalnya, 5432
   • Pengguna: Misalnya, postgres_user
   • Kata sandi: Misalnya, password123

8. Klik Buat koneksi.

9. Pada halaman dasar-dasar Catalog, masukkan nama untuk katalog luar. Katalog asing mencerminkan database dalam sistem data eksternal sehingga Anda dapat mengkueri dan mengelola akses ke data dalam database tersebut menggunakan Azure Databricks dan Unity Catalog.

10. (Opsional) Klik Uji koneksi untuk mengonfirmasi bahwa koneksi berfungsi.

11. Klik Buat katalog.

12. Pada halaman Access, pilih ruang kerja tempat pengguna dapat mengakses katalog yang Anda buat. Anda dapat memilih Semua ruang kerja memiliki akses, atau klik Tetapkan ke ruang kerja, pilih ruang kerja, lalu klik Tetapkan.

13. Ubah Pemilik yang akan dapat mengelola akses ke semua objek dalam katalog. Mulai ketik prinsipal dalam kotak teks, lalu klik prinsipal dalam hasil yang dikembalikan.

14. Berikan Hak Istimewa pada katalog. Klik Pemberian

    1. Tentukan Penanggung jawab yang dapat mengakses objek di dalam katalog. Mulai ketik prinsipal dalam kotak teks, lalu klik prinsipal dalam hasil yang dikembalikan.
    2. Pilih preset Privilege untuk diberikan kepada setiap prinsipal. Semua pengguna akun diberikan BROWSE secara default.
       • Pilih Pembaca Data dari menu drop-down untuk memberikan izin read pada objek dalam katalog.
       • Pilih Editor Data dari menu drop-down untuk memberikan hak istimewa dan pada objek dalam katalog.
       • Pilih hak istimewa yang akan diberikan secara manual.
    3. Klik Berikan.

15. Klik Berikutnya.

16. Pada halaman Metadata, tentukan pasangan kunci-nilai tag. Untuk informasi selengkapnya, lihat Menerapkan tag ke objek yang dapat diamankan di Katalog Unity.

17. (Opsional) Tambahkan komentar.

18. Klik Simpan.

SQL

Jalankan perintah berikut ini di buku catatan atau editor kueri Databricks SQL.

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Kami menyarankan agar Anda menggunakan Azure Databricks rahasia alih-alih string teks biasa untuk nilai sensitif seperti kredensial. Contohnya:

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Untuk informasi tentang menyiapkan rahasia, lihat Manajemen rahasia.

Membuat katalog asing

Katalog asing mencerminkan database dalam sistem data eksternal sehingga Anda dapat mengkueri dan mengelola akses ke data dalam database tersebut menggunakan Azure Databricks dan Unity Catalog. Untuk membuat katalog asing, Anda menggunakan koneksi ke sumber data yang telah ditentukan.

Untuk membuat katalog asing, Anda bisa menggunakan Catalog Explorer atau perintah CREATE FOREIGN CATALOG SQL di buku catatan Azure Databricks atau editor kueri SQL.

Anda juga dapat menggunakan Databricks REST API atau Databricks CLI untuk membuat katalog. Lihat POST /api/2.1/unity-catalog/catalogs dan perintah Unity Catalog.

Izin diperlukan:CREATE CATALOG izin pada metastore dan kepemilikan koneksi atau CREATE FOREIGN CATALOG hak istimewa pada koneksi.

Penjelajah Katalog

1. Di ruang kerja Azure Databricks Anda, klik ikon Katalog untuk membuka Penjelajah Katalog.

2. Di bagian atas panel Katalog , klik ikon Tambahkan atau plustambahkan ikon dan pilih Tambahkan katalog dari menu.

   Atau, dari halaman akses cepat, klik tombol Katalog, lalu klik tombol Buat katalog.

3. Ikuti instruksi untuk membuat katalog asing di Membuat katalog.

SQL

Jalankan perintah SQL berikut ini di buku catatan atau editor kueri SQL. Item dalam tanda kurung bersifat opsional. Ganti nilai tempat penampung:

• <catalog-name>: Nama untuk katalog di Azure Databricks.
• <connection-name>: Objek koneksi yang menentukan sumber data, jalur, dan kredensial akses.
• <database-name>: Nama database yang ingin Anda cerminkan sebagai katalog di Azure Databricks.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Pushdown yang didukung

Pushdown berikut didukung pada semua komputasi:

• Filter
• Proyeksi
• Batas
• Fungsi: parsial, hanya untuk ekspresi filter. (Fungsi string, fungsi matematika, dan fungsi lain-lain, seperti Alias, Cast, SortOrder)

Pushdown berikut didukung pada Databricks Runtime 13.3 LTS ke atas, dan di gudang SQL:

• Fungsi agregasi berikut: MIN, MAX, COUNT, SUM, AVG, VAR_POP, VAR_SAMP, STDDEV_POP, STDDEV_SAMP, GREATEST, LEAST, COVAR_POP, COVAR_SAMP, CORR, REGR_INTERCEPT, REGR_R2, REGR_SLOPE, REGR_SXY
• Fungsi Boolean berikut: =, <, , <=>, >=, <=>
• Fungsi matematika berikut (tidak didukung jika ANSI dinonaktifkan): +, -, *, %, /
• Operator lain-lain | dan~
• Pengurutan, ketika digunakan dengan limitasi

Pushdown berikut ini tidak didukung:

• Gabungan
• Fungsi Windows

Pemetaan jenis data

Saat Anda membaca dari PostgreSQL ke Spark, peta jenis data sebagai berikut:

*Saat Anda membaca dari Postgresql, Postgresql Timestamp dipetakan ke Spark TimestampType jika preferTimestampNTZ = false (default). Postgresql Timestamp dipetakan ke TimestampNTZType jika preferTimestampNTZ = true.

**Jenis array terbatas didukung.