Driver Databricks JDBC (OSS)

Databricks JDBC (OSS), versi driver terbaru, memungkinkan Anda menyambungkan alat seperti DataGrip, DBeaver, dan SQL Workbench/J ke Azure Databricks melalui Java Database Connectivity (JDBC), spesifikasi standar industri untuk mengakses sistem manajemen database.

Driver ini telah menerapkan API JDBC dan menyediakan fungsionalitas inti termasuk OAuth, Cloud Fetch, dan fitur seperti penyerapan volume Unity Catalog. Ini menjalankan mode kueri asli dan mendukung kueri berparameter asli, dan dapat berjalan menggunakan API Eksekusi Pernyataan, yang menyediakan fitur retensi hasil kueri yang bermanfaat, atau Thrift.

Artikel ini menyediakan informasi tentang menginstal dan menggunakan Driver JDBC Databricks (OSS). Untuk informasi tentang Driver JDBC Non-OSS Databricks lihat Driver Databricks JDBC.

Persyaratan

Untuk menggunakan Driver Databricks JDBC (OSS), persyaratan berikut harus dipenuhi:

• Java Runtime Environment (JRE) 11.0 atau lebih tinggi. Pengujian CI didukung pada JRE 11, 17, dan 21.

Pasang driver

Driver Databricks JDBC (OSS) diterbitkan di Repositori Maven.

Untuk menginstal driver, Anda dapat melakukan salah satu hal berikut:

• Untuk proyek Maven, tambahkan dependensi berikut ke file proyek pom.xml untuk menginstruksikan Maven mengunduh driver JDBC secara otomatis dengan versi yang ditentukan:

  <dependency>
    <groupId>com.databricks</groupId>
    <artifactId>databricks-jdbc</artifactId>
    <version>0.9.6-oss</version>
    <scope>runtime</scope>
  </dependency>
  

• Untuk proyek Gradle, tambahkan dependensi berikut ke file build proyek untuk menginstruksikan Gradle mengunduh driver JDBC secara otomatis dengan versi yang ditentukan:

  implementation 'com.databricks:databricks-jdbc:0.9.6-oss'
  

Untuk melihat sintaks dependensi untuk jenis proyek lain, dan untuk mendapatkan nomor versi terbaru Driver JDBC Databricks (OSS), lihat Repositori Maven.

Mengonfigurasi URL koneksi

Untuk menyambungkan ke ruang kerja Azure Databricks menggunakan driver JDBC, Anda perlu menentukan URL koneksi JDBC yang menyertakan berbagai pengaturan koneksi seperti nama host server ruang kerja Azure Databricks Anda, pengaturan sumber daya komputasi, dan kredensial autentikasi untuk menyambungkan ke ruang kerja.

Anda dapat mengatur nilai properti ini pada URL koneksi JDBC, mengatur dan meneruskannya ke metode DriverManager.getConnection, atau kombinasi keduanya. Lihat dokumentasi penyedia tentang cara terbaik untuk terhubung menggunakan aplikasi, klien, SDK, API, atau alat SQL spesifik Anda.

URL koneksi JDBC harus dalam format berikut. Properti tidak peka huruf besar/kecil.

jdbc:databricks://<server-hostname>:<port>/<schema>;[property1]=[value];[property2]=[value];...

Atau, tentukan pengaturan menggunakan java.util.Properties kelas atau kombinasi:

String url = "jdbc:databricks://<server-hostname>:<port>/<schema>";
Properties properties = new java.util.Properties();
properties.put("<property1>", "<value1");
properties.put("<property2>", "<value2");
// ...
Connection conn = DriverManager.getConnection(url, properties);

String url = "jdbc:databricks://<server-hostname>:<port>/<schema>;[property1]=[value];[property2]=[value];";
Connection conn = DriverManager.getConnection(url, "token", "12345678901234667890abcdabcd");

Elemen URL koneksi dijelaskan dalam tabel berikut. Untuk informasi tentang properti tambahan, termasuk properti autentikasi, lihat bagian di bawah ini. Elemen dan properti URL tidak peka huruf besar/kecil.

Untuk mendapatkan URL koneksi JDBC untuk kluster Azure Databricks :

1. Masuk ke ruang kerja Azure Databricks Anda.
2. Di bar samping, klik Komputasi, lalu klik nama kluster target.
3. Pada tab Konfigurasi , perluas opsi Tingkat Lanjut.
4. Klik tab JDBC/ODBC .
5. Salin URL JDBC untuk digunakan sebagai URL koneksi JDBC, atau buat URL dari nilai di bidang Nama host Server, Port, dan Jalur HTTP.

Untuk mendapatkan URL koneksi JDBC untuk Databricks SQL Warehouse :

1. Masuk ke ruang kerja Azure Databricks Anda.
2. Di bar samping, klik Gudang SQL, lalu klik nama gudang target.
3. Klik tab Detail koneksi.
4. Salin URL JDBC untuk digunakan sebagai URL koneksi JDBC, atau buat URL dari nilai di bidang Nama host Server, Port, dan Jalur HTTP.

Mengautentikasi driver

Anda dapat mengautentikasi koneksi driver JDBC menggunakan salah satu mekanisme autentikasi berikut:

• Autentikasi pengguna-ke-mesin (U2M) OAuth (Disarankan)
• Autentikasi mesin-ke-mesin (M2M) OAuth
• Token akses pribadi Azure Databricks

Autentikasi pengguna ke komputer (U2M) OAuth

Driver JDBC mendukung autentikasi pengguna-ke-mesin (U2M) OAuth untuk masuk dan menyetujui manusia secara real time untuk mengautentikasi akun pengguna Databricks target. Ini juga dikenal sebagai autentikasi OAuth berbasis browser.

Azure Databricks telah membuat ID databricks-sql-jdbc klien OAuth untuk pelanggan. Ini juga merupakan ID klien OAuth default yang digunakan dalam driver JDBC. Untuk mengonfigurasi autentikasi OAuth U2M, cukup tambahkan properti berikut ke URL atau java.util.Properties objek koneksi JDBC yang sudah ada:

Autentikasi mesin-ke-mesin (M2M) OAuth

Driver JDBC mendukung autentikasi mesin-ke-mesin (M2M) OAuth menggunakan perwakilan layanan Azure Databricks. Ini juga dikenal sebagai autentikasi kredensial klien OAuth 2.0 . Lihat Mengotorisasi akses tanpa pengawasan ke sumber daya Azure Databricks dengan perwakilan layanan menggunakan OAuth.

Untuk mengonfigurasi autentikasi kredensial klien OAuth M2M atau OAuth 2.0:

1. Buat perwakilan layanan terkelola ID Microsoft Entra lalu tetapkan ke akun dan ruang kerja Azure Databricks. Untuk detailnya, lihat Mengelola perwakilan layanan.

   Penting

   Driver Databricks JDBC (OSS) mendukung rahasia OAuth Azure Databricks untuk autentikasi kredensial klien OAuth M2M atau OAuth 2.0. Rahasia ID Microsoft Entra tidak didukung.

2. Buat rahasia OAuth Azure Databricks untuk perwakilan layanan. Untuk melakukannya, lihat Buat dan gunakan token akses secara manual untuk autentikasi perwakilan layanan OAuth.

3. Berikan akses perwakilan layanan ke kluster atau gudang Anda. Lihat Izin komputasi atau Mengelola gudang SQL.

Tambahkan properti berikut ke URL atau java.util.Properties objek koneksi JDBC yang sudah ada:

Token akses pribadi Azure Databricks

Untuk mengautentikasi koneksi driver JDBC Anda menggunakan token akses pribadi Azure Databricks, tambahkan properti berikut ke URL atau java.util.Properties objek koneksi JDBC Anda:

Properti koneksi

Properti koneksi tambahan berikut didukung oleh driver JDBC. Properti tidak peka huruf besar/kecil.

Properti konfigurasi SQL

Properti konfigurasi SQL berikut didukung oleh driver JDBC. Ini juga dijelaskan dalam parameter Konfigurasi . Properti tidak peka huruf besar/kecil.

Properti logging

Properti pengelogan berikut didukung oleh driver JDBC. Properti tidak peka huruf besar/kecil.

Mengaktifkan dan mengonfigurasi pengelogan

Driver JDBC mendukung kerangka kerja Simple Logging Facade for Java (SLF4J) dan java.util.logging (JUL ). Driver menggunakan kerangka kerja pengelogan JUL secara default.

Untuk mengaktifkan dan mengonfigurasi pengelogan untuk driver JDBC:

1. Aktifkan kerangka kerja pengelogan yang ingin Anda gunakan:

   • Untuk pengelogan SLF4J, atur properti sistem -Dcom.databricks.jdbc.loggerImpl=SLF4JLOGGER dan berikan implementasi pengikatan SLF4J (kompatibel dengan SLF4J versi 2.0.13 ke atas) dan file konfigurasi yang sesuai di classpath.
   • Untuk pengelogan JUL, atur properti sistem -Dcom.databricks.jdbc.loggerImpl=JDKLOGGER. Ini adalah default.

2. Atur properti LogLevel pada string koneksi ke tingkat informasi yang diinginkan untuk disertakan dalam file log.

3. Atur properti LogPath pada string koneksi ke jalur lengkap ke folder tempat Anda ingin menyimpan file log.

   Misalnya, URL koneksi berikut memungkinkan pengelogan tingkat 6 dan menyimpan file log ke folder C:temp:

   jdbc: databricks://localhost:11000;LogLevel=6;LogPath=C:\\temp
   

4. Mulai ulang aplikasi JDBC Anda dan sambungkan kembali ke server untuk menerapkan pengaturan.

Contoh: Menjalankan kueri menggunakan driver JDBC

Contoh berikut menunjukkan cara menggunakan driver JDBC untuk menjalankan kueri Databricks SQL menggunakan sumber daya komputasi Azure Databricks.

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.ResultSetMetaData;
import java.sql.Statement;
import java.util.Properties;

public class DatabricksJDBCExample {

    public static void main(String[] args) {

        Class.forName("com.databricks.client.jdbc.Driver");

        // Set JDBC URL properties
        String jdbcUrl = "jdbc:databricks://dbc-a1b2345c-d6e7.cloud.databricks.com:443";
        Properties connectionProperties = new Properties();
        connectionProperties.put("httpPath", "sql/protocolv1/o/123456780012345/0123-123450-z000pi22");
        connectionProperties.put("ssl", "1");

        // Set authentication properties (personal access token)
        connectionProperties.put("AuthMech", "3");
        connectionProperties.put("user", "token");
        connectionProperties.put("password", "12345678901234667890abcdabcd");

        // Set logging properties
        connectionProperties.put("logPath", "logs/myapplication.log");

        // Establish connection and execute query
        try (Connection connection = DriverManager.getConnection(jdbcUrl, connectionProperties);
             Statement statement = connection.createStatement();
             ResultSet resultSet = statement.executeQuery("SELECT * FROM samples.nyctaxi.trips")) {

            // Get metadata and column names
            ResultSetMetaData metaData = resultSet.getMetaData();
            String[] columns = new String[metaData.getColumnCount()];
            for (int i = 0; i < columns.length; i++) {
                columns[i] = metaData.getColumnName(i + 1);
            }

            // Process and print the result set
            while (resultSet.next()) {
                System.out.print("Row " + resultSet.getRow() + "=[");
                for (int i = 0; i < columns.length; i++) {
                    if (i != 0) {
                        System.out.print(", ");
                    }
                    System.out.print(columns[i] + "='" + resultSet.getObject(i + 1) + "'");
                }
                System.out.println("]");
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

Sumber Daya Tambahan:

• Integrasi DataGrip dengan Azure Databricks

• Integrasi DBeaver dengan Azure Databricks

• Menyambungkan ke SQL Workbench/J

• Menyambungkan ke Infoworks

• Menyambungkan ke Qlik Replikasi

• Menyambungkan ke StreamSets

• Menyambungkan ke Syncsort

• Menyambungkan ke MicroStrategy