Bagikan melalui

Kueri MySQL dengan Azure Databricks

  • Artikel

Contoh ini mengkueri MySQL menggunakan driver JDBC-nya. Untuk detail selengkapnya tentang membaca, menulis, mengonfigurasi paralelisme, dan pushdown kueri, lihat Database kueri menggunakan JDBC.

Penting

Konfigurasi yang dijelaskan dalam artikel ini bersifat Eksperimental. Fitur eksperimental disediakan apa adanya dan tidak didukung oleh Databricks melalui dukungan teknis pelanggan. Untuk mendapatkan dukungan federasi kueri penuh, Anda harus menggunakan Federasi Lakehouse, yang memungkinkan pengguna Azure Databricks Anda memanfaatkan sintaksIs dan alat tata kelola data Unity Catalog.

Menggunakan JDBC

Python

driver = "com.mysql.cj.jdbc.Driver"

database_host = "<database-host-url>"
database_port = "3306" # update if you use a non-default port
database_name = "<database-name>"
table = "<table-name>"
user = "<username>"
password = "<password>"

url = f"jdbc:mysql://{database_host}:{database_port}/{database_name}"

remote_table = (spark.read
  .format("jdbc")
  .option("driver", driver)
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()
)

Scala

val driver = "com.mysql.cj.jdbc.Driver"

val database_host = "<database-host-url>"
val database_port = "3306" # update if you use a non-default port
val database_name = "<database-name>"
val table = "<table-name>"
val user = "<username>"
val password = "<password>"

val url = s"jdbc:mysql://${database_host}:${database_port}/${database_name}"

val remote_table = spark.read
  .format("jdbc")
  .option("driver", driver)
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()

Menggunakan konektor MySQL di Databricks Runtime

Dengan menggunakan Databricks Runtime 11.3 LTS ke atas, Anda dapat menggunakan konektor bernama untuk mengkueri MySQL. Lihat contoh berikut:

Python

remote_table = (spark.read
  .format("mysql")
  .option("dbtable", "table_name")
  .option("host", "database_hostname")
  .option("port", "3306") # Optional - will use default port 3306 if not specified.
  .option("database", "database_name")
  .option("user", "username")
  .option("password", "password")
  .load()
)

SQL

DROP TABLE IF EXISTS mysql_table;
CREATE TABLE mysql_table
USING mysql
OPTIONS (
  dbtable '<table-name>',
  host '<database-host-url>',
  port '3306', /* Optional - will use default port 3306 if not specified. */
  database '<database-name>',
  user '<username>',
  password '<password>'
);
SELECT * from mysql_table;

Scala

val remote_table = spark.read
  .format("mysql")
  .option("dbtable", "table_name")
  .option("host", "database_hostname")
  .option("port", "3306") # Optional - will use default port 3306 if not specified.
  .option("database", "database_name")
  .option("user", "username")
  .option("password", "password")
  .load()