Membuat koneksi (pratinjau)

Artikel
11/19/2024

BERLAKU UNTUK:Ekstensi ml Azure CLI v2 (saat ini)Python SDK azure-ai-ml v2 (saat ini)

Dalam artikel ini, pelajari cara menyambungkan ke sumber data yang terletak di luar Azure, untuk membuat data tersebut tersedia untuk layanan Azure Pembelajaran Mesin. Koneksi Azure berfungsi sebagai proksi brankas kunci, dan interaksi dengan koneksi adalah interaksi langsung dengan brankas kunci Azure. Koneksi Azure Pembelajaran Mesin menyimpan sumber daya data nama pengguna dan kata sandi dengan aman, sebagai rahasia, di brankas kunci. RBAC brankas kunci mengontrol akses ke sumber daya data ini. Untuk ketersediaan data ini, Azure mendukung koneksi ke sumber eksternal ini:

Snowflake DB
Amazon S3
Azure SQL DB

Penting

Fitur ini masih dalam pratinjau umum. Versi pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas.

Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Prasyarat

Langganan Azure. Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai. Coba versi gratis atau berbayar Azure Machine Learning.
SDK Azure Machine Learning untuk Python.
Ruang kerja Azure Machine Learning.

Penting

Koneksi Azure Pembelajaran Mesin menyimpan kredensial yang diteruskan dengan aman selama pembuatan koneksi di Ruang Kerja Azure Key Vault. Koneksi mereferensikan kredensial dari lokasi penyimpanan brankas kunci untuk digunakan lebih lanjut. Anda tidak perlu langsung menangani kredensial setelah disimpan di brankas kunci. Anda memiliki opsi untuk menyimpan kredensial dalam file YAML. Perintah CLI atau SDK dapat mengambil alihnya. Kami menyarankan agar Anda menghindari penyimpanan kredensial dalam file YAML, karena pelanggaran keamanan dapat menyebabkan kebocoran kredensial.

Catatan

Untuk impor data yang berhasil, pastikan Anda menginstal paket azure-ai-ml terbaru (versi 1.5.0 atau yang lebih baru) untuk SDK, dan ekstensi ml (versi 2.15.1 atau yang lebih baru).

Jika Anda memiliki paket SDK atau ekstensi CLI yang lebih lama, silakan hapus yang lama dan instal yang baru dengan kode yang ditunjukkan di bagian tab. Ikuti instruksi untuk SDK dan CLI seperti yang ditunjukkan di sini:

Versi kode

az extension remove -n ml
az extension add -n ml --yes
az extension show -n ml #(the version value needs to be 2.15.1 or later)

pip uninstall azure-ai-ml
pip install azure-ai-ml
pip show azure-ai-ml #(the version value needs to be 1.5.0 or later)

Membuat koneksi Snowflake DB

File YAML ini membuat koneksi Snowflake DB. Pastikan untuk memperbarui nilai yang sesuai:

# my_snowflakedb_connection.yaml
$schema: http://azureml/sdk-2-0/Connection.json
type: snowflake
name: my-sf-db-connection # add your datastore name here

target: jdbc:snowflake://<myaccount>.snowflakecomputing.com/?db=<mydb>&warehouse=<mywarehouse>&role=<myrole>
# add the Snowflake account, database, warehouse name and role name here. If no role name provided it will default to PUBLIC
credentials:
    type: username_password
    username: <username> # add the Snowflake database user name here or leave this blank and type in CLI command line
    password: <password> # add the Snowflake database password here or leave this blank and type in CLI command line

Buat koneksi Azure Pembelajaran Mesin di CLI:

Opsi 1: Gunakan nama pengguna dan kata sandi dalam file YAML

az ml connection create --file my_snowflakedb_connection.yaml

Opsi 2: Mengganti nama pengguna dan kata sandi di baris perintah

az ml connection create --file my_snowflakedb_connection.yaml --set credentials.
username="<username>" credentials.
password="<password>"

Opsi 1: Muat koneksi dari file YAML

from azure.ai.ml import MLClient, load_workspace_connection

ml_client = MLClient.from_config()

wps_connection = load_workspace_connection(source="./my_snowflakedb_connection.yaml")
wps_connection.credentials.username="<username>"
wps_connection.credentials.password="<password>"
ml_client.connections.create_or_update(workspace_connection=wps_connection)

Opsi 2: Gunakan WorkspaceConnection() dalam skrip Python

from azure.ai.ml import MLClient
from azure.ai.ml.entities import WorkspaceConnection
from azure.ai.ml.entities import UsernamePasswordConfiguration

# If using username/password, the name/password values should be url-encoded
import urllib.parse
username = urllib.parse.quote(os.environ["SNOWFLAKEDB_USERNAME"], safe="")
password = urllib.parse.quote(os.environ["SNOWFLAKEDB_PASSWORD"], safe="")

target= "jdbc:snowflake://<myaccount>.snowflakecomputing.com/?db=<mydb>&warehouse=<mywarehouse>&role=<myrole>"
# add the Snowflake account, database, warehouse name and role name here. If no role name provided it will default to PUBLIC
name= <my_snowflake_connection> # name of the connection
wps_connection = WorkspaceConnection(name= name,
type="snowflake",
target= target,
credentials= UsernamePasswordConfiguration(username=username, password=password)
)

ml_client.connections.create_or_update(workspace_connection=wps_connection)

Membuat koneksi Snowflake DB yang menggunakan OAuth

Informasi di bagian ini menjelaskan cara membuat koneksi Snowflake DB yang menggunakan OAuth untuk mengautentikasi.

Penting

Sebelum mengikuti langkah-langkah di bagian ini, Anda harus terlebih dahulu Mengonfigurasi Azure untuk menerbitkan token OAuth atas nama klien. Konfigurasi ini membuat perwakilan layanan, yang diperlukan untuk koneksi OAuth. Anda memerlukan informasi berikut untuk membuat koneksi:

ID Klien: ID perwakilan layanan
Rahasia Klien: Rahasia perwakilan layanan
ID Penyewa: ID penyewa ID Microsoft Entra

File YAML ini membuat koneksi Snowflake DB yang menggunakan OAuth. Pastikan untuk memperbarui nilai yang sesuai:

# my_snowflakedb_connection.yaml
name: snowflake_service_principal_connection
type: snowflake
# Add the Snowflake account, database, warehouse name, and role name here. If no role name is provided, it will default to PUBLIC.
target: jdbc:snowflake://<myaccount>.snowflakecomputing.com/?db=<mydb>&warehouse=<mywarehouse>&scope=<scopeForServicePrincipal>
credentials:
  type: service_principal
  client_id: <client-id>          # The service principal's client id
  client_secret: <client-secret>  # The service principal's client secret
  tenant_id: <tenant-id>          # The Microsoft Entra ID tenant id

Buat koneksi Azure Pembelajaran Mesin di CLI:

az ml connection create --file my_snowflakedb_connection.yaml

Anda juga dapat mengambil alih informasi dalam file YAML di baris perintah:

az ml connection create --file my_snowflakedb_connection.yaml --set credentials.client_id="my-client-id" credentials.client_secret="my-client-secret" credentials.tenant_id="my-tenant-id"

Dengan Python SDK, Anda dapat membuat koneksi dengan memuat informasi koneksi yang disimpan dalam file YAML. Anda dapat secara opsional mengambil alih nilai:

from azure.ai.ml import MLClient, load_workspace_connection

ml_client = MLClient.from_config()

wps_connection = load_workspace_connection(source="./my_snowflakedb_connection.yaml")
wps_connection.credentials_client_id="my-client-id"
wps_connection.credentials.client_secret="my-client-secret"
wps_connection.credentials.tenant_id="my-tenant-id"
ml_client.connections.create_or_update(workspace_connection=wps_connection)

Anda juga dapat langsung menentukan informasi koneksi dalam skrip Python tanpa mengandalkan file YAML:

from azure.ai.ml import MLClient
from azure.ai.ml.entities import WorkspaceConnection
from azure.ai.ml.entities import ServicePrincipalConfiguration

target= "jdbc:snowflake://<myaccount>.snowflakecomputing.com/?db=<mydb>&warehouse=<mywarehouse>&role=<myrole>"
# add the Snowflake account, database, warehouse name and role name here. If no role name provided it will default to PUBLIC
name= <my_snowflake_connection> # name of the connection
auth = ServicePrincipalConfiguration(client_id="<my-client-id>", client_secret="<my-client-secret>", tenant_id="<my-tenant-id>")
wps_connection = WorkspaceConnection(name= name,
                                     type="snowflake",
                                     target=target,
                                     credentials=auth
)

ml_client.connections.create_or_update(workspace_connection=wps_connection)

Membuat koneksi Azure SQL DB

Skrip YAML ini membuat koneksi Azure SQL DB. Pastikan untuk memperbarui nilai yang sesuai:

# my_sqldb_connection.yaml
$schema: http://azureml/sdk-2-0/Connection.json

type: azure_sql_db
name: my-sqldb-connection

target: Server=tcp:<myservername>,<port>;Database=<mydatabase>;Trusted_Connection=False;Encrypt=True;Connection Timeout=30
# add the sql servername, port addresss and database
credentials:
    type: sql_auth
    username: <username> # add the sql database user name here or leave this blank and type in CLI command line
    password: <password> # add the sql database password here or leave this blank and type in CLI command line

Buat koneksi Azure Pembelajaran Mesin di CLI:

Opsi 1: Gunakan nama pengguna / kata sandi dari file YAML

az ml connection create --file my_sqldb_connection.yaml

Opsi 2: Mengganti nama pengguna dan kata sandi dalam file YAML

az ml connection create --file my_sqldb_connection.yaml --set credentials.
username="<username>" credentials.
password="<password>"

Opsi 1: Muat koneksi dari file YAML

from azure.ai.ml import MLClient, load_workspace_connection

ml_client = MLClient.from_config()

wps_connection = load_workspace_connection(source="./my_sqldb_connection.yaml")
wps_connection.credentials.username="<username>"
wps_connection.credentials.password="<password>"
ml_client.connections.create_or_update(workspace_connection=wps_connection)

Opsi 2: Menggunakan WorkspaceConnection()

from azure.ai.ml import MLClient
from azure.ai.ml.entities import WorkspaceConnection
from azure.ai.ml.entities import UsernamePasswordConfiguration

# If using username/password, the name/password values should be url-encoded
import urllib.parse
username = urllib.parse.quote(os.environ["MYSQL_USERNAME"], safe="")
password = urllib.parse.quote(os.environ["MYSQL_PASSWORD"], safe="")

target= "Server=tcp:<myservername>,<port>;Database=<mydatabase>;Trusted_Connection=False;Encrypt=True;Connection Timeout=30"
# add the sql servername, port address and database

name= <my_sql_connection> # name of the connection
wps_connection = WorkspaceConnection(name= name,
type="azure_sql_db",
target= target,
credentials= UsernamePasswordConfiguration(username=username, password=password)
)

ml_client.connections.create_or_update(workspace_connection=wps_connection)

Membuat koneksi Amazon S3

Buat koneksi Amazon S3 dengan file YAML berikut. Pastikan untuk memperbarui nilai yang sesuai:

# my_s3_connection.yaml
$schema: http://azureml/sdk-2-0/Connection.json

type: s3
name: my_s3_connection

target: <mybucket> # add the s3 bucket details
credentials:
    type: access_key
    access_key_id: bbbbbbbb-1c1c-2d2d-3e3e-444444444444 # add access key id
    secret_access_key: H4iJ5kL6mN7oP8qR9sT0uV1wX2yZ3a # add access key secret

Buat koneksi Azure Pembelajaran Mesin di CLI:

az ml connection create --file my_s3_connection.yaml

Opsi 1: Muat koneksi dari file YAML

from azure.ai.ml import MLClient, load_workspace_connection

ml_client = MLClient.from_config()

wps_connection = load_workspace_connection(source="./my_s3_connection.yaml")
ml_client.connections.create_or_update(workspace_connection=wps_connection)

Opsi 2: Gunakan WorkspaceConnection() dalam skrip Python

from azure.ai.ml import MLClient
from azure.ai.ml.entities import WorkspaceConnection
from azure.ai.ml.entities import AccessKeyConfiguration

target=<mybucket> # add the s3 bucket details
name=<my_s3_connection> # name of the connection
wps_connection=WorkspaceConnection(name=name,
type="s3",
target= target,
credentials= AccessKeyConfiguration(access_key_id="XXXJ5kL6mN7oP8qR9sT0uV1wX2yZ3aB4cXXX",acsecret_access_key="C2dE3fH4iJ5kL6mN7oP8qR9sT0uV1w")
)

ml_client.connections.create_or_update(workspace_connection=wps_connection)

Koneksi non-data

Anda dapat menggunakan jenis koneksi ini untuk menyambungkan ke Git:

Umpan Python
Azure Container Registry
koneksi yang menggunakan kunci API

Koneksi ini bukan koneksi data, tetapi digunakan untuk menyambungkan ke layanan eksternal untuk digunakan dalam kode Anda.

Git

Buat koneksi Git dengan salah satu file YAML berikut. Pastikan untuk memperbarui nilai yang sesuai:

Sambungkan menggunakan token akses pribadi (PAT):

#Connection.yml
name: test_ws_conn_git_pat
type: git
target: https://github.com/contoso/contosorepo
credentials:
    type: pat
    pat: dummy_pat

Sambungkan ke repositori publik (tanpa kredensial):

#Connection.yml

name: git_no_cred_conn
type: git
target: https://https://github.com/contoso/contosorepo

Buat koneksi Azure Pembelajaran Mesin di CLI:

az ml connection create --file connection.yaml

Contoh berikut membuat koneksi Git ke repositori GitHub. Token Akses Pribadi (PAT) mengautentikasi koneksi:

from azure.ai.ml.entities import WorkspaceConnection
from azure.ai.ml.entities import UsernamePasswordConfiguration, PatTokenConfiguration


name = "my_git_conn"

target = "https://github.com/myaccount/myrepo"

wps_connection = WorkspaceConnection(
    name=name,
    type="git",
    target=target,
    credentials=PatTokenConfiguration(pat="E3fH4iJ5kL6mN7oP8qR9sT0uV1wX2y"),    
)
ml_client.connections.create_or_update(workspace_connection=wps_connection)

Umpan Python

Buat koneksi ke umpan Python dengan salah satu file YAML berikut. Pastikan untuk memperbarui nilai yang sesuai:

Sambungkan menggunakan token akses pribadi (PAT):

#Connection.yml
name: test_ws_conn_python_pat
type: python_feed
target: https://test-feed.com
credentials:
    type: pat
    pat: dummy_pat

Sambungkan menggunakan nama pengguna dan kata sandi:

name: test_ws_conn_python_user_pass
type: python_feed
target: https://test-feed.com
credentials:
    type: username_password
    username: <username>
    password: <password>

Sambungkan ke umpan publik (tanpa kredensial):

name: test_ws_conn_python_no_cred
type: python_feed
target: https://test-feed.com3

Buat koneksi Azure Pembelajaran Mesin di CLI:

az ml connection create --file connection.yaml

Contoh berikut membuat koneksi umpan Python. Token Akses Pribadi (PAT), atau nama pengguna dan kata sandi, mengautentikasi koneksi:

from azure.ai.ml.entities import WorkspaceConnection
from azure.ai.ml.entities import UsernamePasswordConfiguration, PatTokenConfiguration

# If using username/password, the name/password values should be url-encoded
# import urllib.parse
# username = urllib.parse.quote(os.environ["FEED_USERNAME"], safe="")
# password = urllib.parse.quote(os.environ["FEED_PASSWORD"], safe="")


name = "my_pfeed_conn"

target = "https://iJ5kL6mN7.core.windows.net/mycontainer"

wps_connection = WorkspaceConnection(
    name=name,
    type="python_feed",
    target=target,
    #credentials=UsernamePasswordConfiguration(username=username, password=password), 
    credentials=PatTokenConfiguration(pat="<PatTokenConfiguration>"),    

    #credentials=None
)
ml_client.connections.create_or_update(workspace_connection=wps_connection)

Container Registry

Buat koneksi ke Azure Container Registry dengan salah satu file YAML berikut. Pastikan untuk memperbarui nilai yang sesuai:

Sambungkan menggunakan nama pengguna dan kata sandi:

name: test_ws_conn_cr_user_pass
type: container_registry
target: https://test-feed.com2
credentials:
    type: username_password
    username: <username>
    password: <password>

Buat koneksi Azure Pembelajaran Mesin di CLI:

az ml connection create --file connection.yaml

Contoh berikut membuat koneksi Azure Container Registry:

from azure.ai.ml.entities import WorkspaceConnection
from azure.ai.ml.entities import UsernamePasswordConfiguration

# If using username/password, the name/password values should be url-encoded
import urllib.parse
username = os.environ["REGISTRY_USERNAME"]
password = os.environ["REGISTRY_PASSWORD"]

name = "my_acr_conn"

target = "https://iJ5kL6mN7.core.windows.net/mycontainer"

wps_connection = WorkspaceConnection(
    name=name,
    type="container_registry",
    target=target,
    credentials=UsernamePasswordConfiguration(username=username, password=password), 
)
ml_client.connections.create_or_update(workspace_connection=wps_connection)

Kunci API

Contoh berikut membuat koneksi kunci API:

from azure.ai.ml.entities import WorkspaceConnection
from azure.ai.ml.entities import UsernamePasswordConfiguration, ApiKeyConfiguration


name = "my_api_key"

target = "https://L6mN7oP8q.core.windows.net/mycontainer"

wps_connection = WorkspaceConnection(
    name=name,
    type="apikey",
    target=target,
    credentials=ApiKeyConfiguration(key="9sT0uV1wX"),    
)
ml_client.connections.create_or_update(workspace_connection=wps_connection)

Registri Kontainer Generik

Dengan menggunakan koneksi ruang kerja GenericContainerRegistry, Anda dapat menentukan registri eksternal, seperti Nexus atau Artifactory, untuk build gambar. Gambar lingkungan didorong dari registri yang ditentukan, dan cache sebelumnya diabaikan.

Buat koneksi menggunakan file YAML berikut. Pastikan untuk memperbarui nilai yang sesuai:

#myenv.yml
$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json 
name: docker-image-plus-conda-example 
image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04
type: python_feed
conda_file: conda_dep.yml
description: Environment created from a Docker image plus Conda environment

#conda_dep.yml
name: project_environment
dependencies:
  - python=3.10
  - pip:
    - azureml-defaults
channels:
  - anaconda
  - conda-forge

#connection.yml
name: ws_conn_generic_container_registry
type: container_registry
target: https://test-registry.com
credentials:
  type: username_password
  username: <username>
  password: <password>

#hello_world_job.yml
$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment: azureml:<env name>@latest

Buat koneksi dari file YAML dengan kredensial Anda:

az ml connection create --file connection.yaml --credentials username=<username> password=<password> --resource-group my-resource-group --workspace-name my-workspace

Membuat lingkungan

az ml environment create --name my-env --version 1 --file my_env.yml  --conda-file conda_dep.yml --image mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04 --resource-group my-resource-group --workspace-name my-workspace

Anda dapat memverifikasi bahwa lingkungan berhasil dibuat

az ml environment show --name my-env --version 1 --resource-group my-resource-group --workspace-name my-workspace

Contoh berikut membuat koneksi Registri Kontainer Generik:

import os
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential
from azure.ai.ml.entities import Environment
from azure.ai.ml.entities import WorkspaceConnection
from azure.ai.ml.entities import UsernamePasswordConfiguration
from azureml.core.conda_dependencies import CondaDependencies
from azure.ai.ml import command

username = os.environ["REGISTRY_USERNAME"]
password = os.environ["REGISTRY_PASSWORD"]

# Enter details of AML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

ml_client = MLClient( DefaultAzureCredential(), subscription_id, resource_group, workspace)
credentials = UsernamePasswordConfiguration(username=username, password=password)

# Create GenericContainerRegistry workspace connection for a generic registry
ws_connection = WorkspaceConnection(name="<name>", target="<target>", type="GenericContainerRegistry", credentials=credentials)
ml_client.connections.create_or_update(ws_connection)

# Create an environment
env_docker_conda = Environment(image="<base image>", conda_file="<yml file>", name="docker-image-plus-conda-example", description="Environment created from a Docker image plus Conda environment.")
ml_client.environments.create_or_updat(env_docker_conda) 

job = command(command="echo 'hello world'", environment=env_docker_conda,display_name="v2-job-example")
returned_job = ml_client.create_or_update(job)

Jika Anda menggunakan koneksi data (Snowflake DB, Amazon S3, atau Azure SQL DB), artikel ini menawarkan informasi selengkapnya:

Bagikan melalui

Membuat koneksi (pratinjau)

Prasyarat

Versi kode

Membuat koneksi Snowflake DB

Opsi 1: Gunakan nama pengguna dan kata sandi dalam file YAML

Opsi 2: Mengganti nama pengguna dan kata sandi di baris perintah

Opsi 1: Muat koneksi dari file YAML

Opsi 2: Gunakan WorkspaceConnection() dalam skrip Python

Membuat koneksi Snowflake DB yang menggunakan OAuth

Membuat koneksi Azure SQL DB

Opsi 1: Gunakan nama pengguna / kata sandi dari file YAML

Opsi 2: Mengganti nama pengguna dan kata sandi dalam file YAML

Opsi 1: Muat koneksi dari file YAML

Opsi 2: Menggunakan WorkspaceConnection()

Membuat koneksi Amazon S3

Opsi 1: Muat koneksi dari file YAML

Opsi 2: Gunakan WorkspaceConnection() dalam skrip Python

Koneksi non-data

Git

Umpan Python

Container Registry

Kunci API

Registri Kontainer Generik

Saran dan Komentar

Sumber Daya Tambahan:

Bagikan melalui

Membuat koneksi (pratinjau)

Prasyarat

Versi kode

Membuat koneksi Snowflake DB

Opsi 1: Gunakan nama pengguna dan kata sandi dalam file YAML

Opsi 2: Mengganti nama pengguna dan kata sandi di baris perintah

Membuat koneksi Snowflake DB yang menggunakan OAuth

Membuat koneksi Azure SQL DB

Opsi 1: Gunakan nama pengguna / kata sandi dari file YAML

Opsi 2: Mengganti nama pengguna dan kata sandi dalam file YAML

Membuat koneksi Amazon S3

Koneksi non-data

Git

Umpan Python

Container Registry

Kunci API

Registri Kontainer Generik

Konten terkait

Saran dan Komentar

Sumber Daya Tambahan: