Menjadwalkan pekerjaan impor data (pratinjau)

• Instal Azure CLI dan ekstensi ml. Ikuti langkah-langkah penginstalan di Memasang, menyiapkan, dan menggunakan CLI (v2).

• Buat ruang kerja Azure Machine Learning jika Anda belum memilikinya. Untuk pembuatan ruang kerja, lihat Memasang, menyiapkan, dan menggunakan CLI (v2).

• Buat ruang kerja Azure Machine Learning jika Anda belum memilikinya.
• SDK Azure Machine Learning v2 untuk Python.

• Ruang kerja Azure Machine Learning. Lihat Membuat sumber daya ruang kerja.
• Memahami alur Azure Pembelajaran Mesin. Lihat apa itu alur pembelajaran mesin, dan cara membuat pekerjaan alur di CLI v2 atau SDK v2.

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

YAML: Jadwal impor data dengan pola pengulangan

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Menjadwalkan definisi impor data sebaris dengan pola pengulangan pada datastore terkelola

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule

trigger:
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 #every day
  schedule:
    hours: [4,5,10,11,12]
    minutes: [0,30]
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspacemanagedstore
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

Berisi trigger properti ini:

• (Diperlukan) type menentukan jenis jadwal, baik recurrence atau cron. Bagian berikut ini memiliki informasi selengkapnya.

Selanjutnya, jalankan perintah ini di CLI:

> az ml schedule create -f <file-name>.yml

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import (
    ImportDataSchedule,
    RecurrenceTrigger,
    RecurrencePattern,
)
from datetime import datetime

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_recurrence"

schedule_start_time = datetime.utcnow()

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=1, minutes=[0, 1]),
    start_time=schedule_start_time,
    time_zone=TimeZone.UTC,
)

import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=recurrence_trigger, import_data=my_data
)

ml_client.schedules.begin_create_or_update(import_schedule).result()

RecurrenceTrigger berisi properti berikut:

• (Diperlukan) Untuk pengalaman pengodian yang lebih baik, gunakan RecurrenceTrigger untuk jadwal pengulangan.

Saat impor data Anda memiliki performa dan output yang memuaskan, Anda dapat menyiapkan jadwal untuk memicu impor tersebut secara otomatis.

1. Menavigasi ke studio Azure Pembelajaran Mesin

2. Di bawah Aset di navigasi kiri, pilih Data. Pada tab Impor data, pilih aset data yang diimpor yang ingin Anda lampirkan jadwalnya. Halaman Riwayat pekerjaan Impor akan muncul, seperti yang ditunjukkan pada cuplikan layar ini:

   

3. Di halaman Impor riwayat pekerjaan, pilih URL hyperlink Impor nama pekerjaan terbaru, untuk membuka halaman detail pekerjaan alur seperti yang ditunjukkan pada cuplikan layar ini:

   

4. Di halaman detail pekerjaan alur dari impor data apa pun, pilih Jadwalkan ->Buat jadwal baru untuk membuka wizard pembuatan jadwal, seperti yang ditunjukkan pada cuplikan layar ini:

   

5. Pengaturan Dasar wizard pembuatan jadwal memiliki properti yang diperlihatkan dalam cuplikan layar ini:

   

• Nama: pengidentifikasi unik jadwal dalam ruang kerja.

• Deskripsi: deskripsi jadwal.

• Pemicu: pola pengulangan jadwal, yang mencakup properti ini:

  • Zona waktu: perhitungan waktu pemicu didasarkan pada zona waktu ini; (UTC) Waktu Universal Terkoordinasi secara default.
  • Pengulangan atau ekspresi Cron: pilih pengulangan untuk menentukan pola berulang. Di bawah Pengulangan, Anda dapat menentukan frekuensi pengulangan - menurut menit, jam, hari, minggu, atau bulan.
  • Mulai: jadwal pertama kali menjadi aktif pada tanggal ini. Secara default, tanggal pembuatan jadwal ini.
  • Akhir: jadwal akan menjadi tidak aktif setelah tanggal ini. Secara default, ini adalah NONE, yang berarti bahwa jadwal tetap aktif sampai Anda menonaktifkannya secara manual.
  • Tag: tag jadwal yang dipilih.

  Setelah mengonfigurasi pengaturan dasar, Anda dapat memilih Tinjau + Buat, dan jadwal akan secara otomatis mengirimkan impor data berdasarkan pola pengulangan yang Anda tentukan. Anda juga dapat memilih Berikutnya, dan menavigasi melalui wizard untuk memilih atau memperbarui parameter impor data.

YAML: Menjadwalkan impor data dengan ekspresi cron

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

YAML: Jadwal impor data dengan ekspresi cron (pratinjau)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data: ./my-snowflake-import-data.yaml

YAML: Menjadwalkan definisi impor data sebaris dengan ekspresi cron (pratinjau)

$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule

trigger:
  type: cron
  expression: "0 * * * *"
  start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
  time_zone: "Pacific Standard Time" # optional - default will be UTC

import_data:
  type: mltable
  name: my_snowflake_ds
  path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
  source:
    type: database
    query: select * from TPCH_SF1.REGION
    connection: azureml:my_snowflake_connection

Bagian trigger menentukan detail jadwal dan berisi properti ini:

• (Diperlukan) type cron menentukan jenis jadwal.

> az ml schedule create -f <file-name>.yml

Daftar berlanjut di sini:

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

from azure.ai.ml.data_transfer import Database
from azure.ai.ml.constants import TimeZone
from azure.ai.ml.entities import CronTrigger, ImportDataSchedule

source = Database(connection="azureml:my_sf_connection", query="select * from my_table")

path = "azureml://datastores/workspaceblobstore/paths/snowflake/schedule/${{name}}"


my_data = DataImport(
    type="mltable", source=source, path=path, name="my_schedule_sfds_test"
)

schedule_name = "my_simple_sdk_create_schedule_cron"

cron_trigger = CronTrigger(
    expression="15 10 * * 1",
    start_time=datetime.utcnow(),
    end_time="2023-12-03T18:40:00",
)
import_schedule = ImportDataSchedule(
    name=schedule_name, trigger=cron_trigger, import_data=my_data
)
ml_client.schedules.begin_create_or_update(import_schedule).result()

Bagian CronTrigger menentukan detail jadwal dan berisi properti ini:

• (Diperlukan) Untuk pengalaman pengodian yang lebih baik, gunakan CronTrigger untuk jadwal pengulangan.

Daftar berlanjut di sini:

Saat impor data Anda memiliki performa dan output yang memuaskan, Anda dapat menyiapkan jadwal untuk memicu impor tersebut secara otomatis.

1. Menavigasi ke studio Azure Pembelajaran Mesin

2. Di bawah Aset di navigasi kiri, pilih Data. Pada tab Impor data, pilih aset data yang diimpor yang ingin Anda lampirkan jadwalnya. Halaman Riwayat pekerjaan Impor akan muncul, seperti yang ditunjukkan pada cuplikan layar ini:

   

3. Di halaman Impor riwayat pekerjaan, pilih URL hyperlink Impor nama pekerjaan terbaru, untuk membuka halaman detail pekerjaan alur seperti yang ditunjukkan pada cuplikan layar ini:

   

4. Di halaman detail pekerjaan alur dari impor data apa pun, pilih Jadwalkan ->Buat jadwal baru untuk membuka wizard pembuatan jadwal, seperti yang ditunjukkan pada cuplikan layar ini:

   

5. Pengaturan Dasar wizard pembuatan jadwal memiliki properti yang diperlihatkan dalam cuplikan layar ini:

   

• Nama: pengidentifikasi unik jadwal dalam ruang kerja.

• Deskripsi: deskripsi jadwal.

• Pemicu: pola pengulangan jadwal, yang mencakup properti ini:

  • Zona waktu: perhitungan waktu pemicu didasarkan pada zona waktu ini; (UTC) Waktu Universal Terkoordinasi secara default.
  • Pengulangan atau ekspresi Cron: pilih pengulangan untuk menentukan pola berulang. Dengan ekspresi Cron, Anda dapat menentukan pola pengulangan yang lebih fleksibel dan disesuaikan.
  • Mulai: jadwal pertama kali menjadi aktif pada tanggal ini. Secara default, tanggal pembuatan jadwal ini.
  • Akhir: jadwal akan menjadi tidak aktif setelah tanggal ini. Secara default, ini adalah NONE, yang berarti bahwa jadwal tetap aktif sampai Anda menonaktifkannya secara manual.
  • Tag: tag jadwal yang dipilih.

  Setelah mengonfigurasi pengaturan dasar, Anda dapat memilih Tinjau + Buat, dan jadwal akan secara otomatis mengirimkan impor data berdasarkan pola pengulangan yang Anda tentukan. Anda juga dapat memilih Berikutnya, dan menavigasi melalui wizard untuk memilih atau memperbarui parameter impor data.

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

az ml schedule list

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

schedules = ml_client.schedules.list()
[s.name for s in schedules]

Di portal studio, di bawah ekstensi Pekerjaan , pilih tab Semua jadwal . Tab tersebut memperlihatkan semua jadwal pekerjaan Anda yang dibuat oleh SDK/cli/UI, dalam satu daftar. Dalam daftar jadwal, Anda memiliki gambaran umum semua jadwal di ruang kerja ini, seperti yang ditunjukkan dalam cuplikan layar ini:

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

az ml schedule show -n simple_cron_data_import_schedule

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

created_schedule = ml_client.schedules.get(name=schedule_name)
[created_schedule.name]

Anda dapat memilih nama jadwal untuk menampilkan halaman detail jadwal. Halaman detail jadwal berisi tab berikut, seperti yang diperlihatkan dalam cuplikan layar ini:

• Ringkasan: informasi dasar untuk jadwal yang ditentukan.

  

• Definisi pekerjaan: menentukan pekerjaan yang dipicu jadwal yang ditentukan, seperti yang ditunjukkan pada cuplikan layar ini:

  

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

az ml schedule update -n simple_cron_data_import_schedule  --set description="new description" --no-wait

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Memperbarui definisi impor data ke jadwal yang sudah ada

Untuk mengubah frekuensi impor, atau untuk membuat asosiasi baru untuk pekerjaan impor data, Anda dapat memperbarui definisi impor dari jadwal yang ada.

1. Menavigasi ke studio Azure Pembelajaran Mesin

2. Di bawah Aset di navigasi kiri, pilih Data. Pada tab Impor data, pilih aset data yang diimpor yang ingin Anda lampirkan jadwalnya. Halaman Riwayat pekerjaan Impor akan muncul, seperti yang ditunjukkan pada cuplikan layar ini:

   

3. Pada halaman Impor riwayat pekerjaan, pilih tautan Impor nama pekerjaan terbaru, untuk membuka halaman detail pekerjaan alur seperti yang ditunjukkan pada cuplikan layar ini:

   

4. Di halaman detail pekerjaan alur dari impor data apa pun, pilih Jadwalkan ->Diperbarui ke jadwal yang ada, untuk membuka wizard Pilih jadwal, seperti yang diperlihatkan dalam cuplikan layar ini:

   

5. Pilih jadwal yang sudah ada dari daftar, seperti yang ditunjukkan pada cuplikan layar ini:

   

   Penting

   Pastikan Anda memilih jadwal yang benar untuk diperbarui. Setelah Anda menyelesaikan pembaruan, jadwal akan memicu impor data yang berbeda.

6. Anda juga dapat mengubah sumber, kueri, dan mengubah jalur tujuan, untuk impor data mendatang yang dipicu oleh jadwal.

7. Pilih Tinjau + Perbarui untuk menyelesaikan proses pembaruan. Pembaruan yang telah selesai akan mengirim pemberitahuan.

8. Anda dapat melihat definisi impor data baru di halaman detail jadwal saat pembaruan selesai.

Memperbarui di halaman detail jadwal

Di halaman detail jadwal, Anda dapat memilih Pengaturan pembaruan untuk memperbarui pengaturan dasar dan pengaturan tingkat lanjut, termasuk input/output pekerjaan dan pengaturan runtime jadwal, seperti yang ditunjukkan pada cuplikan layar ini:

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

az ml schedule disable -n simple_cron_data_import_schedule --no-wait

job_schedule = ml_client.schedules.begin_disable(name=schedule_name).result()
job_schedule.is_enabled

Anda dapat menonaktifkan jadwal saat ini di halaman detail jadwal. Anda juga dapat menonaktifkan jadwal di tab Semua jadwal .

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

az ml schedule enable -n simple_cron_data_import_schedule --no-wait

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

# Update trigger expression
job_schedule.trigger.expression = "10 10 * * 1"
job_schedule = ml_client.schedules.begin_create_or_update(
    schedule=job_schedule
).result()
print(job_schedule)

Di halaman detail jadwal, Anda dapat mengaktifkan jadwal saat ini. Anda juga dapat mengaktifkan jadwal di tab Semua jadwal .

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

az ml schedule delete -n simple_cron_data_import_schedule

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

# Only disabled schedules can be deleted
ml_client.schedules.begin_disable(name=schedule_name).result()
ml_client.schedules.begin_delete(name=schedule_name).result()

Anda dapat menghapus jadwal dari halaman detail jadwal atau tab semua jadwal.