Transformasi data menggunakan Script activity di Azure Data Factory atau Azure Synapse Analytics

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Anda menggunakan aktivitas transformasi data di alur Data Factory atau Synapse untuk mentransformasi dan memproses data mentah menjadi prediksi dan wawasan. Script activity merupakan salah satu aktivitas transformasi yang menyalurkan dukungan. Artikel ini dibuat berdasarkan artikel data transformasi, yang memberikan gambaran umum tentang transformasi data dan aktivitas transformasi yang didukung.

Dengan menggunakan script activity, Anda dapat menjalankan operasi umum dengan Bahasa Manipulasi Data (DML), dan Bahasa Definisi Data (DDL). Pernyataan DML seperti INSERT, UPDATE, DELETE, dan SELECT memungkinkan pengguna menyisipkan, memodifikasi, menghapus, dan mengambil data dalam database. Pernyataan DDL seperti BUAT, UBAH, dan, HAPUS memungkinkan pengelola database untuk membuat, memodifikasi, dan menghapus objek database seperti tabel, indeks, dan pengguna.

Anda dapat menggunakan aktivitas skrip untuk menjalankan skrip SQL di salah satu penyimpanan data berikut di perusahaan Anda atau di mesin virtual (VM) Azure:

• Azure SQL Database
• Azure Synapse Analytics
• Database SQL Server. Jika Anda menggunakan SQL Server, pasang runtime integrasi yang dihost sendiri pada komputer yang sama yang menghost database atau pada komputer terpisah yang memiliki akses ke database. Runtime integrasi yang dihost sendiri adalah komponen yang menghubungkan sumber data di lokal/di Azure VM dengan layanan cloud dengan cara yang aman dan terkelola. Lihat artikel Runtime integrasi yang Dihost Sendiri untuk detailnya.
• Oracle
• Snowflake

Skrip dapat berisi satu pernyataan SQL atau beberapa pernyataan SQL yang berjalan secara berurutan. Anda dapat menggunakan tugas Skrip untuk tujuan berikut:

• Potong tabel sebagai persiapan untuk menyisipkan data.
• Buat, ubah, dan hapus objek database seperti tabel dan tampilan.
• Buat ulang tabel fakta dan dimensi sebelum memuat data ke dalamnya.
• Jalankan prosedur yang tersimpan. Jika pernyataan SQL memanggil prosedur tersimpan yang mengembalikan hasil dari tabel sementara, gunakan opsi DENGAN KUMPULAN HASIL untuk menentukan metadata dengan kumpulan hasil.
• Simpan rowset yang dikembalikan dari kueri sebagai output aktivitas untuk konsumsi downstream.

Detail sintaks

Berikut adalah format JSON untuk menjelaskan Script activity:

{ 
   "name": "<activity name>", 
   "type": "Script", 
   "linkedServiceName": { 
      "referenceName": "<name>", 
      "type": "LinkedServiceReference" 
    }, 
   "typeProperties": { 
      "scripts" : [ 
         { 
            "text": "<Script Block>", 
            "type": "<Query> or <NonQuery>", 
            "parameters":[ 
               { 
                  "name": "<name>", 
                  "value": "<value>", 
                  "type": "<type>", 
                  "direction": "<Input> or <Output> or <InputOutput>", 
                  "size": 256 
               }, 
               ... 
            ] 
         }, 
         ... 
      ],     
         ... 
         ] 
      }, 
      "scriptBlockExecutionTimeout": "<time>",  
      "logSettings": { 
         "logDestination": "<ActivityOutput> or <ExternalStore>", 
         "logLocationSettings":{ 
            "linkedServiceName":{ 
               "referenceName": "<name>", 
               "type": "<LinkedServiceReference>" 
            }, 
            "path": "<folder path>" 
         } 
      } 
    } 
} 

Tabel berikut menjelaskan properti JSON ini:

Keluaran Aktivitas

Contoh output:

{ 
    "resultSetCount": 2, 
    "resultSets": [ 
        { 
            "rowCount": 10, 
            "rows":[ 
                { 
                    "<columnName1>": "<value1>", 
                    "<columnName2>": "<value2>", 
                    ... 
                } 
            ] 
        }, 
        ... 
    ], 
    "recordsAffected": 123, 
    "outputParameters":{ 
        "<parameterName1>": "<value1>", 
        "<parameterName2>": "<value2>" 
    }, 
    "outputLogs": "<logs>", 
    "outputLogsLocation": "<folder path>", 
    "outputTruncated": true, 
    ... 
} 

Mengonfigurasi Script activity menggunakan UI

Skrip sebaris

script sebaris terintegrasi dengan baik dengan Pipeline CI/CD karena script disimpan sebagai bagian dari pipeline metadata.

Pencatatan

Opsi Pencatatan:

• Nonaktifkan - Tidak ada output eksekusi yang dicatat.
• Output aktivitas - Output eksekusi skrip ditambahkan ke output aktivitas. Aktivitas hilir kemudian dapat mengonsumsinya. Ukuran output dibatasi hingga 4 MB.
• Penyimpanan eksternal - Mempertahankan output ke penyimpanan. Gunakan opsi ini jika ukuran output lebih besar dari 2 MB atau Anda ingin secara eksplisit mempertahankan output di akun penyimpanan Anda.

Konten terkait

Lihat artikel berikut yang menjelaskan cara mentransformasikan data dengan cara lain:

• Aktivitas U-SQL
• Aktivitas Apache Hive
• Aktivitas Pig
• Aktivitas MapReduce
• Aktivitas Hadoop Streaming
• Aktivitas Spark
• Aktivitas kustom .NET
• Aktivitas prosedur tersimpan