Salin serta ubah data di Snowflake menggunakan Azure Data Factory atau Azure Synapse Analytics

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Artikel ini menguraikan cara menggunakan Aktivitas Salin untuk menyalin data dari dan ke server FTP (SFTP) yang aman, serta menggunakan Data Flow untuk mengubah data di server SFTP. Untuk mempelajari selengkapnya, baca artikel pengantar untuk Azure Data Factory atau Azure Synapse Analytics.

Kemampuan yang didukung

Konektor SFTP ini didukung untuk kemampuan berikut:

① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri

Secara khusus, konektor SFTP mendukung:

• Menyalin file dari dan ke server SFTP dengan menggunakan Dasar, kunci publik SSH, atau autentikasi multifaktor.
• Menyalin file apa adanya atau dengan memilah atau membuat file menggunakan format file dan codec pemadatan yang didukung.

Prasyarat

Jika penyimpanan data Anda terletak di dalam jaringan lokal, jaringan virtual Azure, atau Amazon Virtual Private Cloud, Anda harus mengonfigurasi runtime integrasi yang dihosting sendiri untuk menghubungkannya.

Jika penyimpanan data Anda adalah layanan data cloud terkelola, Anda dapat menggunakan Azure Integration Runtime. Jika akses dibatasi untuk IP yang disetujui dalam aturan firewall, Anda dapat menambahkan IP Azure Integration Runtime ke daftar izinkan.

Anda juga dapat menggunakan fitur runtime integrasi jaringan virtual terkelola di Azure Data Factory untuk mengakses jaringan lokal tanpa menginstal dan mengonfigurasi runtime integrasi yang dihosting sendiri.

Untuk informasi selengkapnya tentang mekanisme dan opsi keamanan jaringan yang didukung oleh Data Factory, lihat Strategi akses data.

Memulai

Untuk melakukan aktivitas Salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:

• Alat Penyalinan Data
• Portal Microsoft Azure
• SDK .NET
• SDK Python
• Azure PowerShell
• REST API
• Templat Azure Resource Manager

Membuat layanan tertaut SFTP menggunakan UI

Gunakan langkah-langkah berikut untuk membuat layanan tertaut SFTP di UI portal Azure.

1. Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:

   • Azure Data Factory
   • Azure Synapse

   

2. Cari SFTP dan pilih konektor SFTP.

   

3. Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

   

Detail konfigurasi konektor

Bagian berikut memberikan detail tentang properti yang digunakan untuk menentukan entitas tertentu untuk SFTP.

Properti layanan tertaut

Properti berikut didukung untuk layanan tertaut SFTP:

Menggunakan autentikasi dasar

Untuk menggunakan autentikasi dasar/basic, atur properti authenticationType ke Basic, dan tentukan properti berikut selain dari properti generik konektor SFTP yang diperkenalkan di bagian sebelumnya:

Contoh:

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<sftp server>",
            "port": 22,
            "skipHostKeyValidation": false,
            "hostKeyFingerPrint": "ssh-rsa 2048 xx:00:00:00:xx:00:x0:0x:0x:0x:0x:00:00:x0:x0:00",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Menggunakan autentikasi kunci umum SSH

Untuk menggunakan autentikasi kunci umum SSH, atur properti "authenticationType" sebagai SshPublicKey, dan tentukan properti berikut selain dari properti generik konektor SFTP yang diperkenalkan di bagian terakhir:

Contoh 1: Autentikasi SshPublicKey menggunakan kunci privat filePath

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<sftp server>",
            "port": 22,
            "skipHostKeyValidation": true,
            "authenticationType": "SshPublicKey",
            "userName": "xxx",
            "privateKeyPath": "D:\\privatekey_openssh",
            "passPhrase": {
                "type": "SecureString",
                "value": "<pass phrase>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Contoh 2: Autentikasi SshPublicKey menggunakan konten kunci privat

{
    "name": "SftpLinkedService",
    "type": "Linkedservices",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<sftp server>",
            "port": 22,
            "skipHostKeyValidation": true,
            "authenticationType": "SshPublicKey",
            "userName": "<username>",
            "privateKeyContent": {
                "type": "SecureString",
                "value": "<base64 string of the private key content>"
            },
            "passPhrase": {
                "type": "SecureString",
                "value": "<pass phrase>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Gunakan autentikasi multifaktor

Untuk menggunakan autentikasi multifaktor yang merupakan kombinasi dari autentikasi dasar/basic dan kunci umum SSH, tentukan nama pengguna, kata sandi, dan info kunci privat yang dijelaskan di bagian di atas.

Contoh: autentikasi multifaktor

{
    "name": "SftpLinkedService",
    "properties": {
        "type": "Sftp",
        "typeProperties": {
            "host": "<host>",
            "port": 22,
            "authenticationType": "MultiFactor",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "privateKeyContent": {
                "type": "SecureString",
                "value": "<base64 encoded private key content>"
            },
            "passPhrase": {
                "type": "SecureString",
                "value": "<passphrase for private key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel Himpunan data.

Azure Data Factory mendukung jenis format file berikut. Lihat setiap artikel untuk mengetahui cara melakukan pengaturan berbasis format.

• Format Avro
• Format Biner
• Format teks terpisah
• Format Excel
• Format JSON
• Format ORC
• Format Parquet
• Format XML

Properti berikut ini didukung untuk SFTP di bawah pengaturan location dalam himpunan data berbasis format:

Contoh:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<SFTP linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "SftpLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Properti aktivitas salin

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat artikelAlur. Bagian ini menyediakan daftar properti yang didukung oleh sumber SFTP.

SFTP sebagai sumber

Azure Data Factory mendukung jenis format file berikut. Lihat setiap artikel untuk mengetahui cara melakukan pengaturan berbasis format.

• Format Avro
• Format Biner
• Format teks terpisah
• Format Excel
• Format JSON
• Format ORC
• Format Parquet
• Format XML

Properti berikut ini didukung untuk SFTP di bawah pengaturan storeSettings dalam sumber Salin berbasis format:

Contoh:

"activities":[
    {
        "name": "CopyFromSFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "SftpReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv",
                    "disableChunking": false
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

SFTP sebagai sink

Azure Data Factory mendukung jenis format file berikut. Lihat setiap artikel untuk mengetahui cara melakukan pengaturan berbasis format.

• Format Avro
• Format Biner
• Format teks terpisah
• Format JSON
• Format ORC
• Format Parquet

Properti berikut ini didukung untuk SFTP di bawah pengaturan storeSettings dalam sink Salin berbasis format:

Contoh:

"activities":[
    {
        "name": "CopyToSFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "BinarySink",
                "storeSettings":{
                    "type": "SftpWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

Contoh filter folder dan file

Bagian ini menjelaskan perilaku yang merupakan hasil dari penggunaan filter kartubebas untuk jalur folder dan nama file.

Contoh daftar file

Tabel ini menjelaskan perilaku yang merupakan hasil dari penggunaan jalur daftar file di sumber aktivitas Salin. Hal ini mengasumsikan bahwa Anda memiliki struktur folder sumber berikut dan ingin menyalin file dalam huruf tebal:

Properti pemetaan aliran data

Saat Anda mengubah data dalam memetakan aliran data, Anda dapat membaca dan menulis file dari SFTP dalam format berikut:

• Avro
• Teks dibatasi
• Excel
• JSON
• ORC
• Parquet
• XML

Pengaturan format-spesifik terletak di dokumentasi untuk format tersebut. Untuk informasi selengkapnya, lihat Transformasi sumber dalam pemetaan aliran data dan Transformasi sink dalam pemetaan aliran data.

Transformasi sumber

Tabel di bawah mencantumkan properti yang didukung oleh sumber SFTP. Anda dapat mengedit properti ini di tab Opsi sumber. Saat menggunakan set data sebaris, Anda akan melihat setelan tambahan, yang sama dengan properti yang dijelaskan di bagian properti himpunan data.

Contoh skrip sumber SFTP

Saat menggunakan himpunan data SFTP sebagai jenis sumber, skrip aliran data terkait adalah:

source(allowSchemaDrift: true,
	validateSchema: false,
	ignoreNoFilesFound: true,
	purgeFiles: true,
	fileList: true,
	modifiedAfter: (toTimestamp(1647388800000L)),
	modifiedBefore: (toTimestamp(1647561600000L)),
	partitionRootPath: 'partdata',
	wildcardPaths:['partdata/**/*.csv']) ~> SFTPSource

Transformasi sink

Tabel di bawah ini mencantumkan properti yang didukung oleh sink SFTP. Anda bisa mengedit properti ini ditab Pengaturan. Saat menggunakan himpunan data sebaris, Anda akan melihat pengaturan tambahan, yang sama dengan properti yang dijelaskan di bagian properti himpunan data.

Contoh skrip sink SFTP

Saat Anda menggunakan himpunan data SFTP sebagai jenis sink, skrip aliran data terkait adalah:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	filePattern:'loans[n].csv',
	truncate: true,
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> SFTPSink

Properti aktivitas pencarian

Untuk informasi tentang properti aktivitas Pencarian, lihat Aktivitas pencarian.

Properti aktivitas GetMetadata

Untuk informasi tentang properti aktivitas GetMetadata, lihat aktivitas GetMetadata.

Properti aktivitas penghapusan

Untuk informasi tentang Hapus properti aktivitas, lihat Menghapus aktivitas.

Model warisan

Model himpunan data warisan

Contoh:

{
    "name": "SFTPDataset",
    "type": "Datasets",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<SFTP linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Model sumber aktivitas Salin Warisan

Contoh:

"activities":[
    {
        "name": "CopyFromSFTP",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SFTP input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Konten terkait

Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink oleh aktivitas Salin, lihat penyimpanan data yang didukung.