Bagikan melalui


Menyalin data dari Vertica menggunakan Azure Data Factory atau Synapse Analytics

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Artikel ini menguraikan cara menggunakan Aktivitas Salin di alur Azure Data Factory atau Synapse Analytics untuk menyalin data dari Vertica. Artikel tersebut dibuat berdasarkan artikel gambaran umum aktivitas salin yang menyajikan gambaran umum aktivitas salin.

Kemampuan yang didukung

Konektor Vertica ini didukung untuk kemampuan berikut:

Kemampuan yang didukung IR
Aktivitas penyalinan (sumber/-) (1) (hanya untuk versi 1.0) (2)
Aktivitas pencarian (1) (hanya untuk versi 1.0) (2)

① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri

Untuk daftar penyimpanan data yang didukung sebagai sumber/sink oleh aktivitas salin, lihat tabel Penyimpanan data yang didukung.

Layanan ini menyediakan driver bawaan untuk mengaktifkan konektivitas, oleh karena itu Anda tidak perlu memasang driver apa pun secara manual menggunakan konektor ini.

Untuk versi 2.0 (Pratinjau), Anda perlu menginstal driver Vertica ODBC secara manual. Untuk versi 1.0, layanan menyediakan driver bawaan untuk mengaktifkan konektivitas, oleh karena itu Anda tidak perlu menginstal driver apa pun secara manual.

Prasyarat

Jika penyimpanan data Anda terletak di dalam jaringan lokal, jaringan virtual Azure, atau Amazon Virtual Private Cloud, Anda harus mengonfigurasi runtime integrasi yang dihosting sendiri untuk menghubungkannya. Jika Anda menggunakan versi 2.0 (Pratinjau), versi runtime integrasi yang dihost sendiri harus 5.44.8984.1 atau lebih tinggi.

Untuk informasi selengkapnya tentang mekanisme dan opsi keamanan jaringan yang didukung oleh Data Factory, lihat Strategi akses data.

Untuk versi 1.0

Jika penyimpanan data Anda adalah layanan data cloud terkelola, Anda dapat menggunakan Azure Integration Runtime. Jika akses dibatasi untuk IP yang disetujui dalam aturan firewall, Anda dapat menambahkan IP Azure Integration Runtime ke daftar yang diizinkan.

Anda juga dapat menggunakan fitur runtime integrasi jaringan virtual terkelola di Azure Data Factory untuk mengakses jaringan lokal tanpa menginstal dan mengonfigurasi runtime integrasi yang dihosting sendiri.

Instal driver Vertica ODBC untuk versi 2.0 (Pratinjau)

Untuk menggunakan konektor Vertica dengan versi 2.0 (Pratinjau), instal driver Vertica ODBC pada mesin yang menjalankan runtime Integrasi yang dihost sendiri dengan mengikuti langkah-langkah berikut:

  1. Unduh penyiapan klien Vertica untuk driver ODBC dari Driver Klien | OpenText™ Vertica™. Ambil penyetelan sistem Windows sebagai contoh:

    Cuplikan layar contoh penyiapan sistem Windows.

  2. Buka .exe yang diunduh untuk memulai proses penginstalan. 

    Cuplikan layar proses penginstalan.

  3. Pilih driver ODBC di bawah Daftar Komponen Vertica, lalu pilih Berikutnya untuk memulai penginstalan.

    Cuplikan layar memilih driver ODBC.

  4. Setelah proses penginstalan berhasil diselesaikan, Anda dapat membuka Mulai -> Administrator Sumber Data ODBC untuk mengonfirmasi keberhasilan penginstalan.

    Cuplikan layar mengonfirmasi keberhasilan penginstalan.

Memulai

Anda dapat membuat alur dengan aktivitas salin menggunakan .NET SDK, Python SDK, Azure PowerShell, REST API, atau templat Azure Resource Manager. Lihat Tutorial aktivitas salin untuk instruksi langkah demi langkah guna membuat alur dengan aktivitas salin.

Membuat layanan tertaut ke Vertica menggunakan antarmuka pengguna

Gunakan langkah-langkah berikut untuk membuat layanan tertaut ke Vertica di antarmuka pengguna portal Microsoft Azure.

  1. Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:

  2. Cari Vertica dan pilih konektor Vertica.

    Cuplikan layar dari konektor Vertica.

  3. Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

    Cuplikan layar konfigurasi layanan tertaut untuk Vertica.

Detail konfigurasi konektor

Bagian berikut memberikan detail tentang properti yang digunakan untuk menentukan entitas Data Factory khusus untuk konektor Vertica.

Properti layanan tertaut

Jika Anda menggunakan versi 2.0 (Pratinjau), properti berikut ini didukung untuk layanan tertaut Vertica:

Properti Deskripsi Wajib
jenis Properti tipe harus diatur ke: Vertica Ya
server Nama atau alamat IP server yang ingin Anda sambungkan. Ya
pelabuhan Nomor port pendengar server. Tidak, defaultnya adalah 5433
database Nama database Vertica. Ya
uid ID pengguna yang digunakan untuk menyambungkan ke database. Ya
pwd Kata sandi yang digunakan aplikasi untuk menyambungkan ke database. Ya
version Versi saat Anda memilih versi 2.0 (Pratinjau). Nilainya adalah 2.0. Ya
connectVia Runtime integrasi yang akan digunakan untuk menyambungkan ke penyimpanan data. Pelajari selengkapnya dari bagian Prasyarat. Anda hanya dapat menggunakan runtime integrasi yang dihost sendiri dan versinya harus 5.44.8984.1 atau lebih tinggi. No

Contoh:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Contoh: simpan kata sandi di Azure Key Vault

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Jika Anda menggunakan versi 1.0, properti berikut ini didukung:

Properti Deskripsi Wajib
jenis Properti tipe harus diatur ke: Vertica Ya
connectionString String koneksi ODBC untuk tersambung ke Vertica.
Anda juga dapat menyimpan kata sandi di Azure Key Vault dan mengeluarkan konfigurasi pwd dari string koneksi. Lihat sampel berikut dan artikel Menyimpan info masuk di Azure Key Vault untuk detail selengkapnya.
Ya
connectVia Runtime integrasi yang akan digunakan untuk menyambungkan ke penyimpanan data. Pelajari selengkapnya dari bagian Prasyarat. Jika tidak ditentukan, Azure Integration Runtime default akan digunakan. No

Contoh:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel himpunan data. Bagian ini menyediakan daftar properti yang didukung oleh himpunan data Vertica.

Untuk menyalin data dari Vertica, atur properti tipe himpunan data ke VerticaTable. Berikut adalah properti yang didukung:

Properti Deskripsi Wajib
jenis Properti tipe himpunan data harus diatur ke: VerticaTable Ya
skema Nama skema. Tidak (jika "kueri" di sumber aktivitas ditentukan)
tabel Nama tabel. Tidak (jika "kueri" di sumber aktivitas ditentukan)

Contoh

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Properti aktivitas salin

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat artikel Alur. Bagian ini menyediakan daftar properti yang didukung oleh sumber Vertica.

Vertica sebagai sumber

Untuk menyalin data dari Vertica, atur tipe sumber dalam aktivitas salin ke VerticaSource. Berikut ini properti yang didukung di bagian sumber aktivitas salin:

Properti Deskripsi Wajib
jenis Properti tipe sumber aktivitas salinan harus diatur ke: VerticaSource Ya
pertanyaan Gunakan kueri SQL kustom untuk membaca data. Misalnya: "SELECT * FROM MyTable". Tidak (jika "skema+tabel" dalam himpunan data ditentukan)

Contoh:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Properti aktivitas pencarian

Untuk mempelajari detail tentang properti, lihat Aktivitas pencarian.

Meningkatkan versi Vertica

Berikut adalah langkah-langkah yang membantu Anda meningkatkan versi Vertica Anda:

  1. Instal driver Vertica ODBC dengan mengikuti langkah-langkah dalam Prasyarat.
  2. Di halaman Edit layanan tertaut, pilih 2.0 (Pratinjau) di bawah Versi dan konfigurasikan layanan tertaut dengan merujuk ke Properti layanan tertaut.
  3. Terapkan runtime integrasi yang dihost sendiri dengan versi 5.44.8984.1 atau lebih tinggi. Runtime integrasi Azure tidak didukung oleh versi 2.0 (Pratinjau).

Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink oleh aktivitas salin, lihat penyimpanan data yang didukung.