Salin dan ubah data dari Apache Hive menggunakan Azure Data Factory

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Artikel ini menguraikan cara menggunakan Aktivitas Salin di alur Azure Data Factory atau Synapse Analytics untuk menyalin data dari Apache Hive. Artikel tersebut dibuat berdasarkan artikel gambaran umum aktivitas salin yang menyajikan gambaran umum aktivitas salin.

Kemampuan yang didukung

Konektor Apache Hive ini didukung untuk kemampuan berikut:

① Runtime integrasi Azure ② Runtime integrasi yang dihost sendiri

Untuk daftar penyimpanan data yang didukung sebagai sumber/sink oleh aktivitas salin, lihat tabel Penyimpanan data yang didukung.

Layanan ini menyediakan driver bawaan untuk mengaktifkan konektivitas, oleh karena itu Anda tidak perlu memasang driver apa pun secara manual menggunakan konektor ini.

Konektor mendukung versi Windows dalam artikel ini.

Prasyarat

Jika penyimpanan data Anda terletak di dalam jaringan lokal, jaringan virtual Azure, atau Amazon Virtual Private Cloud, Anda harus mengonfigurasi runtime integrasi yang dihosting sendiri untuk menghubungkannya.

Jika penyimpanan data Anda adalah layanan data cloud terkelola, Anda dapat menggunakan Azure Integration Runtime. Jika akses dibatasi untuk IP yang disetujui dalam aturan firewall, Anda dapat menambahkan IP Azure Integration Runtime ke daftar izinkan.

Anda juga dapat menggunakan fitur runtime integrasi jaringan virtual terkelola di Azure Data Factory untuk mengakses jaringan lokal tanpa menginstal dan mengonfigurasi runtime integrasi yang dihosting sendiri.

Untuk informasi selengkapnya tentang mekanisme dan opsi keamanan jaringan yang didukung oleh Data Factory, lihat Strategi akses data.

Memulai

Untuk melakukan aktivitas Salin dengan alur, Anda dapat menggunakan salah satu alat atau SDK berikut:

• Alat Penyalinan Data
• Portal Microsoft Azure
• SDK .NET
• SDK Python
• Azure PowerShell
• REST API
• Templat Azure Resource Manager

Membuat layanan terkait ke Hive menggunakan UI

Gunakan langkah-langkah berikut untuk membuat layanan terkait ke Hive di UI portal Azure.

1. Telusuri ke tab Kelola di ruang kerja Azure Data Factory atau Synapse Anda dan pilih Layanan Tertaut, lalu klik Baru:

   • Azure Data Factory
   • Azure Synapse

   

2. Cari Hive dan pilih konektor Hive.

   

3. Konfigurasikan detail layanan, uji koneksi, dan buat layanan tertaut baru.

   

Detail konfigurasi konektor

Bagian berikut memberikan detail tentang properti yang digunakan untuk menentukan entitas Data Factory khusus untuk konektor Apache Hive.

Properti layanan tertaut

Berikut ini properti yang didukung untuk layanan tertaut Apache Hive:

Contoh:

{
    "name": "HiveLinkedService",
    "properties": {
        "type": "Hive",
        "typeProperties": {
            "host" : "<cluster>.azurehdinsight.net",
            "port" : "<port>",
            "authenticationType" : "WindowsAzureHDInsightService",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        }
    }
}

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel himpunan data. Bagian ini menyediakan daftar properti yang didukung oleh himpunan data Apache Hive.

Untuk menyalin data dari Apache Hive, atur properti jenis himpunan data ke HiveObject. Berikut adalah properti yang didukung:

Contoh

{
    "name": "HiveDataset",
    "properties": {
        "type": "HiveObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Hive linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Properti aktivitas salin

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat artikel Alur. Bagian ini menyediakan daftar properti yang didukung oleh sumber Apache Hive.

HiveSource sebagai sumber

Untuk menyalin data dari Apache Hive, atur jenis sumber dalam aktivitas salin ke HiveSource. Berikut ini properti yang didukung di bagian sumber aktivitas salin:

Contoh:

"activities":[
    {
        "name": "CopyFromHive",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Hive input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "HiveSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Properti pemetaan aliran data

Konektor Apache Hive didukung sebagai sumber himpunan data sebaris dalam pemetaan alur data. Baca menggunakan kueri atau langsung dari tabel Apache Hive di HDInsight. Data Apache Hive ditahapkan di akun penyimpanan sebagai file Parquet sebelum diubah sebagai bagian dari aliran data.

Properti sumber

Tabel di bawah ini mencantumkan properti yang didukung oleh sumber Apache Hive. Anda bisa mengedit properti ini di tab opsi Sumber.

Contoh sumber

Di bawah ini adalah contoh konfigurasi sumber Apache Hive:

Pengaturan tersebut diterjemahkan ke dalam skrip aliran data berikut ini:

source(
    allowSchemaDrift: true,
    validateSchema: false,
    ignoreNoFilesFound: false,
    format: 'table',
    store: 'hive',
    schemaName: 'default',
    tableName: 'hivesampletable',
    staged: true,
    storageContainer: 'khive',
    storageFolderPath: '',
    stagingDatabaseName: 'default') ~> hivesource

Pembatasan yang diketahui

• Jenis kompleks seperti array, peta, structs, dan penyatuan tidak didukung untuk baca.
• Konektor Apache Hive hanya mendukung tabel Apache Hive di Azure HDInsight versi 4.0 atau yang lebih besar (Apache Hive 3.1.0)
• Secara default, driver Apache Hive menyediakan "tableName.columnName" di sink. Jika Anda tidak ingin melihat nama tabel dalam nama kolom, maka ada dua cara untuk memperbaikinya. a. Periksa pengaturan "hive.resultset.use.unique.column.names" di sisi server Apache Hive dan atur ke false. b. Gunakan pemetaan kolom untuk mengganti nama kolom.

Properti aktivitas pencarian

Untuk mempelajari detail tentang properti, lihat Aktivitas pencarian.

Konten terkait

Untuk daftar penyimpanan data yang didukung sebagai sumber dan sink oleh aktivitas salin, lihat penyimpanan data yang didukung.