Format ORC di Azure Data Factory dan Synapse Analytics

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Ikuti artikel ini saat Anda ingin mengurai file ORC atau menulis data ke dalam format ORC.

Format ORC didukung untuk konektor berikut: Amazon S3, Penyimpanan yang Kompatibel dengan Amazon S3, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, File System, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage, dan SFTP.

Properti himpunan data

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan himpunan data, lihat artikel Himpunan Data. Bagian ini menyediakan daftar properti yang didukung oleh himpunan data ORC.

Di bawah ini adalah contoh himpunan data ORC di Azure Blob Storage:

{
    "name": "OrcDataset",
    "properties": {
        "type": "Orc",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Perhatikan poin berikut:

• Tipe data kompleks (misalnya, MAP, LIST, STRUCT) saat ini hanya didukung di Aliran Data, bukan di Aktivitas Salin. Untuk menggunakan jenis kompleks dalam aliran data, jangan impor skema file dalam himpunan data, biarkan skema kosong di himpunan data. Kemudian, dalam transformasi Sumber, impor proyeksi.
• Spasi kosong dalam nama kolom tidak didukung.

Properti aktivitas salin

Untuk daftar lengkap bagian dan properti yang tersedia untuk menentukan aktivitas, lihat artikel Alur. Bagian ini menyediakan daftar properti yang didukung oleh sumber dan sink ORC.

ORC sebagai sumber

Properti berikut didukung di bagian *sumber* aktivitas salin.

ORC sebagai sink

Properti berikut ini didukung di bagian sink aktivitas salin.

Pengaturan penulisan ORC yang didukung di formatSettings:

Properti pemetaan aliran data

Dalam memetakan aliran data, Anda dapat membaca dan menulis ke format ORC di penyimpanan data berikut: Azure Blob Storage, Azure Data Lake Storage Gen1, dan Azure Data Lake Storage Gen2 dan SFTP. Anda dapat membaca format ORC di Amazon S3.

Anda dapat mengarahkan ke file ORC baik menggunakan himpunan data ORC atau menggunakan himpunan data sebaris.

Properti sumber

Tabel di bawah ini mencantumkan properti yang didukung oleh sumber ORC. Anda bisa mengedit properti ini di tab opsi Sumber.

Saat menggunakan himpunan data sebaris, Anda akan melihat pengaturan file tambahan, yang sama dengan properti yang dijelaskan di bagian properti himpunan data.

Contoh sumber

Skrip aliran data terkait dari konfigurasi sumber ORC adalah:

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'orc') ~> OrcSource

Properti sink

Tabel di bawah ini mencantumkan properti yang didukung oleh sink ORC. Anda dapat mengedit properti ini di tab Pengaturan.

Saat menggunakan himpunan data sebaris, Anda akan melihat pengaturan file tambahan, yang sama dengan properti yang dijelaskan di bagian properti himpunan data.

Contoh sink

Skrip aliran data terkait dari konfigurasi sink ORC adalah:

OrcSource sink(
    format: 'orc',
    filePattern:'output[n].orc',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> OrcSink

Menggunakan Integration Runtime yang Dihost Sendiri

Untuk penyalinan yang berjalan pada IR yang dihost sendiri dengan serialisasi/deserialisasi file ORC, layanan akan mencari runtime Java dengan terlebih dahulu memeriksa registri (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) untuk JRE, jika tidak ditemukan, lalu memeriksa variabel sistem JAVA_HOME untuk OpenJDK.

• Untuk menggunakan JRE: IR 64-bit membutuhkan JRE 64-bit. Anda dapat menemukannya dari sini.
• Untuk menggunakan OpenJDK: Ini didukung sejak Runtime integrasi versi 3.13. Kemas jvm.dll dengan semua rakitan OpenJDK lain yang diperlukan ke dalam mesin IR yang dihost sendiri, dan atur variabel lingkungan sistem JAVA_HOME dengan sesuai.
• Untuk menginstal Visual C++ 2010 Redistributable Package: Visual C++ 2010 Redistributable Package tidak diinstal dengan penginstalan Runtime integrasi yang dihost sendiri. Anda dapat menemukannya dari sini.

Contoh: atur variabel _JAVA_OPTIONS dengan nilai -Xms256m -Xmx16g. Bendera Xms menentukan kumpulan alokasi memori awal untuk Java Virtual Machine (JVM), sedangkan Xmx menentukan kumpulan alokasi memori maksimum. Ini berarti bahwa JVM akan dimulai dengan jumlah memori Xms dan akan dapat menggunakan jumlah memori maksimum Xmx. Secara default, layanan menggunakan min 64 MB dan maks 1G.

Konten terkait

• Ringkasan aktivitas salin
• Aktivitas pencarian
• Aktivitas GetMetadata