Azure Data Factory ve Azure Synapse Analytics'te parquet biçimi

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Parquet dosyalarını ayrıştırmak veya verileri Parquet biçiminde yazmak istediğinizde bu makaleyi izleyin.

Parquet biçimi aşağıdaki bağlayıcılar için desteklenir:

• Amazon S3
• Amazon S3 Uyumlu Depolama
• Azure Blob
• Azure Data Lake Storage Gen1
• Azure Data Lake Storage 2. Nesil
• Azure Dosyaları
• Dosya Sistemi
• FTP
• Google Cloud Storage
• HDFS
• HTTP
• Oracle Cloud Storage
• SFTP

Kullanılabilir tüm bağlayıcılar için desteklenen özelliklerin listesi için Bağlayıcılara Genel Bakış makalesini ziyaret edin.

Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanını Kullanma

Parquet dosya serileştirme/seri durumdan çıkarma ile Şirket içinde barındırılan IR üzerinde çalışan kopyalama için hizmet, önce JRE için kayıt defterini (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) denetleyerek Java çalışma zamanını bulur, bulunamazsa ikinci olarak OpenJDK için sistem değişkenini JAVA_HOME denetler.

• JRE'yi kullanmak için: 64 bit IR için 64 bit JRE gerekir. Buradan bulabilirsiniz.
• JDK kullanmak için: 64 ama IR için 64 bit JDK 23 gerekir. Buradan bulabilirsiniz. Sistem değişkenini JAVA_HOME JDK 23 yüklemesinin C:\Program Files\Java\jdk-23kök klasörüne güncelleştirip sistem değişkenine hem ve C:\Program Files\Java\jdk-23\bin\server klasörlerinin C:\Program Files\Java\jdk-23\bin yolunu eklediğinizden Path emin olun.
• OpenJDK'yi kullanmak için: IR sürüm 3.13'ten bu yana desteklenir. jvm.dll OpenJDK'nin diğer tüm gerekli derlemeleriyle şirket içinde barındırılan IR makinesine paketleyin ve sistem ortamı değişkenini JAVA_HOME uygun şekilde ayarlayın ve ardından şirket içinde barındırılan IR'yi hemen geçerlilik kazanmaları için yeniden başlatın. OpenJDK'nin Microsoft Derlemesini indirmek için bkz . OpenJDK'nin™ Microsoft Derlemesi.

Örnek: değeriyle -Xms256m -Xmx16gdeğişken _JAVA_OPTIONS ayarlama. bayrağı Xms bir Java Sanal Makinesi (JVM) için ilk bellek ayırma havuzunu belirtirken Xmx , en yüksek bellek ayırma havuzunu belirtir. Bu, JVM'nin bellek miktarıyla Xms başlatılacağı ve en fazla Xmx bellek miktarını kullanabileceği anlamına gelir. Varsayılan olarak hizmet en az 64 MB ve en fazla 1G kullanır.

Veri kümesi özellikleri

Veri kümelerini tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için Veri kümeleri makalesine bakın. Bu bölümde, Parquet veri kümesi tarafından desteklenen özelliklerin listesi sağlanır.

Aşağıda Azure Blob Depolama parquet veri kümesi örneği verilmiştir:

{
    "name": "ParquetDataset",
    "properties": {
        "type": "Parquet",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compressionCodec": "snappy"
        }
    }
}

Kopyalama etkinliğinin özellikleri

Etkinlikleri tanımlamak için kullanılabilen bölümlerin ve özelliklerin tam listesi için İşlem hatları makalesine bakın. Bu bölümde, Parquet kaynağı ve havuzu tarafından desteklenen özelliklerin listesi sağlanır.

Kaynak olarak Parquet

Kopyalama etkinliği *kaynak* bölümünde aşağıdaki özellikler desteklenir.

Havuz olarak Parquet

Kopyalama etkinliği *havuz* bölümünde aşağıdaki özellikler desteklenir.

altında formatSettingsDesteklenen Parquet yazma ayarları:

Eşleme veri akışı özellikleri

Veri akışlarını eşlemede, şu veri depolarında parquet biçiminde okuyup yazabilirsiniz: Azure Blob Depolama, Azure Data Lake Storage 1. Nesil, Azure Data Lake Storage 2. Nesil ve SFTP; Amazon S3'te parquet biçimini okuyabilirsiniz öğesini seçin.

Kaynak özellikleri

Aşağıdaki tabloda, bir parquet kaynağı tarafından desteklenen özellikler listelenmektedir. Bu özellikleri Kaynak seçenekleri sekmesinde düzenleyebilirsiniz.

Kaynak örneği

Aşağıdaki görüntü, eşleme veri akışlarında bir parquet kaynak yapılandırması örneğidir.

İlişkili veri akışı betiği:

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'parquet') ~> ParquetSource

Havuz özellikleri

Aşağıdaki tabloda bir parquet havuzu tarafından desteklenen özellikler listelenmektedir. Bu özellikleri Ayarlar sekmesinde düzenleyebilirsiniz.

Havuz örneği

Aşağıdaki görüntü, veri akışlarını eşlemede bir parquet havuzu yapılandırması örneğidir.

İlişkili veri akışı betiği:

ParquetSource sink(
    format: 'parquet',
    filePattern:'output[n].parquet',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> ParquetSink

Veri türü desteği

Parquet karmaşık veri türleri (örneğin MAP, LIST, STRUCT) şu anda kopyalama etkinliğinde değil yalnızca Veri Akışı'lerde desteklenmektedir. Veri akışlarında karmaşık türler kullanmak için, veri kümesinde şemayı boş bırakarak veri kümesindeki dosya şemasını içeri aktarmayın. Ardından Kaynak dönüşümünde projeksiyonu içeri aktarın.

İlgili içerik

• Kopyalama etkinliği genel bakış
• Eşleme veri akışı
• Arama etkinliği
• GetMetadata etkinliği