Azure Data Factory veya Synapse Analytics'te Betik etkinliğini kullanarak verileri dönüştürme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Ham verileri tahminlere ve içgörülere dönüştürmek ve işlemek için Data Factory veya Synapse işlem hattında veri dönüştürme etkinliklerini kullanırsınız. Betik etkinliği, işlem hatlarının desteklediği dönüştürme etkinliklerinden biridir. Bu makale, veri dönüştürme ve desteklenen dönüştürme etkinliklerine genel bir genel bakış sunan dönüştürme verileri makalesini temel alır.

Betik etkinliğini kullanarak Veri İşleme Dili (DML) ve Veri Tanımlama Dili (DDL) ile yaygın işlemleri yürütebilirsiniz. INSERT, UPDATE, DELETE ve SELECT gibi DML deyimleri kullanıcıların veritabanına veri eklemesine, değiştirmesine, silmesine ve almasına izin verir. CREATE, ALTER ve DROP gibi DDL deyimleri, veritabanı yöneticisinin tablolar, dizinler ve kullanıcılar gibi veritabanı nesneleri oluşturmasına, değiştirmesine ve kaldırmasına olanak sağlar.

Betik etkinliğini kullanarak kuruluşunuzdaki veya Azure sanal makinesindeki (VM) aşağıdaki veri depolarından birinde bir SQL betiği çağırabilirsiniz:

• Azure SQL Veritabanı
• Azure Synapse Analytics
• SQL Server Veritabanı. SQL Server kullanıyorsanız, veritabanını barındıran makineye veya veritabanına erişimi olan ayrı bir makineye Şirket içinde barındırılan tümleştirme çalışma zamanı yükleyin. Şirket İçinde Barındırılan tümleştirme çalışma zamanı, şirket içindeki/Azure VM'deki veri kaynaklarını bulut hizmetleriyle güvenli ve yönetilen bir şekilde bağlayan bir bileşendir. Ayrıntılar için Şirket içinde barındırılan tümleştirme çalışma zamanı makalesine bakın.
• Oracle
• Snowflake

Betik tek bir SQL deyimi veya sıralı olarak çalışan birden çok SQL deyimi içerebilir. Betik görevini aşağıdaki amaçlarla kullanabilirsiniz:

• Veri ekleme hazırlığında bir tabloyu kesme.
• Tablolar ve görünümler gibi veritabanı nesneleri oluşturun, değiştirin ve bırakın.
• Veri yüklemeden önce olgu ve boyut tablolarını yeniden oluşturun.
• Saklı yordamları çalıştırın. SQL deyimi geçici bir tablodan sonuç döndüren bir saklı yordam çağırırsa, sonuç kümesinin meta verilerini tanımlamak için WITH RESULT SETS seçeneğini kullanın.
• Sorgudan döndürülen satır kümesini aşağı akış tüketimi için etkinlik çıkışı olarak kaydedin.

Söz dizimi ayrıntıları

Betik etkinliği tanımlamak için JSON biçimi aşağıdadır:

{ 
   "name": "<activity name>", 
   "type": "Script", 
   "linkedServiceName": { 
      "referenceName": "<name>", 
      "type": "LinkedServiceReference" 
    }, 
   "typeProperties": { 
      "scripts" : [ 
         { 
            "text": "<Script Block>", 
            "type": "<Query> or <NonQuery>", 
            "parameters":[ 
               { 
                  "name": "<name>", 
                  "value": "<value>", 
                  "type": "<type>", 
                  "direction": "<Input> or <Output> or <InputOutput>", 
                  "size": 256 
               }, 
               ... 
            ] 
         }, 
         ... 
      ],     
         ... 
         ] 
      }, 
      "scriptBlockExecutionTimeout": "<time>",  
      "logSettings": { 
         "logDestination": "<ActivityOutput> or <ExternalStore>", 
         "logLocationSettings":{ 
            "linkedServiceName":{ 
               "referenceName": "<name>", 
               "type": "<LinkedServiceReference>" 
            }, 
            "path": "<folder path>" 
         } 
      } 
    } 
} 

Aşağıdaki tabloda bu JSON özellikleri açıklanmaktadır:

Etkinlik çıkışı

Örnek çıkış:

{ 
    "resultSetCount": 2, 
    "resultSets": [ 
        { 
            "rowCount": 10, 
            "rows":[ 
                { 
                    "<columnName1>": "<value1>", 
                    "<columnName2>": "<value2>", 
                    ... 
                } 
            ] 
        }, 
        ... 
    ], 
    "recordsAffected": 123, 
    "outputParameters":{ 
        "<parameterName1>": "<value1>", 
        "<parameterName2>": "<value2>" 
    }, 
    "outputLogs": "<logs>", 
    "outputLogsLocation": "<folder path>", 
    "outputTruncated": true, 
    ... 
} 

Kullanıcı arabirimini kullanarak Betik etkinliğini yapılandırma

Satır içi betik

Satır içi betikler, işlem hattı meta verilerinin bir parçası olarak depolandığından İşlem Hattı CI/CD ile iyi tümleşir.

Günlük Kaydı

Günlük seçenekleri:

• Disable - Hiçbir yürütme çıkışı günlüğe kaydedilmedi.
• Etkinlik çıktısı - Betik yürütme çıkışı etkinlik çıkışına eklenir. Aşağı akış etkinlikleri bunu kullanabilir. Çıkış boyutu 4 MB ile sınırlıdır.
• Dış depolama - Çıkışı depolamada kalıcı hale döndürür. Çıkış boyutu 2 MB'tan büyükse veya çıkışı depolama hesabınızda açıkça kalıcı hale getirmek istiyorsanız bu seçeneği kullanın.

İlgili içerik

Verileri başka şekillerde dönüştürmeyi açıklayan aşağıdaki makalelere bakın:

• U-SQL etkinliği
• Hive etkinliği
• Pig etkinliği
• MapReduce etkinliği
• Hadoop Akış etkinliği
• Spark etkinliği
• .NET özel etkinliği
• Saklı yordam etkinliği