Stream Analytics projesinin derlemelerini, testlerini ve dağıtımlarını otomatikleştirme

Azure Stream Analytics (ASA) CI/CD npm paketi, Stream Analytics projelerinizi otomatik olarak derlemenize, test etmenizi ve dağıtmanızı sağlar. Bu makalede herhangi bir CI/CD sistemiyle npm paketinin nasıl kullanılacağı gösterilmektedir. Azure DevOps ile işlem hattı ayarlamak için bkz . Stream Analytics işi için CI/CD işlem hattı oluşturmak için Azure DevOps kullanma.

Stream Analytics projeniz yoksa Visual Studio Code kullanarak bir proje oluşturun veya Mevcut bir projeyi Azure portalından dışarı aktarın.

Yükleme

Paketi npm sitesinden indirebilir veya terminalinizde aşağıdaki komutu çalıştırabilirsiniz.

npm install -g azure-streamanalytics-cicd

Proje oluşturma

azure-streamanalytics-cicd build --v2 --project <projectFullPath> [--outputPath <outputPath>]

Derleme komutu anahtar sözcük söz dizimi denetimi yapar ve Azure Resource Manager (ARM) şablonları oluşturur.

Örnek:

# Go to the project directory
cd <path-to-the-project>

# Build project
azure-streamanalytics-cicd build --v2 --project ./asaproj.json --outputPath ./Deploy

Proje başarıyla oluşturulursa, çıkış klasörünün altında oluşturulan iki JSON dosyası görürsünüz:

• ARM şablon dosyası: [ProjectName].JobTemplate.json
• Azure Resource Manager parametre dosyası: [ProjectName].JobTemplate.parameters.json

parameters.json dosyasının varsayılan değerleri proje ayarlarınızdan gelir. Başka bir ortama dağıtmak istiyorsanız, değerleri uygun şekilde değiştirin.

Tüm kimlik bilgileri için varsayılan değerler null'tır. Azure'a dağıtmadan önce değerleri ayarlamanız gerekir.

"Input_EntryStream_sharedAccessPolicyKey": {
  "value": null
}

Azure Data Lake Store 1. Nesil için Yönetilen Kimlik'i çıkış havuzu olarak kullanmak için Azure'a dağıtmadan önce PowerShell kullanarak hizmet sorumlusuna Erişim sağlamanız gerekir. Resource Manager şablonuyla Yönetilen Kimlik ile ADLS 1. Nesil'i dağıtma hakkında daha fazla bilgi edinin.

Yerel ortamda komutunu çalıştırma

Projeniz yerel giriş dosyalarını belirttiyse komutunu kullanarak localrun bir Stream Analytics betiğini yerel olarak çalıştırabilirsiniz.

azure-streamanalytics-cicd localrun -project <projectFullPath> [-outputPath <outputPath>] [-customCodeZipFilePath <zipFilePath>]

Örnek:

# Go to the project directory
cd <path-to-the-project>

# Run project locally
azure-streamanalytics-cicd localrun --project ./asaproj.json"

Otomatik test

Stream Analytics projeniz için otomatikleştirilmiş testleri yapılandırmak ve çalıştırmak için CI/CD npm paketini kullanabilirsiniz.

Test çalışması ekleme

azure-streamanalytics-cicd addtestcase --project <projectFullPath> [-testConfigPath <testConfigFileFullPath>]

Test çalışmalarını test yapılandırma dosyasında bulabilirsiniz.

Örnek:

# Go to the project directory
cd <path-to-the-project>

# Add a test case
azure-streamanalytics-cicd addtestcase --project ./asaproj.json

Test yapılandırma dosyası boşsa, dosyaya aşağıdaki içerik eklenir. Aksi takdirde TestCases dizisine bir test çalışması eklenir. Gerekli giriş yapılandırmaları, giriş yapılandırma dosyasına göre otomatik olarak doldurulur. Testi çalıştırmadan önce her girişin ve beklenen çıkışın FilePath'i belirtilmelidir. Bu yapılandırmayı el ile değiştirebilirsiniz.

Test doğrulamasının belirli bir çıkışı yoksaymasını istiyorsanız, beklenen çıktının Gerekli alanını false olarak ayarlayın.

{
  "Script": [Absolute path of your script],
  "TestCases": [
    {
      "Name": "Case 1",
      "Inputs": [
        {
          "InputAlias": [Input alias string],
          "Type": "Data Stream",
          "Format": "JSON",
          "FilePath": [Required],
          "ScriptType": "InputMock"
        }
      ],
      "ExpectedOutputs": [
        {
          "OutputAlias": [Output alias string],
          "FilePath": [Required],
          "IgnoreFields": [Fields to ignore for test validation, e.g., ["col1", "col2"]],
          "Required": true
        }
      ]
    }
  ]
}

Birim testi çalıştırma

Projeniz için birden çok test çalışması çalıştırmak için aşağıdaki komutu kullanabilirsiniz. Çıkış klasöründe test sonuçlarının özeti oluşturulur. İşlem, geçirilen tüm testler için kod 0 ile çıkılır; -1 özel durum oluştu; Testler için -2 başarısız oldu.

azure-streamanalytics-cicd test --project <projectFullPath> [--testConfigPath <testConfigFileFullPath>] [--outputPath <outputPath>] [--customCodeZipFilePath <zipFilePath>]

Test çalışmaları yürütülürse çıktı klasöründe oluşturulan bir testResultSummary.json dosyası bulabilirsiniz.

{
  "Total": (integer) total_number_of_test_cases,
  "Passed": (integer) number_of_passed_test_cases,
  "Failed": (integer) number_of_failed_test_cases,
  "Script": (string) absolute_path_to_asaql_file,
  "Results": [ (array) detailed_results_of_test_cases
    {
      "Name": (string) name_of_test_case,
      "Status": (integer) 0(passed)_or_1(failed),
      "Time": (string) time_span_of_running_test_case,
      "OutputMatched": [ (array) records_of_actual_outputs_equal_to_expected_outputs
        {
          "OutputAlias": (string) output_alias,
          "ExpectedOutput": (string) path_to_the_expected_output_file,
          "Output": (string) path_to_the_actual_output_file
        }
      ],
      "OutputNotEqual": [ (array) records_of_actual_outputs_not_equal_to_expected_outputs
        {
          "OutputAlias": (string) output_alias,
          "ExpectedOutput": (string) path_to_the_expected_output_file,
          "Output": (string) path_to_the_actual_output_file
        }
      ],
      "OutputMissing": [ (array) records_of_actual_outputs_missing
        {
          "OutputAlias": (string) output_alias,
          "ExpectedOutput": (string) path_to_the_expected_output_file,
          "Output": ""
        }
      ],
      "OutputUnexpected": [ (array) records_of_actual_outputs_unexpected
        {
          "OutputAlias": (string) output_alias,
          "ExpectedOutput": "",
          "Output": (string) path_to_the_actual_output_file
        }
      ],
      "OutputUnrequired": [ (array) records_of_actual_outputs_unrequired_to_be_checked
        {
          "OutputAlias": (string) output_alias,
          "ExpectedOutput": (string) path_to_the_expected_output_file,
          "Output": (string) path_to_the_actual_output_file
        }
      ]
    }
  ],
  "Time": (string) time_span_of_running_all_test_cases,
}

Azure’a dağıtın

ARM şablonlarını kullanarak Stream Analytics projenizi dağıtmak için şu adımları izleyin:

1. Azure hesabınıza bağlanın:

   # Connect to Azure
   Connect-AzAccount
   # Set the Azure subscription
   Set-AzContext [SubscriptionID/SubscriptionName]
   

2. Stream Analytics projenizi dağıtma:

   $templateFile = ".\Deploy\ClickStream-Filter.JobTemplate.json"
   $parameterFile = ".\Deploy\ClickStream-Filter.JobTemplate.parameters.json"
   New-AzResourceGroupDeployment `
     -Name devenvironment `
     -ResourceGroupName myResourceGroupDev `
     -TemplateFile $templateFile `
     -TemplateParameterFile $parameterFile
   

KAYNAKLARı ARM şablonlarıyla dağıtma hakkında daha fazla bilgi için bkz . Resource Manager şablon dosyası ve Azure PowerShell ile dağıtma.

İlgili içerik

• Azure Stream Analytics için sürekli tümleştirme ve Sürekli dağıtım
• Azure Pipelines kullanarak Stream Analytics işi için CI/CD işlem hattını ayarlama