Переменные и параметры в конвейерах Фабрики данных Azure и Azure Synapse Analytics
ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure
Azure Synapse Analytics
Совет
Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !
В этой статье показано, как определить разницу между параметрами конвейера и переменными в Фабрика данных Azure и Azure Synapse Analytics и как использовать их для управления поведением конвейера.
Параметры конвейеров
Параметры определяются на уровне конвейера и не могут быть изменены во время выполнения конвейера. Параметры конвейера можно использовать для управления поведением конвейера и его действий, например путем передачи сведений о подключении для набора данных или пути обработки файла.
Определение параметра конвейера
Чтобы определить параметр конвейера, выполните следующие действия.
- Щелкните конвейер, чтобы просмотреть вкладки конфигурации.
- Перейдите на вкладку "Параметры" и нажмите кнопку "+ Создать", чтобы определить новый параметр.
- Введите имя и описание параметра и выберите его тип данных в раскрывающемся меню. Типы данных могут быть String, Int, Float, Bool, Array, Object или SecureString.
- При необходимости можно также назначить значение по умолчанию параметру.
После определения параметра конвейера можно получить доступ к его значению во время выполнения конвейера с помощью @pipeline().parameters.<parameter name>
выражения в действии конвейера. Например, если вы определили параметр, называемый account_name типа String, вы можете получить доступ к его значению в действии с помощью выражения @pipeline().parameters.account_name
.
Перед каждым запуском конвейера можно назначить новое значение параметру на правой панели, в противном случае конвейер будет использовать значение по умолчанию или ранее определенное значение.
Переменные конвейера
Переменные конвейера — это значения, которые можно задать и изменить во время выполнения конвейера. В отличие от параметров конвейера, которые определены на уровне конвейера и не могут быть изменены во время выполнения конвейера, переменные конвейера можно задать и изменить в конвейере с помощью действия Set Variable .
Переменные конвейера можно использовать для хранения и управления данными во время выполнения конвейера, например путем хранения результатов вычисления или текущего состояния процесса.
Примечание.
Переменные в текущей версии доступны только на уровне конвейера. Это означает, что они не являются потокобезопасными и могут привести к непредвиденному и нежелательному поведению, если доступ к ним осуществляется из параллельного действия итерации, такого как цикл foreach, особенно если в рамках этого действия foreach также изменяется значение.
Чтобы определить переменную конвейера, выполните следующие действия.
Щелкните конвейер, чтобы просмотреть вкладки конфигурации.
Перейдите на вкладку "Переменные" и нажмите кнопку "+ Создать", чтобы определить новую переменную.
Введите имя и описание переменной и выберите его тип данных в раскрывающемся меню. Типы данных могут быть String, Bool или Array.
При необходимости можно также назначить значение по умолчанию переменной. Это значение будет использоваться в качестве начального значения переменной в начале выполнения конвейера.
После определения переменной конвейера можно получить доступ к его значению во время выполнения конвейера с помощью @variables('<variable name>')
выражения в действии конвейера. Например, если вы определили переменную, называемую флагом массива типов, можно получить доступ к его значению в действии с помощью выражения @variables('flag')
. Можно также использовать действие Set Variable для изменения значения переменной в конвейере.
Связанный контент
Пошаговые инструкции по созданию конвейеров с помощью действий приведены в следующих руководствах:
- Создание фабрики данных и конвейера с помощью PowerShell
- Учебник. Создание первого конвейера для преобразования данных с помощью кластера Hadoop
Как обеспечить непрерывную интеграцию и доставку (CI/CD) с помощью Фабрики данных Azure