Бөлісу құралы:

Перенос данных и конвейеров из Azure Synapse Analytics в Microsoft Fabric

  • Мақала

Первым шагом в миграции данных и конвейера является определение данных, которые требуется сделать доступными в OneLake, и конвейеры, которые вы планируете переместить.

Существует два варианта миграции данных:

  • Вариант 1. Azure Data Lake Storage (ADLS) 2-го поколения в качестве хранилища по умолчанию. Если вы используете ADLS 2-го поколения и хотите избежать копирования данных, рекомендуется использовать сочетания клавиш OneLake.
  • Вариант 2. OneLake в качестве хранилища по умолчанию. Если вы хотите перейти из ADLS 2-го поколения в OneLake в качестве уровня хранилища, рассмотрите возможность чтения и записи из OneLake из записных книжек и определений заданий Spark.

Перенос данных

Вариант 1. ADLS 2-го поколения в качестве хранилища (ярлыки)

Если вы взаимодействуете с ADLS 2-го поколения и хотите избежать дублирования данных, можно создать ярлык для пути к источнику ADLS 2-го поколения в OneLake. Вы можете создать ярлыки в разделах "Файлы и таблицы " в lakehouse в Fabric с помощью следующих рекомендаций:

  • Раздел "Файлы" — это неуправляемая область озера. Если данные имеют формат CSV, JSON или Parquet, рекомендуется создать ярлык для этой области.
  • Раздел "Таблицы " — это управляемая область озера. Все таблицы, управляемые Spark и неуправляемые таблицы, регистрируются здесь. Если данные имеют разностный формат, вы можете создать ярлык в этой области, а процесс автоматического обнаружения автоматически регистрирует эти таблицы Delta в хранилище метаданных Lakehouse.

Дополнительные сведения о создании ярлыка ADLS 2-го поколения.

Вариант 2. OneLake в качестве хранилища

Чтобы использовать OneLake в качестве уровня хранилища и перемещать данные из ADLS 2-го поколения, сначала следует указать элементы, связанные с Azure Synapse Spark, в OneLake, а затем передать существующие данные в OneLake. Ранее см . сведения об интеграции OneLake с Azure Synapse Spark.

Чтобы переместить существующие данные в OneLake, у вас есть несколько вариантов:

  • mssparkutils fastcp: библиотека mssparkutils предоставляет API fastcp, который позволяет копировать данные между ADLS 2-го поколения в OneLake.
  • AzCopy: с помощью служебной программы командной строки AzCopy можно скопировать данные из ADLS 2-го поколения в OneLake.
  • Фабрика данных Azure, Azure Synapse Analytics и Фабрика данных в Fabric: используйте действие копирования для копирования данных в lakehouse.
  • Используйте сочетания клавиш: вы можете включить исторические данные ADLS 2-го поколения в OneLake с помощью сочетаний клавиш. Копирование данных не требуется.
  • обозреватель служба хранилища Azure. Вы можете переместить файлы из расположения ADLS 2-го поколения в OneLake с помощью обозревателя служба хранилища Azure. Узнайте, как интегрировать OneLake с служба хранилища Azure Explorer.

Если конвейеры данных Azure Synapse включают действия определения записных книжек и /или Spark, необходимо переместить эти конвейеры из Azure Synapse в конвейеры данных Фабрики данных в Fabric и ссылаться на целевые записные книжки. Действие записной книжки доступно в конвейерах данных фабрики данных. Ознакомьтесь со всеми поддерживаемыми действиями конвейера данных в Fabric.

Связанный контент