Миграция из фабрики данных Azure в фабрику данных в Microsoft Fabric
Эта статья предназначена для создателей конвейера Azure Data Factory и Synapse 2-го поколения. Он предоставляет рекомендации и обоснование для модернизации и переноса конвейеров в фабрику данных для Microsoft Fabric.
Контекст
Microsoft Fabric — это интегрированная платформа для корпоративных данных, управляемых самообслуживанием и ИТ-управлением. Благодаря экспоненциальному росту объемов данных и сложности клиенты Fabric требуют корпоративных решений, которые масштабируются, являются безопасными, простыми и доступными для всех пользователей в крупнейших организациях.
В последние годы корпорация Майкрософт инвестировала значительную работу по доставке масштабируемых облачных возможностей клиентам. В этом случае Фабрика данных в Fabric предоставляет большую экосистему разработчиков интеграции данных и решений интеграции данных, созданных на протяжении десятилетий, для использования полного набора функций и возможностей, которые выходят за рамки сопоставимых функциональных возможностей, доступных в предыдущих поколениях.
Естественно, клиенты спрашивают, есть ли возможность консолидироваться, размещая свои решения интеграции данных в Fabric. Они часто задают такие вопросы:
- Все ли функциональные возможности, на которые мы полагаемся, работают в конвейерах Fabric?
- Какие возможности доступны только в конвейерах Fabric?
- Как перенести существующие конвейеры в конвейеры Fabric?
- Что такое стратегия приема корпоративных данных майкрософт?
Ответы на многие из этих вопросов описаны в этой статье.
Заметка
Решение о переходе на емкости Fabric зависит от требований каждого клиента. Клиенты должны тщательно оценивать другие преимущества, чтобы принять информированное решение. Мы ожидаем, что органическая миграция на конвейеры Fabric произойдет со временем, и наше намерение заключается в том, чтобы это происходило на условиях, которые устраивают каждого клиента.
Для ясности, в настоящее время нет никаких планов по выведению из эксплуатации Azure Data Factory или Synapse Gen2 для приема данных. Существует приоритет, чтобы сосредоточиться на инвестициях в конвейеры Fabric для приема корпоративных данных, и поэтому дополнительная ценность, предоставляемая емкостями Fabric, будет увеличиваться с течением времени. Клиенты, которые выбирают емкости Fabric, могут ожидать преимущества от согласования с планом развития продуктов Microsoft Fabric.
Конвергенция интеграции корпоративных и самообслуживания данных
Консолидация элементов в Fabric упрощает обнаружение, совместную работу и управление путем сосредоточения ресурсов. Это позволяет центральным ИТ-группам выполнять операции критически важных служб перемещения и преобразования данных, согласованных с корпоративными стандартами, включая происхождение данных и мониторинг, а также более легко интегрировать популярные элементы самообслуживания.
Для поддержки совместных и масштабируемых потребностей организаций конвейеры Fabric представляют действия Office 365 и Teams для отправки сообщений, простого обновления семантических моделей Power BI и надежных функций управления, помогая организациям управлять происхождением данных и мониторингом конвейеров. Интеграция генерируемого искусственного интеллекта с помощью Copilot расширяет возможности конвейера, предлагая интеллектуальные объяснения создания и устранения ошибок, упрощая создание и управление сложными решениями.
Используя общую платформу, рабочий процесс упрощается, повышая разработку решений между бизнесом и ИТ. Это позволяет организациям масштабировать свои решения данных на корпоративных уровнях, обеспечивая высокую производительность, гибкость и эффективность управления большими объемами данных.
Емкости Ткани
Благодаря распределенной архитектуре емкости Fabric менее чувствительны к общей нагрузке, временным пикам и высокой параллелизме. Благодаря консолидации емкостей в более крупные размеры SKU Fabric клиенты могут повысить производительность и пропускную способность.
Сравнение функций
В следующей таблице перечислены функции, поддерживаемые фабрикой данных Azure и фабрикой данных Fabric.
| Особенность | Фабрика данных Azure | Фабрика данных Fabric |
|---|---|---|
| действия конвейера | ||
| Office 365 и действия в Teams позволяют легко отправлять сообщения, упрощая эффективное взаимодействие и совместную работу в вашей организации. | Нет | Да |
| Создайте подключения к семантической модели Power BI и потоку данных 2-го поколения , чтобы обеспечить согласованное обновление данных и их актуальность up-to. | Нет | Да |
| Валидация в конвейере, чтобы гарантировать, что конвейер продолжает выполнение только после проверки наличия ссылки на подключенный набор данных, соответствия указанным критериям или истечения тайм-аута. | Да | Да1 |
| Запустите пакет SQL Server Integration Services (SSIS) для выполнения операций интеграции и преобразования данных. | Да | Запланированный |
| преобразование данных | ||
| Визуально проектируйте преобразования данных, используя кластеры Apache Spark и Mapping Dataflows для создания и управления процессами преобразования данных через графический интерфейс. | Да | Нет2 |
| Визуальные преобразования данных с использованием вычислительной системы Fabric и интуитивно понятного графического интерфейса Power Query в потоке данных второго поколения. | Нет | Да |
| подключение | ||
| Поддержка всех источников данных фабрики данных | Да | Выполняется3 |
| масштабируемость | ||
| Обеспечьте беспрепятственное выполнение действий в потоке обработки с запланированными запусками | Да | Да |
| Планирование нескольких запусков для одного конвейера для гибкого и эффективного управления конвейерами | Да | запланировано |
| Использование триггеров переворачивающегося окна для планирования запусков конвейера в отдельных неперекрывающихся временных окнах | Да | запланировано |
| Триггеры событий для автоматизации выполнения конвейера в ответ на конкретные или соответствующие события | Да | Да4 |
| Искусственный интеллект | ||
| Copilot для фабрики данных, которая обеспечивает интеллектуальное создание конвейера для приема данных с легкостью и объяснениями, чтобы лучше понять сложные конвейеры или предоставить предложения для сообщений об ошибках | Нет | Да |
| управление содержимым | ||
| вид происхождения данных, который помогает пользователям понять и оценить зависимости потока данных. | Нет | Да |
| цепочки развертывания, которые управляют жизненным циклом содержимого | Нет | Да |
| масштабируемость платформы и устойчивость | ||
| архитектура Premium-емкости, которая поддерживает увеличение масштаба и производительности. | Нет | Да |
| поддержка нескольких регионов, которая помогает многонациональным клиентам решать региональные, отраслевые или организационные требования к месту размещения данных | Да | Да |
| Безопасность | ||
| шлюз данных виртуальной сети (виртуальная сеть) подключения, что позволяет Fabric легко работать в виртуальной сети организации. | Нет | запланировано |
| локального шлюза данных подключения, что обеспечивает безопасный доступ к данным между локальными источниками данных организации и элементами Fabric. | Нет | Да |
| Поддержка тегов службы Azure, которая является определенной группой IP-адресов, которая автоматически управляется, чтобы свести к минимуму сложность обновлений или изменений в правилах безопасности сети. | Да | Да |
| управления | ||
| Содержимое подтверждения, для продвижения или сертификации ценных, высококачественных элементов Fabric | Нет | Да |
| интеграции Microsoft Purview, которая помогает клиентам управлять и контролировать элементы Fabric | Да | Да |
| Метки конфиденциальности Microsoft Information Protection (MIP) и их интеграция с Microsoft Defender для облачных приложений для предотвращения утечки данных. | Нет | Да |
| Мониторинг и диагностическое ведение журналов | ||
| Ведение журнала событий выполнения конвейера в хранилище событий для мониторинга, анализа и устранения неполадок производительности конвейера | Да | Запланированный |
| концентратор мониторинга, который предоставляет возможности мониторинга для элементов системы Fabric | Нет | Да |
| приложения метрик емкости Microsoft Fabric, которое обеспечивает возможности мониторинга емкостей Fabric | Нет | Да |
| журнал аудита, который отслеживает действия пользователей в Fabric и Microsoft 365 | Нет | Да |
1 Используйте Получить метаданные, До тех пор, пока и Если условие активности для извлечения эквивалентных метаданных активности валидации.
2 Используйте функцию вызова удаленного конвейера для выполнения активностей потока данных сопоставления, см. активность Invoke Pipeline.
3 Чтобы просмотреть соединители, которые в настоящее время поддерживаются для конвейеров данных, см. Поддержка конвейеров.
4 Используйте Fabric eventstreams и Reflex для запуска событий выполнения, см. триггеры событий конвейера.
Соображения
Перед переносом в конвейеры Fabric необходимо учитывать некоторые другие факторы, которые следует учитывать при планировании.
Лицензирование
Конвейеры Fabric требуют как минимум лицензии Microsoft Fabric (бесплатно) для создания в рабочей области с емкостью премиум-класса. Чтобы узнать больше, обратитесь к лицензиям Fabric.
Стратегия
Документация по плану выпуска Microsoft Fabric сообщает о последнем обновлении и временных рамках для клиентов по мере подготовки функций для будущих выпусков, включая нововведения и запланированные изменения в Data Factory в Microsoft Fabric.
Для получения дополнительной информации см. документацию по плану выпуска Microsoft Fabric.
Связанное содержимое
Узнайте, как спланировать миграцию данных ADF в среду Fabric Data Factory.