Бөлісу құралы:

Перенос пулов Spark из Azure Synapse Analytics в Fabric

  • Мақала

Хотя Azure Synapse предоставляет пулы Spark, Fabric предлагает начальные пулы и настраиваемые пулы. Начальный пул может быть хорошим выбором, если у вас есть один пул без пользовательских конфигураций или библиотек в Azure Synapse, и если размер среднего узла соответствует вашим требованиям. Однако если вы ищете большую гибкость в конфигурациях пула Spark, мы рекомендуем использовать настраиваемые пулы. Ниже приведены два варианта:

  • Вариант 1. Перемещение пула Spark в пул по умолчанию рабочей области.
  • Вариант 2. Перемещение пула Spark в настраиваемую среду в Fabric.

Если у вас несколько пулов Spark и вы планируете переместить их в одну рабочую область Fabric, мы рекомендуем использовать вариант 2, создав несколько пользовательских сред и пулов.

Рекомендации по пулу Spark см. в различиях между Azure Synapse Spark и Fabric.

Необходимые компоненты

Если у вас еще нет, создайте рабочую область Fabric в клиенте.

Вариант 1. Из пула Spark в пул по умолчанию рабочей области

Вы можете создать настраиваемый пул Spark из рабочей области Fabric и использовать его в качестве пула по умолчанию в рабочей области. Пул по умолчанию используется всеми определениями заданий Spark и записными книжками в одной рабочей области.

Чтобы перейти из существующего пула Spark из Azure Synapse в пул рабочей области по умолчанию:

  1. Доступ к рабочей области Azure Synapse: вход в Azure. Перейдите в рабочую область Azure Synapse, перейдите в пулы аналитики и выберите пулы Apache Spark.
  2. Найдите пул Spark: из пулов Apache Spark найдите пул Spark, который требуется переместить в Fabric, и проверьте свойства пула.
  3. Получение свойств: получение свойств пула Spark, таких как версия Apache Spark, семейство размеров узлов, размер узла или автомасштабирование. Ознакомьтесь с рекомендациями по пулу Spark, чтобы увидеть какие-либо различия.
  4. Создайте пользовательский пул Spark в Fabric:
    • Перейдите в рабочую область Fabric и выберите параметры рабочей области.
    • Перейдите в раздел Инжиниринг данных/Наука и выберите параметры Spark.
    • На вкладке "Пул" и в разделе "Пул по умолчанию" разверните раскрывающееся меню и выберите "Создать пул".
    • Создайте пользовательский пул с соответствующими целевыми значениями. Заполните имя, семейство узлов, размер узла, параметры автомасштабирования и динамического выделения исполнителя.
  5. Выберите версию среды выполнения:
    • Перейдите на вкладку "Среда" и выберите требуемую версию среды выполнения. Ознакомьтесь с доступными средами выполнения.
    • Отключите параметр среды set по умолчанию.

Снимок экрана: пул по умолчанию.

Примечание.

В этом случае библиотеки или конфигурации уровня пула не поддерживаются. Однако вы можете настроить конфигурацию вычислений для отдельных элементов, таких как записные книжки и определения заданий Spark, и добавить встроенные библиотеки. Если необходимо добавить пользовательские библиотеки и конфигурации в среду, рассмотрите возможность пользовательской среды.

Вариант 2. Из пула Spark в настраиваемую среду

С помощью пользовательских сред можно настроить пользовательские свойства и библиотеки Spark. Чтобы создать настраиваемую среду, выполните приведенные действия.

  1. Доступ к рабочей области Azure Synapse: вход в Azure. Перейдите в рабочую область Azure Synapse, перейдите в пулы аналитики и выберите пулы Apache Spark.
  2. Найдите пул Spark: из пулов Apache Spark найдите пул Spark, который требуется переместить в Fabric, и проверьте свойства пула.
  3. Получение свойств: получение свойств пула Spark, таких как версия Apache Spark, семейство размеров узлов, размер узла или автомасштабирование. Ознакомьтесь с рекомендациями по пулу Spark, чтобы увидеть какие-либо различия.
  4. Создайте пользовательский пул Spark:
    • Перейдите в рабочую область Fabric и выберите параметры рабочей области.
    • Перейдите в раздел Инжиниринг данных/Наука и выберите параметры Spark.
    • На вкладке "Пул" и в разделе "Пул по умолчанию" разверните раскрывающееся меню и выберите "Создать пул".
    • Создайте пользовательский пул с соответствующими целевыми значениями. Заполните имя, семейство узлов, размер узла, параметры автомасштабирования и динамического выделения исполнителя.
  5. Создайте элемент среды , если у вас его нет.
  6. Настройка вычислений Spark:
    • В среде перейдите к вычислительным вычислениям> Spark.
    • Выберите только что созданный пул для новой среды.
    • Вы можете настроить ядра драйверов и исполнителей и память.
  7. Выберите версию среды выполнения для среды. Ознакомьтесь с доступными средами выполнения.
  8. Нажмите кнопку "Сохранить и опубликовать изменения".

Дополнительные сведения о создании и использовании среды.

Снимок экрана: настраиваемая среда.

Связанный контент