Заметки о выпуске Databricks SQL

В этой статье описаны новые функции и улучшения SQL Databricks, а также перечислены известные проблемы и представлены ответы на часто задаваемые вопросы.

Процесс выпуска

Databricks выпускает обновления пользовательского интерфейса веб-приложения Databricks SQL на постоянной основе, при этом все пользователи получают одинаковые обновления, развернутые в течение короткого периода времени.

Кроме того, обычно в Databricks регулярно выходят новые версии вычислительной среды хранилища SQL. Всегда доступны два канала: Preview (предварительная версия) и Current (текущая версия).

Каналами

Каналы позволяют выбрать версию вычислений текущего хранилища SQL или предварительную версию. Предварительные версии позволяют испытать новые функциональные возможности до того, как они станут стандартом SQL Databricks. Воспользуйтесь преимуществами предварительных версий для тестирования ваших рабочих запросов и панелей мониторинга на предмет предстоящих изменений.

Как правило, уровень предварительной версии повышается до канала текущей версии приблизительно через две недели после выпуска в канале предварительной версии. Некоторые функции, такие как функции безопасности, обновления обслуживания и исправления ошибок, могут быть выпущены непосредственно в канале текущей версии. Время от времени Databricks может повышать уровень предварительной версии до канала текущей версии по другому расписанию. Каждая новая версия будет объявлена в следующих разделах.

Сведения о переключении существующего хранилища SQL на канал предварительной версии см. в разделе "Предварительный просмотр каналов". Функции, перечисленные в разделах обновлений пользовательского интерфейса, не зависят от вычислительных версий хранилища SQL, описанных в этом разделе примечаний о выпуске.

Доступные версии Databricks SQL

текущий канал: версия Databricks SQL 2024.50

канал предварительного просмотра: версия Databricks SQL 2025.10

21 февраля 2025 г.

Новая версия SQL Databricks доступна в превью-канале . Ознакомьтесь со следующим разделом, чтобы узнать о новых функциях, поведении и исправлениях ошибок.

изменения в 2025.10

Изменения поведения

• В Delta Sharing история таблиц включена по умолчанию

  Общие ресурсы, созданные с помощью команды SQL ALTER SHARE <share> ADD TABLE <table>, теперь имеют включенную по умолчанию историю общего доступа (WITH HISTORY). См. ALTER SHARE.

• инструкции Credential SQL возвращают ошибку при несоответствии типа учетных данных

  В этом выпуске, если тип учетных данных, указанный в инструкции SQL для управления учетными данными, не соответствует типу аргумента учетных данных, возвращается ошибка, и инструкция не выполняется. Например, для инструкции DROP STORAGE CREDENTIAL 'credential-name', если credential-name не является учетными данными хранения, инструкция завершается ошибкой.

  Это изменение позволяет предотвратить ошибки пользователей. Раньше эти инструкции успешно выполнялись, даже если были переданы учетные данные, не соответствующие указанному типу. Например, следующая инструкция успешно удаляет storage-credential: DROP SERVICE CREDENTIAL storage-credential.

  Это изменение влияет на следующие утверждения:

  • DROP CREDENTIAL
  • ALTER CREDENTIAL
  • DESCRIBE CREDENTIAL
  • GRANT... НА... УЧЕТНЫЕ ДАННЫЕ
  • REVOKE…ON… УЧЕТНЫЕ ДАННЫЕ
  • SHOW GRANTS ON...УЧЕТНЫЕ ДАННЫЕ

Новые функции и улучшения

• Используйте timestampdiff & timestampadd в генерируемых выражениях столбцов

  Delta Lake сгенерированные выражения столбцов теперь поддерживают функции метки времени и timestampadd.

• поддержка синтаксиса конвейера SQL

  Теперь можно создавать конвейеры SQL . Конвейер SQL структурит стандартный запрос, например SELECT c2 FROM T WHERE c1 = 5, в пошаговую последовательность, как показано в следующем примере:

  FROM T
  |> SELECT c2
  |> WHERE c1 = 5
  

  Дополнительные сведения о поддерживаемом синтаксисе конвейеров SQL см. в разделе Синтаксис конвейера SQL.

  Общие сведения об этом межотраслевом расширении см. в статье SQL Has Problems. Их можно исправить: синтаксис Pipe в SQL (Google Research).

• выполните HTTP-запрос с помощью функции http_request

  Теперь можно создавать HTTP-подключения и через них делать HTTP-запросы с помощью функции http_request.

• Обновление до DESCRIBE TABLE возвращает метаданные в виде структурированных JSON

  Теперь можно использовать команду DESCRIBE TABLE AS JSON для возврата метаданных таблицы в виде документа JSON. Выходные данные JSON более структурированы, чем отчет, доступный для чтения по умолчанию, и можно использовать для программной интерпретации схемы таблицы. Дополнительные сведения см. в разделе DESCRIBE TABLE AS JSON.

• нечувствительная к завершающим пробелам сортировка

  Добавлена поддержка сортировок, нечувствительных к завершающим пробелам. Например, эти параметры сортировки считают 'Hello' и 'Hello ' как равные. Дополнительные сведения см. в разделе сортировки RTRIM.

Исправления ошибок

• Улучшенная инкрементальная обработка клона

  Этот выпуск содержит исправление для пограничного случая, когда добавочная CLONE может повторно копировать файлы, уже скопированные из исходной таблицы в целевую таблицу. См. Клонирование таблицы на Azure Databricks.

13 февраля 2025 г.

Следующие функции и обновления были выпущены в течение недели 13 февраля 2025 г.

Обновления пользовательского интерфейса

Обнаружение данных

• Просмотр метаданных Unity Catalog: Предпросмотр метаданных активов Unity Catalog, наведя курсор на актив в обозревателе схем. Эта возможность доступна в обозревателе каталогов и других интерфейсах, где используется браузер схемы, например панели мониторинга ИИ/BI и редактор SQL.

  

• Фильтр для поиска ресурсов данных, которые можно запрашивать параметры фильтра в браузере схем обозревателя каталогов теперь включают флажок Можно запрашивать. Выбор этого параметра исключает объекты, которые можно просматривать, но не запрашивать.

  

30 января 2025 г.

Следующие функции и обновления были выпущены в течение недели 30 января 2025 г.

Обновления пользовательского интерфейса

Теперь количество завершенных запросов диаграмме (общедоступная предварительная версия) доступно в пользовательском интерфейсе мониторинга хранилища SQL. На этой новой диаграмме показано количество запросов, завершенных в период времени, включая отмененные и неудачные запросы. Диаграмму можно использовать с другими диаграммами и таблицей журнала запросов для оценки и устранения неполадок производительности хранилища. Запрос учитывается в временном интервале, в котором он завершается. Величины усредняются за минуту. Дополнительные сведения см. в статье Мониторингхранилища SQL.

Изменения в версии 2024.50

Databricks SQL версии 2024.50 включает следующие изменения поведения, новые функции и улучшения.

Изменения поведения

• Тип данных VARIANT больше не может использоваться с операциями, требующими сравнения

Нельзя использовать следующие предложения или операторы в запросах, которые включают тип данных VARIANT:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Эти операции выполняют сравнения и сравнения, использующие тип данных VARIANT, создают неопределенные результаты и не поддерживаются в Databricks. Если вы используете тип VARIANT в рабочих нагрузках или таблицах Azure Databricks, Databricks рекомендует следующие изменения:

• Обновите запросы или выражения, чтобы явно приводить значения VARIANT к типам данных, отличным отVARIANT.
• Если у вас есть поля, которые должны использоваться с любой из указанных выше операций, извлеките эти поля из типа данных VARIANT и сохраните их с помощью типов данных, отличных отVARIANT.

Дополнительные сведения см. в разделе данных варианта запроса.

Новые функции и улучшения

• Поддержка параметризации предложения USE CATALOG with IDENTIFIER

Предложение IDENTIFIER поддерживается для инструкции USE CATALOG. С помощью этой поддержки можно параметризовать текущий каталог на основе строковой переменной или маркера параметров.

• COMMENT ON COLUMN поддержку таблиц и представлений

Инструкция COMMENT ON поддерживает изменение комментариев для столбцов представления и таблицы.

• новые функции SQL

Доступны следующие новые встроенные функции SQL:

• dayname(expr) возвращает трехбуквенный английский акроним для дня недели для указанной даты.
• uniform(expr1, expr2 [,seed]) возвращает случайное значение с независимыми и идентичными распределенными значениями в указанном диапазоне чисел.
• randstr(length) возвращает случайную строку length буквенно-числовых символов.
• вызов именованного параметра для дополнительных функций

Следующие функции поддерживают вызов именованных параметров :

• variant_explode
• variant_explode_outer
• встроенные
• inline_outer
• posexplode
• posexplode_outer

Исправления ошибок

• вложенные типы теперь правильно принимают ограничения NULL

В этом выпуске исправлена ошибка, влияющая на некоторые столбцы, созданные Delta, для вложенных типов, например STRUCT. Эти столбцы иногда неправильно отклоняют выражения, основанные на ограничениях NULL или NOT NULL в вложенных полях. Исправлено.

15 января 2025 г.

Следующие обновления были выпущены в течение недели 15 января 2025 г.

Обновления пользовательского интерфейса

Теперь новый редактор SQL (общедоступная предварительная версия) имеет следующие функции:

• Именование загрузок: скачанные выходные данные теперь именуются по запросу.
• корректировка размера шрифта: быстро настроить размер шрифта в редакторе SQL с помощью Alt + и Alt - для Windows и Linux, или Opt + и Opt - для macOS.
• @Упоминания в комментариях: Упоминайте конкретных пользователей с помощью @ в комментариях. Упомянутые пользователи получат уведомления по электронной почте.
• Улучшенное переключение вкладок: производительность переключения вкладок составляет до 80% быстрее для загруженных вкладок и 62% быстрее для выгрузки вкладок.
• см. сведения о хранилище: размер хранилища SQL теперь отображается в селекторе вычислений без дополнительных щелчков мыши.
• Изменить значения параметров: использовать Ctrl + Enter для Windows/Linux или Cmd + Enter для macOS, чтобы запустить запрос при редактировании значения параметра.
• Сохранить результаты запроса в журнале версий: результаты запроса теперь хранятся в журнале версий.

• Новые диаграммы теперь общедоступны: новые диаграммы с улучшенной производительностью, расширенными цветами и более быстрой интерактивностью теперь доступны. См. визуализацию в Databricks SQL и типы визуализаций.

Известные проблемы

• Операции чтения из источников данных, отличающихся от озер данных в многокластерных конечных точках SQL с распределенной нагрузкой, могут быть несогласованными.
• Разностные таблицы, доступные в Databricks SQL, передают свои свойства схемы и таблицы в настроенное хранилище метаданных. Если вы используете внешнее хранилище метаданных, вы сможете просматривать сведения о Delta Lake в хранилище метаданных. Delta Lake делает все возможное, чтобы поддерживать эти данные в актуальном состоянии. Вы также можете использовать команду DESCRIBE <table> для гарантированного обновления информации в хранилище метаданных.
• Databricks SQL не поддерживает смещения часовых поясов, такие как GMT+8, в качестве часового пояса сеанса. Для решения этой проблемы можно использовать часовой пояс на основе региона (https://en.wikipedia.org/wiki/List_of_tz_database_time_zones), например Etc/GMT+8. Дополнительные сведения о настройке часовых поясов см. в SET TIME ZONE.

Вопросы и ответы

Используйте следующий список, чтобы узнать ответы на распространенные вопросы.

Как начисляется плата за рабочие нагрузки Databricks SQL?

Плата за рабочие нагрузки Databricks SQL начисляется в соответствии с ценовой категории "Стандартный" для SKU Jobs Compute.

Где работают SQL склады?

Классические и профессиональные хранилища SQL создаются и управляются в учетной записи Azure. Хранилища SQL управляют оптимизированными для SQL кластерами автоматически в учетной записи и масштабируются в соответствии с требованиями конечных пользователей.

бессерверные хранилища SQL, с другой стороны, используйте вычислительные ресурсы в учетной записи Databricks. Бессерверные хранилища SQL упрощают настройку и использование хранилища SQL и ускоряют время запуска. Бессерверная опция доступна только в том случае, если она была включена для рабочей области . Дополнительные сведения см. в плоскости бессерверных вычислений.

Можно ли использовать хранилища SQL из записной книжки в той же рабочей области?

Да. Сведения о присоединении записной книжки к хранилищу SQL см. в статье Использование записной книжки с хранилищем SQL.

Мне предоставлен доступ к данным с использованием учетных данных поставщика облачных служб. Почему я не могу получить доступ к этим данным в Databricks SQL?

В Databricks SQL все доступ к данным подвержены контролю доступа к данным, а администратор или владелец данных должны сначала предоставить вам соответствующие права .