Juin 2024

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en juin 2024.

Notebooks – Mise en surbrillance de la syntaxe dans le désordre

16 juin 2024

La sise en surbrillance des erreurs de syntaxe Python dans les notebooks avertit désormais les utilisateurs lorsque des variables sont utilisées avant qu’elles ne soient déclarées et suggère un correctif.

L’assistant Notebooks diagnostique automatiquement les erreurs

16 juin 2024

L’Assistant Databricks diagnostique désormais automatiquement les erreurs de code dans les notebooks. Il utilise l’IA générative pour analyser votre code et le message d’erreur afin de suggérer une solution directement dans votre notebook. Pour en savoir plus, voir Activer et essayer l’Assistant Databricks

Améliorations apportées à Catalog Explorer

28 juin 2024

Voici les améliorations qui ont été apportées dans Catalog Explorer :

• Ajout d’une section Quick access ( Accès rapide) qui affiche les objets Unity Catalog récents, les objets Unity Catalog favoris, ainsi que les catalogues et schémas à parcourir.

• Suppression de la barre supérieure et de la structure en accordéon, et déplacement des points d’entrée pour les éléments suivants dans un menu représentant une icône d’engrenage dans la barre latérale avec le navigateur de schémas pour une navigation simplifiée :

  • Sélection de cluster de calcul
  • Delta Sharing
  • Informations d’identification de stockage
  • Emplacements externes
  • Connexions
  • Parcourir DBFS

  Vous pouvez également accéder à Delta Sharing et à Données externes en haut de l’Explorateur de catalogues au-dessus de la section Accès rapide.

Servir plusieurs modèles externes à partir d’un même point de terminaison de service de modèles

27 juin 2024

Mosaic AI Model Serving prend désormais en charge le service de plusieurs modèles externes par point de terminaison de service de modèles. Consultez Servir plusieurs modèles externes à un point de terminaison.

L’Assistant Databricks est désormais en disponibilité générale

27 juin 2024

L’Assistant Databricks est publié en disponibilité générale. L’Assistant propose les fonctionnalités suivantes :

• Générer, déboguer, optimiser et expliquer le code.
• Créer des visualisations à partir de données. Consultez Créer des visualisations avec l’Assistant Databricks.
• Déboguer les travaux (fonctionnalité en préversion publique).
• Coder et modifier des requêtes SQL.
• Rechercher une aide pertinente dans la documentation et la base de connaissances Azure Databricks.

Pour plus d’informations, consultez Qu’est-ce que l’Assistant Databricks ?

L’Assistant Databricks donne désormais des titres aux threads

27 juin 2024

Pour naviguer plus facilement dans les threads d’aide, l’Assistant Databricks titre les threads en fonction du contexte de votre prompt.

Consultez l'instruction pour activer et essayer l’Assistant Databricks.

Gestionnaire d’environnement des notebooks serverless

27 juin 2024

Vous pouvez désormais installer des dépendances Python pour les notebooks serverless à l’aide du panneau latéral Environment, qui fournit un emplacement unique pour modifier, afficher et exporter les exigences de bibliothèque pour un notebook. Consultez Installer les dépendances de notebook.

Console de débogage de notebooks

27 juin 2024

Avec la console de débogage de notebooks, vous pouvez désormais inspecter les valeurs des variables en temps réel et exécuter des extraits de code au cours d’une session de débogage du notebook.

Ajouter rapidement une planification périodique à un workflow Azure Databricks

28 juin 2024

Vous pouvez maintenant ajouter une planification simple à un workflow Azure Databricks en spécifiant uniquement un intervalle et une unité de temps (par exemple, exécuter le workflow toutes les 4 heures). Ce nouveau type de planification complète le type de planification avancé existant en vous permettant d’ajouter une planification en quelques clics. Consultez Exécuter des travaux selon une planification.

Databricks Runtime 15.3 est en disponibilité générale

24 juin 2024

Databricks Runtime 15.3 et Databricks Runtime 15.3 ML sont désormais en disponibilité générale.

Consultez Databricks Runtime 15.3 (EoS) et Databricks Runtime 15.3 pour l'apprentissage automatique (EoS).

Les zones géographiques Azure sont en disponibilité générale

24 juin 2024

Les zones géographiques Azure sont désormais en disponibilité générale. Les zones géographiques Azure gèrent la résidence des données pendant le traitement du contenu d’utilisateur pour certaines fonctionnalités d’IA.

Pour plus d’informations, consultez Service désignés Databricks.

Nouvelle interface utilisateur améliorée pour la création de catalogues

18 juin 2024

La nouvelle interface utilisateur de création de catalogues vous guide pas à pas dans tout le processus de création et de configuration d’un catalogue, en fournissant des prompts utiles, et en distinguant les configurations requises des configurations facultatives. Vous pouvez utiliser la même interface utilisateur pour créer des catalogues standard, partagés et étrangers.

Consultez Créer des catalogues.

Mises à jour des sous-réseaux dans les configurations de connectivité réseau

18 juin 2024

Databricks met à jour les sous-réseaux dans les configurations de connectivité réseau (NCC) de toutes les régions. Les nouveaux ID de sous-réseau sont ajoutés automatiquement aux règles de pare-feu existantes de Stockage Azure qui autorisent l’accès depuis les ID de sous-réseau existants pour permettre un accès sans interruption depuis Azure Databricks.

Si vous utilisez l’API Configurations de connectivité réseau pour obtenir les ID de sous-réseau et les ajouter aux règles du réseau de stockage pour les nouveaux comptes de stockage Azure, vous ne subirez aucune interruption. Cependant, si vous codez en dur l’ensemble existant d’ID de sous-réseau, vous risquez de faire face à des interruptions. Databricks recommande d’utiliser l’API pour obtenir les informations les plus récentes. Consultez l’API Configurations de connectivité réseau.

Vous pouvez subir un temps d’arrêt pour l’API Configurations de connectivité réseau pendant que cette mise à jour se produit entre 20h00 et 00h00 (Heure avancée du Pacifique) le 20 juin 2024.

Les tables du système de facturation sont activées par défaut.

18 juin 2024

Le schéma system.billing est désormais activé par défaut dans tous les espaces de travail Unity Catalog. Consultez la Référence de table système d’utilisation facturable.

La surveillance Lakehouse est en disponibilité générale.

13 juin 2024

Surveillance de Databricks Lakehouse est désormais en disponibilité générale.

Le partage de volume en utilisant Delta Sharing est désormais en disponibilité générale

13 juin 2024

La prise en charge de Delta Sharing pour le partage de données non tabulaires en tant que volume est désormais en disponibilité générale. Vous pouvez partager des volumes entre des espaces de travail Databricks sur différents metastores Unity Catalog (notamment des espaces de travail sur différents comptes Databricks et sur différents clouds).

Les volumes sont des objets Unity Catalog qui représentent un volume logique de stockage dans un emplacement de stockage d’objets cloud. Ils sont principalement destinés à fournir une gouvernance sur les ressources de données non tabulaires. Delta Sharing sur Databricks offre une intégration native avec Unity Catalog qui permet de gérer, de gouverner, d’auditer et de suivre l’utilisation de données des volumes partagés.

Consultez Ajouter des volumes à un partage.

Les clés gérées par le client (CMK) pour la recherche vectorielle Databricks sont désormais en disponibilité générale

12 juin 2024

Les clés gérées par le client (CMK) sur les points de terminaison de recherche vectorielle sont désormais en disponibilité générale.

Mosaic AI Agent Framework (préversion publique)

12 juin 2024

Mosaic AI Agent Framework est un ensemble d’outils sur Databricks conçus pour aider les développeurs à créer, déployer et évaluer des applications de génération augmentée de récupération (RAG) de qualité de production. Agent Framework vous permet de créer ou d’optimiser des applications LLM sur une plateforme unique à l’aide de vos propres données.

Agent Framework comporte les fonctionnalités suivantes :

• Créez et journalisez des agents et des chaînes.
• Paramétrisez des agents et des chaînes pour expérimenter et itérer rapidement.
• Métriques intégrées pour comparer les exécutions entre la récupération de documents pertinents, la précision de la réponse et le coût et la latence.
• Juges LLM personnalisés pour la récupération et la précision de la réponse.
• Déployez des applications IA avec la journalisation automatisée des requêtes et des réponses.
• Application de commentaires intégrée pour obtenir des commentaires des utilisateurs.
• Agent Evaluation pour évaluer la qualité, la latence et le coût des applications d’IA génératives.
• Suivi MLflow pour analyser et comparer les traces entre l’exécution du code.

Pour des détails, consultez Génération augmentée de récupération (RAG, Retrieval Augmented Generation) sur Azure Databricks.

L’optimisation prédictive est désormais en disponibilité générale

11 juin 2024

L’optimisation prédictive pour les tables gérées par Unity Catalog est désormais en disponibilité générale. L’optimisation prédictive exécute désormais OPTIMIZE sur des tables avec clustering liquide activé pour appliquer le clustering. Consultez Optimisation prédictive pour les tables managées Unity Catalog.

L’optimisation du routage est disponible pour les points de terminaison de service.

11 juin 2024

Vous pouvez maintenant créer des points de terminaison de service pour le service de vos modèles ou pour des workflows de service de fonctionnalités. Consultez Configurer l’optimisation du routage sur les points de terminaison de service.

Prise en charge de la mise en service de modèles avec un pare-feu de compte de stockage d’espace de travail

11 juin 2024

La mise en service de modèles est désormais prise en charge avec la prise en charge de pare-feu pour le compte de stockage d’espace de travail. Consultez Activer la prise en charge du pare-feu pour votre compte de stockage d’espace de travail.

Le mappage de colonnes est désormais en disponibilité générale

10 juin 2024

Le mappage de colonnes Delta Lake est désormais en disponibilité générale. Vous pouvez désormais utiliser DROP FEATURE pour désactiver le mappage de colonnes et passer à une version antérieure du protocole de table. Cf. Renommage et suppression des colonnes avec le mappage de colonnes Delta Lake.

Les tables système de flux de travail sont désormais disponibles (préversion publique)

10 juin 2024

Le schéma system.lakeflow contient quatre nouvelles tables que vous pouvez utiliser pour surveiller les travaux dans votre compte. Consultez Informations de référence sur la table système de travaux.

Si vous n’avez pas accès à ces tables système, vérifiez que vous avez activé le schéma system.lakeflow dans votre compte. Consultez Activer les schémas de table système.

L’appel de fonctions est une préversion publique

10 juin 2024

L’appel de fonctions est désormais disponible en préversion publique. Cette fonctionnalité est disponible à l’aide des modèles de paiement par jeton de l’API Foundation Model : DBRX Instruct et Meta-Llama-3-70B-Instruct. Consultez Appel de fonctions sur Azure Databricks.

Interrogez un index de recherche vectorielle à l’aide de vector_search()

10 juin 2024

AI Functions prend désormais en charge vector_search() ce qui vous permet d’interroger un index de recherche vectorielle d’IA Mosaïque à l’aide de SQL. Consultez vector_search function.

La recherche vectorielle Mosaic AI prend désormais en charge la recherche hybride

7 juin 2024

La recherche vectorielle Mosaic AI prend désormais en charge la recherche de similarité de mot clé hybride, qui combine la recherche incorporée basée sur des vecteurs avec des techniques de recherche traditionnelles basées sur des mots clés. Cette approche trouve des correspondances de mots exacts dans la requête tout en utilisant également une recherche de similarité basée sur des vecteurs pour capturer les relations sémantiques et le contexte de la requête. En intégrant ces deux techniques, la recherche de similarité de mot clé hybride récupère non seulement les documents qui contiennent les mots clés exacts, mais aussi ceux qui sont conceptuellement similaires, fournissant des résultats de recherche plus complets et pertinents. Pour plus d’informations, consultez Recherche vectorielle Mosaic AI.

GTE est désormais pris en charge dans la mise en service de modèles

7 juin 2024

La mise en service des modèles Mosaic IA prend désormais en charge General Text Embedding (GTE), un modèle d’incorporation de texte qui peut mapper du texte à un vecteur d’incorporation. GTE est pris en charge dans le cadre des API Foundation Model et est disponible dans les régions de point de terminaison de paiement par jeton. Consultez Utiliser les API Foundation Model.

Assistant Databricks : Expérience threads et requêtes activée par défaut

6 juin 2024

Assistant Databricks (préversion publique) suit désormais les threads de requête et l’historique dans tous les contextes d’éditeur de votre expérience de session par défaut. Vous pouvez gérer l’activation pour tous les espaces de travail d’un compte ou d’espaces de travail individuels.

Pour plus d’informations, consultez Qu’est-ce que l’Assistant Databricks ?

Éditeur Markdown de notebook amélioré

5 juin 2024

Vous pouvez maintenant voir un aperçu instantané de vos cellules Markdown dans les notebooks et accéder à une barre d’outils pour les éléments Markdown courants tels que les en-têtes, les listes et les liens. Passez plus de temps à communiquer vos idées et moins de temps à mémoriser la syntaxe.

Accéder rapidement aux tables de l’Explorateur de catalogue à partir de notebooks

5 juin 2024

Vous pouvez désormais accéder facilement aux tables de l’Explorateur de catalogue directement à partir de notebooks. Pointez sur un nom de tableau dans une cellule de notebook pour obtenir un lien vers sa page sur l’Explorateur de catalogue pour afficher des détails tels que les colonnes, les autorisations et bien plus encore.

Pilote ODBC Databricks 2.8.2

4 juin 2024

La version 2.8.2 du pilote ODBC Databricks (téléchargement) est maintenant disponible. Cette version ajoute les nouvelles fonctionnalités et améliorations suivantes :

• Les clients peuvent désormais utiliser les commandes SQL étendues PUT, GET et REMOVE pour ingérer et gérer des jeux de données volumineux dans des volumes Unity Catalog.
• Les valeurs de configuration OAuth par défaut sont désormais mises à jour et conformes. Les options de configuration mises à jour incluent le point de terminaison d’autorisation, l’ID client OAuth, l’étendue utilisateur à machine OAuth et l’étendue machine à machine OAuth. Pour plus d’informations, consultez les notes de publication.
• Des bibliothèques tierces ont été mises à jour, notamment expat 2.6.2 (précédemment 2.6.0) et libCURL 8.7.1 (précédemment 8.6.0).
• Le pilote accepte désormais une autorité de certification signée privée si celle-ci est ajoutée au magasin de certificats d’autorité de certification racine de confiance Windows.

Cette version résout également les problèmes suivants :

• Le client retournait précédemment une erreur si la longueur d’un commentaire de table dépassait MaxCommentLen. Le comportement par défaut tronque désormais le commentaire de table pour se conformer à la limite spécifiée dans MaxCommentLen.
• Le client retournait précédemment une erreur lors de l’émission de SQLCancel dans certaines circonstances.

La nouvelle interface utilisateur des notebooks Databricks est désormais en disponibilité générale

4 juin 2024

La nouvelle interface utilisateur des notebooks Databricks fournit aux développeurs une expérience de création simplifiée axée sur les données. Les principales fonctionnalités incluent :

• Expérience utilisateur moderne : bénéficiez d’une expérience de codage simplifiée avec une interface utilisateur mise à jour et d’autres fonctionnalités pour améliorer l’organisation des notebooks.
• Nouvelle table de résultats : effectuez une exploration de données sans code avec des fonctionnalités de recherche et de filtrage directement sur les sorties des résultats.