Juillet 2023
Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en juillet 2023.
Remarque
Les publications se font par étapes. Il se peut que votre espace de travail Azure Databricks ne soit pas mis à jour avant au moins une semaine suivant la date de publication initiale.
Les administrateurs de l’espace de travail peuvent désormais créer des groupes de comptes
31 juillet 2023
Les administrateurs de l’espace de travail peuvent désormais créer des groupes de comptes à partir de leurs espaces de travail à fédération d’identité. Auparavant, les administrateurs de l’espace de travail ne pouvaient créer que des groupes locaux à l’espace de travail. Les groupes de comptes peuvent se voir accorder l’accès aux données d’un metastore Unity Catalog et l’accès aux espaces de travail à fédération d’identité. Databricks vous recommande d’utiliser des groupes de comptes plutôt que des groupes locaux à l’espace de travail pour tirer parti de Unity Catalog et d’un emplacement central pour administrer l’identité.
Le rôle de gestionnaire de groupe est en préversion publique
31 juillet 2023
Vous pouvez désormais accorder aux utilisateurs, aux principaux de service et aux groupes Databricks des autorisations pour gérer des groupes. Les responsables de groupe peuvent gérer l’appartenance au groupe. Ils peuvent également attribuer à d'autres utilisateurs le rôle de gestionnaire de groupe. Les administrateurs de compte ont le rôle de gestionnaire de groupe sur tous les groupes du compte. Les administrateurs d'espace de travail ont le rôle de gestionnaire de groupe sur les groupes de comptes qu'ils créent.
Voir Qui peut gérer les groupes de comptes ?.
Interface CLI Databricks mise à jour vers la version 0.202.0 (préversion publique)
27 juillet 2023
L’interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.202.0. Pour plus d’informations, consultez le journal des modifications de la version 0.202.0.
Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.3.0 (bêta)
27 juillet 2023
Le SDK Databricks pour Python version 0.3.0 introduit la prise en charge du service Stratégie réseau de compte, gère les paramètres de requête imbriqués, ajoute, supprime et crée différentes méthodes, champs, classes de données et services, et bien plus encore. Pour plus d’informations, consultez le journal des modifications de la version 0.3.0.
Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.14.1 (bêta)
27 juillet 2023
Le SDK Databricks pour Go version 0.14.1 gère correctement les paramètres de requête imbriqués, corrigeant le filtrage dans les listes QueryHistory. Pour plus d’informations, consultez le journal des modifications de la version 0.14.1.
Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.14.0 (bêta)
26 juillet 2023
Le SDK Databricks pour Go version 0.14.0 ajoute la prise en charge du service Stratégie réseau de compte et ajoute, supprime et modifie plusieurs méthodes, champs et types. Pour plus d’informations, consultez le journal des modifications de la version 0.14.0.
Exécuter un autre travail en tant que tâche dans un travail Azure Databricks
25 juillet 2023
Vous pouvez utiliser la nouvelle tâche Run Job pour ajouter un autre travail en tant que tâche dans votre travail Azure Databricks, ce qui vous permet de décomposer un workflow de traitement volumineux en plusieurs travaux, ou de créer des composants réutilisables dans plusieurs travaux. Pour plus d’informations sur l’utilisation de la tâche dans l’interface utilisateur de Jobs, consultez Vue d’ensemble de l’orchestration sur Databricks. Pour plus d’informations sur l’utilisation de la tâche avec l’API REST Travaux, consultez Travaux dans les informations de référence sur l’API REST 2.1 ou les informations de référence sur l’API Travaux 2.0.
La mise à jour réseau de l’espace de travail obtient la prise en charge de l’interface utilisateur (GA)
24 juillet 2023
Auparavant, vous pouviez utiliser un modèle ARM avec la ligne de commande ou le portail Azure pour activer la connectivité de cluster sécurisée ou activer Azure Private Link.
Vous pouvez maintenant utiliser l’interface utilisateur du portail Azure (sans modèle) pour les mises à jour réseau directement sur votre instance d’espace de travail Azure Databricks. Les deux types de mises à jour réseau sont désormais en disponibilité générale.
Tous les utilisateurs peuvent accéder aux produits de données dans Databricks Marketplace par défaut
24 juillet 2023
À compter du 24 juillet, avec un déploiement progressif dans tous les espaces de travail éligibles, tous les utilisateurs pourront installer des jeux de données gratuits ou précédemment achetés à l’aide de Databricks Marketplace. Cela est rendu possible en accordant le privilège USE MARKETPLACE ASSETS à tous les utilisateurs de tous les metastores Unity Catalog. Ce nouveau privilège n’a aucun impact sur les coûts, puisque toutes les transactions Marketplace ont lieu en dehors de Databricks. Si vous souhaitez désactiver l’accès, consultez Désactiver l’accès à Marketplace.
Mode raccourcis clavier classiques
21 juillet 2023
Un nouveau paramètre vous permet d’utiliser les fonctionnalités du nouvel éditeur (telles que l’autocomplétion, la mise en surbrillance de la syntaxe, la mise en forme du code, etc.) tout en conservant les mêmes raccourcis clavier familiers de l’éditeur précédent. Pour accéder à ce paramètre, ouvrez la configuration de l’éditeur et basculez Notebook editor shortcuts mode sur Classic (Code Mirror).
Lakehouse Federation vous permet d’exécuter des requêtes sur des fournisseurs de base de données externes (préversion publique)
21 juillet 2023
Lakehouse Federation est la plateforme de fédération de requêtes pour Azure Databricks, tirant parti de Unity Catalog pour permettre aux utilisateurs et aux systèmes d’exécuter des requêtes sur plusieurs sources de données externes sans avoir à migrer toutes les données vers un système unifié.
Lakehouse Federation est destiné aux cas d’usage tels que :
- Production de rapports ad hoc
- Travail de preuve de concept.
- Phase exploratoire des nouveaux pipelines ou rapports ETL.
- Prise en charge de charges de travail pendant une migration incrémentielle.
Dans chacun de ces scénarios, la fédération des requêtes vous permet d’obtenir des insights plus rapidement, car vous pouvez interroger les données en place et éviter un traitement ETL complexe et fastidieux. De plus, vous bénéficiez des avantages de la gouvernance des données et des interfaces Unity Catalog, notamment le contrôle d’accès fragmenté, la traçabilité des données et la recherche.
Consultez Qu’est-ce que Lakehouse Federation ?.
Move to trash activé pour les dépôts
19 juillet 2023
La suppression des dépôts fonctionne désormais de la même façon que la suppression d’autres ressources d’espace de travail. Dans la liste Repos, cliquez avec le bouton droit sur le nom du dépôt, puis sélectionnez Move to Trash. Après 30 jours, le dossier Trash est automatiquement supprimé définitivement.
Voir Supprimer un objet.
Créer des alertes pour les travaux lents ou bloqués
18 juillet 2023
Vous pouvez maintenant configurer une durée attendue pour un travail ou une tâche Azure Databricks, et ajouter des notifications si un travail ou une tâche dépasse la durée attendue. Cette fonctionnalité vous permet de recevoir des alertes pour les travaux à exécution lente sans que l’exécution soit annulée. Pour configurer une durée attendue dans l'interface utilisateur des travaux Azure Databricks, consultez Configurer des seuils pour la durée d'exécution du travail ou les métriques de retard de diffusion en continu. Pour configurer la durée attendue avec l’API Travaux 2.1, consultez Travaux dans les informations de référence sur l’API REST.
Kit de développement logiciel (SDK) Databricks pour Go mis à jour vers la version 0.13.0 (bêta)
18 juillet 2023
Le SDK Databricks pour Go version 0.13.0 ajoute la prise en charge de l’authentification Azure des identités gérées pour les opérations au niveau du compte, ajoute, modifie et supprime plusieurs méthodes et champs, et bien plus encore. Pour plus d’informations, consultez le journal des modifications de la version 0.13.0.
Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.2.0 (bêta)
18 juillet 2023
Le SDK Databricks pour Python version 0.2.0 ajoute une implémentation locale de dbutils.widgets, ajoute, modifie et supprime plusieurs méthodes, champs et classes de données, et bien plus encore. Pour plus d’informations, consultez le journal des modifications de la version 0.2.0.
Interface CLI Databricks mise à jour vers la version 0.201.0 (préversion publique)
18 juillet 2023
L’interface de ligne de commande Databricks (Databricks CLI) version 0.201.0 améliore l’expérience auth login, prend en charge la complétion via la touche Tab pour référencer les profils de configuration d’authentification Azure Databricks, apporte des ajouts, des modifications et des suppressions de plusieurs groupes de commandes et commandes, et bien plus encore. Pour plus d’informations, consultez le journal des modifications de la version 0.201.0.
Kit de développement logiciel (SDK) Databricks pour Python mis à jour vers la version 0.2.1 (bêta)
18 juillet 2023
Le SDK Databricks pour Python version 0.2.1 prend en charge les versions antérieures de urllib. Pour plus d’informations, consultez le journal des modifications de la version 0.2.1.
L’Assistant Databricks est en préversion publique
18 juillet 2023
L’Assistant Databricks fonctionne en tant que programmeur-paire complémentaire basé sur l’IA pour vous rendre plus productif lorsque vous créez des notebooks, des requêtes et des fichiers. Il peut vous aider à répondre rapidement aux questions en générant, en optimisant, en complétant, en expliquant et en corrigeant le code et les requêtes. Pour plus d’informations et pour obtenir des instructions sur l’activation de l’Assistant Databricks, consultez la FAQ sur l’Assistant Databricks.
Désactiver les utilisateurs et les principaux de service de votre compte
13 juillet 2023
Vous pouvez maintenant désactiver les utilisateurs et les principaux de service de votre compte Azure Databricks. Un utilisateur désactivé ne peut pas se connecter aux comptes ou aux espaces de travail à fédération d’identité Azure Databricks. Toutefois, toutes les autorisations et tous les objets d’espace de travail de l’utilisateur restent inchangés. Pour plus d’informations, consultez Désactiver un utilisateur dans votre compte Azure Databricks et Désactiver un principal de service dans votre compte Azure Databricks.
Le provisionnement SCIM au niveau du compte désactive désormais les utilisateurs lorsqu’ils sont désactivés dans le fournisseur d’identité
13 juillet 2023
Le provisionnement SCIM au niveau du compte désactive désormais les utilisateurs lorsqu’ils sont désactivés dans votre fournisseur d’identité. Auparavant, lorsqu’un utilisateur était désactivé dans un fournisseur d’identité, le provisionnement SCIM au niveau du compte le supprimait du compte Azure Databricks. Pour plus d’informations, consultez Synchroniser des utilisateurs et des groupes à partir de Microsoft Entra ID à l’aide de SCIM et Désactiver un utilisateur dans votre compte Azure Databricks.
Accès administrateur au répertoire Trash
13 juillet 2023
Les administrateurs de l’espace de travail peuvent désormais accéder aux répertoires Trash d’autres utilisateurs.
La prévention de la détection de type MIME et le rendu des pages d’attaque XSS sont désormais toujours activés
12 juillet 2023
Azure Databricks réduit le risque de détection de type MIME et de rendu des pages d’attaque XSS en ajoutant des en-têtes HTTP appropriés. Ces fonctionnalités étaient activées par défaut et pouvaient auparavant être désactivées. Pour améliorer la sécurité, Azure Databricks active désormais toujours les deux fonctionnalités, et il n’existe plus de paramètres d’administration d’espace de travail pour les désactiver. Pour les espaces de travail qui ont précédemment désactivé l’une de ces fonctionnalités ou les deux, les deux fonctionnalités sont désormais activées.
Les volumes Unity Catalog sont en préversion publique
12 juillet 2023
Vous pouvez maintenant utiliser des volumes dans Unity Catalog pour gérer l’accès aux emplacements de stockage d’objets cloud sur Databricks Runtime 13.2 et versions ultérieures. Les volumes fournissent des fonctionnalités d’accès, de stockage, de gouvernance et d’organisation des fichiers. Consultez Présentation des volumes Unity Catalog.
Expérience simplifiée pour l’envoi de commentaires sur les produits à partir de l’espace de travail
11 juillet 2023
Il est désormais plus facile d’envoyer des commentaires sur les produits à partir de votre espace de travail. Vous pouvez envoyer des commentaires et joindre des captures d’écran avec moins d’étapes et sans quitter l’interface utilisateur de l’espace de travail. Pour plus d’informations, consultez Envoyer des commentaires sur les produits.
Extension Databricks pour Visual Studio Code mise à jour vers la version 1.1.0
10 juillet 2023
L’extension Databricks pour Visual Studio Code version 1.1.0 active l’intégration de Databricks Connect par défaut, ajoute des fonctionnalités expérimentales pour les notebooks Jupyter, et bien plus encore. Pour plus d’informations, consultez le journal des modifications de la version 1.1.0.
Fonctions désormais affichées dans Catalog Explorer (préversion publique)
10 juillet 2023
Les fonctions SQL et Python définies par l’utilisateur sont désormais visibles dans Catalog Explorer. Vous pouvez afficher les détails de la fonction et gérer les autorisations à l’aide de cette nouvelle interface utilisateur.
Fournisseur Databricks Terraform mis à jour vers la version 1.21.0
7 juillet 2023
La version 1.21.0 du fournisseur Databricks Terraform ajoute la prise en charge des abonnements dans les tableaux de bord et des tâches SQL d’alerte dans databricks_job, définit des utilitaires de données Azure Databricks génériques pour définir des sources de données au niveau de l’espace de travail et du compte, et bien plus encore. Pour plus d’informations, consultez le journal des modifications de la version 1.21.0.
Le décalage maximal pour les requêtes d’API List all jobs et List job runs est désormais limité
6 juillet 2023
Le décalage maximal que vous pouvez spécifier dans les requêtes List all jobs et List job runs dans l’API Travaux est désormais limité. Pour éviter cette limite lorsque vous utilisez ces requêtes, utilisez la pagination basée sur des jetons, qui n’a pas cette limite. Consultez GET /api/2.1/jobs/list et GET /api/2.1/jobs/runs/list dans la référence de l’API REST.
Databricks Runtime 13.2 est en disponibilité générale
6 juillet 2023
Databricks Runtime 13.2 et Databricks Runtime 13.2 ML sont désormais en disponibilité générale.
Consultez Databricks Runtime 13.2 (EoS) et Databricks Runtime 13.2 pour Machine Learning (EoS).
Delta Sharing et Databricks Marketplace prennent en charge le partage de vues (préversion publique)
6 juillet 2023
Vous pouvez désormais partager des vues dans Delta Sharing et Databricks Marketplace. Consultez Ajouter des vues à un partage.
Les scripts init sur DBFS atteignent la fin de vie le 1er septembre 2023
5 juillet 2023
Le 1er septembre 2023, la prise en charge des scripts init sur DBFS atteindra sa fin de vie, et la fonctionnalité ne fonctionnera plus. Stockez les scripts init dans des fichiers d’espace de travail pour vous assurer qu’ils continuent à fonctionner après le 1er septembre 2023.