Creación de reflejo de Azure Cosmos DB (versión preliminar)
La creación de reflejo en Microsoft Fabric proporciona una experiencia sin problemas de ETL para integrar los datos existentes de Azure Cosmos DB con el resto de los datos en Microsoft Fabric. Los datos de Azure Cosmos DB se replican continuamente directamente en Fabric OneLake casi en tiempo real, sin ningún impacto en el rendimiento de las cargas de trabajo transaccionales ni en el consumo de Unidades de Solicitud (RU).
Los datos de OneLake se almacenan con el formato delta de código abierto y se facilitan automáticamente a todos los motores analíticos de Fabric.
Puede usar las funcionalidades integradas de Power BI para acceder a los datos en OneLake en modo DirectLake. Con las mejoras Copilot de Fabric, puede usar la eficacia de la inteligencia artificial generativa para obtener información clave sobre los datos empresariales. Además de Power BI, puede usar T-SQL para ejecutar consultas de agregado complejas o usar Spark para la exploración de datos. Puede acceder sin problemas a los datos de los cuadernos y usar la ciencia de datos para crear modelos de aprendizaje automático.
Importante
La creación de reflejo de Azure Cosmos DB se encuentra actualmente en versión preliminar. Las cargas de trabajo de producción no se admiten durante la versión preliminar. Actualmente, solo se admiten cuentas de Azure Cosmos DB for NoSQL.
¿Por qué usar reflejo en Fabric?
Con la creación de reflejos en Fabric, no es necesario unir diferentes servicios de varios proveedores. En su lugar, puede disfrutar de un producto altamente integrado, completo y fácil de usar, diseñado para simplificar sus necesidades analíticas y construido para la apertura.
Si busca informes o análisis de BI en los datos operativos de Azure Cosmos DB, la creación de reflejo proporciona:
- Sin ETL, el acceso casi en tiempo real rentable a los datos de Azure Cosmos DB sin afectar al consumo de unidades de solicitud.
- Facilidad para trasladar datos de varias fuentes en OneLake de Fabric
- Optimizaciones de tablas Delta con V-order para lecturas ultrarrápidas
- Integración en un solo clic con Power BI mediante Direct Lake y Copilot
- Información de la empresa enriquecida mediante la combinación de datos entre varios orígenes
- Integración de aplicaciones más completa para acceder a consultas y vistas
Los datos de OneLake se almacenan con el formato Delta Lake de código abierto, por lo que se pueden usar con varias soluciones de Microsoft u otras empresas. Este formato de datos simplifica la generación de un único patrimonio de datos para sus necesidades analíticas.
¿Qué experiencias analíticas están integradas?
Los catálogos reflejados son un elemento de Almacenamiento de datos de Fabric distinto del Almacén y del punto de conexión de análisis SQL.
Cada base de datos reflejada de Azure Cosmos DB tiene tres elementos con los que puede interactuar en el área de trabajo de Fabric:
- Elemento de base de datos reflejado. La creación de reflejo administra la replicación de datos en OneLake y la conversión a Parquet, en un formato listo para análisis. Esto permite escenarios posteriores, como la ingeniería de datos, la ciencia de datos y más.
- Punto de conexión de SQL Analytics, que se genera automáticamente
- Modelo semántico predeterminado, que se genera automáticamente
Base de datos reflejada
La base de datos reflejada muestra el estado de replicación y los controles para detener o iniciar la replicación en Fabric OneLake. También puede ver la base de datos de origen en modo de solo lectura mediante el explorador de datos de Azure Cosmos DB. Con el explorador de datos, puede ver los contenedores en la base de datos de Azure Cosmos DB de origen y consultarlos. Estas operaciones consumen unidades de solicitud (RU) de la cuenta de Azure Cosmos DB. Los cambios realizados en la base de datos de origen se reflejan inmediatamente en la vista de base de datos de origen de Fabric. No se permite escribir en la base de datos de origen de Fabric, ya que solo se pueden ver los datos.
Punto de conexión de análisis SQL
Cada base de datos replicada tiene un punto de conexión de análisis SQL generado automáticamente, que proporciona una experiencia analítica enriquecida sobre las tablas Delta de OneLake creadas en el proceso de replicación. Puede acceder a comandos de T-SQL conocidos para definir y consultar objetos de datos, pero no manipular los datos del punto de conexión de análisis SQL, ya que es una copia de solo lectura.
Puede realizar las siguientes acciones en el punto de conexión de análisis SQL:
- Explore las tablas de Delta Lake con T-SQL. Cada tabla se asigna a un contenedor de la base de datos de Azure Cosmos DB.
- Cree consultas y vistas sin código y explórelas visualmente sin escribir una línea de código.
- Combinar y consultar datos en otras bases de datos reflejadas, almacenes y lakehouses en la misma área de trabajo.
- Puede visualizar y compilar fácilmente informes de BI a partir de consultas o vistas SQL.
Además del editor de consultas SQL, hay un amplio ecosistema de herramientas. Estas herramientas incluyen la extensión mssql con Visual Studio Code, SQL Server Management Studio (SSMS) e incluso GitHub Copilot. Puede impulsar el análisis y la generación de conclusiones en la herramienta que prefiera.
Modelo semántico
El modelo semántico predeterminado es el de Power BI aprovisionado automáticamente. Esta característica permite crear, compartir y reutilizar métricas de negocio. Para obtener más información, consulte Modelos semánticos.
¿Cómo funciona la replicación casi en tiempo real?
Al habilitar la creación de reflejo en la base de datos de Azure Cosmos DB, inserta, actualiza y elimina operaciones en los datos de procesamiento de transacciones en línea (OLTP) se replica continuamente en Fabric OneLake para el consumo de análisis.
La característica de copia de seguridad continua es un requisito previo para la duplicación. Puede habilitar la copia de seguridad continua de 7 o 30 días en la cuenta de Azure Cosmos DB. Si va a habilitar la copia de seguridad continua específicamente para la creación de reflejo, se recomienda realizar una copia de seguridad continua de 7 días, ya que es gratis.
Nota:
La creación de reflejos no usa el almacén analítico ni la fuente de cambios de Azure Cosmos DB como origen de captura de datos modificados. Puede seguir usando estas funcionalidades de forma independiente, junto con la creación de reflejo.
Puede tardar unos minutos replicar tus datos de Azure Cosmos DB en OneLake de Fabric. En función de la instantánea inicial de los datos o de la frecuencia de actualizaciones y eliminaciones, la replicación también puede tardar más tiempo en algunos casos. La replicación no afecta a las unidades de solicitud (RU) asignadas para las cargas de trabajo transaccionales.
¿Qué esperar del espejo?
Hay algunas consideraciones y escenarios admitidos que debe tener en cuenta antes de la creación de reflejo.
Consideraciones sobre la configuración
Para reflejar una base de datos, esta debe estar aprovisionada en Azure. También debe habilitar la copia de seguridad continua en la cuenta como requisito previo.
- Solo puede reflejar cada base de datos individualmente a la vez. Puede elegir qué base de datos se va a reflejar.
- Es posible reflejar la misma base de datos varias veces dentro de la misma área de trabajo. Como procedimiento recomendado, se puede reutilizar una sola copia de la base de datos en almacenes, almacenes u otras bases de datos reflejadas. No es necesario configurar varios reflejos en la misma base de datos.
- También puede reflejar la misma base de datos en diferentes áreas de trabajo o inquilinos de Fabric.
- Los cambios en los contenedores de Azure Cosmos DB, como agregar nuevos contenedores o eliminar los existentes, se replican sin problemas en Fabric. Puede iniciar la creación de reflejo de una base de datos vacía sin contenedores, por ejemplo, y la creación de reflejo recoge sin problemas los contenedores agregados en un momento posterior.
Compatibilidad con datos anidados
Los datos anidados se muestran como una cadena JSON en las tablas de puntos de conexión de análisis SQL. Puede usar OPENJSON, CROSS APPLY y OUTER APPLY en consultas o vistas de T-SQL para expandir estos datos de forma selectiva. Si usa Power Query, también puede aplicar la función ToJson para expandir estos datos.
Nota:
Fabric tiene una limitación para las columnas de cadena con un tamaño de 8 KB. Para obtener más información consulte Limitaciones de almacenamiento de datos.
Gestionar cambios de esquema
La creación de reflejo replica automáticamente las propiedades en los elementos de Azure Cosmos DB, con cambios de esquema. Las nuevas propiedades detectadas en un elemento se muestran como columnas nuevas; las propiedades que faltan, si las hay, se representan como null en Fabric.
Si cambia el nombre de una propiedad de un elemento, las tablas de Fabric conservan las columnas antigua y nueva. La columna antigua mostrará null, y en la nueva aparecerá el valor más reciente para los elementos que se replican después de la operación de cambio de nombre.
Si cambia el tipo de datos de una propiedad en los elementos de Azure Cosmos DB, se admiten modificaciones para los tipos de datos compatibles que se pueden convertir. Si los tipos de datos no son compatibles con la conversión en Delta, se representan como valores null.
Las tablas de puntos de conexión de SQL Analytics convierten los tipos de datos Delta en tipos de datos T-SQL.
Nombres de columna duplicados
Azure Cosmos DB admite nombres de columna que no distinguen mayúsculas y minúsculas, según el estándar JSON. El reflejo admite estos nombres de columna duplicados añadiendo _n al nombre de la columna, donde n sería un valor numérico.
Por ejemplo, si el elemento de Azure Cosmos DB tiene addressName y AddressName como propiedades únicas, las tablas de Fabric mostrarán las columnas addressName y AddressName_1 correspondientes. Para obtener más información, consulte Limitaciones de la replicación.
Seguridad
Las conexiones a la base de datos de origen se basan en claves de cuenta para las cuentas de Azure Cosmos DB. Si gira o regenera las claves, debe actualizar las conexiones para asegurarse de que la replicación funciona. Para obtener más información, consulte Conexiones.
Las claves de cuenta no se muestran directamente a otros usuarios de Fabric una vez configurada la conexión. Puede limitar quién accede a las conexiones creadas en Fabric. Las escrituras no se permiten en la base de datos de Azure Cosmos DB desde el explorador de datos o el punto de conexión de análisis de la base de datos reflejada.
La función de reflejo no admite de momento la autenticación mediante claves de cuenta de solo lectura, inicio de sesión único (SSO) con Microsoft Entra IDs, control de acceso basado en roles ni identidades administradas.
Una vez que los datos se replican en Fabric OneLake, debe proteger el acceso a estos datos.
Características de protección de datos
La seguridad granular se puede configurar en la base de datos reflejada en Microsoft Fabric. Para obtener más información, consulte Permisos granulares en Microsoft Fabric.
Puede proteger los filtros de columna y los filtros de fila basados en predicados en las tablas para roles y usuarios de Microsoft Fabric:
- Seguridad de nivel de fila en el almacenamiento de datos de Fabric
- Seguridad de nivel de columna en el almacenamiento de datos de Fabric
También puede enmascarar datos confidenciales de usuarios que no son administradores mediante el enmascaramiento dinámico de datos:
Seguridad de red
Actualmente, el reflejo no admite puntos de conexión privados ni claves administradas por el cliente (CMK) en OneLake. La creación de reflejo no se admite para las cuentas de Azure Cosmos DB con configuraciones de seguridad de red menos permisivas que todas las redes, el uso de puntos de conexión de servicio, el uso de puntos de conexión privados, el uso de direcciones IP o cualquier otra configuración que pueda limitar el acceso de red pública a la cuenta. Las cuentas de Azure Cosmos DB deben estar accesibles desde todas las redes para funcionar con la replicación.
Latencia de replicación y recuperación ante desastres
En Fabric, puedes implementar contenido en centros de datos en regiones distintas a la región principal del inquilino de Fabric. Para obtener más información, consulte Soporte técnico multigeográfico.
Para una cuenta de Azure Cosmos DB con una región de escritura primaria y varias regiones de lectura, la creación de reflejo elige la región de lectura de Azure Cosmos DB más cercana a la región donde está configurada la capacidad de Fabric. Esta selección ayuda a proporcionar replicación de baja latencia para el espejado.
Al cambiar la cuenta de Azure Cosmos DB a una región de recuperación, el reflejo selecciona automáticamente de nuevo la región de Azure Cosmos DB más cercana.
Nota:
La creación de reflejo no admite cuentas con varias regiones de escritura.
Los datos de Cosmos DB replicados en OneLake deben configurarse para gestionar las interrupciones por toda la región. Para obtener más información, consulte Recuperación ante desastres en OneLake.
Explore sus datos con creación de reflejo
Puede ver los datos reflejados en OneLake y acceder directamente a ellos. También puede acceder fácilmente a los datos reflejados sin un mayor movimiento de datos.
Obtenga más información sobre cómo acceder a OneLake mediante las API o el SDK de ADLS Gen2, el explorador de archivos de OneLake y el explorador de Azure Storage.
Puede conectarse al punto de conexión de análisis SQL desde herramientas como SQL Server Management Studio (SSMS) o mediante controladores como la conectividad abierta de bases de datos de Microsoft (ODBC) y Java Database Connectivity (JDBC). Para obtener más información, consulte la Conectividad de punto de conexión de SQL Analytics.
También puede acceder a los datos reflejados con servicios como:
- Servicios de Azure, como Azure Databricks, Azure Synapse Analytics y Azure HDInsight.
- Fabric Lakehouse mediante accesos directos para escenarios de ingeniería de datos y ciencia de datos
- Otras bases de datos o almacenes reflejados en el área de trabajo de Fabric
También puedes construir soluciones de arquitectura de medallón, limpiando y transformando los datos que llegan a la base de datos reflejada como la capa de bronce. Para obtener más información, consulte la Compatibilidad de arquitectura de medallón en Fabric.
Precios
La computación de Fabric utilizada para replicar sus datos de Cosmos DB en Fabric OneLake es gratuita. El almacenamiento en OneLake está libre de costos según el tamaño de la capacidad. Para más información, consulte Precios de OneLake para la creación de reflejo. El uso de cómputo para consultar datos a través de SQL, Power BI o Spark se sigue cobrando en función de la Fabric Capacity.
Si usa el explorador de datos en la creación de reflejo de Fabric, acumulará costos típicos en función del uso de la unidad de solicitud (RU) para explorar los contenedores y consultar los elementos de la base de datos de Azure Cosmos DB de origen. La característica de copia de seguridad continua de Azure Cosmos DB es un requisito previo para la creación de reflejo: se aplican cargos estándar para la copia de seguridad continua. No hay cargos adicionales por la duplicación en la facturación de la copia de seguridad continua. Para obtener más información, consulte Precios de Azure Cosmos DB.