CI/CD para pipelines no Data Factory no Microsoft Fabric

No Fabric Data Factory, a CI/CD (integração contínua e desenvolvimento contínuo) automatiza a integração, o teste e a implantação de alterações de código para garantir um desenvolvimento eficiente e confiável.

No Fabric, há dois recursos para os quais atualmente oferecemos suporte em colaboração com a equipe do Gerenciamento do Ciclo de Vida do Aplicativo (ALM): pipelines de integração e implantação do Git. Esses recursos permitem que os usuários importem/exportem recursos de workspace com atualizações individuais.

A solução CI/CD do Fabric Data Factory se desvia do modelo do Azure Data Factory em que são preferenciais atualizações de fábrica inteiras usando a metodologia de exportação de modelo do ARM. Essa mudança na metodologia permite que os clientes escolham seletivamente quais pipelines atualizar sem pausar todo o alocador. Tanto a integração do Git (traga seu próprio Git) quanto os pipelines de implantação (CI/CD integrado) usam o conceito de associar um único espaço de trabalho a um único ambiente. É necessário mapear diferentes espaços de trabalho para os diferentes ambientes, como os de desenvolvimento, teste e produção.

Por que os desenvolvedores usam a CI/CD

A CI/CD é uma prática que automatiza a entrega de software e resolve alguns pontos problemáticos proeminentes:

• Problemas manuais de integração: sem a CI/CD, a integração manual de alterações de código pode levar a conflitos e erros, retardando o desenvolvimento.
• Atrasos no desenvolvimento: implantações manuais são demoradas e propensas a erros, levando a atrasos na entrega de novos recursos e atualizações.
• Ambientes inconsistentes: ambientes diferentes (desenvolvimento, teste e produção) podem ter inconsistências, causando problemas difíceis de depurar.
• Falta de visibilidade: sem a CI/CD, acompanhar as alterações e entender o estado da base de código pode ser desafiador.

Noções básicas sobre pipelines de CI/CD, Git e implantação

A CI/CD consiste em integração contínua e implantação contínua.

CI (Integração contínua)

Os desenvolvedores frequentemente se comprometem com uma ramificação principal gerenciada pelo Git, disparando testes automatizados e compilações para integração. O Git rastreia as alterações para habilitar a busca automática e o teste de novas confirmações.

CD (implantação contínua)

Concentra-se na implantação de alterações verificadas nos desenvolvimentos de produção por meio de estágios de implantação estruturados em pipelines de implantação.

Integração do Git com pipelines do Data Factory

O Git é um sistema de controle de versão que permite que os desenvolvedores acompanhem as alterações em sua base de código (ou definições de código JSON, no caso de pipelines) e colaborem com outras pessoas. Ele fornece um repositório centralizado em que as alterações de código são armazenadas e gerenciadas. Atualmente, o Git tem suporte no Fabric por meio do GitHub ou do Azure DevOps. Há alguns principais itens essenciais de fluxo de trabalho para entender ao trabalhar com o Git.

• Ramificação principal: a ramificação principal, às vezes chamado de ramificação mestre , mantém o código pronto para produção.
• Ramificações de recursos: essas ramificações são separados do ramificação principal e permitem o desenvolvimento isolado sem alterá-la.
• Solicitações pull (PRs): os PRs permitem que os usuários proponham, examinem e discutam alterações antes da integração.
• Mesclagem: isso ocorre quando as alterações são aprovadas. O Git integra essas alterações, atualizando continuamente o projeto.

Pipelines de implantação para o Git

Os pipelines de implantação são fortemente integrados ao Git. Quando um desenvolvedor envia por push alterações de código para o repositório do Git, ele dispara o pipeline de CI/CD. Essa integração garante que as alterações de código mais recentes sejam sempre testadas e implantadas automaticamente.

Estágios e trabalhos

Os pipelines de implantação consistem em vários estágios e trabalhos em cada estágio. Normalmente, esses estágios são separados em três ambientes: desenvolvimento (compilação de código), teste (execução de testes) e produção (implantação do aplicativo). O pipeline progride por esses estágios, garantindo que o código seja completamente testado e implantado de maneira controlada.

Fluxos de trabalho automatizados

Os pipelines de implantação automatizam todo o processo de criação, teste e implantação de código. Essa automação reduz o risco de erro humano, acelera o processo de desenvolvimento e garante que as alterações de código sejam entregues de forma consistente e confiável à produção.

Introdução à integração do Git para pipelines do Data Factory

Execute as seguintes etapas para configurar a integração do Git para os pipelines no Data Factory:

Pré-requisitos para integração do Git

Para acessar o Git com o seu workspace do Microsoft Fabric, certifique-se de ter os pré-requisitos a seguir para o Fabric e o Git.

• Uma licença do Power BI Premium ou uma capacidade do Fabric.
• Habilitou as seguintes opções de locatário do portal de administração:
  • Usuários podem criar itens do Fabric
  • Os usuários podem sincronizar itens do espaço de trabalho com seus repositórios do Git
  • (Somente para usuários do GitHub) Os usuários podem sincronizar itens de workspace com repositórios do GitHub
• Uma conta do Azure DevOps ou do GitHub.
  • Para uma conta do Azure DevOps:
    • Uma conta ativa do Azure registrada para o mesmo usuário que está utilizando o espaço de trabalho do Fabric. Criar uma conta gratuita.
    • Acesso a um repositório existente
  • Para uma conta do GitHub:
    • Uma conta do GitHub ativa. Criar uma conta gratuita.
    • Um token refinado com permissões de leitura e gravação para Conteúdo, em permissões de repositório, ou um token clássico do GitHub com escopos de repositório habilitados.

Etapa 1: Conectar-se a um repositório Git

Para usar a integração do Git com os pipelines do Data Factory no Fabric, primeiro você precisa se conectar a um repositório Git, conforme descrito aqui.

1. Entre no Fabric e navegue até o workspace que você deseja conectar ao Git.

2. Selecione Configurações do workspace.

   

3. Selecionar Integração do Git.

4. Selecione seu provedor Git. Atualmente, o Fabric dá suporte apenas ao Azure DevOps ou ao GitHub. Se você usar o GitHub, será necessário selecionar Adicionar conta para conectar a sua conta do GitHub. Depois de entrar, selecione Conectar para permitir que o Fabric acesse sua conta do GitHub.

   

Etapa 2: Conectar-se a um workspace

Depois de se conectar a um repositório Git, você precisará se conectar a um workspace, conforme descrito aqui.

1. No menu suspenso, especifique os seguintes detalhes sobre a filial à qual você quer se conectar:

   1. Para conexões de branch do Azure DevOps, especifique os seguintes detalhes:

      • Organização: o nome da organização do Azure DevOps.
      • Projeto: o nome do projeto do Azure DevOps.
      • Repositório: o nome do repositório do Azure DevOps.
      • Branch: o nome da ramificação do Azure DevOps.
      • Pasta: o nome da pasta do Azure DevOps.

   2. Para conexões de branch do GitHub, especifique os seguintes detalhes:

      • URL do repositório: a URL do repositório do GitHub.
      • Branch: o nome da ramificação do GitHub.
      • Pasta: o nome da pasta do GitHub.

2. Selecione Conectar e sincronizar.

3. Depois de se conectar, o workspace exibirá informações sobre o controle do código-fonte que permitem que os usuários exibam o branch conectado, o status de cada item no branch e a hora da última sincronização.

   

Etapa 3: Confirmar alterações no Git

Depois de se conectar a um repositório Git e ao espaço de trabalho, você poderá confirmar alterações no Git, conforme descrito aqui.

1. Acesse o workspace.

2. Selecione o ícone Controle do código-fonte. Esse ícone mostra o número de alterações não confirmadas.

   

3. Selecione a guia Alterações no painel Controle do código-fonte. Aparece uma lista com todos os itens que você alterou e um ícone indicando o status: Novo , Modificado, Conflito, ou Excluído.

4. Selecione os itens que deseja confirmar. Para selecionar todos os itens, marque a caixa superior.

5. (Opcional) Adicione um comentário de confirmação na caixa.

6. Selecione Confirmar.

   

Depois que as alterações forem confirmadas, os itens confirmados serão removidos da lista e o espaço de trabalho apontará para a nova confirmação com a qual foi sincronizado.

Etapa 4: (Opcional) Atualizar o espaço de trabalho do Git

1. Acesse o workspace.

2. Selecione o ícone Controle do código-fonte.

3. Selecione Atualizações no painel Controle do código-fonte. Uma lista aparece com todos os itens que foram alterados na ramificação da fonte de conexão do Git desde a última atualização.

4. Selecione Atualizar tudo.

   

Depois que a atualização for bem-sucedida, a lista de itens será removida e o espaço de trabalho apontará para a nova confirmação com a qual está sincronizado.

Introdução aos pipelines de implantação do Git

Execute as etapas a seguir para usar pipelines de implantação do Git com o seu workspace do Fabric.

Pré-requisitos para pipelines de implantação

Antes de começar, certifique-se de configurar os seguintes pré-requisitos:

• Uma assinatura ativa do Microsoft Fabric.
• Acesso de administrador de um workspace do Fabric.

Etapa 1: Criar um pipeline de implantação

1. No submenu Workspaces, selecione Pipelines de implantação.

   

2. Selecione Criar pipeline ou + Novo pipeline.

Etapa 2: Nomear o pipeline e atribuir estágios

1. Na caixa de diálogo Criar pipeline de implantação, insira um nome e uma descrição para o pipeline e clique em Avançar.

2. Configure a estrutura do seu pipeline de implantação definindo as fases exigidas para seu pipeline de implantação. Por padrão, o pipeline tem três estágios: Desenvolvimento, Teste e Produção.

   

   Você pode adicionar, excluir ou renomear os estágios digitando um novo nome na caixa. Ao final, selecione Criar (ou Criar e continuar).

   

Etapa 3: Atribuir um workspace ao pipeline de implantação

Depois de criar um pipeline, você precisa adicionar conteúdo que deseja gerenciar ao pipeline. Adiciona conteúdo ao pipeline atribuindo um workspace ao estágio do pipeline. É possível atribuir um workspace a qualquer estágio. Siga as instruções para Atribuir um workspace a um pipeline.

Etapa 4: Implantar em um estágio vazio

1. Quando terminar de trabalhar com conteúdo em um estágio de pipeline, você poderá implantá-lo no próximo estágio. Os pipelines de implantação oferecem três opções para implantação de conteúdo:

   • Implantação completa: implante todo o conteúdo no estágio de destino.
   • Implantação seletiva: selecione qual conteúdo implantar no estágio de destino.
   • Implantação retroativa: implante conteúdo de um estágio posterior em um estágio anterior no pipeline. No momento, a implantação reversa só é possível quando o estágio de destino está vazio (não tem nenhum workspace atribuído a ele).

2. Depois de escolher como implantar o seu conteúdo, você pode examinar a sua implantação e deixar uma observação.

Etapa 5: Implantar conteúdo de um estágio para outro

1. Uma vez que você tenha conteúdo em uma fase do pipeline, poderá implantá-lo na fase seguinte, mesmo que o espaço de trabalho da fase seguinte tenha conteúdo. Os itens emparelhados são substituídos. Você pode saber mais sobre este processo, na seção Implantar conteúdo em um workspace existente.
2. É possível revisar o histórico de implantações para ver a última vez que o conteúdo foi implantado em cada estágio. Para examinar as diferenças entre os dois pipelines antes de implantar, confira Comparar conteúdo em diferentes estágios de implantação.

Limitações conhecidas

As seguintes limitações conhecidas se aplicam a CI/CD para os pipelines no Data Factory no Microsoft Fabric:

• Variáveis de workspace: o CI/CD atualmente não dá suporte a variáveis de workspace.
• Suporte limitado para Integração do Git: atualmente, o Fabric só dá suporte à integração do Git com o Azure DevOps e o GitHub. A integração do Git do Azure DevOps é recomendada, pois a integração do Git do GitHub tem mais limitações.
• Atividades de pipeline com conectores OAuth: para MS Teams e conectores do Outlook, ao implantar em um ambiente mais alto, os usuários devem abrir manualmente cada pipeline e entrar em cada atividade, o que é uma limitação atualmente.
• Pipelines invocando fluxos de dados: quando um pipeline que invoca um fluxo de dados é promovido, ele ainda fará referência ao fluxo de dados no espaço de trabalho anterior, que está incorreto. Esse comportamento ocorre porque atualmente não há suporte para fluxos de dados em pipelines de implantação.

Conteúdo relacionado

• Introdução ao processo de CI/CD como parte do ciclo ALM no Microsoft Fabric
• Introdução à integração do Git, a ferramenta de Gerenciamento do Ciclo de Vida do Aplicativo (ALM) do Fabric
• Introdução ao uso dos pipelines de implantação, a ferramenta de Gerenciamento do Ciclo de Vida do Aplicativo (ALM) do Fabric
• Blog: Explorar funcionalidades de CI/CD no Microsoft Fabric: Foco em pipelines