Compartilhar via

O que é o Azure Managed Lustre?

  • Artigo

O Lustre Gerenciado do Azure é um sistema de arquivos gerenciado que oferece armazenamento escalonável, poderoso e econômico para cargas de trabalho de HPC (computação de alto desempenho).

Aqui estão alguns dos principais recursos e benefícios do Lustre Gerenciado do Azure:

  • Acelerar cargas de trabalho de HPC: oferece uma solução de sistema de arquivos paralelo distribuído de alto desempenho, ideal para cargas de trabalho HPC que exigem alta taxa de transferência, baixa latência e compatibilidade de protocolo Lustre.
  • Serviço gerenciado específico para finalidade: fornece os benefícios de um sistema de arquivos paralelo Lustre sem a complexidade de gerenciar a infraestrutura subjacente. O Lustre Gerenciado do Azure é um serviço totalmente gerenciado que simplifica as operações, reduz os custos de instalação e elimina a manutenção complexa.
  • Integração do Armazenamento de Blobs do Azure: permite que você conecte sistemas de arquivos Lustre Gerenciado do Azure com contêineres de Armazenamento de Blobs do Azure para posicionamento otimizado de dados e gerenciamento de custos. Para obter mais informações, consulte Integração do Armazenamento de Blobs do Azure.
  • integração do AKS (Serviço de Kubernetes do Azure): permite que você conteinerize cargas de trabalho usando o driver CSI compatível com AKS disponível. Para obter mais informações, consulte Usar o Azure Managed Lustre com o Kubernetes.

O Lustre é um sistema de arquivos paralelos de software livre que pode ser dimensionado para tamanhos de armazenamento maciços, ao mesmo tempo em que fornece taxa de transferência de alto desempenho. O Lustre é usado pelos supercomputadores mais rápidos do mundo e em fluxos de trabalho centrados em dados para muitos tipos de indústrias. Para obter mais informações sobre Lustre, consulte https://www.lustre.org.

Segurança de dados no Azure Managed Lustre

Todos os dados armazenados no Azure são criptografados em repouso usando chaves gerenciadas do Azure por padrão. Se você quiser gerenciar as chaves usadas para criptografar os dados armazenados no cluster do Azure Managed Lustre, siga as instruções em Criptografia do lado do servidor do armazenamento em disco do Azure.

Todas as informações em um sistema de arquivos lustre gerenciado do Azure são protegidas pela criptografia de host de máquina virtual (VM) nos discos gerenciados que contêm seus dados, mesmo se você adicionar uma chave gerenciada pelo cliente para os discos Lustre. A adição de uma chave gerenciada pelo cliente oferece um nível extra de segurança para clientes com altas necessidades de segurança. Para obter mais informações, consulte Criptografia do lado do servidor do armazenamento em disco do Azure.

Observação

O Azure Managed Lustre não armazena dados do cliente fora da região na qual você implanta a instância de serviço.

Resiliência de dados no Azure Managed Lustre

Seu sistema de arquivos do Azure Managed Lustre usa discos gerenciados do Azure como discos de dados OST (destino de armazenamento de objetos).

Todos os sistemas de arquivos lustre gerenciados do Azure criados como um tipo de sistema de arquivos "durável" usam discos SSD Premium do Azure (unidade de estado sólido) configurados como LRS (armazenamento com redundância local). O conteúdo do disco LRS é replicado três vezes no data center local para proteger contra falhas de unidade e rack de servidor.

O próprio sistema de arquivos do Azure Managed Lustre também contribui para a resiliência de dados por meio dos processos de armazenamento de objetos que ele usa para armazenar dados nesses discos.

Se você precisar de redundância de dados regional ou global, poderá integrar seu sistema de arquivos ao Armazenamento de Blobs do Azure. Depois de integrado, você pode iniciar um trabalho de exportação para exportar arquivos para um contêiner de Armazenamento de Blobs do Azure com uma política de redundância diferente para armazenamento de longo prazo. Configure a redundância do Armazenamento de Blobs do Azure para a conta de armazenamento. Você pode escolher ZRS (redundância de dados zonal) ou GRS (redundância de dados global) ao criar a conta de armazenamento. Para saber mais sobre as opções de redundância de dados para seus arquivos do Azure Managed Lustre, consulte Tipos de conta de armazenamento com suporte.

Integração do Armazenamento de Blobs do Azure

Azure Blob Storage é integrado ao Managed Lustre do Azure, que permite especificar arquivos a serem importados de um container de blobs para uso do sistema de arquivos. A integração do Armazenamento de Blobs do Azure é um aplicativo do HSM (gerenciamento de armazenamento hierárquico) do Lustre. Não há necessidade de importar todo o conjunto de dados para cada trabalho. Em vez disso, você pode criar um sistema de arquivos diferente para trabalhos diferentes e armazenar dados em contêineres de blob do Azure de baixo custo entre os usos. Quando os trabalhos de computação de alto desempenho forem concluídos, você poderá exportar os dados alterados para o Armazenamento de Blobs do Azure e excluir o sistema Managed Lustre do Azure.

O Azure Managed Lustre é personalizado para funcionar perfeitamente com o Armazenamento de Blobs do Azure. Você pode especificar um contêiner de blob existente para tornar seus dados existentes acessíveis do sistema de arquivos Lustre Gerenciado do Azure. Você também pode especificar um contêiner vazio que você preenche com dados ou usar para armazenar sua saída. A configuração e a manutenção são feitas para você. Basta especificar qual contêiner de blob usar.

Se você integrar o Armazenamento de Blobs do Azure ao criar um sistema de arquivos Lustre, poderá usar os recursos do HSM Lustre. Se você não quiser os benefícios do HSM do Lustre, poderá importar e exportar dados para o sistema de arquivos Lustre Gerenciado do Azure usando diretamente os comandos do cliente.

Para saber mais sobre esse recurso, consulte Integração do Armazenamento de Blobs do Azure.

Usar o Azure Managed Lustre com o Kubernetes

Se você quiser usar um sistema de armazenamento do Azure Managed Lustre com seus contêineres do Kubernetes, poderá usar o driver CSI (interface de suporte de contêiner) do Azure Lustre para Kubernetes, que é compatível com o AKS (Serviço de Kubernetes do Azure). No momento, não há suporte para outros tipos de instalação do Kubernetes.

O Kubernetes pode simplificar a configuração e a implantação de pontos de extremidade de cliente virtual para sua carga de trabalho do Azure Managed Lustre, automatizando tarefas de instalação, como:

  • Criando Conjuntos de Dimensionamento de Máquinas Virtuais do Azure usados pelo AKS (Serviço de Kubernetes do Azure) para executar os pods.
  • Carregando o software cliente Lustre correto em instâncias de VM.
  • Especificando o ponto de montagem do Azure Managed Lustre e propagando essas informações para os pods do cliente.

O driver CSI do Azure Lustre para Kubernetes pode automatizar a instalação do software cliente e a montagem de unidades. O driver fornece um plug-in do controlador CSI como uma implantação com duas réplicas por padrão e um plug-in de nó CSI, como um DaemonSet. É possível alterar o número de réplicas.

Para saber mais sobre esse recurso, consulte Usar o driver CSI do Lustre Gerenciado do Azure com o Serviço de Kubernetes do Azure.

Para descobrir quais versões de driver usar, consulte Versões compatíveis do Kubernetes.

Conteúdo relacionado