IA responsável em cargas de trabalho do Azure

O objetivo da IA ​​responsável no design da carga de trabalho é ajudar a garantir que o uso de algoritmos de IA seja justo, transparente e inclusivo. Os princípios de segurança do Microsoft Azure Well-Architected Framework são inter-relacionados e se concentram em de confidencialidade e de integridade. As medidas de segurança devem estar em vigor para manter a privacidade do usuário, proteger os dados e proteger a integridade do design. O design não deve ser usado indevidamente para fins não intencionais.

Em cargas de trabalho de IA, os modelos geralmente usam lógica opaca para tomar decisões. Os usuários devem confiar na funcionalidade do sistema e se sentir confiantes de que os modelos tomam essas decisões com responsabilidade. Comportamentos inaceitáveis, como manipulação, toxicidade de conteúdo, violação de IP e respostas fabricadas, devem ser evitados.

Considere um caso de uso no qual uma empresa de entretenimento de mídia deseja fornecer recomendações usando modelos de IA. Se a empresa não implementar a IA responsável e os protocolos de segurança adequados, um ator incorreto poderá assumir o controle dos modelos. O modelo pode recomendar conteúdo que cause danos. Para a organização, esse comportamento pode resultar em danos à marca, ambientes não seguros e problemas legais. Portanto, manter a vigilância apropriada em todo o ciclo de vida do sistema é essencial e inegociável.

Você deve priorizar o gerenciamento de segurança e carga de trabalho e ter em mente os resultados humanos ao tomar decisões de design. Familiarize-se com a estrutura da Microsoft para IA responsável e garanta que você avalie e implemente os princípios da estrutura em seu design. A imagem a seguir mostra os principais conceitos da estrutura.

Este artigo fornece recomendações sobre a tomada de decisões responsável, validação da entrada do usuário e ajuda a garantir uma experiência segura do usuário. Ele também fornece diretrizes sobre segurança de dados para ajudar a proteger os dados do usuário.

Recomendações

A tabela a seguir resume as recomendações neste artigo.

Desenvolver políticas para IA responsável

Documente sua abordagem para uso responsável de IA. Declara explicitamente as políticas que você aplica em cada estágio do ciclo de vida para que a equipe de carga de trabalho entenda suas responsabilidades. Os padrões da Microsoft para IA responsável fornecem diretrizes, mas você deve definir o que essas diretrizes significam especificamente para seu contexto.

Por exemplo, as políticas devem incluir itens de lista de verificação para mecanismos que dão suporte à transparência de dados do usuário e à configuração de consentimento. Idealmente, esses mecanismos devem permitir que os usuários optem por não incluir dados. Pipelines de dados, análises, treinamento de modelos e outros estágios devem respeitar essa escolha. Outro exemplo são os procedimentos para lidar com o RTBF. Consulte o departamento de ética da sua organização e a equipe jurídica para tomar decisões informadas.

Crie políticas transparentes para uso de dados e tomada de decisão algorítmica para ajudar os usuários a entender e confiar no processo. Documente essas decisões para manter um histórico claro para possíveis litígios futuros.

A implementação responsável de IA inclui três funções principais: a equipe de pesquisa, a equipe de política e a equipe de engenharia. A colaboração entre essas equipes deve ser operacionalizada. Se sua organização tiver uma equipe existente, aproveite o trabalho deles. Caso contrário, estabeleça essas práticas por conta própria.

Cada equipe deve ter suas próprias responsabilidades. Por exemplo:

• A equipe de pesquisa realiza a descoberta de riscos consultando diretrizes organizacionais, padrões do setor, leis, regulamentações e táticas conhecidas de equipe vermelha.

• A equipe de política desenvolve políticas específicas para a carga de trabalho. Eles incorporam diretrizes da organização matriz e regulamentos governamentais.

• A equipe de engenharia implementa as políticas em seus processos e entregas. A equipe valida e testa a adesão.

Cada equipe formaliza suas diretrizes, mas a equipe de carga de trabalho deve ser responsável por suas próprias práticas documentadas. A equipe deve documentar claramente quaisquer etapas extras ou desvios intencionais para garantir que não haja ambiguidade sobre o que é permitido. A equipe também deve ser transparente sobre possíveis deficiências ou resultados inesperados na solução.

Impor governança em políticas para IA responsável

Projete sua carga de trabalho para estar em conformidade com a governança organizacional e regulatória. Por exemplo, se a transparência for um requisito organizacional, determine como ela se aplica à sua carga de trabalho. Identifique as áreas em seu design, ciclo de vida, código ou outros componentes em que você deve introduzir recursos de transparência para atender a esse padrão.

Entenda a governança, a responsabilidade, os conselhos de revisão e os mandatos de relatórios necessários. Verifique se seu conselho de governança aprova e ratifica os designs de carga de trabalho para evitar redesenhos e mitigar questões de segurança ou privacidade. Talvez seja necessário passar por várias camadas de aprovação. O diagrama a seguir descreve uma estrutura de governança típica em uma organização.

Para obter mais informações sobre políticas organizacionais e aprovadores, consulte Definir uma estratégia de IA responsável.

Torne a experiência do usuário segura

As experiências do usuário devem ser baseadas nas diretrizes do setor. Use a Microsoft Human-AI Experiences Design Library, que inclui princípios e fornece diretrizes de implementação. Ele também fornece exemplos de produtos da Microsoft e de outras fontes do setor.

Há responsabilidades de carga de trabalho ao longo do ciclo de vida da interação do usuário. Eles começam com a intenção de um usuário de usar o sistema e continuam durante uma sessão e durante quaisquer interrupções que os erros do sistema causam. Considere as seguintes práticas:

• Criar transparência. Lembre os usuários de como o sistema gera respostas para sua consulta.

  Inclua links para fontes de dados que o modelo consulta para previsões. Essa prática aumenta a confiança do usuário mostrando-lhes as origens das informações. O design de dados deve incluir essas fontes nos metadados. Por exemplo, quando o orquestrador em um aplicativo de recuperação aumentada executa uma pesquisa, ele recupera 20 partes de documento e envia as 10 partes principais para o modelo como contexto. As dez partes principais pertencem a três documentos diferentes. A interface do usuário pode referenciar esses três documentos de origem quando exibir a resposta do modelo. Essa transparência aumenta a confiança do usuário.

  A transparência torna-se mais importante quando você usa agentes, que atuam como intermediários entre interfaces front-end e sistemas de back-end. Por exemplo, em um sistema de tíquetes, o código de orquestração interpreta a intenção do usuário e faz chamadas de API (interface de programação de aplicativo) aos agentes para recuperar as informações necessárias. Expor essas interações ajuda a conscientizar o usuário sobre as ações do sistema.

  Para fluxos de trabalho automatizados que incluem vários agentes, crie arquivos de log que registram cada etapa. Os arquivos de log podem ajudá-lo a identificar e corrigir erros. Eles também dão aos usuários uma explicação para as decisões, que operacionalizam a transparência.

  Cuidado

  Ao implementar recomendações de transparência, evite sobrecarregar o usuário com muita informação. Adotar uma abordagem gradual usando métodos de interface do usuário minimamente disruptivos.

  Por exemplo, exiba um tooltip que mostre uma pontuação de confiança do modelo. Você pode incorporar links, como links para documentos de origem, que os usuários podem selecionar para obter mais detalhes. Esse método iniciado pelo usuário mantém a interface não disruptiva e permite que os usuários busquem mais informações somente se optarem por.

• Coletar comentários. Implemente mecanismos de feedback.

  Evite sobrecarregar os usuários com questionários extensos após cada resposta. Em vez disso, use mecanismos de comentários rápidos e simples, como polegares para cima ou polegares para baixo, ou um sistema de classificação para aspectos específicos da resposta em uma escala de 1 a 5. Esses métodos ajudam a melhorar o sistema ao longo do tempo e permitem comentários granulares sem serem intrusivos. Esteja atento a possíveis problemas de imparcialidade nos comentários porque pode haver razões secundárias por trás das respostas do usuário.

  A implementação de um mecanismo de comentários afeta a arquitetura devido à necessidade de armazenamento de dados. Trate comentários como dados do usuário e aplique níveis de controle de privacidade conforme necessário.

  Além do feedback de resposta, colete feedback sobre a eficácia da experiência do usuário. Colete métricas de envolvimento por meio do conjunto de ferramentas de monitoramento do sistema.

Operacionalizar medidas de segurança de conteúdo

Integre a segurança de conteúdo a cada estágio do ciclo de vida da IA usando código de solução personalizado, ferramentas apropriadas e práticas de segurança eficazes. Considere as seguintes estratégias:

• Anonimizar dados. À medida que os dados são movidos da ingestão para treinamento ou avaliação, implemente verificações ao longo do caminho para minimizar o risco de vazamento de informações pessoais e evitar a exposição bruta de dados do usuário.

• Conteúdo moderado. Use a API de segurança de conteúdo que avalia solicitações e respostas em tempo real. Verifique se essas APIs estão acessíveis.

• Identificar e atenuar ameaças. Aplique práticas de segurança conhecidas aos cenários de IA. Por exemplo, realize a modelagem de ameaças e documente as ameaças e como as atenua. Práticas de segurança típicas, como exercícios de equipe vermelha, se aplicam a cargas de trabalho de IA. As equipes vermelhas podem testar se os modelos podem ser manipulados para gerar conteúdo prejudicial. Essas atividades devem ser integradas às operações de IA.

  Para obter informações, consulte Planeje o agrupamento vermelho para grandes modelos de linguagem e suas aplicações.

• Use as métricas corretas. Use métricas que medem efetivamente o comportamento do modelo. As métricas variam dependendo do tipo de modelo de IA. Em alguns casos, a medida de modelos generativos pode não se aplicar a modelos de regressão. Por exemplo, um modelo prevê a expectativa de vida e os resultados afetam as taxas de seguro. Questões de imparcialidade neste modelo podem resultar em danos relacionados à imparcialidade. Esse problema decorre de desvios no teste de métrica principal porque as métricas de precisão e imparcialidade normalmente são interconectadas. Melhore a precisão para ajudar a reduzir danos relacionados à justiça.

• Adicione a instrumentação apropriada. Os resultados do modelo de IA devem ser explicáveis. Você precisa justificar e traçar como as inferências são feitas, incluindo os dados de treinamento, os recursos calculados e os dados de base. Na IA discriminativa, você pode justificar as decisões passo a passo. No entanto, para modelos generativos, explicar os resultados pode ser complexo. Documente o processo de tomada de decisão para abordar possíveis implicações legais e fornecer transparência.

  Você deve implementar esse aspecto explicativo durante todo o ciclo de vida da IA. A limpeza, a linhagem, os critérios de seleção e o processamento de dados são estágios críticos em que as decisões devem ser rastreadas.

Ferramentas

Integre ferramentas para segurança de conteúdo e rastreabilidade de dados, como Microsoft Purview. As APIs de Segurança de Conteúdo de IA do Azure podem ser chamadas de seus testes para facilitar o teste de segurança de conteúdo.

O Azure AI Foundry fornece métricas que avaliam o comportamento do modelo. Para obter mais informações, consulte Métricas de avaliação e monitoramento para IA generativa.

Para modelos de treinamento, consulte as métricas fornecidas pelo Azure Machine Learning.

Inspecionar dados de entrada e saída

Ataques de injeção imediata, como jailbreak, são uma preocupação comum para cargas de trabalho de IA. Nesse caso, alguns usuários podem tentar usar indevidamente o modelo para fins não intencionais. Para ajudar a garantir a segurança, inspeciona dados para evitar ataques e filtrar o conteúdo inadequado. Aplique essa análise à entrada do usuário e às respostas do sistema para ajudar a garantir uma moderação completa de conteúdo em fluxos de entrada e fluxos de saída.

Em alguns casos, você precisa fazer várias invocações de modelo, como por meio do Serviço OpenAI do Azure, para atender a uma única solicitação de cliente. Nesses cenários, a aplicação de verificações de segurança de conteúdo a cada invocação pode ser dispendiosa e desnecessária. Considere centralizar esse trabalho na arquitetura, mantendo a segurança como uma responsabilidade do lado do servidor. Suponha que uma arquitetura tenha um gateway na frente do ponto de extremidade de inferência do modelo para descarregar recursos específicos de back-end. Você pode projetar esse gateway para lidar com verificações de segurança de conteúdo para solicitações e respostas que o back-end pode não dar suporte nativamente. Embora um gateway seja uma solução comum, uma camada de orquestração pode lidar com essas tarefas efetivamente em arquiteturas mais simples. Em ambos os casos, você pode aplicar seletivamente essas verificações quando necessário, o que otimiza o desempenho e o custo.

As inspeções devem ser multimodais e abranger vários formatos. Quando você usa entradas multimodais, como imagens, é importante analisá-las para identificar mensagens ocultas que possam ser prejudiciais ou violentas. Essas mensagens podem não estar imediatamente visíveis, portanto, exigem uma inspeção cuidadosa. Use ferramentas como APIs de segurança de conteúdo para essa finalidade.

Para ajudar a impor políticas de privacidade e segurança de dados, inspecione os dados do usuário e os dados de base para garantir conformidade com as regulamentações de privacidade. Verifique se os dados estão higienizados ou filtrados à medida que fluem pelo sistema. Por exemplo, dados de conversas anteriores de suporte ao cliente podem servir como dados de referência. Esses dados devem ser higienizados antes da reutilização.

Manipular dados do usuário adequadamente

As práticas responsáveis envolvem o tratamento cuidadoso do gerenciamento de dados do usuário. Esse gerenciamento inclui saber quando usar dados e quando evitar depender de dados do usuário.

• Pratique a inferência sem compartilhar dados do usuário. Para compartilhar com segurança os dados do usuário com outras organizações para obter insights, use um modelo de câmara de compensação. Nesse cenário, as organizações fornecem dados a um parceiro confiável que treina o modelo usando os dados agregados. Em seguida, todas as instituições podem usar esse modelo e compartilhar insights sem expor conjuntos de dados individuais. O objetivo é usar os recursos de inferência do modelo sem compartilhar dados de treinamento detalhados.

• Promover a diversidade e a inclusividade. Quando os dados do usuário forem necessários, use uma variedade diversificada de dados, incluindo gêneros sub-representados e criadores, para atenuar os danos relacionados à imparcialidade. Implemente recursos que incentivem os usuários a explorar conteúdo novo e variado. Monitore o uso continuamente e ajuste as recomendações para evitar a superrepresentação de qualquer tipo de conteúdo único.

• Respeite o RTBF. Evite usar dados do usuário quando possível. Ajude a garantir a conformidade com o RTBF, tendo as medidas necessárias em vigor para garantir que os dados do usuário sejam excluídos diligentemente.

  Para ajudar a garantir a conformidade, pode haver solicitações para remover dados do usuário do sistema. Para modelos menores, você pode remover dados do usuário retreinando o modelo usando dados que excluem informações pessoais. Para modelos maiores, que podem consistir em vários modelos menores e treinados independentemente, o processo é mais complexo e o custo e o esforço são significativos. Procure orientação jurídica e ética sobre como lidar com essas situações e garanta que as orientações sejam incluídas nas suas políticas de para IA responsável.

• Retenha os dados com responsabilidade. Quando a exclusão de dados não for possível, obtenha o consentimento explícito do usuário para a coleta de dados e forneça políticas de privacidade claras. Colete e retenha dados somente quando absolutamente necessário. Tenha operações em vigor para remover dados agressivamente quando eles não forem mais necessários. Por exemplo, limpe o histórico de bate-papo assim que possível e anonimize os dados confidenciais antes da retenção. Use métodos avançados de criptografia para esses dados em repouso.

• Suporte à explicabilidade. Rastreie decisões no sistema para dar suporte aos requisitos de explicabilidade. Desenvolva explicações claras sobre como os algoritmos de recomendação funcionam. Forneça aos usuários informações sobre por que o conteúdo específico é recomendado para eles. O objetivo é garantir que as cargas de trabalho de IA e seus resultados sejam transparentes e justificáveis detalhando como tomam decisões, quais dados usam e como os modelos foram treinados.

• Criptografar dados do usuário. Os dados de entrada devem ser criptografados em cada estágio do pipeline de processamento de dados a partir do momento em que o usuário insere dados. Esses estágios incluem dados à medida que eles se movem de um ponto para outro, dados que são armazenados e dados que são inferidos, se necessário. Equilibre a segurança e a funcionalidade e tente manter os dados privados durante todo o seu ciclo de vida.

• Forneça controles de acesso robustos. Vários tipos de identidades podem acessar dados do usuário. Implemente o controle de acesso baseado em função para o plano de controle e o plano de dados para que ele cubra a comunicação do usuário e do sistema para o sistema.

  Mantenha a segmentação de usuário adequada para proteger a privacidade. Por exemplo, o Microsoft 365 Copilot pode pesquisar e fornecer respostas com base nos documentos e emails específicos de um usuário, garantindo que apenas o conteúdo relevante para esse usuário seja acessado.

• Reduza a área da superfície. Uma estratégia fundamental do pilar Well-Architected Framework Security é minimizar a superfície de ataque e proteger os recursos. Você deve aplicar essa estratégia a práticas de segurança de ponto de extremidade padrão controlando firmemente os pontos de extremidade da API, expondo apenas dados essenciais e evitando informações desnecessárias em respostas. Balancee a opção de design entre flexibilidade e controle.

  Certifique-se de que não haja nenhum ponto de extremidade anônimo. Em geral, evite dar aos usuários mais controle do que o necessário. Na maioria dos cenários, os usuários não precisam ajustar hiperparâmetros, exceto em ambientes experimentais. Para casos de uso típicos, como interagir com um agente virtual, os usuários só devem controlar aspectos essenciais para ajudar a garantir a segurança limitando o controle desnecessário.

Para obter mais informações, consulte Design de aplicativo para cargas de trabalho de IA no Azure.

Próxima etapa