Inteligencia artificial responsable en cargas de trabajo de Azure

El objetivo de la inteligencia artificial responsable en el diseño de cargas de trabajo es ayudar a garantizar que el uso de algoritmos de inteligencia artificial sea justo, transparentey inclusivo. Los principios de seguridad del marco de buena arquitectura de Microsoft Azure están interrelacionados y se centran en la confidencialidad e integridad. Las medidas de seguridad deben aplicarse para mantener la privacidad del usuario, proteger los datos y proteger la integridad del diseño. El diseño no debe usarse incorrectamente con fines no deseados.

En las cargas de trabajo de IA, los modelos suelen usar lógica opaca para tomar decisiones. Los usuarios deben confiar en la funcionalidad del sistema y sentirse seguros de que los modelos toman estas decisiones de forma responsable. Deben evitarse comportamientos inaceptables, como la manipulación, la toxicidad del contenido, la infracción de la propiedad intelectual y las respuestas fabricadas.

Considere un caso de uso en el que una empresa de entretenimiento multimedia quiere proporcionar recomendaciones mediante modelos de IA. Si la empresa no implementa la inteligencia artificial responsable y los protocolos de seguridad adecuados, un actor incorrecto podría tomar el control de los modelos. El modelo puede recomendar contenido que cause daños. Para la organización, este comportamiento puede provocar daños en la marca, entornos no seguros y problemas legales. Por lo tanto, mantener la vigilancia adecuada a lo largo del ciclo de vida del sistema es esencial y no negociable.

Debe priorizar la seguridad y la administración de cargas de trabajo y tener en cuenta los resultados humanos al tomar decisiones de diseño. Familiarícese con el marco de trabajo de Microsoft para la inteligencia artificial responsable y asegúrese de medir e implementar los principios del marco en su diseño. En la imagen siguiente se muestran los conceptos básicos del marco de trabajo.

En este artículo se proporcionan recomendaciones sobre la toma de decisiones responsable, la validación de la entrada del usuario y la ayuda a garantizar una experiencia de usuario segura. También proporciona instrucciones sobre la seguridad de los datos para ayudar a proteger los datos de usuario.

Recomendaciones

En la tabla siguiente se resumen las recomendaciones de este artículo.

Desarrollo de directivas para la inteligencia artificial responsable

Documente su enfoque para el uso responsable de la inteligencia artificial. Indique explícitamente las políticas que se aplican en cada fase del ciclo de vida para que el equipo de trabajo comprenda sus responsabilidades. Los estándares de Microsoft para la inteligencia artificial responsable proporcionan directrices, pero debe definir lo que estas directrices significan específicamente para su contexto.

Por ejemplo, las directivas deben incluir elementos de lista de comprobación para los mecanismos que admiten la transparencia de los datos de usuario y la configuración de consentimiento. Lo ideal es que estos mecanismos permitan a los usuarios no participar en la inclusión de datos. Las canalizaciones de datos, el análisis, el entrenamiento del modelo y otras fases deben respetar esa opción. Otro ejemplo es los procedimientos para controlar el RTBF. Consulte al departamento de ética de su organización y al equipo legal para tomar decisiones informadas.

Cree directivas transparentes para el uso de datos y la toma de decisiones algorítmicas para ayudar a los usuarios a comprender y confiar en el proceso. Documente estas decisiones para mantener un historial claro para posibles litigios futuros.

La implementación de inteligencia artificial responsable incluye tres roles clave: el equipo de investigación, el equipo de directivas y el equipo de ingeniería. La colaboración entre estos equipos debe estar operativa. Si su organización tiene un equipo existente, use su trabajo. De lo contrario, establezca estas prácticas usted mismo.

Cada equipo debe tener sus propias responsabilidades. Por ejemplo:

• El equipo de investigación lleva a cabo la detección de riesgos mediante la consultoría de directrices organizativas, estándares del sector, leyes, reglamentos y tácticas conocidas del equipo rojo.

• El equipo de políticas desarrolla políticas específicas de la carga de trabajo. Incorporan directrices de la organización primaria y las regulaciones gubernamentales.

• el equipo de ingeniería implementa las directivas en sus procesos y resultados. El equipo valida y comprueba la adhesión.

Cada equipo formaliza sus directrices, pero el equipo de cargas de trabajo debe ser responsable de sus propias prácticas documentadas. El equipo debe documentar claramente los pasos adicionales o las desviaciones intencionadas para asegurarse de que no hay ambigüedad sobre lo que se permite. El equipo también debe ser transparente sobre las posibles deficiencias o resultados inesperados en la solución.

Aplicación de la gobernanza en las directivas para la inteligencia artificial responsable

Diseñe la carga de trabajo para cumplir con la gobernanza organizativa y normativa. Por ejemplo, si la transparencia es un requisito organizativo, determine cómo se aplica a la carga de trabajo. Identifique las áreas del diseño, el ciclo de vida, el código u otros componentes en los que debe introducir características de transparencia para cumplir ese estándar.

Comprenda la gobernanza, la responsabilidad, los paneles de revisión y los mandatos de informes necesarios. Asegúrese de que el consejo de gobernanza apruebe y ratifique los diseños de cargas de trabajo para evitar rediseños y mitigar los problemas de seguridad o privacidad. Es posible que tenga que pasar por varias capas de aprobación. En el diagrama siguiente se describe una estructura de gobernanza típica de una organización.

Para obtener más información sobre las directivas y aprobadores de la organización, consulte Definición de una estrategia de inteligencia artificial responsable.

Hacer que la experiencia del usuario sea segura

Las experiencias de usuario deben basarse en las directrices del sector. Usa la biblioteca de diseño Microsoft Human-AI Experiences , que incluye principios y proporciona guías de implementación. También proporciona ejemplos de productos de Microsoft y otros orígenes del sector.

Hay responsabilidades de carga de trabajo durante todo el ciclo de vida de la interacción del usuario. Comienzan con la intención de un usuario de usar el sistema y continúan durante una sesión y durante las interrupciones que provocan los errores del sistema. Tenga en cuenta los procedimientos siguientes:

• Construye transparencia. Haga que los usuarios sepan cómo el sistema genera respuestas a su consulta.

  Incluya vínculos a orígenes de datos que el modelo consulta para obtener predicciones. Esta práctica aumenta la confianza del usuario mostrando los orígenes de la información. El diseño de datos debe incluir estos orígenes en los metadatos. Por ejemplo, cuando el orquestador de una aplicación aumentada por recuperación realiza una búsqueda, recupera 20 fragmentos de documento y envía los 10 fragmentos principales al modelo como contexto. Los 10 fragmentos principales pertenecen a tres documentos diferentes. A continuación, la interfaz de usuario puede hacer referencia a estos tres documentos de origen cuando muestra la respuesta del modelo. Esta transparencia aumenta la confianza del usuario.

  La transparencia es más importante cuando se usan agentes, que actúan como intermediarios entre interfaces front-end y sistemas back-end. Por ejemplo, en un sistema de tickets, el código de orquestación interpreta la intención del usuario y realiza llamadas de API (interfaz de programación de aplicaciones) a agentes para recuperar la información necesaria. Exponer estas interacciones ayuda a que el usuario tenga en cuenta las acciones del sistema.

  Para flujos de trabajo automatizados que incluyen varios agentes, cree archivos de registro que registren cada paso. Los archivos de registro pueden ayudarle a identificar y corregir errores. También proporcionan a los usuarios una explicación de las decisiones, que operacionalizan la transparencia.

  Precaución

  Al implementar recomendaciones de transparencia, evite sobrecargar al usuario con demasiada información. Tome un enfoque gradual mediante el uso de métodos de interfaz de usuario mínimamente disruptivos.

  Por ejemplo, muestre una etiqueta emergente que indique una puntuación de confianza del modelo. Puede incorporar vínculos, como vínculos a documentos de origen, que los usuarios pueden seleccionar para obtener más detalles. Este método iniciado por el usuario mantiene la interfaz de usuario no disruptiva y permite a los usuarios buscar más información solo si eligen.

• Recopilar comentarios. Implemente mecanismos de comentarios.

  Evite sobrecargar a los usuarios con cuestionarios extensos después de cada respuesta. Use mecanismos de comentarios rápidos y sencillos en su lugar, como pulgares arriba o abajo, o un sistema de clasificación para aspectos específicos de la respuesta en una escala de 1 a 5. Estos métodos ayudan a mejorar el sistema a lo largo del tiempo y permiten comentarios pormenorizados sin ser intrusivos. Tenga en cuenta los posibles problemas de equidad en los comentarios porque puede haber razones secundarias detrás de las respuestas del usuario.

  La implementación de un mecanismo de comentarios afecta a la arquitectura debido a la necesidad de almacenamiento de datos. Trate los comentarios como los datos del usuario y aplique niveles de control de privacidad según sea necesario.

  Además de los comentarios de respuesta, recopile comentarios sobre la eficacia de la experiencia del usuario. Recopile métricas de compromiso a través de la pila de supervisión del sistema.

Poner en marcha medidas de seguridad de contenido

Integre la seguridad del contenido en todas las fases del ciclo de vida de la inteligencia artificial mediante código de solución personalizado, herramientas adecuadas y prácticas de seguridad eficaces. Tenga en cuenta las estrategias siguientes:

• Anonimizar datos. A medida que los datos pasan de la ingesta a la formación o evaluación, implemente comprobaciones a lo largo del camino para minimizar el riesgo de pérdida de información personal y evitar la exposición de datos de usuario sin procesar.

• Contenido moderado. Use la API de seguridad de contenido que evalúa las solicitudes y respuestas en tiempo real. Asegúrese de que estas API son accesibles.

• Identificar y mitigar amenazas. Aplique prácticas de seguridad conocidas a los escenarios de inteligencia artificial. Por ejemplo, realice el modelado de amenazas y, a continuación, documente las amenazas y cómo las mitiga. Los procedimientos de seguridad típicos, como los ejercicios de equipo rojo, se aplican a las cargas de trabajo de IA. Los equipos rojos pueden probar si los modelos se pueden manipular para generar contenido perjudicial. Estas actividades deben integrarse en las operaciones de inteligencia artificial.

  Para obtener información, consulte Planificación de la estrategia de formación de equipos rojos para modelos de lenguaje grandes y sus aplicaciones.

• Use las métricas adecuadas. Use métricas que mida eficazmente el comportamiento del modelo. Las métricas varían en función del tipo de modelo de IA. En algunos casos, es posible que la medición de modelos generativos no se aplique a los modelos de regresión. Por ejemplo, un modelo predice la esperanza de vida y los resultados afectan a las tarifas de seguros. Los problemas de equidad de este modelo pueden dar lugar a daños relacionados con la equidad. Este problema se debe a desviaciones en las pruebas de métricas principales porque las métricas de equidad y precisión suelen estar interconectadas. Mejore la precisión para ayudar a reducir los daños relacionados con la equidad.

• Agregue la instrumentación adecuada. Los resultados del modelo de IA deben explicarse. Debe justificar y realizar un seguimiento de cómo se realizan las inferencias, incluidos los datos de entrenamiento, las características calculadas y los datos de base. En la inteligencia artificial discriminativa, puede justificar las decisiones paso a paso. Sin embargo, para los modelos generativos, la explicación de los resultados puede ser compleja. Documente el proceso de toma de decisiones para abordar posibles implicaciones legales y proporcionar transparencia.

  Debe implementar este aspecto de explicación durante todo el ciclo de vida de la inteligencia artificial. La limpieza de datos, el linaje, los criterios de selección y el procesamiento son fases críticas en las que se debe realizar un seguimiento de las decisiones.

Herramientas

Integre herramientas para la seguridad del contenido y la rastreabilidad de datos, como Microsoft Purview. Se puede llamar a las API de seguridad de contenido de Azure AI desde las pruebas para facilitar las pruebas de seguridad de contenido.

Azure AI Foundry proporciona métricas que evalúan el comportamiento del modelo. Para más información, consulte Métricas de evaluación y supervisión para la inteligencia artificial generativa.

Para entrenar modelos, consulte las métricas que proporciona Azure Machine Learning.

Inspección de los datos entrantes y salientes

Los ataques por inyección de mensajes, como el jailbreaking, son una preocupación común para las cargas de trabajo de IA. En este caso, algunos usuarios podrían intentar usar el modelo con fines no deseados. Para ayudar a garantizar la seguridad, inspecciona los datos para evitar ataques y filtrar contenido inapropiado. Aplique este análisis tanto a la entrada del usuario como a las respuestas del sistema para ayudar a garantizar la moderación exhaustiva del contenido en los flujos entrantes y los flujos salientes.

En algunos casos, debe realizar varias invocaciones de modelo, como a través del servicio Azure OpenAI, para atender una única solicitud de cliente. En estos escenarios, aplicar comprobaciones de seguridad de contenido a cada invocación puede ser costosa e innecesaria. Considere la posibilidad de centralizar ese trabajo en la arquitectura al tiempo que mantiene la seguridad como responsabilidad del lado servidor. Supongamos que una arquitectura tiene una puerta de enlace delante del punto de conexión de inferencia del modelo para transferir ciertas capacidades específicas del back-end. Puede diseñar esa puerta de enlace para controlar las comprobaciones de seguridad de contenido de las solicitudes y respuestas que es posible que el back-end no admita de forma nativa. Aunque una puerta de enlace es una solución común, una capa de orquestación puede controlar estas tareas de forma eficaz en arquitecturas más sencillas. En ambos casos, puede aplicar de forma selectiva estas comprobaciones cuando sea necesario, lo que optimiza el rendimiento y el costo.

Las inspecciones deben ser multimodales y cubrir varios formatos. Cuando se usan entradas multimodales, como imágenes, es importante analizarlos para los mensajes ocultos que podrían ser perjudiciales o violentos. Es posible que estos mensajes no sean visibles inmediatamente, por lo que requieren una inspección cuidadosa. Use herramientas como las API de seguridad de contenido para este propósito.

Para ayudar a aplicar directivas de privacidad y seguridad de datos, inspeccione los datos de usuario y los datos de base para el cumplimiento de las normativas de privacidad. Asegúrese de que los datos están saneados o filtrados a medida que fluyen a través del sistema. Por ejemplo, los datos de las conversaciones anteriores de soporte al cliente pueden servir como datos de base. Estos datos se deben sanear antes de reutilizarlos.

Control de los datos de usuario de forma adecuada

Las prácticas responsables implican un control cuidadoso de la administración de datos de usuario. Esta administración incluye saber cuándo usar datos y cuándo evitar confiar en los datos de usuario.

• Practique la inferencia sin compartir datos de usuario. Para compartir datos de usuario de forma segura con otras organizaciones para obtener información, use un modelo de centro de compensación. En este escenario, las organizaciones proporcionan datos a un asociado de confianza que entrena el modelo mediante los datos agregados. A continuación, todas las instituciones pueden usar este modelo y compartir información sin exponer conjuntos de datos individuales. El objetivo es usar las funcionalidades de inferencia del modelo sin compartir datos de entrenamiento detallados.

• Promover la diversidad y la inclusividad. Cuando se necesiten datos de usuario, use una amplia gama de datos, incluidos los géneros y creadores subrepresentados, para mitigar los daños relacionados con la equidad. Implemente características que animen a los usuarios a explorar contenido nuevo y variado. Supervise el uso de forma continua y ajuste las recomendaciones para evitar la sobrepresentación de cualquier tipo de contenido único.

• Respeta el RTBF. Evite el uso de datos de usuario siempre que sea posible. Ayude a garantizar el cumplimiento del RTBF al tener las medidas necesarias para asegurarse de que los datos de usuario se eliminan diligentemente.

  Para ayudar a garantizar el cumplimiento, puede haber solicitudes para quitar los datos de usuario del sistema. Para los modelos más pequeños, puede quitar los datos de usuario mediante el reentrenamiento del modelo mediante el uso de datos que excluyen la información personal. Para los modelos más grandes, que pueden constar de varios modelos más pequeños y entrenados de forma independiente, el proceso es más complejo y el costo y el esfuerzo son significativos. Busque orientación legal y ética sobre cómo manejar estas situaciones y asegúrese de incluir dicha orientación en sus directrices de para la inteligencia artificial responsable.

• Conservar los datos de forma responsable. Cuando la eliminación de datos no es posible, obtenga consentimiento explícito del usuario para la recopilación de datos y proporcione directivas de privacidad claras. Recopile y conserve los datos solo cuando sea absolutamente necesario. Tener procedimientos establecidos para remover los datos de manera contundente cuando ya no son necesarios. Por ejemplo, borre el historial de chat tan pronto como sea práctico y anonimice los datos confidenciales antes de la retención. Use métodos de cifrado avanzados para estos datos en reposo.

• Apoyar la explicabilidad. Tomar decisiones de seguimiento en el sistema para admitir los requisitos de explicación. Desarrolle explicaciones claras sobre cómo funcionan los algoritmos de recomendación. Proporcione a los usuarios información sobre por qué se recomienda contenido específico. El objetivo es garantizar que las cargas de trabajo de inteligencia artificial y sus resultados sean transparentes y justificables al detallar cómo toman decisiones, qué datos usan y cómo se entrenaron los modelos.

• Cifrar los datos de usuario. Los datos de entrada se deben cifrar en cada fase de la canalización de procesamiento de datos desde el momento en que el usuario escribe los datos. Estas fases incluyen datos a medida que se mueven de un punto a otro, los datos almacenados y los datos que se inferencian, si es necesario. Equilibre la seguridad y la funcionalidad y procure mantener los datos privados a lo largo de su ciclo de vida.

• Proporcionar controles de acceso sólidos. Varios tipos de identidades pueden acceder potencialmente a los datos de usuario. Implemente el control de acceso basado en roles tanto para el plano de control como para el plano de datos para que abarque la comunicación entre el usuario y el sistema al sistema.

  Mantenga la segmentación de usuarios adecuada para proteger la privacidad. Por ejemplo, Microsoft 365 Copilot puede buscar y proporcionar respuestas basadas en documentos y correos electrónicos específicos de un usuario, a la vez que garantiza que solo se tiene acceso al contenido relevante para ese usuario.

• Reducir el área expuesta. Una estrategia fundamental del pilar de seguridad de Well-Architected Framework es minimizar la superficie expuesta a ataques y proteger los recursos. Debe aplicar esta estrategia a los procedimientos de seguridad de los puntos de conexión estándar controlando estrechamente los puntos de conexión de API, exponiendo solo datos esenciales y evitando información extraña en las respuestas. Equilibre la elección de diseño entre flexibilidad y control.

  Asegúrese de que no haya ningún punto de conexión anónimo. En general, evite proporcionar a los usuarios más control de lo necesario. En la mayoría de los escenarios, los usuarios no necesitan ajustar hiperparámetros, excepto en entornos experimentales. Para casos de uso típicos, como interactuar con un agente virtual, los usuarios solo deben controlar aspectos esenciales para ayudar a garantizar la seguridad limitando el control innecesario.

Para más información, consulte Diseño de aplicaciones para cargas de trabajo de IA en Azure.

Paso siguiente