Salvaguardando la inteligencia artificial: Cómo proteger los modelos de IA de los ataques cibernéticos

La inteligencia artificial (IA) se está adoptando rápidamente en diversas industrias. Sin embargo, a medida que los sistemas de IA analizan datos y automatizan tareas complejas, también introducen nuevos riesgos cibernéticos. Al igual que con la seguridad de cualquier sistema informático, proteger los modelos y los datos de IA es crucial para la fiabilidad y la seguridad.

Esta guía exhaustiva examina los tipos de amenazas emergentes que ponen en riesgo los sistemas de IA, así como las soluciones de protección que las organizaciones deberían implementar. Al incorporar salvaguardas integrales en los cimientos de la IA, las tecnologías innovadoras pueden escalar de forma segura, desencadenando beneficios para la sociedad de manera responsable.

Ataques adversarios en los sistemas de IA

Un peligroso método de ataque que involucra IA son los ejemplos adversarios. Se refieren a entradas manipuladas estratégicamente diseñadas para engañar al sistema en el momento de la inferencia una vez que los modelos ya están entrenados y desplegados. Al agregar pequeñas perturbaciones a las entradas como imágenes que son invisibles para los humanos, los atacantes pueden engañar a los modelos de IA para que clasifiquen erróneamente cosas que deberían reconocer con precisión.

Ejemplos de ataques adversarios en el mundo real

• Coches autónomos: Colocar pequeñas pegatinas en las señales de stop podría hacer que la IA de visión por computadora no las detecte, provocando fallas potencialmente peligrosas para detenerse.
• Reconocimiento facial: Agregar patrones de ruido especiales a las fotos podría permitir la suplantación de identidad o eludir los controles de seguridad.
• Imagen médica: Alterar las exploraciones por resonancia magnética podría cambiar el diagnóstico de la IA de radiología, arriesgando prescripciones dañinas.

Impacto de los ataques adversarios

Si bien los ejemplos adversarios pueden parecer inofensivos en la superficie, pueden manipular las capacidades avanzadas de reconocimiento de patrones de los sistemas de IA distorsionando las entradas. Esto puede provocar consecuencias dañinas si se toman medidas en función de las salidas corruptas. Mantener la resiliencia contra las amenazas adversarias es crucial a medida que se expande la automatización de IA en dominios sensibles.

Pros de las defensas adversarias

• Evita fallas peligrosas del sistema o manipulaciones
• Reduce el fraude, la suplantación de identidad, el diagnóstico erróneo.
• Aumenta la confiabilidad y la confianza

Contras de ignorar las amenazas adversarias

• Resultados catastróficos por engaño
• Pérdida de credibilidad en las capacidades de IA
• Riesgos financieros, de salud y de seguridad importante

Protección contra ataques adversarios

Si bien los riesgos todavía se están descubriendo, el progreso también está avanzando rápidamente en defensas adversarias más robustas:

• Entrenamiento adversario: Volver a entrenar modelos inyectando ejemplos adversarios en los datos de entrenamiento hace que los sistemas sean más resistentes a las entradas distorsionadas.
• Detección de adversarios: Implementar sistemas auxiliares para examinar las entradas e identificar patrones adversarios antes de que lleguen a los modelos de IA de producción.
• Robustez certificada: Demostrar matemáticamente la seguridad de un modelo contra clases enteras de distorsiones para garantizar la confiabilidad.

Tipo de defensaMétodoEjemploEvasivaFortalecer el modelo para resistir ataquesEntrenamiento adversario con datos perturbadosDetectivaDetectar ataques antes del análisis del modeloRedes neuronales que identifican distorsionesReactivaIdentificar y recalibrar después de los ataquesMarcas de agua para rastrear el robo de modelos

Al integrar una combinación de enfoques defensivos, las organizaciones pueden lograr una protección en varias capas contra amenazas adversarias tanto conocidas como aún desconocidas.Buena práctica: Mantenga una hoja de ruta de defensa adversaria actualizada que aborde los riesgos emergentes a través de la mejora continua del modelo.

Ataques de envenenamiento de datos

Además de atacar los modelos de IA entrenados, los adversarios también pueden apuntar a los conjuntos de datos de entrenamiento curados que se utilizan para desarrollar modelos en primer lugar. Esta técnica se conoce como envenenamiento de datos, la contaminación deliberada de datos para sesgar lo que aprenden los sistemas de IA.

Ejemplos de ataques de envenenamiento de datos

• Agregar datos etiquetados incorrectamente (por ejemplo, fotos de gatos etiquetadas como perros)
• Eliminación de subconjuntos clave de datos
• Duplicación de muestras varias veces

Impactos del envenenamiento de datos

Si se hace subrepticiamente, los ataques de envenenamiento de datos podrían permitir cualquier número de escenarios peligrosos al inutilizar la inteligencia del modelo:

• Los sistemas de diagnóstico médico sugieren prescripciones dañinas
• El reconocimiento facial no puede identificar a los delincuentes
• Los vehículos autónomos no pueden reconocer las señales de tráfico

Al socavar el rendimiento a través de una capacitación corrompida, el envenenamiento de datos conlleva graves riesgos a medida que aumenta la adopción de la automatización sensible de IA.

Protección de los datos de entrenamiento

Si bien las amenazas son preocupantes, también están surgiendo soluciones para bloquear las cadenas de suministro de IA contra ataques de datos a través de:

• Monitoreo de pipelines de datos para detectar cambios repentinos que indiquen una posible manipulación
• Control de acceso para restringir las modificaciones de datos
• Verificación de la procedencia de los datos a través de auditorías y verificaciones antes del desarrollo del modelo
• Análisis de privacidad que preservan la privacidad para evitar la exposición de detalles que los atacantes podrían explotar

Construir integridad en la obtención de datos, la limpieza, el etiquetado y el entrenamiento de modelos es necesario para un aprendizaje de máquinas confiable.

Pros de proteger los datos de entrenamiento

• Reduce el fraude, el diagnóstico erróneo, las fallas del sistema
• Aumenta la precisión del modelo
• Mantiene la credibilidad en la IA

Contras de ignorar los riesgos de los datos

• Falla catastrófica por envenenamiento
• Pérdida de confianza pública
• Inversiones desperdiciadas en IA

Buena práctica: Implementar controles como autenticación multifactor, monitoreo y auditoría en toda la cadena de suministro de datos de extremo a extremo.

Estudio de caso: ataque real de envenenamiento de datos

Un sorprendente ejemplo del mundo real demuestra los peligros del envenenamiento de datos. En 2021, EduBirdie, una startup educativa, sufrió una violación de datos que expuso cuatro años de documentos confidenciales. Entre los datos filtrados se encontraban documentos que revelaban un elaborado ataque de envenenamiento de datos que la empresa ejecutó de 2018 a 2020.

Al sobornar a contratistas en la plataforma crowdsource Fiverr, EduBirdie inyectó deliberadamente ensayos intencionalmente plagiados en su software de edición de ensayos. Analizar las ediciones de miles de estas entradas envenenadas permitió mejorar la precisión en la detección de plagio de la herramienta de IA.

Sin embargo, este encubrimiento subrepticio incurrió en daños a la reputación y cuestionamientos sobre la ética de la investigación cuando se descubrió. La historia ilustra los riesgos que las organizaciones pueden pasar por alto en la búsqueda agresiva de mejoras en la precisión del modelo sin rendición de cuentas. Más allá de los posibles problemas legales, la confianza de los usuarios y del público puede verse gravemente afectada si se produce una falsificación de datos opaca.

Punto clave

Si bien buscaban mejoras marginales, el apresurado ataque de envenenamiento en realidad socavó la credibilidad y estancó la innovación. Correr «a toda costa» puede salir mal si se ignora la responsabilidad ética. Los líderes de IA deberían enfatizar la transparencia, la supervisión y la rendición de cuentas de las prácticas de datos en toda la empresa.

Ataques de extracción de modelos

Además de los datos de entrenamiento y los modelos implementados, las arquitecturas de modelos de IA propietarias de una empresa también merecen protecciones de seguridad. Los atacantes pueden intentar extraer copias de los modelos objetivo observando entradas y salidas para reconstruir réplicas.

Impactos de los ataques de extracción de modelos

Si se extraen con éxito, los modelos copiados permiten a los adversarios:

• Eludir las restricciones de uso del modelo: los atacantes pueden obtener predicciones de alto valor ilimitadas de forma gratuita en lugar de pagar por el acceso medido. Esto agota los posibles ingresos.
• Copiar secretos comerciales: las arquitecturas de IA de vanguardia requieren grandes inversiones en I+D. Los competidores pueden ahorrarse años de trabajo robando modelos.
• Encontrar puntos ciegos: analizar modelos duplicados ayuda a los adversarios a descubrir vulnerabilidades para diseñar mejores ataques.

Protección contra la extracción de modelos

Para reducir los riesgos de extracción, las organizaciones deben proteger los modelos a través de:

• Cifrado: comunicaciones de modelo seguras y almacenamiento para evitar la copia.
• Marca de agua: incrustar huellas digitales identificables en los modelos que se desactivan si se roban.
• Controles de acceso: restringir el uso del modelo solo a aplicaciones y usuarios autenticados y autorizados.
• Cerraduras: deshabilitar modelos si se detecta manipulación.

Buena práctica: Catalogar los activos de IA de alto valor y luego implementar protecciones escaladas a la sensibilidad del activo. Priorizar la protección de habilidades raras.

Escenarios de amenazas internas

Más allá de los ataques externos, los riesgos internos también merecen una seria consideración cuando se trata de proteger los sistemas de IA. Los empleados, proveedores, contratistas y cualquier persona con acceso interno podrían manipular deliberada o accidentalmente los modelos y datos de IA.

Ejemplos de amenazas internas:

• El desarrollador incorpora acceso remoto para vender réplicas de modelos.
• El contratista de datos etiquetados etiqueta incorrectamente muestras para simplificar el trabajo
• Un ejecutivo descontento elimina conjuntos de datos de producción clave

Impactos de las amenazas internas

• Fraude financiero a través del robo de modelos
• Fallas peligrosas del sistema por envenenamiento
• Interrupciones del servicio después de la destrucción de datos

Reducción de los riesgos de amenazas internas

• Controles de acceso multifactor
• Monitoreo de acceso para detectar actividades sospechosas
• Supervisión de procesos en las etapas de desarrollo del modelo
• Revisiones de código en pipelines de datos
• Políticas de gestión de acceso privilegiado

Pros de mitigar las amenazas internas

• Reduce los riesgos de destrucción de datos, manipulación de modelos
• Aumenta la integridad y confiabilidad

Contras de ignorar los riesgos internos

• Sabotaje de modelos y datos
• Daño a la reputación después de los incidentes
• Dificultad para garantizar la rendición de cuentas

Buena práctica: Promover la seguridad como una responsabilidad cultural compartida en todos los equipos: "confiar pero verificar".

Puertas traseras en modelos de IA

Además de extraer modelos, los adversarios internos también pueden instalar puertas traseras, manipulaciones encubiertas del modelo que permiten acciones dañinas solo ante desencadenantes secretos.

Ejemplos de ataques con puertas traseras

• Comando de voz para forzar transferencia bancaria en el bot del centro de llamadas
• Gesto de mano oculto que desencadena el apagado del coche autónomo
• Exploraciones médicas que siempre etiquetan a los pacientes para procedimientos innecesarios

Impactos de las puertas traseras

• Fraude financiero a través de trucos de comandos de voz
• Interrupciones del servicio y problemas de seguridad por interruptores de apagado
• Daño al paciente o fraude al seguro con diagnósticos sesgados

Cómo se crean las puertas traseras

1. Envenenamiento de datos: los etiquetadores etiquetan incorrectamente muestras destinadas (por ejemplo, elementos inofensivos como amenazas)
2. Entrenamiento de modelos: los sistemas aprenden correlaciones incorrectas a partir de datos envenenados
3. Implementación: las puertas traseras permanecen ocultas hasta que se activan desencadenantes secretos

Protección contra puertas traseras

• Reentrenamiento continuo con datos frescos y diversos
• Monitoreo de modelos en capas a nivel de código y nivel de decisión
• Técnicas de privacidad diferencial en análisis

Pros de las defensas contra puertas traseras

• Evita el fraude o los riesgos de fiabilidad
• Reduce las manipulaciones injustas

Contras de ignorar los riesgos de las puertas traseras

• Delitos financieros a gran escala
• Fallas peligrosas del sistema

Buena práctica: Hacer cumplir la segregación de funciones en el etiquetado, desarrollo de modelos y monitoreo para detectar problemas no intencionales.

Prácticas de responsabilidad para la IA responsable

A medida que los riesgos continúan evolucionando, se deben adoptar prácticas responsables de IA junto con controles técnicos para permitir la rendición de cuentas.

Supervisión humana en el bucle

La auditoría continua y el análisis de explicabilidad ayudan a detectar problemas no intencionales temprano antes de que se produzca algún daño. Se debe incorporar a los expertos en la materia para evaluar el comportamiento del modelo.

Puntos de referencia de mitigación externos

Las pruebas independientes y la inteligencia de amenazas adversarias de equipos rojos éticos pueden sondear los sistemas en busca de brechas desconocidas. Compartir puntos de referencia de defensa abiertamente fomenta la resiliencia en toda la industria.

Rastros de auditoría en los ciclos de vida de los modelos

Los registros de actividad integrales que detallan la procedencia de los datos, el origen del modelo y los factores de decisión construyen una integridad predictiva de extremo a extremo. Los rastros de evidencia inmutables aumentan la capacidad de investigación.

Planificación de respuesta a incidentes

A pesar de los mejores esfuerzos, los ataques aún ocurren. Tener evaluaciones de riesgos y planes de respuesta preparados significa una mitigación más rápida cuando inevitablemente surgen problemas.

El camino a seguir: la seguridad de la IA como prioridad número 1

A medida que las capacidades de IA se vuelven más sobrehumanas, el imperativo de instalar sabiduría humana en torno a la seguridad y la ética debe mantenerse al día. Existen soluciones de protección hoy en día para contrarrestar las amenazas adversarias, internas y de contaminación emergentes con precauciones adaptadas en todo el entrenamiento, la implementación y los procesos comerciales.

El camino a seguir incluye:

• Defensa en profundidad: Instale controles en múltiples capas: infraestructura, software, análisis y supervisión de gobernanza.
• Protección adaptativa al riesgo: Haga coincidir la fuerza de control con los niveles de riesgo, con técnicas más estrictas en activos de alto impacto.
• Diseño de resiliencia: Haga de la seguridad la principal prioridad a través de protecciones integradas en los sistemas subyacentes.

Con las innovaciones de IA ahora activamente implementadas en el mundo real, el margen de error se reduce drásticamente. Al reconocer los nuevos patrones de riesgos cibernéticos e instalar precauciones en varias capas alineadas con cada eje de amenaza de manera proactiva, las organizaciones pueden sentirse seguras de liberar las ventajas de automatización de manera responsable.

Las recomendaciones en esta guía tienen como objetivo ayudar a los líderes de seguridad a avanzar en la medición de protecciones contra amenazas adversas de IA hoy. Sin embargo, este contenido apenas rasca la superficie de las precauciones disponibles en un tema complejo y de rápida evolución.

Agradecemos sus ideas y perspectivas sobre consideraciones adicionales de riesgos cibernéticos de IA, así como sobre cómo las organizaciones pueden implementar protecciones responsables mejoradas. ¿Qué otros vectores de amenaza o metodologías defensivas se deberían destacar? ¿Qué controles de gobernanza o técnicos ha encontrado más útiles dentro de sus equipos? ¿Faltan puntos de vista cruciales en la narrativa sobre la seguridad de la IA?

Esperamos intercambiar ideas a continuación sobre esta conversación crítica que da forma a nuestro mundo emergente impulsado por datos.