Características de Calidad para Sistemas Basados en IA
Define cómo clasificar comportamientos de sistemas IA con características de calidad específicas, cómo tratar IA en contextos relacionados con seguridad y cómo escribir criterios de aceptación medibles.
2.1 Características de calidad para sistemas basados en IA
La calidad en IA amplía la visión tradicional del software. Además de funcionalidad, rendimiento, seguridad y usabilidad, se evalúan atributos como corrección funcional de IA, adaptabilidad, controlabilidad por el usuario, transparencia, robustez, intervenibilidad y mitigación de riesgos sociales y éticos.
- El comportamiento correcto puede expresarse como probabilidad, métrica o umbral.
- La calidad se observa en datos, modelo, salida, interacción humana y operación.
2.1.1 Características específicas de calidad IA
La corrección funcional de IA se refiere a que el sistema cumple su propósito dentro de límites definidos. La adaptabilidad funcional evalúa si puede ajustarse a cambios del entorno sin degradar su propósito. La controlabilidad por el usuario permite que las personas influyan o limiten el sistema. La transparencia facilita entender datos, lógica, límites y decisiones. La robustez de IA mide resistencia ante ruido, cambios o ataques. La intervenibilidad permite supervisión humana, parada, reversión o corrección. La mitigación de riesgos sociales y éticos cubre sesgo, discriminación y daño social.
- No todas las características se maximizan: se equilibran según contexto y riesgo.
- Un comportamiento puede ser aceptable para un sistema de recomendación, pero inaceptable en salud o seguridad.
2.1.2 IA en sistemas relacionados con seguridad
Cuando la IA forma parte de sistemas relacionados con seguridad, el riesgo aumenta por no determinismo, dificultad de especificación, dependencia de datos y falta de explicación. Deben establecerse límites operativos, degradación segura, monitoreo, redundancia, intervención humana y evidencia fuerte de prueba.
- La seguridad funcional exige analizar peligros y consecuencias.
- Un modelo con buena métrica promedio puede ser inseguro en casos raros críticos.
- La supervisión humana debe ser realista: tiempo, información y capacidad de intervenir.
2.2 Criterios de aceptación para sistemas basados en IA
Los criterios de aceptación deben ser específicos, medibles y verificables. En IA pueden incluir umbrales de métricas, cobertura de grupos, límites de sesgo, robustez mínima ante perturbaciones, requisitos de explicabilidad, condiciones de intervención, latencia, límites de confianza y comportamiento ante datos fuera de distribución.
- Mal criterio: “el modelo debe ser bueno”.
- Buen criterio: “F1 ≥ 0,90 en conjunto independiente y diferencia de recobrado entre grupos ≤ 5 puntos porcentuales”.
Términos clave
Objetivos de aprendizaje
- AI-2.1.1 · K2Clasificar comportamientos de sistemas basados en IA según las características de calidad de ISO/IEC 25059
ISO/IEC 25059 adapta el modelo de calidad a IA con características como corrección funcional de IA, adaptabilidad, controlabilidad de usuario, transparencia, robustez, intervenibilidad y mitigación de riesgos éticos y sociales.
- AI-2.1.2 · K2Explicar consideraciones especiales cuando la IA se usa en sistemas relacionados con seguridad
La IA en sistemas relacionados con seguridad exige especial atención a no determinismo, autoaprendizaje, especificaciones vagas, explicabilidad limitada, monitoreo y capacidad de intervención humana.
- AI-2.2.1 · K2Dar ejemplos de criterios de aceptación para sistemas basados en IA
Un criterio de aceptación para IA debe ser medible y verificable, por ejemplo un umbral de puntuación F1, una condición de intervención, un límite de sesgo aceptable o una explicación mínima requerida.
Errores frecuentes
- No tratar exactitud probabilística como corrección absoluta.
- No confundir controlabilidad por el usuario con intervenibilidad: una se orienta a control del usuario y otra a intervención para evitar daño.
Ejemplos aplicados
- En un dron autónomo, intervenibilidad puede medirse por la tasa de éxito al forzar un aterrizaje seguro.