Pruebas del Desarrollo y Despliegue de Aprendizaje Automático
Resume riesgos del desarrollo ML y pruebas de despliegue: framework, APIs, instalación, eficiencia, conversión de modelo, smoke test, shadow testing, canary release y compatibilidad de producción.
7.1 Pruebas del desarrollo ML
Además del modelo, se prueba el software que lo construye, empaqueta, sirve y monitorea. Los riesgos incluyen errores en frameworks, APIs, dependencias, configuración, serialización, conversión de modelos, infraestructura y automatización del pipeline.
- El pipeline ML puede fallar aunque el modelo sea bueno.
- Controlar versiones de librerías, datos, modelo y entorno.
7.1.1 Riesgos y mitigaciones del desarrollo ML
Se mitigan riesgos con pruebas unitarias, integración, API, instalación, compatibilidad, rendimiento, reproducibilidad, revisión de configuración, validación de dependencias y pruebas de conversión. También se revisa que la métrica calculada por el pipeline sea correcta.
- Un cambio de librería puede cambiar inferencia o rendimiento.
- Probar carga/guardado del modelo y transformación de datos.
7.1.2 Pruebas de despliegue del sistema ML
Las pruebas de despliegue verifican que el sistema funcione al pasar a producción. Incluyen pruebas de humo, shadow testing, canary testing, pruebas de API, compatibilidad de dispositivos, monitoreo, rollback, latencia, capacidad y seguridad. Shadow testing ejecuta el nuevo modelo sin impactar decisiones reales; canary libera a un pequeño porcentaje de usuarios.
- Smoke test: confirma funcionamiento básico rápido.
- Shadow: observa sin afectar producción.
- Canary: despliegue gradual con métricas y rollback.
Términos clave
Objetivos de aprendizaje
- AI-7.1.1 · K2Dar ejemplos de enfoques de prueba para mitigar riesgos del desarrollo de aprendizaje automático
Los riesgos del desarrollo de aprendizaje automático incluyen marcos de trabajo defectuosos, APIs mal usadas, instalaciones incorrectas, selección subóptima de herramientas, rendimiento pobre y problemas de evaluación.
- AI-7.1.2 · K2Explicar las distintas formas de prueba de despliegue de sistemas de aprendizaje automático
Las pruebas de despliegue de aprendizaje automático incluyen pruebas de humo, pruebas de API, compatibilidad, instalación, pruebas canario y pruebas en sombra para validar la transición a producción.
Errores frecuentes
- No tratar el marco de trabajo como caja negra confiable sin pruebas de API, instalación y evaluación.
- No confundir pruebas en sombra con pruebas canario: las pruebas en sombra no impactan usuarios; las pruebas canario sí entregan respuestas a un subconjunto.
Ejemplos aplicados
- Un modelo nuevo se puede ejecutar en sombra con tráfico real sin que el usuario reciba su respuesta; en canario sí se expone a pocos usuarios.