Pruebas de Datos de Entrada para Sistemas de Aprendizaje Automático
Se enfoca en riesgos de datos, mitigaciones, sesgo, canalizaciones de datos, representatividad, restricciones de datasets, corrección de etiquetas y ejercicios de validación de datos.
5.1 Pruebas de datos de entrada para ML
Los datos de entrada son fuente crítica de riesgos: datos incompletos, no representativos, ruidosos, obsoletos, mal etiquetados, sesgados o transformados de forma incorrecta. Las pruebas de datos buscan prevenir que esos defectos entren al entrenamiento o a la predicción.
- Validar datos antes de entrenar reduce defectos costosos.
- La calidad del modelo está limitada por la calidad de datos.
5.1.1 Riesgos y mitigaciones de datos de entrada
Los riesgos incluyen falta de procedencia, valores faltantes, outliers, ruido, duplicados, fuga de datos, distribución incorrecta, sesgo, clases desbalanceadas y datos fuera de dominio. Se mitigan con revisiones, reglas automáticas, EDA, muestreo, monitoreo, controles de pipeline y pruebas de representatividad.
- La procedencia permite saber de dónde vino el dato y si es confiable.
- La fuga de datos puede inflar artificialmente la métrica.
5.1.2 Pruebas de sesgo
Probar sesgo significa analizar si datos o resultados tratan de forma sistemáticamente diferente a personas, objetos o grupos. Se usan atributos sensibles, análisis por subgrupos, impacto dispar, contrafactuales, métricas de equidad y revisión de datos de entrenamiento.
- Sesgo puede venir de datos, algoritmo, etiquetas o uso del sistema.
- Un promedio global bueno puede ocultar mal rendimiento en un grupo.
5.1.3 Pruebas de canalización de datos
La canalización de datos implementa adquisición, transformación, limpieza, codificación, carga y entrega de datos. Se prueban esquemas, tipos, rangos, reglas de transformación, integridad, duplicados, rendimiento, errores, monitoreo y consistencia entre ambientes.
- Un bug de pipeline puede cambiar los datos sin cambiar el código del modelo.
- Validar entradas y salidas de cada etapa.
5.1.4 Representatividad de los datos
Los datos son representativos si reflejan la población y contexto donde el sistema operará. Se comparan distribuciones, segmentos, clases, periodos de tiempo, geografía, dispositivos y condiciones relevantes. Se aplican muestreos estratificados y análisis estadístico.
- Representativo no significa grande: significa adecuado al uso.
- Revisar subpoblaciones críticas y casos raros.
5.1.5 Restricciones del conjunto de datos
Las restricciones verifican reglas esperadas: tipos, rangos, unicidad, obligatoriedad, formato, relaciones entre columnas, sumas, fechas, valores permitidos y consistencia entre campos. En K3 se aplican restricciones a un dataset dado para detectar defectos.
- Ejemplo: edad no negativa, fecha fin posterior a fecha inicio, código válido.
- Las restricciones detectan errores antes de que contaminen entrenamiento.
5.1.6 Corrección de etiquetas
Las etiquetas incorrectas dañan el entrenamiento y la evaluación. Se prueban mediante revisión de expertos, múltiples anotadores, acuerdo interanotador, análisis de pérdida del modelo, puntuación de confianza, muestreo de casos dudosos y reglas de consistencia.
- Múltiple anotación permite comparar criterios humanos.
- El desacuerdo puede revelar ambigüedad del dominio, no solo error humano.
5.1.7 Ejercicio práctico de pruebas de datos
El ejercicio consiste en aplicar pruebas de calidad a un dataset: revisar restricciones, distribución, valores faltantes, outliers, sesgo, etiquetas y trazabilidad. El resultado debe documentar defectos, impacto y mitigación.
- Registrar hallazgos con evidencia.
- Relacionar defecto de dato con riesgo del modelo.
Términos clave
Objetivos de aprendizaje
- AI-5.1.1 · K2Dar ejemplos de enfoques de prueba para mitigar riesgos de datos de entrada en sistemas de aprendizaje automático
Los riesgos de datos de entrada se mitigan con pruebas de procedencia, representatividad, sesgo, restricciones, calidad de etiquetas, canalización, datos faltantes, outliers y consistencia.
- AI-5.1.2 · K2Explicar cómo probar sesgos
Probar sesgo implica usar conjunto de datos representativos y analizar resultados por grupos o atributos sensibles con técnicas estadísticas, análisis de impacto dispar o contrafactuales.
- AI-5.1.3 · K2Resumir las formas de prueba de canalizacións de datos
La prueba de canalización de datos valida extracción, transformación, carga, tipos, rangos, reglas, integridad, rendimiento, monitoreo y diferencias entre canalización de entrenamiento y operacional.
- AI-5.1.4 · K2Explicar cómo probar la representatividad de los datos
La representatividad se prueba comparando propiedades estadísticas de los datos frente a una referencia o población objetivo, revisando cobertura de subgrupos, balance y distribución.
- AI-5.1.5 · K3Aplicar pruebas de restricciones de conjunto de datos
Las restricciones de conjunto de datos verifican reglas como rangos permitidos, tipos, unicidad, relaciones entre campos, consistencia matemática, valores obligatorios y correlaciones esperadas.
- AI-5.1.6 · K2Explicar la prueba de corrección de etiquetas
La corrección de etiquetas se prueba mediante revisiones de expertos, múltiples anotaciones, acuerdo entre anotadores, análisis de confianza del modelo y detección de inconsistencias.
Errores frecuentes
- No limitar la calidad de datos a tipos y rangos: también importan procedencia, sesgo, representatividad y etiquetas.
- No usar un conjunto de datos de referencia sin justificar su representatividad.
Ejemplos aplicados
- En créditos, probar sesgo exige revisar si género o edad producen diferencias estadísticamente significativas en aprobaciones.