Data Drift: cómo monitorear eficazmente sus modelos de IA en producción

Imagina un modelo de predicción de precios inmobiliarios que funcionaba perfectamente en su lanzamiento. Seis meses después, los errores se acumulan. ¿Por qué? Los datos han cambiado: nuevos barrios, inflación repentina, hábitos de compra modificados. Este fenómeno se llama data drift. En este artículo, descubriremos qué significa, por qué es crucial monitorearlo y cómo implementar una vigilancia efectiva, incluso como principiante o intermedio en IA.

¿Qué es el data drift?

El data drift, o deriva de datos, se refiere al cambio en la distribución de los datos de entrada entre la fase de entrenamiento y la fase de producción. A diferencia de un bug clásico, el modelo sigue funcionando, pero sus predicciones se vuelven progresivamente menos fiables. Un ejemplo concreto: un modelo de detección de fraude bancario entrenado sobre transacciones de 2022 puede fallar en detectar nuevas técnicas de fraude aparecidas en 2024.

Los principales tipos de deriva

Generalmente se distinguen tres formas de data drift :

• La deriva de las covariables: las características de los datos cambian (ej. : la edad media de los clientes aumenta).
• La deriva del concepto: la relación entre las variables y el objetivo evoluciona (ej. : un comportamiento de compra que ya no está correlacionado de la misma manera).
• La deriva de las etiquetas: la propia definición de lo que se busca predecir cambia con el tiempo.

Estas derivas pueden aparecer solas o combinarse, haciendo que la detección sea más compleja.

Por qué la monitorización es indispensable en producción

Un modelo sin monitorización puede causar pérdidas financieras, una mala experiencia de usuario o incluso decisiones discriminatorias. Tomemos el ejemplo de un sistema de recomendación de películas: si los gustos de los usuarios evolucionan hacia contenidos más cortos (series frente a largometrajes), el modelo seguirá proponiendo películas largas y perderá relevancia. Sin monitorización, estas degradaciones suelen pasar desapercibidas hasta que las métricas de negocio caen bruscamente.

Cómo detectar el data drift

La detección se basa en comparaciones estadísticas entre los datos de entrenamiento y los nuevos datos. Se utilizan pruebas como la prueba de Kolmogorov-Smirnov para las variables continuas o la prueba de χ² para las variables categóricas. Un enfoque simple consiste en calcular regularmente la distribución de las características y alertar tan pronto como aparezca una desviación significativa.

Herramientas y buenas prácticas de monitorización

Varias bibliotecas de código abierto facilitan esta tarea. Evidently AI o NannyML permiten generar informes visuales sobre las derivas. Una práctica recomendada es definir umbrales de alerta y automatizar las verificaciones semanales o diarias según el volumen de datos. También es útil conservar una muestra representativa de los datos de entrenamiento para futuras comparaciones.

# Ejemplo simple de detección con pandas
import pandas as pd
from scipy.stats import ks_2samp

def detect_drift(ref_data, new_data, column, threshold=0.05):
    stat, p_value = ks_2samp(ref_data[column], new_data[column])
    return p_value < threshold

Conclusión

El data drift no es una excepción, es la regla en producción. Al implementar una vigilancia proactiva con herramientas adecuadas y alertas claras, proteges el valor de tus modelos y ganas confianza. Empieza pequeño: elige una o dos features críticas, sigue su distribución e itera. La robustez de tus sistemas IA depende directamente de ello.