La inteligencia artificial comete errores porque aprende de datos humanos, y los datos humanos están llenos de imperfecciones, omisiones y sesgos.
En 2023, una empresa de logística en Guadalajara implementó un sistema de IA para decidir a qué repartidores asignar las rutas más largas y mejor pagadas. El sistema parecía funcionar perfecto durante las primeras semanas. Nadie cuestionó sus decisiones. Entonces alguien notó algo extraño: casi todos los repartidores que recibían las rutas premium eran hombres mayores de 30 años. Las mujeres y los trabajadores jóvenes siempre terminaban con las rutas cortas y menos rentables. ¿El sistema era malicioso? No. Era matemáticamente correcto... y profundamente injusto.
Cuando los datos mienten sin mentir
Este es el corazón del problema: la IA no inventa sus errores. Los hereda.
Un sistema de IA aprende observando patrones en datos históricos. Si esos datos reflejan decisiones pasadas injustas o incompletas, la IA aprende exactamente esas injusticias. En el caso de Guadalajara, el sistema fue entrenado con años de asignaciones previas hechas por humanos, donde históricamente los supervisores favorecían a ciertos perfiles. La IA no discriminó por iniciativa propia. Simplemente replicó lo que ya existía, pero ahora con apariencia de objetividad científica.
Este fenómeno tiene nombre: sesgo algorítmico. Un estudio del MIT encontró que algunos sistemas de reconocimiento facial tenían una tasa de error del 34% para mujeres de piel oscura, frente a menos del 1% para hombres de piel clara. No porque los ingenieros quisieran ese resultado, sino porque el conjunto de datos de entrenamiento contenía muchas más fotos de hombres blancos que de cualquier otro grupo.
En México, este problema tiene dimensiones muy concretas. Imagina que Liverpool desarrolla un sistema de IA para recomendar crédito a sus clientes. Si los datos históricos muestran que personas de ciertas colonias de la CDMX tenían más atrasos en pagos, el sistema aprenderá a penalizar automáticamente a cualquier cliente de esa zona postal, incluso si hoy tiene ingresos estables y buen historial crediticio. El código postal se convierte en un proxy injusto.
Los tres tipos de error más comunes
No todos los errores de la IA nacen del sesgo en los datos. Existen al menos tres fuentes distintas que vale la pena conocer.
La primera es el sesgo en los datos de entrenamiento, que ya describimos. La IA aprende de lo que ve, y si lo que ve es parcial, su aprendizaje también lo será.
La segunda fuente es la generalización excesiva. Un modelo entrenado en un contexto puede fallar completamente en otro. Un chatbot de soporte entrenado con conversaciones de clientes de Monterrey puede tener dificultades para entender el español de Oaxaca o Chiapas, donde las expresiones regionales son distintas. Mercado Libre, por ejemplo, atiende usuarios en toda la República. Un sistema que funciona bien para compradores del norte del país puede confundirse con modismos del sureste.
La tercera fuente es la confianza excesiva del modelo, también llamada sobreajuste. A veces la IA aprende tan bien los datos de entrenamiento que pierde capacidad para manejar situaciones nuevas. Es como estudiante que memoriza exactamente las preguntas del examen anterior pero no entiende el concepto de fondo. Cuando aparece una pregunta ligeramente diferente, falla.
Una estadística que ilustra la magnitud del problema: según un reporte de Gartner, hasta el 85% de los proyectos de IA fracasan en producción porque los datos de entrenamiento no representan bien la realidad donde el sistema operará. Más de ocho de cada diez proyectos. Eso es mucho.
Cómo detectar cuando una IA está fallando
Detectar errores en un sistema de IA no requiere ser experta en matemáticas. Requiere hacerse las preguntas correctas.
La primera pregunta es: ¿con qué datos fue entrenado este sistema? Si nadie puede responderte esta pregunta, eso ya es una señal de alerta. Un sistema de IA que predice el riesgo de fraude para el SAT, por ejemplo, debería poder decirte qué tipo de transacciones analizó para aprender. Si los datos vienen de hace diez años, probablemente no reflejan los patrones actuales de comercio electrónico.
La segunda pregunta es: ¿los resultados son consistentes para grupos similares? Si un sistema de recursos humanos de FEMSA recomienda candidatos para puestos gerenciales, puedes analizar si hay diferencias significativas según género, edad o región de origen entre los perfiles recomendados. Una diferencia enorme sin explicación lógica es señal de sesgo.
La tercera pregunta es: ¿el sistema puede explicar por qué tomó esa decisión? Los modelos modernos de IA a veces operan como cajas negras. Dan un resultado pero no explican el razonamiento. Cuando una IA no puede justificar su recomendación con factores concretos y comprensibles, debes ser más cauteloso al confiar en ella. En México, la regulación en sectores como el financiero ya está empezando a exigir que los sistemas automatizados de decisión sean explicables.
La trampa de la autoridad matemática
Hay un sesgo humano que hace todo esto más peligroso: tendemos a creer que si un algoritmo produjo un resultado, ese resultado es neutral y objetivo. La pantalla tiene números. Los números parecen ciencia. Pero los números son tan humanos como quien los programó.
Piensa en el algoritmo de precios dinámicos de una cadena de supermercados similar a Bimbo distribuyendo productos a tiendas de barrio. Si el sistema sube precios automáticamente en colonias donde históricamente la demanda es alta, puede estar castigando a comunidades de menores ingresos simplemente porque tienen menos opciones de compra. El algoritmo no ve pobreza, ve demanda inelástica. El resultado puede ser igualmente injusto.
Este fenómeno tiene consecuencias reales. En 2021, varios sistemas de IA usados por aseguradoras en Estados Unidos fueron cuestionados porque cobraban primas más altas en vecindarios predominantemente afroamericanos, sin que la raza fuera una variable explícita. El código postal hacía el trabajo sucio. La lección aplica perfectamente a México, donde la geografía urbana también refleja desigualdades históricas profundas.
Cuándo confiar y cuándo cuestionar
Entonces, ¿cuándo debes confiar en una IA y cuándo cuestionar sus resultados?
Confía más cuando la IA trabaja en tareas repetitivas con datos abundantes y bien definidos. Un sistema que detecta transacciones duplicadas en el portal del SAT, por ejemplo, opera en un dominio estrecho donde los errores son fáciles de verificar y corregir.
Cuestiona más cuando la IA toma decisiones que afectan a personas de manera directa y significativa: contrataciones, créditos, diagnósticos médicos, sentencias judiciales. En estos contextos, el error tiene un costo humano alto. Y cuestiona especialmente cuando el sistema no puede explicarte su razonamiento o cuando los datos de entrenamiento son opacos o antiguos.
Una regla práctica: usa la IA como un primer filtro, no como el juez final. Si un sistema de IA en Liverpool identifica a un cliente como riesgo de fraude, esa señal merece investigación humana, no una decisión automática de bloqueo. La IA acelera el proceso. El criterio final debe seguir siendo humano, al menos mientras los sistemas no sean lo suficientemente transparentes y verificables.
El regreso a Guadalajara
Volvamos a la empresa de logística del principio. Cuando el equipo de recursos humanos notó el patrón en las asignaciones, hicieron exactamente lo correcto: detuvieron el sistema, analizaron los datos de entrenamiento y encontraron que los últimos cinco años de asignaciones históricas tenían un sesgo claro hacia ciertos perfiles. Reentrenaron el modelo eliminando las variables que actuaban como proxies de género y edad. En tres meses, la distribución de rutas premium se equilibró significativamente.
Eso es lo que significa evaluar críticamente una IA. No significa rechazarla. Significa usarla con los ojos abiertos, haciendo las preguntas correctas y manteniendo siempre la supervisión humana donde más importa.