Gobernanza ética de IA: las 9 etapas clave para pasar de cero a operativo
Ética IA Gobernanza: lo esencial en un artículo — código real, esquemas y pasos concretos, extractos de un curso de 35 lecciones.
Todo el mundo puede aprender Ética IA Gobernanza — siempre que siga los pasos en el orden correcto. Hemos condensado un curso completo de 35 lecciones en un recorrido claro, con los extractos de código más útiles.
- Introducción
- Principios fundamentales
- Sesgos algorítmicos
- Privacidad y RGPD
- Explicabilidad XAI
¿Por qué la ética de la IA ahora?
Objetivos pedagógicos
Acelerador n.º 1: la generalización de los LLM
En noviembre de 2022, el lanzamiento de ChatGPT marcó un antes y un después. En dos meses, la herramienta alcanzó 100 millones de usuarios, un récord absoluto para un servicio de gran consumo. De repente, cada empleado, cada alumno, cada periodista podía generar texto, código y análisis.
Las consecuencias son múltiples:
Acelerador n.º 2: la llegada del Reglamento EU AI Act
Adoptado en marzo de 2024, el Reglamento (UE) 2024/1689 — apodado «EU AI Act» — es la primera ley general sobre IA del mundo. Se aplica progresivamente entre 2025 y 2027.
Vista general
Calendario
Efecto de arrastre
La llegada de una norma vinculante lo cambia todo: ya no se trata de «hacer lo mejor posible», sino de documentar, auditar y certificar.
Acelerador n.º 3: la presión social y reputacional
Los medios de comunicación, las ONG (Algorithm Watch, AI Now Institute, La Quadrature du Net), los sindicatos y los consumidores examinan los usos de la IA. Un asunto mal gestionado se convierte en un escándalo en pocas horas en las redes sociales.
Ejemplos recientes:
Alerta n.º 1: COMPAS y la justicia estadounidense (2016)
La ONG ProPublica publica una investigación en mayo de 2016 sobre la herramienta COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), utilizada por jueces estadounidenses para estimar el riesgo de reincidencia.
Alerta n.º 2: Amazon y el filtrado sexista de CV (2018)
Reuters revela que Amazon desarrolló entre 2014 y 2017 una herramienta interna de filtrado automático de CV. El modelo, entrenado con 10 años de candidaturas anteriores (mayoritariamente masculinas en el sector tecnológico), prefería sistemáticamente los CV de hombres.
El modelo penalizaba cualquier mención que contuviera la palabra «women’s» (women’s chess club, por ejemplo) y favorecía verbos «masculinos» como «executed» o «captured». Amazon abandonó el proyecto.
Alerta n.º 3: Tay y la fragilidad de los chatbots (2016)
Microsoft lanza Tay, un chatbot de Twitter que supuestamente aprendía «conversando». En menos de 24 horas, usuarios malintencionados lo entrenaron para emitir discursos racistas, negacionistas y sexistas. Microsoft retiró la herramienta.
El coste real de una desviación de IA
Equidad (fairness)
Objetivos pedagógicos
¿Qué es una IA «justa»?
La palabra fairness (en inglés) abarca una realidad compleja: se trata de garantizar que un sistema no perjudique indebidamente a ciertas personas por un atributo protegido (sexo, origen, edad, discapacidad, religión…).
En el derecho francés, estos atributos están enumerados en el artículo 225-1 del Código Penal y en la ley del 27 de mayo de 2008. Toda discriminación directa o indirecta basada en estos criterios está prohibida, incluso cuando provenga de un algoritmo.
Las 4 grandes medidas de fairness
1. Paridad demográfica (Demographic Parity)
La tasa de predicción positiva debe ser idéntica entre los grupos protegidos.
Ejemplo: el 30 % de los hombres y el 30 % de las mujeres son aceptados para un crédito.
2. Igualdad de oportunidades (Equal Opportunity)
Entre las personas que merecen un resultado positivo, la tasa de aceptación debe ser igual entre grupos.
Ejemplo: entre los candidatos cualificados, el 80 % de los hombres y el 80 % de las mujeres son seleccionados.
3. Igualdad de errores (Equalized Odds)
Las tasas de falsos positivos y de falsos negativos deben ser idénticas entre grupos.
4. Calibración
Cuando el modelo predice un 70 % de riesgo, se debe observar un 70 % de casos reales, idéntico para todos los grupos.
La imposibilidad de Kleinberg (2017)
Este resultado (Kleinberg, Mullainathan, Raghavan, 2017) explica por qué el debate sobre COMPAS no tiene una respuesta simple buena: Northpointe afirmaba calibrar el modelo, ProPublica medía la desigualdad de errores. Ambos tenían razón… según su propio criterio.
¿Cómo elegir su definición?
| Contexto | Definición recomendada | Por qué |
|---|---|---|
| Reclutamiento | Igualdad de oportunidades | Entre los cualificados, misma oportunidad de ser elegido |
| Crédito | Calibración + paridad supervisada | Justicia individual + monitorización de grupo |
| Justicia penal | Igualdad de errores | Presuntos inocentes protegidos |
| Salud (detección) | Sensibilidad por subgrupo | No pasar por alto casos |
| Publicidad dirigida | Paridad demográfica (según contexto) | Evitar el segmentado discriminatorio (vivienda, empleo) |
Caso concreto: la regla de los 4/5 (EE. UU.)
En Estados Unidos, las Uniform Guidelines on Employee Selection Procedures de la EEOC establecen la «four-fifths rule» (1978): la tasa de selección de un grupo protegido debe ser al menos igual al 80 % de la tasa del grupo más seleccionado.
Casos célebres — COMPAS, Amazon, Apple Card
Objetivos pedagógicos
Caso 1: COMPAS (Northpointe / Equivant)
El sistema
COMPAS — Correctional Offender Management Profiling for Alternative Sanctions — es una herramienta de ayuda a la decisión utilizada desde principios de los años 2000 por jueces estadounidenses. Predice un riesgo de reincidencia a partir de 137 preguntas completadas por el acusado y el servicio de libertad condicional.
La puntuación (1 a 10) se utiliza para decidir la libertad condicional, el importe de la fianza o la duración de la pena.
La investigación de ProPublica (2016)
ProPublica analiza 7 000 puntuaciones en Florida y las compara con las re-arrestos en dos años. Resultados:
La defensa de Northpointe
Northpointe responde: su modelo está calibrado, por tanto justo para cada individuo. El debate revela la imposibilidad de Kleinberg: no se puede tener al mismo tiempo calibración e igualdad de errores si las tasas base difieren.
Las lecciones
- Elegir y documentar su definición de fairness antes del despliegue
- La explicabilidad de las puntuaciones debe publicarse
- Un modelo propietario (caja negra) en justicia plantea un problema democrático
- Las tasas base desiguales reflejan a menudo una desigualdad estructural
- Auditar regularmente con un tercero independiente
Caso 2: Amazon reclutamiento (2014-2018)
El contexto
Amazon desarrolla desde 2014 una herramienta interna de filtrado automático de CV para sus puestos tecnológicos. El modelo se entrena con 10 años de candidaturas, con el objetivo «CV similar a los perfiles contratados en los últimos 10 años».
El problema
Los perfiles contratados eran mayoritariamente masculinos (el sector tecnológico ha sido históricamente masculino). El modelo aprende entonces a privilegiar a los hombres.
Más precisamente:
La respuesta
Amazon abandona el proyecto en 2017 y nunca desplegó la herramienta «en producción». La información sale en Reuters en 2018, convirtiéndose en un caso de estudio mundial.
Las lecciones
- No utilizar nunca el rendimiento pasado como objetivo cuando reproduce una desigualdad
- Eliminar el sexo no basta: rastrear los proxies (vocabulario, títulos, clubes)
- Auditar el modelo en subpoblaciones antes de cualquier despliegue
- Implicar a las funciones de RR. HH., jurídico y ética desde la concepción
- Preferir la ayuda a la decisión (humano final) al filtrado 100 % automático
Caso 3: Apple Card (2019)
El detonante
En noviembre de 2019, el desarrollador David Heinemeier Hansson tuitea: él y su esposa comparten sus cuentas, pero ella recibe un límite de crédito 20 veces inferior al suyo en la nueva Apple Card (emitida por Goldman Sachs). El tuit se vuelve viral.
Este artículo cubre los extractos más útiles — el curso completo Ética IA Gobernanza (11 capítulos, 35 lecciones, ejercicios corregidos y proyecto final) te lleva hasta el final.
./acceder-al-curso-completo curso gratuito: Claude CoworkFAQ
¿Cuánto tiempo se necesita para aprender Ética IA Gobernanza?
¿Se necesitan requisitos previos?
¿Por dónde empezar concretamente?
📬 ¿Quieres recibir este tipo de guía cada semana? Suscríbete gratis — código real, cero palabrería.