Los sesgos algorítmicos ocurren cuando sistemas basados en datos y reglas automáticas reproducen o amplifican discriminaciones existentes. Cuando estos sistemas se emplean en decisiones públicas —como justicia penal, salud, empleo, servicios sociales o vigilancia— las consecuencias pueden afectar derechos, recursos y confianza democrática. A continuación se analiza qué son, cómo aparecen, ejemplos documentados, impactos concretos y medidas de mitigación.
En qué consisten los sesgos algorítmicos
Un sesgo algorítmico se produce cuando un modelo o procedimiento automatizado produce resultados sistemáticamente desiguales para distintos grupos sociales (por sexo, raza, nivel socioeconómico, edad, lugar de residencia, etc.). Estas desigualdades pueden derivar de varias causas:
- Datos históricos sesgados: archivos administrativos que incorporan decisiones humanas previas con sesgos discriminatorios.
- Variables proxy: empleo de indicadores que, de forma involuntaria, funcionan como sustitutos de atributos protegidos (por ejemplo, la zona postal utilizada como indicio de raza).
- Falta de representatividad: conjuntos de entrenamiento que no contemplan suficientes ejemplos procedentes de grupos minoritarios.
- Objetivos mal definidos: búsqueda de optimizar un indicador concreto (costes, precisión global) sin evaluar la equidad entre distintos colectivos.
- Retroalimentación y bucles: implementación del sistema que modifica comportamientos y produce datos aún más sesgados, consolidando la desigualdad.
Muestras y situaciones registradas
- Sistemas de evaluación de riesgo penal: investigaciones periodísticas y académicas han mostrado que herramientas utilizadas para predecir riesgo de reincidencia tendían a clasificar a personas negras con mayor probabilidad como de alto riesgo y a personas blancas como de bajo riesgo, aun cuando la tasa real de reincidencia era similar, lo que implica más medidas restrictivas sobre ciertos grupos.
- Herramientas de selección de personal: empresas tecnológicas han descartado algoritmos de selección tras descubrir que penalizaban currículos con indicios femeninos, como participación en asociaciones de mujeres o graduación en universidades mayoritariamente femeninas.
- Reconocimiento facial y vigilancia: estudios independientes mostraron mayores tasas de error en el reconocimiento de rostros de mujeres y personas de piel más oscura. En varios países se registraron detenciones erróneas atribuidas a coincidencias incorrectas, lo que llevó a moratorias y prohibiciones locales sobre su uso por parte de fuerzas públicas.
- Algoritmos sanitarios: análisis han demostrado que algunos modelos que priorizan pacientes para programas de atención intensiva subestimaban las necesidades de pacientes de minorías cuando el algoritmo usaba gasto sanitario pasado como proxy de necesidad, desplazando recursos lejos de quienes más los requerían.
Impactos y riesgos específicos en decisiones públicas
- Discriminación institucionalizada: las decisiones automatizadas pueden afianzar tratos desiguales al otorgar acceso a empleo, salud o justicia.
- Pérdida de derechos y libertades: fallos en sistemas de vigilancia o en evaluaciones de riesgo penal pueden desembocar en detenciones improcedentes, estigmas o restricciones injustificadas.
- Desigualdad en asignación de recursos: los sesgos presentes en modelos que distribuyen servicios sociales o sanitarios pueden dejar sin apoyos clave a comunidades en situación vulnerable.
- Erosión de la confianza pública: la falta de transparencia y los fallos persistentes debilitan la credibilidad de instituciones que delegan sus decisiones en algoritmos.
- Retroalimentación negativa: una mayor vigilancia o número de sanciones en un barrio produce más registros de delitos, reforzando el modelo y prolongando la exposición excesiva de esa comunidad.
- Costes económicos y legales: litigios, indemnizaciones y revisiones normativas generan gastos públicos y retrasos en la prestación de servicios.
Maneras de identificar y evaluar los sesgos
La detección requiere un análisis separado por grupos pertinentes y la incorporación de métricas de equidad, junto con evaluaciones generales de desempeño. Entre las prácticas recomendadas se encuentran:
- Desagregación de resultados: comparar tasas de falsos positivos, falsos negativos, sensibilidad y especificidad por grupo.
- Pruebas de impacto: simulaciones que muestran cómo cambia la distribución de beneficios y cargas antes y después del despliegue.
- Auditorías independientes: revisión externa del código, datos y decisiones para identificar proxies discriminatorios y errores metodológicos.
- Evaluaciones de robustez: tests con datos sintéticos y datos de poblaciones subrepresentadas.
Estrategias para mitigar los riesgos
- Transparencia y documentación: publicar descripción de datos, objetivos, limitaciones y métricas de equidad; registrar decisiones de diseño.
- Evaluación de impacto algorítmico: exigir estudios formales antes del despliegue en ámbitos sensibles que midan riesgos y planes de mitigación.
- Participación y gobernanza: involucrar a comunidades afectadas, organismos de derechos humanos y expertos multidisciplinares en el diseño y supervisión.
- Datos representativos y limpieza: mejorar la calidad y diversidad de los datos, y eliminar proxies que reproduzcan discriminación.
- Supervisión humana significativa: mantener intervención humana en decisiones finales críticas y capacitar a los responsables para detectar errores.
- Auditorías periódicas: controles externos y continuos para detectar degradación del modelo y efectos no previstos.
- Límites de uso: prohibir o restringir algoritmos en decisiones irreversibles o de alto impacto sin garantías sólidas de equidad.
Recomendaciones para políticas públicas
- Marco regulatorio claro: definir con precisión obligaciones de transparencia, establecer derechos de explicación y fijar normas de responsabilidad para las entidades públicas que recurran al uso de algoritmos.
- Protocolos de prueba antes del despliegue: realizar pilotos supervisados junto con evaluaciones que valoren impactos sociales y de derechos humanos.
- Creación de unidades de auditoría pública: conformar equipos técnicos independientes encargados de examinar modelos, datos y decisiones, y de divulgar resultados comprensibles para la población.
- Acceso a recursos y reparación: habilitar mecanismos que permitan a las personas afectadas pedir una revisión humana y obtener medidas de reparación cuando exista un perjuicio.
- Capacitación y alfabetización digital: preparar a funcionarios y ciudadanía para reconocer las limitaciones y riesgos asociados a la inteligencia artificial y al aprendizaje automático.
Los sesgos algorítmicos en decisiones públicas no son solo fallos técnicos: reflejan y pueden agravar desigualdades sociales. Su peligro radica en la escala y la apariencia de neutralidad que otorgan a decisiones que en realidad reproduzcan prejuicios históricos o errores de modelado. La respuesta efectiva requiere combinar controles técnicos (mejores datos, auditorías, métricas de equidad) con marcos éticos y legales que exijan transparencia, participación ciudadana y responsabilidad. Solo así la automatización puede servir al interés público sin socavar derechos ni aumentar la desigualdad, manteniendo a las personas y la rendición de cuentas en el centro de la toma de decisiones.