En diciembre de 2020, Timnit Gebru (ex codirectora de un equipo de ética de IA en Google) recibió por correo electrónico, mientras estaba de vacaciones, una notificación de que Google la había despedido. El motivo fue que Google le pidió retirar o eliminar su nombre como autora en artículos de los empleados, y ella se negó. Las alucinaciones y la falta de comprensión, el aumento de sesgos, los costes ambientales, la imposibilidad de auditar los datos de entrenamiento y la centralización del lenguaje — cinco años después, todos encontraron casos en la realidad.
Comparación de cinco profecías en la práctica: casos y datos confirmados
Alucinaciones y falta de comprensión: el artículo describió en 2021 el fenómeno que posteriormente se llamó “alucinaciones”, indicando que los LLM solo cosen formas del lenguaje juntas siguiendo probabilidades, “sin ninguna referencia a un significado”. Este problema se ha convertido en una falla conocida de todos los sistemas principales de IA y se ha validado en múltiples evaluaciones académicas independientes.
Aumento de sesgos: la herramienta de reclutamiento con IA de Amazon, desarrollada desde 2014, fue abandonada en 2018 debido a discriminación sistemática contra candidatas mujeres. El modelo aprendió criterios de evaluación sesgados hacia los hombres a partir de historiales laborales dominados por hombres. El estudio de Obermeyer y otros publicado en 2019 en Science reveló que un algoritmo médico de riesgo ampliamente utilizado sustituía “gravedad de la enfermedad” por “gasto médico”, lo que hacía que, con puntuaciones de riesgo equivalentes, los pacientes negros tuvieran realmente enfermedades más graves. El estudio confirmó que, tras corregirlo, el porcentaje de pacientes negros marcados como que requerían atención adicional pasaría del 17,7% al 46,5%.
Costes ambientales: el informe ambiental de Google de 2024 reveló que en 2023 las emisiones de gases de efecto invernadero alcanzaron aproximadamente 14,3 millones de toneladas métricas de CO₂e, un 48% más que la línea de base de 2019. Google confirmó que la causa principal fue el fuerte aumento del consumo eléctrico de los centros de datos impulsado por la IA, lo que amenaza directamente el objetivo de neutralidad de carbono de Google para 2030.
Imposibilidad de auditar los datos de entrenamiento: en diciembre de 2023, el Stanford Internet Observatory encontró 3.226 elementos presuntamente de abuso sexual infantil (CSAM) en el conjunto de datos LAION-5B (que incluye 5.850 millones de pares imagen-texto, usado para entrenar Stable Diffusion), de los cuales 1.008 fueron confirmados por instituciones externas; el LAION-5B fue retirado inmediatamente.
Centralización del lenguaje: el estudio de 2024 de Thompson y otros analizó un corpus de Internet compuesto por 6.380 millones de oraciones y descubrió que el 57,1% de las oraciones pertenecían a un conjunto paralelo multilingüe, es decir, es muy probable que sean contenido repetitivo de baja calidad generado por traducción automática; y esta proporción es especialmente alta en lenguas de bajos recursos, lo que sugiere que el corpus de lenguas de bajos recursos está siendo contaminado por productos de baja calidad procedentes de traducción automática.
Hechos confirmados del despido de Gebru y antecedentes del artículo
El artículo tiene seis autores, cuatro de ellos son empleados de Google. Cuando Gebru recibió la notificación de despido, estaba de vacaciones; el requisito de Google era retirar o eliminar el nombre de la empleada. Gebru se negó y, tras ello, en el periodo de vacaciones se le informó la decisión de despido.
El artículo se publicó formalmente en marzo de 2021. El artículo señala explícitamente que, en una estructura, las empresas que construyen LLM no pueden permitir que “la seguridad y la ética” retrasen la puesta en marcha del producto por incentivos financieros y de competencia. El episodio del despido de Gebru, en sí mismo, se ha citado ampliamente como una verificación concreta de este argumento estructural.
Preguntas frecuentes
¿Cuál es la afirmación académica central del artículo “pico de loro” (Random Parrot)?
De acuerdo con el propio artículo, hay dos niveles en la afirmación central: el primero es técnico, señalando que los LLM tienen cinco riesgos sistémicos: alucinaciones, aumento de sesgos, costes ambientales, imposibilidad de auditar datos y centralización del lenguaje. El segundo, más fundamental, indica que estos cinco riesgos son difíciles de resolver porque las empresas que construyen LLM, bajo competencia y presión financiera, se inclinan estructuralmente a priorizar la velocidad sobre la seguridad. El artículo superó la revisión por pares académica en el proceso de la conferencia ACM FAccT.
¿Cómo se descubrió y trató el problema de sesgos de la herramienta de reclutamiento con IA de Amazon?
Según reportes públicos, la herramienta de reclutamiento con IA de Amazon comenzó a desarrollarse en 2014. Los modelos fueron entrenados con datos de historiales laborales de los últimos diez años dominados por hombres, y aprendieron automáticamente patrones de evaluación sesgados hacia los hombres, lo que causaba que los historiales que incluían términos como “women's chess club” fueran penalizados automáticamente. Este problema de sesgo se detectó en 2018; Amazon abandonó entonces esa herramienta y confirmó que no la usaron para evaluar candidatos reales.
El aumento de emisiones en el informe ambiental de Google de 2024, ¿se atribuye por completo a la IA?
Según el informe ambiental de Google de 2024, en 2023 las emisiones de gases de efecto invernadero fueron de aproximadamente 14,3 millones de toneladas métricas de CO₂e, un 48% más que el nivel de referencia de 2019. Google señaló explícitamente que la causa principal fue el fuerte aumento del consumo eléctrico de los centros de datos impulsado por la IA. La explicación de Google no afirma que el aumento de emisiones de carbono sea 100% causado por la IA, pero se confirmó que la expansión de la infraestructura de IA es el principal factor que impulsa el incremento.
