Liga por la Justicia Algorítmica

Liga por la Justicia Algorítmica
Algorithmic Justice League
Tipo organización sin fines de lucro y data science institute
Fundador Joy Buolamwini
Sitio web www.ajl.org

La Liga por la Justicia Algorítmica[1]​ (en inglés: Algorithmic Justice League AJL) es una organización sin fines de lucro de defensa digital fundada en 2016 por la científica informática Joy Buolamwini. Su sede está en Cambridge, Massachusetts. La AJL utiliza la investigación e impulsa políticas para generar una mayor conciencia social sobre la utilización de la inteligencia artificial (IA) y los daños y sesgos que la IA puede generar.[2]​ La AJL ha participado en numerosas sesiones de formación, interviene en medios de comunicación y se ha sumado a diversas iniciativas para trasladar la advertencia sobre los sesgos que pueden generar los sistemas de IA y reclamar la reacción de la industria y el gobierno de Estados Unidos para mitigar la creación y el despliegue de sistemas de IA sesgados. En 2021 la revista Fast Company consideró que la AJL era una de las 10 empresas de inteligencia artificial más innovadoras del mundo.[3]​[4]​

Historia

Joy Buolamwini en 2018

Buolamwini fundó la Liga de Justicia Algorítmica cuando era estudiante de posgrado en el MIT Media Lab en 2016. Descubrió cuando estaba experimentando con un software de detección facial durante una investigación que el programa no podía detectar su rostro oscuro "altamente melanizado" hasta que se puso una máscara blanca.[5]​ Después de este incidente, Buolamwini se inspiró para fundar AJL para llamar la atención pública sobre la existencia de sesgos en la inteligencia artificial y la amenaza que puede representar para los derechos civiles.[6]​ Las primeras campañas de AJL se centraron sobre todo en el sesgo en el software de reconocimiento facial; posteriormente las campañas han abordado también de manera más amplia cuestiones de equidad y responsabilidad en la IA, incluido el sesgo algorítmico, los sistemas algorítmicos de toma de decisiones, la gobernanza algorítmica y la auditoría algorítmica.

Otras organizaciones trabajan con objetivos similares, entre ellas Data and Society, Data for Black Lives, el Distributed Artificial Intelligence Research Institute (DAIR) y Fight for the Future.[7]​[8]​[9]​

Trabajos

Reconocimiento facial

La fundadora de AJL, Buolamwini, colaboró con la especialista en IA y ética Timnit Gebru en la publicación de un estudio elaborado en 2018 sobre el sesgo racial y de género en los algoritmos de reconocimiento facial utilizados por los sistemas comerciales de Microsoft, IBM y Face++. Su investigación, titulada "Gender Shades", determinó que los modelos de aprendizaje automático publicados por IBM y Microsoft eran menos precisos al analizar rostros de piel oscura y femeninos en comparación con el rendimiento en rostros de piel clara y masculinos.[10]​[11]​[12]​ El documento fue acompañado del lanzamiento de la iniciativa (Safe Face Pledge) Compromiso de Rostro Seguro, diseñada con el Centro de Privacidad y Tecnología de Georgetown que instó a las organizaciones tecnológicas y a los gobiernos a prohibir el uso letal de las tecnologías de reconocimiento facial.[13]​ El proyecto Gender Shades y la posterior defensa llevada a cabo por AJL y grupos similares llevaron a varias empresas tecnológicas, incluidas Amazon e IBM, a abordar los sesgos en el desarrollo de sus algoritmos e incluso a prohibir temporalmente el uso de sus productos por parte de la policía en 2020.[14]​[15]​

Buolamwini y AJL aparecieron en el documental de Netflix de 2020 Coded Bias, que se estrenó en el Festival de Cine de Sundance.[3]​[16]​[17]​ Este documental se centró en los esfuerzos de investigación y promoción de la AJL para difundir la conciencia sobre el sesgo algorítmico en los sistemas de reconocimiento facial.[6]​[17]​

En mayo de 2020, una colaboración de investigación en la que participó AJL publicó un libro blanco que solicitaba la creación de una nueva oficina del gobierno federal de los Estados Unidos para regular el desarrollo y la implementación de tecnologías de reconocimiento facial.[18]​ El libro blanco propuso que la creación de una nueva oficina del gobierno federal para esta área ayudaría a reducir los riesgos de vigilancia masiva y el sesgo que plantean las tecnologías de reconocimiento facial hacia las poblaciones vulnerables.[19]​

Sesgo en el reconocimiento de voz

La AJL ha llevado a cabo iniciativas para aumentar la conciencia pública sobre el sesgo algorítmico y las desigualdades en el desempeño de los sistemas de IA para el modelado del habla y el lenguaje en poblaciones de diferente sexo y raza. El trabajo de la AJL en este espacio se centra en destacar las diferencias de sexo y raza en el desempeño de los sistemas comerciales de reconocimiento de voz y procesamiento del lenguaje natural, que han demostrado tener un rendimiento inferior al esperado con las minorías raciales y estereotipos de género reforzados.[20]​[21]​[22]​

En marzo de 2020, AJL lanzó una pieza artística de palabra hablada, titulada Voicing Erasure, que aumentó la conciencia pública sobre el sesgo racial en los sistemas de reconocimiento automático de voz (ASR).[23]​[24]​ La pieza fue interpretada por numerosas investigadoras entre las que se encontraban Ruha Benjamin, Sasha Costanza-Chock, Safiya Noble y Kimberlé Crenshaw.[24]​[23]​ AJL basó su desarrollo de "Voicing Erasure" en un artículo de PNAS de 2020, titulado Racial disparities in automated speech recognition (Disparidades raciales en el reconocimiento automatizado del habla), que identificó disparidades raciales en el rendimiento de cinco sistemas ASR comerciales.[25]​

Gobernanza algorítmica

En 2019, Buolamwini representó la AJL en una audiencia del Congreso del Comité de Ciencia, Espacio y Tecnología de la Cámara de Representantes de Estados Unidos, para discutir las aplicaciones de las tecnologías de reconocimiento facial a nivel comercial y gubernamental.[26]​[27]​ Buolamwini ofreció su testimonio en la audiencia y habló del bajo rendimiento de las tecnologías de reconocimiento facial para identificar a personas de piel oscura y rasgos femeninos, y respaldó su postura con la investigación del proyecto "Gender Shades" de la AJL.[28]​[29]​

En enero de 2022, la AJL colaboró con Fight for the Future y el Electronic Privacy Information Center para lanzar una petición en línea llamada DumpID.me, pidiendo al IRS que detuviera el uso de ID.me, una tecnología de reconocimiento facial que estaban utilizando para el inicio de sesión de los usuarios.[30]​ La AJL y otras organizaciones enviaron cartas a los legisladores y les solicitaron que instaran al IRS a detener el programa. En febrero de 2022, el IRS acordó detener el programa y dejar de utilizar la tecnología de reconocimiento facial.[31]​ La AJL ha reorientado sus esfuerzos para convencer a otras agencias gubernamentales de que dejen de usar la tecnología de reconocimiento facial; desde marzo de 2022, la petición DumpID.me se centró en detener el uso de ID.me en todas las agencias gubernamentales.[32]​

Campaña Olay Decodifica el Sesgo

En septiembre de 2021, la empresa de cosmética Olay colaboró con AJL y O'Neil Risk Consulting & Algorithmic Auditing (ORCAA) para llevar a cabo la campaña Decode the Bias, que incluyó una auditoría que exploró si el sistema Olay Skin Advisor (OSA) incluía prejuicios sobre las mujeres negras.[33]​ La AJL decidió colaborar con Olay debido al compromiso de Olay de obtener el consentimiento de sus clientas para que sus selfies y datos de piel se utilizaran en esta auditoría.[34]​ La auditoría de AJL y ORCAA reveló que el sistema OSA contenía sesgos en su desempeño según el color de piel y la edad de las participantes.[34]​ El sistema OSA demostró una mayor precisión para las participantes con tonos de piel más claros, según las escalas de clasificación de piel según el ángulo de tipología individual y el tipo de piel de la escala de Fitzpatrick. El sistema OSA también demostró una mayor precisión para las participantes de entre 30 y 39 años.[35]​ Desde entonces, Olay ha tomado medidas para auditar internamente y mitigar el sesgo del sistema OSA.[34]​ Olay también ha financiado a 1.000 niñas para que asistan al campamento Black Girls Code, para alentar a las niñas afroamericanas a seguir carreras STEM.[34]​

Proyecto CRASH

En julio de 2020, AJL lanzó el Proyecto de Informes Comunitarios sobre Daños a Sistemas Algorítmicos (CRASH).[36]​ Este proyecto comenzó en 2019 cuando Buolamwini y la investigadora de seguridad digital Camille François se conocieron en el Programa de Residencia del Centro Bellagio, organizado por la Fundación Rockefeller. Desde entonces, el proyecto también ha sido codirigido por la profesora del MIT y directora de investigación de AJL , Sasha Costanza-Chock. El proyecto CRASH se centró en crear el marco para el desarrollo de programas Bug Bounty Program (Recompensas por Errores) (BBP, por sus siglas en inglés) que incentivarían a las personas a descubrir y denunciar casos de sesgo algorítmico en las tecnologías de IA.[36]​[37]​ Después de realizar entrevistas con participantes del BBP y un estudio de caso del programa BBP de Twitter,[38]​ los investigadores de AJL desarrollaron y propusieron un marco conceptual para diseñar programas de BBP que compensen y alienten a las personas a localizar y revelar la existencia de sesgos en los sistemas de IA.[39]​ AJL pretende que el marco CRASH brinde a las personas la capacidad de informar sobre daños algorítmicos y estimular el cambio en las tecnologías de IA implementadas por las empresas, especialmente a las personas que tradicionalmente han sido excluidas del diseño de estas tecnologías de IA [20, informe de DataSociety].[40]​[41]​

Apoyo y apariciones en los medios

Las iniciativas de AJL han sido financiadas por la Fundación Ford, la Fundación MacArthur, la Fundación Alfred P. Sloan, la Fundación Rockefeller, la Fundación Mozilla y donantes privados individuales.[42]​[43]​ Fast Company reconoció a la AJL como una de las 10 empresas de IA más innovadoras en 2021.[44]​ Además, medios de comunicacióncomo la revista Time, The New York Times, NPR y CNN han presentado el trabajo de Buolamwini con la AJL en varias entrevistas y artículos.[45]​[46]​[47]​

Véase también

Referencias

  1. ↑ «Joy Buolamwini, de la Liga por la Justicia Algorítmica, habla sobre su reunión con Biden y explica cómo la inteligencia artificial permite el racismo y el sexismo». Democracy Now!. Consultado el 22 de abril de 2025. 
  2. ↑ «Learn More». The Algorithmic Justice League. Archivado desde el original el 29 de marzo de 2022. Consultado el 7 de abril de 2022. 
  3. ↑ a b «The 10 most innovative companies in artificial intelligence». Fast Company. 9 de marzo de 2021. Archivado desde el original el 7 de abril de 2022. Consultado el 7 de abril de 2022. 
  4. ↑ Villoro, Elías (16 de febrero de 2023). «Coded Bias and the Algorithm Justice League». Boing Boing. 
  5. ↑ «Documentary 'Coded Bias' Unmasks The Racism Of Artificial Intelligence». WBUR-FM. 18 de noviembre de 2020. Archivado desde el original el 4 de enero de 2022. Consultado el 7 de abril de 2022. 
  6. ↑ a b «Documentary 'Coded Bias' Unmasks The Racism Of Artificial Intelligence». WBUR-FM. 18 de noviembre de 2020. Archivado desde el original el 4 de enero de 2022. Consultado el 7 de abril de 2022. 
  7. ↑ «Google fired its star AI researcher one year ago. Now she's launching her own institute». The Washington Post. ISSN 0190-8286. Archivado desde el original el 2 de diciembre de 2021. Consultado el 7 de abril de 2022. 
  8. ↑ «DAIR». Distributed AI Research Institute. Archivado desde el original el 7 de abril de 2022. Consultado el 7 de abril de 2022. 
  9. ↑ Metz, Rachel (7 de marzo de 2022). «Activists pushed the IRS to drop facial recognition. They won, but they're not done yet». CNN. Archivado desde el original el 31 de marzo de 2022. Consultado el 7 de abril de 2022. 
  10. ↑ Buolamwini, Joy; Gebru, Timnit (2018). «Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification». Proceedings of the 1st Conference on Fairness, Accountability and Transparency 81: 77-91. Archivado desde el original el 12 de diciembre de 2020. Consultado el 12 de diciembre de 2020. 
  11. ↑ «Gender Shades». gendershades.org. Archivado desde el original el 29 de mayo de 2022. Consultado el 7 de abril de 2022. 
  12. ↑ Buell, Spencer (23 de febrero de 2018). «MIT Researcher: AI Has a Race Problem, and We Need to Fix It». Boston. Archivado desde el original el 7 de abril de 2022. Consultado el 7 de abril de 2022. 
  13. ↑ «Announcement - Safe Face Pledge». 20 de enero de 2021. Archivado desde el original el 20 de enero de 2021. Consultado el 7 de abril de 2022. 
  14. ↑ «The two-year fight to stop Amazon from selling face recognition to the police». MIT Technology Review (en inglés). Archivado desde el original el 7 de abril de 2022. Consultado el 7 de abril de 2022. 
  15. ↑ «IBM pulls out of facial recognition, fearing racial profiling and mass surveillance». Fortune (en inglés). Archivado desde el original el 7 de abril de 2022. Consultado el 7 de abril de 2022. 
  16. ↑ Lee, Jennifer 8 (8 de febrero de 2020). «When Bias Is Coded Into Our Technology». NPR (en inglés). Archivado desde el original el 26 de marzo de 2022. Consultado el 7 de abril de 2022. 
  17. ↑ a b «Watch Coded Bias | Netflix». www.netflix.com (en inglés). Archivado desde el original el 24 de marzo de 2022. Consultado el 8 de abril de 2022. 
  18. ↑ Burt, | Chris (8 de junio de 2020). «Biometrics experts call for creation of FDA-style government body to regulate facial recognition | Biometric Update». www.biometricupdate.com (en inglés estadounidense). Archivado desde el original el 7 de abril de 2022. Consultado el 7 de abril de 2022. 
  19. ↑ Miller, Erik Learned; Ordóñez, Vicente; Morgenstern, Jamie; Buolamwini, Joy (2020). «Facial Recognition Technologies in the Wild: A Call for a Federal Office». White Paper: 3-49. Archivado desde el original el 21 de enero de 2022. Consultado el 8 de abril de 2022. 
  20. ↑ Bender, Emily M.; Gebru, Timnit; McMillan-Major, Angelina; Shmitchell, Shmargaret (3 de marzo de 2021). «On the Dangers of Stochastic Parrots: Can Language Models be Too Big?». Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. FAccT '21 (en inglés). Virtual Event Canada: ACM. pp. 610-623. ISBN 978-1-4503-8309-7. doi:10.1145/3442188.3445922. 
  21. ↑ Kiritchenko, Svetlana; Mohammad, Saif M. (2018). «Examining Gender and Race Bias in Two Hundred Sentiment Analysis Systems». Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics. Proceedings of the 7th Joint Conference on Lexical and Computational Semantics. pp. 43-53. doi:10.18653/v1/S18-2005. Archivado desde el original|urlarchivo= requiere |url= (ayuda) el 8 de marzo de 2022. Consultado el 8 de abril de 2022. 
  22. ↑ Koenecke, Allison; Nam, Andrew; Lake, Emily; Nudell, Joe; Quartey, Minnie; Mengesha, Zion; Toups, Connor; Rickford, John R. et al. (7 de abril de 2020). «Racial disparities in automated speech recognition». Proceedings of the National Academy of Sciences (en inglés) 117 (14): 7684-7689. Bibcode:2020PNAS..117.7684K. ISSN 0027-8424. PMC 7149386. PMID 32205437. doi:10.1073/pnas.1915768117. 
  23. ↑ a b «Voicing Erasure». www.ajl.org. Archivado desde el original el 11 de abril de 2022. Consultado el 7 de abril de 2022. 
  24. ↑ a b «Algorithmic Justice League protests bias in voice AI and media coverage». VentureBeat (en inglés estadounidense). 1 de abril de 2020. Archivado desde el original el 31 de marzo de 2022. Consultado el 7 de abril de 2022. 
  25. ↑ Koenecke, Allison; Nam, Andrew; Lake, Emily; Nudell, Joe; Quartey, Minnie; Mengesha, Zion; Toups, Connor; Rickford, John R. et al. (7 de abril de 2020). «Racial disparities in automated speech recognition». Proceedings of the National Academy of Sciences (en inglés) 117 (14): 7684-7689. Bibcode:2020PNAS..117.7684K. ISSN 0027-8424. PMC 7149386. PMID 32205437. doi:10.1073/pnas.1915768117. 
  26. ↑ Quach, Katyanna (22 de mayo de 2019). «We listened to more than 3 hours of US Congress testimony on facial recognition so you didn't have to go through it». The Register (en inglés). Archivado desde el original el 21 de enero de 2022. Consultado el 8 de abril de 2022. 
  27. ↑ «Artificial Intelligence: Societal and Ethical Implications». House Committee on Science, Space and Technology (en inglés). 26 de junio de 2019. Archivado desde el original el 15 de marzo de 2022. Consultado el 8 de abril de 2022. 
  28. ↑ Rodrigo, Chris Mills (2 de julio de 2020). «Dozens of advocacy groups push for Congress to ban facial recognition technology». The Hill (en inglés estadounidense). Archivado desde el original el 8 de abril de 2022. Consultado el 8 de abril de 2022. 
  29. ↑ «U.S. government study finds racial bias in facial recognition tools». Reuters (en inglés). 19 de diciembre de 2019. Archivado desde el original el 8 de abril de 2022. Consultado el 8 de abril de 2022. 
  30. ↑ Metz, Rachel (7 de marzo de 2022). «Activists pushed the IRS to drop facial recognition. They won, but they're not done yet». CNN. Archivado desde el original el 31 de marzo de 2022. Consultado el 7 de abril de 2022. 
  31. ↑ Rachel Metz (7 de febrero de 2022). «IRS halts plan to require facial recognition for logging in to user accounts». CNN. Archivado desde el original el 8 de abril de 2022. Consultado el 8 de abril de 2022. 
  32. ↑ «Demand All Government Agencies Drop ID.me». Fight for the Future (en inglés estadounidense). Archivado desde el original el 26 de abril de 2022. Consultado el 8 de abril de 2022. 
  33. ↑ «Decode the Bias & Face Anything | Women in STEM | OLAY». www.olay.com (en inglés). Archivado desde el original el 11 de abril de 2022. Consultado el 8 de abril de 2022. 
  34. ↑ a b c d Shacknai, Gabby (14 de septiembre de 2021). «Olay Teams Up With Algorithmic Justice Pioneer Joy Buolamwini To #DecodetheBias In Beauty». Forbes (en inglés). Archivado desde el original el 28 de marzo de 2022. Consultado el 8 de abril de 2022. 
  35. ↑ «ORCAA's Report». www.olay.com (en inglés). Archivado desde el original el 11 de abril de 2022. Consultado el 8 de abril de 2022. 
  36. ↑ a b «Algorithmic Vulnerability Bounty Project (AVBP)». www.ajl.org. Archivado desde el original el 18 de marzo de 2022. Consultado el 8 de abril de 2022. 
  37. ↑ Laas, Molly (27 de enero de 2022). «Bug Bounties For Algorithmic Harms? | Algorithmic Justice League». MediaWell (en inglés estadounidense). Archivado desde el original el 18 de enero de 2023. Consultado el 8 de abril de 2022. 
  38. ↑ Vincent, James (10 de agosto de 2021). «Twitter's photo-cropping algorithm prefers young, beautiful, and light-skinned faces». The Verge (en inglés). Archivado desde el original el 8 de abril de 2022. Consultado el 8 de abril de 2022. 
  39. ↑ «AJL Bug Bounties Report.pdf». Google Docs. Archivado desde el original el 31 de enero de 2022. Consultado el 8 de abril de 2022. 
  40. ↑ League, Algorithmic Justice (4 de agosto de 2021). «Happy Hacker Summer Camp Season!». Medium (en inglés). Archivado desde el original el 16 de noviembre de 2021. Consultado el 8 de abril de 2022. 
  41. ↑ Ellis, Ryan Ellis; Stevens, Yuan (January 2022). «Bounty Everything: Hackers and the Making of the Global Bug Marketplace». Data Society: 3-86. Archivado desde el original el 24 de febrero de 2022. Consultado el 8 de abril de 2022. 
  42. ↑ League, Algorithmic Justice (4 de agosto de 2021). «Happy Hacker Summer Camp Season!». Medium (en inglés). Archivado desde el original el 16 de noviembre de 2021. Consultado el 8 de abril de 2022. 
  43. ↑ «AJL Bug Bounties Report.pdf». Google Docs. Archivado desde el original el 8 de abril de 2022. Consultado el 8 de abril de 2022. 
  44. ↑ «The 10 most innovative companies in artificial intelligence». Fast Company. 9 de marzo de 2021. Archivado desde el original el 7 de abril de 2022. Consultado el 7 de abril de 2022. 
  45. ↑ Metz, Rachel (7 de marzo de 2022). «Activists pushed the IRS to drop facial recognition. They won, but they're not done yet». CNN. Archivado desde el original el 31 de marzo de 2022. Consultado el 7 de abril de 2022. 
  46. ↑ «Artificial Intelligence: Societal and Ethical Implications». House Committee on Science, Space and Technology (en inglés). 26 de junio de 2019. Archivado desde el original el 15 de marzo de 2022. Consultado el 8 de abril de 2022. 
  47. ↑ «Joy Buolamwini: How Do Biased Algorithms Damage Marginalized Communities?». NPR. Archivado desde el original el 3 de abril de 2022. Consultado el 8 de abril de 2022. 
Este artículo ha sido escrito por Wikipedia. El texto está disponible bajo la licencia Creative Commons Attribution-Share Alike 4.0. Pueden aplicarse cláusulas adicionales a los archivos multimedia.