Un grupo de denunciantes de OpenAI está revelando lo que ellos dicen es una cultura de imprudencia y secreto en la empresa de inteligencia artificial con sede en San Francisco, que está compitiendo por construir los sistemas de inteligencia artificial más poderosos jamás creados.
El grupo, que incluye nueve empleados actuales y antiguos de OpenAI, se ha unido en los últimos días en torno a preocupaciones compartidas de que la empresa no ha hecho lo suficiente para evitar que sus sistemas de inteligencia artificial se vuelvan peligrosos.
Los miembros dicen que OpenAI, que comenzó como un laboratorio de investigación sin fines de lucro y saltó a la vista pública con el lanzamiento de ChatGPT en 2022, está poniendo una prioridad en las ganancias y el crecimiento mientras intenta construir una inteligencia artificial general, o A.G.I., el término de la industria para un programa de computadora capaz de hacer cualquier cosa que un humano pueda hacer.
También afirman que OpenAI ha utilizado tácticas agresivas para evitar que los trabajadores expresen sus preocupaciones sobre la tecnología, incluidos acuerdos restrictivos de no difamación que se les pedía firmar a los empleados que se marchaban.
“OpenAI está realmente emocionado por construir A.G.I., y están compitiendo de manera imprudente para ser los primeros en llegar”, dijo Daniel Kokotajlo, un exinvestigador de la división de gobernabilidad de OpenAI y uno de los organizadores del grupo.
El grupo publicó una carta abierta el martes pidiendo a las principales empresas de inteligencia artificial, incluida OpenAI, que establezcan una mayor transparencia y más protecciones para los denunciantes.
Otros miembros incluyen a William Saunders, un ingeniero de investigación que dejó OpenAI en febrero, y otros tres ex empleados de OpenAI: Carroll Wainwright, Jacob Hilton y Daniel Ziegler. Varios empleados actuales de OpenAI respaldaron la carta de manera anónima porque temían represalias de la empresa, dijo Kokotajlo. Un empleado actual y un ex empleado de Google DeepMind, el laboratorio central de inteligencia artificial de Google, también firmaron.
Una portavoz de OpenAI, Lindsey Held, dijo en un comunicado: “Estamos orgullosos de nuestro historial al proporcionar los sistemas de inteligencia artificial más capaces y seguros, y creemos en nuestro enfoque científico para abordar el riesgo. Estamos de acuerdo en que el debate riguroso es crucial dada la importancia de esta tecnología, y seguiremos colaborando con gobiernos, la sociedad civil y otras comunidades en todo el mundo”.
Un portavoz de Google declinó hacer comentarios.
La campaña llega en un momento difícil para OpenAI. Todavía se está recuperando de un intento de golpe el año pasado, cuando miembros de la junta de la empresa votaron para despedir a Sam Altman, el director ejecutivo, por preocupaciones sobre su franqueza. Altman fue reintegrado días después y la junta fue renovada con nuevos miembros.
La empresa también está enfrentando batallas legales con creadores de contenido que la han acusado de robar obras con derechos de autor para entrenar sus modelos. (The New York Times demandó a OpenAI y a su socio, Microsoft, por infracción de derechos de autor el año pasado). Y su reciente presentación de un asistente de voz hiperrealista se vio empañada por una disputa pública con la actriz de Hollywood Scarlett Johansson, quien afirmó que OpenAI había imitado su voz sin permiso.
Nada ha generado tanto impacto como la acusación de que OpenAI ha sido demasiado despreocupada acerca de la seguridad.
El mes pasado, dos investigadores senior de inteligencia artificial, Ilya Sutskever y Jan Leike, dejaron OpenAI bajo una nube. El Dr. Sutskever, quien había estado en la junta directiva de OpenAI y votó para despedir a Altman, había levantado alarmas sobre los riesgos potenciales de los poderosos sistemas de inteligencia artificial. Su partida fue vista por algunos empleados preocupados por la seguridad como un revés.
También fue un revés la partida del Dr. Leike, quien junto con el Dr. Sutskever había liderado el equipo de “superalineación” de OpenAI, que se enfocaba en gestionar los riesgos de los poderosos modelos de IA. En una serie de publicaciones públicas anunciando su salida, el Dr. Leike dijo que creía que “la cultura y los procesos de seguridad habían pasado a un segundo plano en comparación con los productos llamativos”.
Ni el Dr. Sutskever ni el Dr. Leike firmaron la carta abierta escrita por ex empleados. Pero sus salidas galvanizaron a otros ex empleados de OpenAI a hablar.
“Cuando me uní a OpenAI, no me inscribí en esta actitud de ‘Pongamos cosas en el mundo y veamos qué sucede y arreglemos después'”, dijo el Sr. Saunders.
Algunos de los ex empleados tienen vínculos con el altruismo efectivo, un movimiento inspirado por el utilitarismo que se ha preocupado en los últimos años por prevenir amenazas existenciales de la inteligencia artificial. Los críticos han acusado al movimiento de promover escenarios apocalípticos sobre la tecnología, como la noción de que un sistema de inteligencia artificial descontrolado podría tomar el control y eliminar a la humanidad.
El Sr. Kokotajlo, de 31 años, se unió a OpenAI en 2022 como investigador de gobernanza y se le pidió pronosticar el progreso de la IA. No era, por decirlo suavemente, optimista.
En su trabajo anterior en una organización de seguridad de inteligencia artificial, predijo que A.G.I. podría llegar en 2050. Pero después de ver lo rápido que estaba mejorando la IA, acortó sus plazos. Ahora cree que hay un 50 por ciento de posibilidades de que A.G.I. llegue para 2027, en solo tres años.
También cree que la probabilidad de que la inteligencia artificial avanzada destruya o cause daños catastróficos a la humanidad, una estadística sombría a menudo abreviada como “p(doom)” en los círculos de la IA, es del 70 por ciento.
En OpenAI, el Sr. Kokotajlo vio que aunque la empresa tenía protocolos de seguridad en su lugar, incluido un esfuerzo conjunto con Microsoft conocido como el “consejo de seguridad de implementación,” que debía revisar nuevos modelos en busca de riesgos importantes antes de que se lanzaran públicamente, rara vez parecían frenar nada.
Por ejemplo, dijo que en 2022, Microsoft comenzó a probar en silencio en India una nueva versión de su motor de búsqueda Bing que algunos empleados de OpenAI creían que contenía una versión aún no lanzada de GPT-4, el modelo de lenguaje grande de vanguardia de OpenAI. Kokotajlo dijo que le dijeron que Microsoft no había obtenido la aprobación del consejo de seguridad antes de probar el nuevo modelo, y después de que el consejo se enteró de las pruebas, a través de una serie de informes que Bing se comportaba de manera extraña con los usuarios, no hicieron nada para detener a Microsoft de implementarlo más ampliamente.
Un portavoz de Microsoft, Frank Shaw, negó inicialmente esas afirmaciones. Dijo que las pruebas en India no habían utilizado GPT-4 ni ningún modelo de OpenAI. La primera vez que Microsoft lanzó tecnología basada en GPT-4 fue a principios de 2023, dijo, y fue revisado y aprobado por un antecesor del consejo de seguridad.
Después de que se publicara este artículo, Microsoft revirtió su negación y confirmó las acusaciones de Kokotajlo. En un segundo comunicado, el Sr. Shaw dijo: “Después de más investigación, encontramos que Bing ejecutó una pequeña prueba que mezclaba resultados de una versión temprana del modelo que finalmente se convirtió en GPT-4”. Agregó que las pruebas no habían sido revisadas por el consejo de seguridad antes, aunque recibieron aprobación posteriormente.
Finalmente, Kokotajlo dijo, se preocupó tanto que, el año pasado, le dijo a Altman que la empresa debería “cambiar a la seguridad” y dedicar más tiempo y recursos a protegerse contra los riesgos de la IA en lugar de avanzar para mejorar sus modelos. Dijo que Altman afirmó estar de acuerdo con él, pero que no cambió mucho.
En abril, renunció. En un correo electrónico a su equipo, dijo que se iba porque había “perdido la confianza en que OpenAI se comporte de manera responsable” a medida que sus sistemas se acercan a la inteligencia a nivel humano.
“El mundo no está listo, y nosotros tampoco lo estamos”, escribió Kokotajlo. “Y me preocupa que estemos avanzando a pesar de todo y racionalizando nuestras acciones”.
OpenAI dijo la semana pasada que había comenzado a entrenar un nuevo modelo de inteligencia artificial insignia y que estaba formando un nuevo comité de seguridad y protección para explorar los riesgos asociados con el nuevo modelo y otras tecnologías futuras.
Al salir, Kokotajlo se negó a firmar los documentos estándar de OpenAI para empleados que se van, que incluían una cláusula estricta de no difamación que les prohibía decir cosas negativas sobre la empresa, o de lo contrario arriesgarse a que les quitaran sus acciones con derechos adquiridos.
Muchos empleados podrían perder millones de dólares si se negaran a firmar. Las acciones con derechos adquiridos de Kokotajlo valían aproximadamente 1,7 millones de dólares, dijo, lo que representaba la gran mayoría de su patrimonio neto, y estaba preparado para renunciar a todo.
(El mes pasado se desató una pequeña tormenta después de que Vox reportó noticias sobre estos acuerdos. En respuesta, OpenAI afirmó que nunca había recuperado acciones con derechos adquiridos de ex empleados y no lo haría. Altman dijo que se sentía “genuinamente avergonzado” de no haber sabido sobre los acuerdos, y la empresa dijo que eliminaría las cláusulas de no difamación de sus documentos estándar y liberaría a los ex empleados de sus acuerdos).
En su carta abierta, Kokotajlo y los demás ex empleados de OpenAI piden poner fin al uso de acuerdos de no difamación y no divulgación en OpenAI y otras empresas de inteligencia artificial.
“Los acuerdos de confidencialidad amplios nos impiden expresar nuestras preocupaciones, excepto a las mismas empresas que pueden no estar abordando estos problemas”, escriben.
También piden a las empresas de inteligencia artificial que “apoyen una cultura de crítica abierta” y establezcan un proceso de denuncia para que los empleados puedan plantear preocupaciones relacionadas con la seguridad de forma anónima.
Han contratado a un abogado pro bono, Lawrence Lessig, el destacado académico y activista legal. Lessig también asesoró a Frances Haugen, una ex empleada de Facebook que se convirtió en denunciante y acusó a esa empresa de anteponer las ganancias a la seguridad.
En una entrevista, Lessig dijo que si bien las protecciones tradicionales para denunciantes suelen aplicarse a informes de actividades ilegales, era importante que los empleados de empresas de inteligencia artificial pudieran discutir libremente los riesgos y daños potenciales, dada la importancia de la tecnología.
“Los empleados son una línea importante de defensa de seguridad, y si no pueden hablar libremente sin represalias, ese canal se cerrará”, dijo.
Held, la portavoz de OpenAI, dijo que la empresa tenía “vías para que los empleados expresen sus preocupaciones”, incluyendo una línea directa de integridad anónima.
Kokotajlo y su grupo son escépticos de que la autorregulación por sí sola sea suficiente para prepararse para un mundo con sistemas de inteligencia artificial más potentes. Por lo tanto, están pidiendo a los legisladores que regulen también la industria.
“Debe haber algún tipo de estructura de gobernanza democráticamente responsable y transparente a cargo de este proceso”, dijo Kokotajlo. “En lugar de solo un par de empresas privadas compitiendo entre sí y manteniéndolo todo en secreto”.