Investigadores de OpenAI alertaron de un avance que amenazaba a la humanidad antes del despido de Altman

Antes de los cuatro días de exilio del CEO de OpenAI, Sam Altman, varios programadores escribieron una carta a la junta directiva advirtiendo sobre un poderoso descubrimiento de inteligencia artificial que, según dijeron, podría amenazar a la humanidad, según han desvelado a la agencia Reuters dos personas relacionadas con este asunto.

Según las mismas fuentes a Reuters, ese descubrimiento fue decisivo para que la junta destituyera a Altman. Sin embargo, el medio especializado The Verge asegura que la carta no llegó al consejo y que no tuvo que ver en el despido de Altman.

Antes de su regreso triunfal el martes por la noche, más de 700 empleados habían amenazado con renunciar y unirse a su defensor Microsoft en solidaridad con su líder despedido. Las fuentes citaron la carta como un factor entre una lista más larga de quejas de la junta directiva que condujeron al despido de Altman, entre las cuales se encontraban preocupaciones sobre la comercialización de la inteligencia artificial antes de comprender las consecuencias. Reuters no pudo revisar una copia de la carta y los firmantes de la carta tampoco han querido responder a las preguntas de dicha agencia.

Desde OpenAI han declinado hacer comentarios pero han reconocido en un mensaje interno a su personal un proyecto llamado Q* y una carta a la junta antes de los eventos del fin de semana, dijo una de las personas. Un portavoz de OpenAI dijo que el mensaje, enviado por la ejecutiva Mira Murati, alertó al personal sobre ciertas historias de los medios sin comentar sobre su exactitud.

Algunos en OpenAI creen que Q* (pronunciado Q-Star) podría ser un gran avance en la búsqueda de la startup de lo que se conoce como inteligencia general artificial (AGI), dijo una de las personas a Reuters. OpenAI define AGI como sistemas autónomos que superan a los humanos en la mayoría de las tareas económicamente valiosas.

Dados los vastos recursos informáticos, el nuevo modelo fue capaz de resolver ciertos problemas matemáticos, dijo esa persona de forma confidencial a Reuters. Aunque sólo realizaba matemáticas al nivel de los estudiantes de primaria, la superación de dichas pruebas hizo que los investigadores se sintieran muy optimistas sobre el éxito futuro de Q*, dijo la fuente. Reuters no pudo verificar de forma independiente las capacidades de Q* afirmadas por los investigadores.

Los investigadores consideran que las matemáticas son una frontera del desarrollo de la IA generativa. Actualmente, la IA generativa es buena para escribir y traducir idiomas al predecir estadísticamente la siguiente palabra, y las respuestas a la misma pregunta pueden variar ampliamente. Pero conquistar la capacidad de hacer matemáticas (donde sólo hay una respuesta correcta) implica que la IA tendría mayores capacidades de razonamiento similares a la inteligencia humana. Esto podría aplicarse a investigaciones científicas novedosas, por ejemplo, creen los investigadores de IA.

A diferencia de una calculadora que puede resolver un número limitado de operaciones, AGI puede generalizar, aprender y comprender. En su carta a la junta, los investigadores señalaron la destreza y el peligro potencial de la IA, dijeron las fuentes sin especificar las preocupaciones de seguridad exactas señaladas en la carta. Los científicos informáticos llevan mucho tiempo debatiendo el peligro que representan las máquinas muy inteligentes, por ejemplo si deciden que la destrucción de la humanidad es de su interés.

Los investigadores también han señalado el trabajo de un equipo de "científicos de IA", cuya existencia confirmaron múltiples fuentes. El grupo, formado combinando equipos anteriores de "Code Gen" y "Math Gen", estaba explorando cómo optimizar los modelos de IA existentes para mejorar su razonamiento y eventualmente realizar trabajo científico, dijo una de las personas.

Altman lideró los esfuerzos para hacer de ChatGPT una de las aplicaciones de software de más rápido crecimiento en la historia y atrajo la inversión (y los recursos informáticos) necesarios de Microsoft para acercarse a AGI. Además de anunciar una serie de nuevas herramientas en una demostración este mes, Altman la semana pasada bromeó en una cumbre de líderes mundiales en San Francisco que creía que había grandes avances a la vista.

"Cuatro veces en la historia de OpenAI, la más reciente fue en las últimas dos semanas, he estado en la sala, cuando en cierto modo empujamos el velo de la ignorancia hacia atrás y la frontera del descubrimiento hacia adelante. Ese es el honor profesional de mi vida", afirmó en la cumbre de Cooperación Económica Asia-Pacífico.

Un día después, la junta despidió a Altman.

.