AP.- OpenAI dice que está creando un comité de seguridad y ha comenzado a entrenar un nuevo modelo de IA para reemplazar el sistema GPT-4 que sustenta su chatbot ChatGPT.
La startup de San Francisco dijo en una publicación de blog el martes que el comité asesorará a la junta directiva en pleno sobre “decisiones críticas de seguridad” para sus proyectos y operaciones.
El comité de seguridad llega mientras el debate gira en torno a la seguridad de la IA en la compañía, que saltó a la luz después de que un investigador, Jan Leike, renunció y criticó a OpenAI por permitir que la seguridad «pasara a un segundo plano frente a los productos brillantes». El cofundador y científico jefe de OpenAI, Ilya Sutskever, también renunció y la compañía disolvió el equipo de “superalineación” centrado en los riesgos de la IA que lideraban conjuntamente.
Leike dijo el martes que se unirá a la empresa rival de IA Anthropic, fundada por ex líderes de OpenAI, para «continuar la misión de superalineación» allí.
OpenAI dijo que “ha comenzado recientemente a entrenar su próximo modelo de frontera” y que sus modelos de IA lideran la industria en capacidad y seguridad, aunque no mencionó la controversia. «Damos la bienvenida a un debate sólido en este momento importante», dijo la compañía.
Los modelos de IA son sistemas de predicción que se entrenan en vastos conjuntos de datos para generar texto, imágenes, videos y conversaciones similares a las humanas bajo demanda. Los modelos Frontier son los sistemas de IA más potentes y de vanguardia.
El comité de seguridad está lleno de expertos de la empresa, incluido el director ejecutivo de OpenAI, Sam Altman, y el presidente, Bret Taylor, y cuatro expertos técnicos y de políticas de OpenAI. También incluye a los miembros de la junta directiva Adam D’Angelo, director ejecutivo de Quora, y Nicole Seligman, ex asesora general de Sony.
El primer trabajo del comité será evaluar y desarrollar aún más los procesos y salvaguardas de OpenAI y hacer sus recomendaciones a la junta en 90 días. La compañía dijo que luego hará públicas las recomendaciones que está adoptando «de una manera que sea consistente con la seguridad».
