La empresa OpenAI lanzó esta semana su nuevo modelo de inteligencia artificial, nombrado o1, con “razonamiento mejorado“, lo cual ha provocado advertencias del profesor pionero de la inteligencia artificial, Yoshua Bengio, sobre los riesgos potenciales asociados con sistemas de inteligencia artificial cada vez más avanzados.
Según OpenAI, este nuevo modelo está diseñado para “pasar más tiempo pensando antes de responder“, lo que permite abordar tareas complejas y resolver problemas más difíciles en campos como la ciencia, la codificación y las matemáticas.
Esta versión preliminar de OpenAI o1, que se llamaba en clave ‘Project Strawberry’, ahora está disponible para que los suscriptores de ChatGPT Pro la prueben y también está disponible a través de la API de OpenAI.
En los exámenes de calificación para la Olimpiada Internacional de Matemáticas (IMO), el nuevo modelo resolvió correctamente el 83 por ciento de los problemas, en comparación con solo el 13 por ciento resuelto por su predecesor, GPT-4o.
En los concursos de codificación, el modelo alcanzó el percentil 89 en las competiciones de Codeforces. Según se informa, el modelo se desempeña de manera similar a los estudiantes de doctorado en tareas de referencia desafiantes en física, química y biología.
OpenAI también introdujo o1-mini, un modelo de razonamiento reducido pero más rápido que dice que es particularmente efectivo en la codificación. Es 80 por ciento más barato que o1-preview, lo que lo posiciona como una opción más asequible para aplicaciones que requieren razonamiento, pero no un amplio conocimiento mundial.
Sin embargo, este avance ha suscitado preocupaciones entre los expertos en el campo. Bengio, profesor de informática en la Universidad de Montreal y una figura reconocida en la investigación de inteligencia artificial, emitió una advertencia sobre los peligros potenciales de estos nuevos modelos.
“Si OpenAI realmente cruzó un nivel de ‘riesgo medio’ para las armas CBRN (químicas, biológicas, radiológicas y nucleares) como informan, esto solo refuerza la importancia y la urgencia de adoptar legislación como SB 1047 para proteger al público”, dijo Bengio en un comentario enviado a Newsweek, refiriéndose al proyecto de ley de seguridad de la IA actualmente propuesto en California.
Dijo: “La mejora de la capacidad de la inteligencia artificial para razonar y usar esta habilidad es particularmente peligrosa. Debemos implementar soluciones regulatorias como la ley SB 1047 para garantizar que los desarrolladores prioricen la seguridad pública en la frontera de la inteligencia artificial”.
El proyecto de ley en Estados Unidos nombrado SB 1047 tiene como objetivo establecer requisitos de seguridad para los modelos de inteligencia artificial “fronterizas”: sistemas avanzados que podrían causar daños catastróficos.
Newsweek se puso en contacto con OpenAI por correo electrónico para hacer comentarios.
Al comentar sobre el nuevo lanzamiento de OpenAI, Dan Hendrycks, director del Centro de Seguridad de la IA, dijo que “deja una cosa clara: el riesgo grave de la IA no es una fantasía de ciencia ficción lejana”.
“El modelo ya supera a los científicos de doctorado la mayor parte del tiempo en responder preguntas relacionadas con las armas biológicas. OpenAI continúa aumentando sus propias estimaciones de los riesgos de estos modelos, y seguramente vendrán más aumentos”, dijo Hendrycks a Newsweek.
Abigail Rekas, académica de derechos de autor y acceso en la Universidad de Galway, Irlanda, explicó que, si bien el proyecto de ley no se dirige a los sistemas actuales de inteligencia artificial, establece un marco para futuros modelos más avanzados.
Los modelos que cumplen con criterios específicos para causar daños graves incluyen aquellos utilizados para crear o desplegar armas químicas, biológicas, radiológicas o nucleares que resultan en víctimas masivas o al menos 500 millones de dólares en daños, o aquellos que causan daños similares a través de ciberataques a infraestructuras críticas.
Para calificar, el modelo debe haber costado más de 100 millones de dólares para entrenar y requerir una potencia informática sustancial (10^26 FLOP o equivalente). Además, el modelo de inteligencia artificial debe ser el único medio por el cual podría haber ocurrido el daño, y el desarrollador no debe haber ejercido un cuidado razonable para prevenir tales riesgos irrazonables.
“Las obligaciones impuestas por el proyecto de ley esencialmente detallan cómo es tener un cuidado razonable, incluida la creación de un interruptor de apagado y el desarrollo de un medio para determinar si es probable que la inteligencia artificial se comporte de una manera que pueda causar los daños mencionados anteriormente”, dijo Rekas a Newsweek.
Pero, ¿qué desafíos legales podrían surgir para determinar la causalidad entre un modelo de inteligencia artificial y “daño catastrófico” en posibles demandas? “Requerirá demostrar esencialmente que, si no fuera por el modelo de inteligencia artificial de frontera, el daño (especificado) no habría ocurrido. No tengo idea de lo difícil que será esto, ya que estos sistemas aún no existen y cómo ese daño podría ocurrir sigue siendo puramente especulativo”, dijo Rekas.
OpenAI dice que ha tomado medidas para abordar los problemas de seguridad con sus nuevos modelos. La compañía afirma que ha desarrollado un nuevo enfoque de capacitación en seguridad que aprovecha las capacidades de razonamiento de los modelos para adherirse mejor a las pautas de seguridad y alineación. En una de sus pruebas de “jailbreak” más difíciles, el modelo de vista previa de o1 obtuvo 84 de 100, en comparación con la puntuación de 22 de GPT-4o.
La compañía dice que también ha aumentado su trabajo de seguridad, gobernanza interna y colaboración con el gobierno federal. Esto, dice, incluye pruebas y evaluaciones rigurosas utilizando su “Marco de Preparación”, el mejor equipo rojo de su clase y procesos de revisión a nivel de junta.
OpenAI ha formalizado recientemente acuerdos con Estados Unidos y el Reino Unido, otorgándoles acceso temprano a una versión de investigación de este modelo. Esta colaboración, dice, es un paso importante en el establecimiento de un proceso para la investigación, evaluación y pruebas de futuros modelos antes y después de su lanzamiento público. N
