En la siguiente entrevista, Bob McGrew, jefe del equipo de investigación en OpenAI, conversa con su equipo sobre la recién presentada serie de modelos o1 y o1 Mini. En ella, ofrecen interesantes perspectivas sobre el desarrollo, el funcionamiento y las particularidades de estos nuevos modelos.

Bob: ¿Qué es exactamente o1?

Desarrollador: Con la nueva serie o1, estamos lanzando una línea de modelos que se diferencian de las versiones anteriores, como por ejemplo GPT-4, en su enfoque. o1 es específicamente un modelo llamado de “raciocinio”, lo que significa que reflexiona más profundamente sobre una pregunta antes de responder. El objetivo es proporcionar respuestas de mayor calidad. Actualmente, tenemos dos modelos: o1 Preview, que permite una primera visión de la nueva dirección, y o1 Mini, una versión más compacta y rápida.

Bob: ¡Suena interesante! Pero, ¿qué entienden exactamente por “raciocinio”?

Desarrollador: Una manera sencilla de explicar el raciocinio es comparándolo con diferentes tipos de tareas. Hay preguntas para las que conoces la respuesta de inmediato, como “¿Cuál es la capital de Italia?” — Roma, no necesitas pensarlo mucho. Pero en tareas más complejas, como escribir un plan de negocios o resolver un enigma, se necesita tiempo para reflexionar. Se trata de convertir tiempo en mejores resultados, y eso es precisamente lo que o1 permite a través de un razonamiento más profundo.

Bob: ¿Cuánto tiempo llevan trabajando en este modelo?

Desarrollador: Ya llevamos bastante tiempo. Originalmente, nos inspiramos mucho en los resultados de AlphaGo y nos dedicamos intensamente al Deep Reinforcement Learning. Sin embargo, con el tiempo, nos dimos cuenta de que la combinación de Reinforcement Learning con enfoques supervisados nos permitiría lograr mucho más. Hubo muchos pequeños hitos, y finalmente todos esos esfuerzos llevaron al desarrollo de o1.

Bob: ¿Hubo algún momento de “eureka” durante este proceso?

Desarrollador: ¡Oh, sí, definitivamente! Uno de los momentos clave fue cuando entrenamos el modelo con más capacidad computacional y observamos por primera vez que no solo generaba secuencias de pensamiento coherentes, sino que realmente comenzó a formular cadenas complejas de razonamiento. Otro gran momento fue cuando descubrimos que el modelo, a través de Reinforcement Learning, podía desarrollar y refinar sus propias cadenas de pensamiento, en lugar de depender únicamente de los razonamientos humanos predefinidos. Fue un verdadero punto de inflexión.

Bob: Seguro que también tuvieron algunos obstáculos en el camino. ¿Cuáles fueron los mayores desafíos?

Desarrollador: Entrenar modelos grandes es increíblemente desafiante. Hay innumerables factores que pueden salir mal, y parece que siempre estamos tratando de mantener los modelos en ese delicado equilibrio entre el éxito y el fracaso. Imagínate pilotar un cohete hacia la luna: un pequeño ángulo incorrecto y pierdes el objetivo. Es algo similar aquí — encontrar el equilibrio adecuado es extremadamente difícil.

Bob: Eso suena como mucha paciencia y arduo trabajo. ¿Hubo pruebas específicas con las que desafiaron a los modelos?

Desarrollador: Sí, durante un tiempo solía hacer repetidamente la pregunta “¿Cuántas horas hay en un año?”. Parece simple, pero modelos anteriores como GPT-3 a menudo fallaban con esa pregunta. o1 finalmente dominó este tipo de preguntas después de un año de intenso trabajo. ¡Casi desearía haber codificado la respuesta manualmente!

Bob: ¿Cómo usan ustedes mismos el modelo en el día a día?

Desarrollador: Lo utilizo mucho para programar. Con o1, puedo concentrarme en definir problemas en lugar de escribir el código yo mismo. También es de gran ayuda para la depuración. Le doy el mensaje de error y sugiere de inmediato enfoques útiles sobre qué intentar a continuación.

Desarrollador: Para mí, es un excelente compañero para hacer brainstorming. Ayuda a estructurar ideas poco claras y a desarrollar diferentes enfoques de solución.

Bob: También desarrollaron o1 Mini. ¿Cuál fue la motivación detrás de esto?

Desarrollador: o1 Mini fue creado para llevar la filosofía de o1 a un público más amplio. Es mucho más económico de usar y más rápido. Aunque no tiene todo el conocimiento de o1 Preview, mantiene el enfoque en un razonamiento sólido. El objetivo era crear una solución inteligente y asequible que aún conservase muchas de las fortalezas del modelo principal.

Bob: Han hablado mucho sobre desafíos técnicos. ¿Qué los motiva a seguir adelante?

Desarrollador: Para mí, es increíblemente fascinante ver cómo la inteligencia se expresa en diferentes formas. Con o1, estamos creando la base para modelos que pueden pensar durante mucho más tiempo y de manera más profunda sobre los problemas, no solo minutos u horas, sino quizás algún día meses o años. Eso es una perspectiva emocionante para mí.

Desarrollador: Me encanta cuando la tecnología mejora la vida de las personas. Si nuestros modelos realmente pueden resolver problemas prácticos a través del razonamiento, entonces hemos logrado algo grandioso.

Bob: Puedo sentir la pasión en cada uno de ustedes. ¿Hay algo más que les gustaría decir a los oyentes?

Desarrollador: Cada uno de nosotros ha puesto mucho esfuerzo en este proyecto. Aunque estamos hablando de algoritmos y hardware, al final siempre son las personas y la colaboración las que hacen posible estas innovaciones. Eso es algo que nunca debemos olvidar.

Bob: Un gran cierre. Muchas gracias por su tiempo y felicitaciones por el lanzamiento de o1.

Desarrollador: ¡Gracias, Bob!

La entrevista completa con el equipo de desarrollo está disponible en inglés en YouTube a través del siguiente enlace: Entrevista sobre la nueva serie de modelos o1.