OpenAI ha presentado Reinforcement Fine-Tuning (RFT), una nueva técnica de personalización de modelos que ya ha aplicado en sus modelos de razonamiento de la serie o, que mejora su capacidad para resolver problemas en campos especializados como la investigación científica.
RFT permite a los desarrolladores de aprendizaje automático crear modelos a medida para tareas complejas y específicas de un dominio. Para ello, mejora las capacidades de razonamiento de un modelo mediante la mejora iterativa.
Se trata de una ventaja frente a las técnicas de ajuste supervisado tradicional, con las que se entrena a los modelos para que imiten las respuestas deseadas, como ha explicado la compañía tecnológica en el marco de los 12 días de novedades que celebra en diciembre.
Según detalla OpenAI, al proporcionar un conjunto de datos y un clasificador para tareas específicas, los modelos pueden optimizar sus procesos de razonamiento para rendir mejor en áreas especializadas.
Se trata de un avance que permite alcanzar nuevos niveles de razonamiento y resolución de problemas en campos muy concretos como la codificación, la investigación científica o las finanzas. De hecho, y como han compartido, ya se ha aplicado en el mundo real para avanzar en la investigación de enfermedades genéticas raras de la mano de un investigador de Berkeley Lab.
RFT, hasta ahora de uso interno para el entrenamiento de los modelos de la serie o, ya está disponible para los desarrolladores externos dentro de su programa de investigación, mediante invitación. Se espera que el lanzamiento público tenga lugar a principios de 2025.
