Fine-tuning: reentrenar un modelo

El fine-tuning entrena un modelo ya terminado con ejemplos propios para especializarlo en una tarea o un tono.

¿Qué es el fine-tuning?

En el fine-tuning, un modelo de lenguaje ya preentrenado se sigue entrenando con un conjunto de datos propio, más pequeño. A diferencia del prompting, esto sí modifica los pesos del modelo: el comportamiento se adapta de forma permanente a los ejemplos, sin que tengas que dar instrucciones en cada consulta.

Para qué sirve el fine-tuning

Mantener un tono o estilo determinado de forma consistente (por ejemplo, comunicación de marca)
Respetar de forma fiable un formato de salida fijo
Aprender jerga técnica o patrones de tareas demasiado complejos para explicarlos en el prompt

Para qué NO sirve el fine-tuning

El fine-tuning es malo para incorporar de forma fiable conocimiento fáctico nuevo: el modelo "aprende" más bien patrones y estilo que hechos exactos y recuperables. Para conocimiento actual o que cambia con frecuencia, RAG suele ser la opción mejor y más barata, porque no requiere reentrenamiento.

Marco práctico

OpenAI ofrece una API de fine-tuning para modelos seleccionados. Los modelos Claude pueden adaptarse para clientes empresariales a través de Amazon Bedrock mediante Model Customization, en lugar de una API pública de consumo. El fine-tuning también requiere datos de ejemplo cuidadosamente seleccionados: ejemplos malos o insuficientes producen un modelo peor, no mejor.