Mise au point : enseigner de nouvelles astuces à un LLM sans recyclage complet
GPT-4 peut faire beaucoup de choses, mais il ne connaît pas vos flux de travail internes. BERT peut manquer le jargon médical de votre clinique. Le réglage fin adapte un modèle pré-entraîné à une tâche ou un domaine. Un réglage fin complet coûte cher : LLaMA-7B a besoin de plusieurs A100. LoRA est élégant : gèle ~99 % des poids et n'entraîne que deux petites matrices. La qualité est proche du plein FT ; la mémoire est souvent 10 à 50 fois plus petite.