LLM de pré-formation : données, objectifs et budget de calcul
Lorsque vous parlez à Claude ou à GPT-4, vous interagissez avec un modèle qui est passé par deux phases distinctes. La première – et de loin la plus coûteuse – est la pré-formation : exposer le modèle à des milliards de jetons de texte et lui apprendre une tâche simple. La deuxième phase (alignement, abordée dans la leçon suivante) transforme cette capacité brute en un assistant utile.