Предварительное обучение LLM: данные, цели и расчет бюджета
Когда вы разговариваете с Клодом или GPT-4, вы взаимодействуете с моделью, которая прошла две отдельные фазы. Первый — и, безусловно, самый дорогой — это предварительное обучение: подвергание модели воздействию триллионов текстовых токенов и обучение ее одной простой задаче. Второй этап (выравнивание, о котором рассказывается в следующем уроке) превращает эту грубую способность в полезного помощника.