Обычно проекты по тонкой настройке терпят неудачу в наборе данных — не в обучающем коде, не в гиперпараметрах, не в выборе базовой модели. Модель, обученная на 500 высококачественных разнообразных примерах, почти всегда превосходит модель, обученную на 50 000 зашумленных. В этом уроке рассматриваются три формата наборов данных, конвейер данных, который превращает исходный материал в данные, готовые к обучению, и почему синтетические данные, генерируемые GPT-4, стали доминирующим подходом.