Законы масштабирования: параметры, данные и вычисления

Почему GPT-4 знает больше, чем GPT-2? Почему Llama 3 8B превосходит модели двухлетней давности с параметрами в 10 раз больше? Ответ кроется в законах масштабирования — эмпирических формулах, которые предсказывают, как качество модели зависит от трех чисел: количества параметров, объема данных, на которых она обучалась, и количества затраченных вычислений.

Full content is available with a subscription.
Get full access to all courses on the platform for one year with a single payment.
Unlike other platforms that charge per course, here you get everything for one price, and after one year of use there will be no automatic charge for the following year.