LoRA y QLoRA: matemáticas, selección de rangos y práctica

LoRA es la técnica que democratizó el ajuste de LLM. Antes, ajustar un modelo 7B requería ~112 GB de memoria GPU: 14 A100. Con QLoRA, el mismo trabajo cabe en una única GPU de consumo de 24 GB. Esta lección explica el truco matemático que hace esto posible, cómo elegir el hiperparámetro clave (rango) y cómo ejecutarlo en la práctica.

Full content is available with a subscription.
Get full access to all courses on the platform for one year with a single payment.
Unlike other platforms that charge per course, here you get everything for one price, and after one year of use there will be no automatic charge for the following year.