LoRA et QLoRA : les mathématiques, la sélection des classements et la pratique

LoRA est la technique qui a démocratisé le réglage fin du LLM. Avant cela, le réglage fin d’un modèle 7B nécessitait environ 112 Go de mémoire GPU – 14 A100. Avec QLoRA, le même travail peut être effectué sur un seul GPU grand public de 24 Go. Cette leçon explique l'astuce mathématique qui rend cela possible, comment choisir l'hyperparamètre clé (rang) et comment l'exécuter en pratique.

Full content is available with a subscription.
Get full access to all courses on the platform for one year with a single payment.
Unlike other platforms that charge per course, here you get everything for one price, and after one year of use there will be no automatic charge for the following year.