LoRA และ QLoRA: พีชคณิตของแรงก์ต่ำ การเลือกค่า r และการฝึก

LoRA เป็นเทคนิคที่ทำให้การ fine-tune LLM เข้าถึงได้ง่ายขึ้น ก่อนหน้านั้น การปรับแต่งรุ่น 7B อย่างละเอียดต้องใช้หน่วยความจำ GPU ประมาณ 112 GB — A100 จำนวน 14 ตัว ด้วย QLoRA งานเดียวกันนี้เหมาะกับ GPU สำหรับผู้บริโภคขนาด 24 GB ตัวเดียว บทเรียนนี้จะอธิบายเคล็ดลับทางคณิตศาสตร์ที่ทำให้สิ่งนี้เป็นไปได้ วิธีเลือกไฮเปอร์พารามิเตอร์หลัก (อันดับ) และวิธีการใช้งานในทางปฏิบัติ

Full content is available with a subscription.
Get full access to all courses on the platform for one year with a single payment.
Unlike other platforms that charge per course, here you get everything for one price, and after one year of use there will be no automatic charge for the following year.