Guardrails และการกรอง: ความปลอดภัยและ jailbreak
แอป LLM ในโปรดักชันไม่ใช่แค่โมเดลฐาน Guardrails คือชั้นของนโยบาย ตัวจำแนก และพรอมต์ที่ปิดกั้นเอาต์พุตที่เป็นอันตราย ปิดบังข้อมูลลับ และบังคับโทนแบรนด์ ผู้โจมตีจะทดสอบชั้นเหล่านี้ด้วย jailbreak — พรอมต์ที่ออกแบบมาเพื่อหลีกเลี่ยงคำสั่ง การป้องกันไม่สมบูรณ์แบบ; เป้าหมายคือลดความเสี่ยงอย่างวัดได้และบันทึกเหตุการณ์เพื่อปรับปรุง