Ограждения и фильтрация: безопасность, побег из тюрьмы
Приложение LLM для производства — это больше, чем просто базовая модель. Защиты – это уровни политики, классификаторов и подсказок, которые блокируют вредоносные выходные данные, скрывают секреты и усиливают тон бренда. Злоумышленники проверяют эти слои с помощью джейлбрейков — подсказок, созданных для обхода инструкций. Защита никогда не бывает идеальной; цель состоит в том, чтобы измеримо снизить риск и зарегистрировать инциденты для повторения.