Поиск гиперпараметров: от перебора к умному исследованию
Любой ML-алгоритм имеет гиперпараметры которые нельзя выучить из данных — их нужно подбирать. GridSearch (перебор по сетке) перебирает все комбинации: при 5 параметрах по 5 значений это 3125 обучений. RandomSearch (случайный поиск) случайно сэмплирует: быстрее, но без памяти. Optuna использует байесовскую оптимизацию: каждый следующий запуск (trial) умнее предыдущего — модель знает где искать.