Recherche d'hyperparamètres : de la recherche par grille à l'exploration intelligente
Chaque algorithme ML possède des hyperparamètres qui ne peuvent pas être appris à partir des données : ils doivent être réglés. GridSearch essaie toutes les combinaisons : avec 5 paramètres et 5 valeurs chacun, soit 3 125 exécutions d'entraînement. RandomSearch échantillons au hasard : plus rapide, mais sans mémoire. Optuna utilise l'optimisation bayésienne : chaque essai ultérieur est plus intelligent que le précédent : le modèle sait où chercher.