Контейнеры: упаковать модель вместе со средой
«У меня работает, на сервере нет» — классика ML. Разные версии CUDA, torch, numpy, системных библиотек. Docker решает это: упаковываем код, зависимости, системные библиотеки и конфигурацию в один образ. На любой машине с Docker — запускается одинаково. Для ML это особенно важно: воспроизводимость инференса так же критична как воспроизводимость обучения.