Stable Diffusion: полная архитектура — UNet, VAE и CLIP

Stable Diffusion (Rombach et al., 2022) сделал доступной высококачественную генерацию текста в изображение, объединив три мощные независимо друг от друга идеи: запуск диффузии в сжатом скрытом пространстве (VAE), обработка на основе богатых текстовых вложений (CLIP) и использование U-Net для шумоподавления. Понимание того, как эти три компонента сочетаются друг с другом, является ключом к пониманию того, почему SD работает и как его контролировать.

Full content is available with a subscription.
Get full access to all courses on the platform for one year with a single payment.
Unlike other platforms that charge per course, here you get everything for one price, and after one year of use there will be no automatic charge for the following year.