До трансформера RNN читали текст последовательно: слово за словом. Слово в начале длинного предложения влияло на конец с трудом — сигнал затухал. Механизм внимания (attention) решил это радикально: каждый токен одновременно «смотрит» на все остальные токены и решает насколько каждый из них важен. Параллельно, не последовательно. Это и позволило трансформерам масштабироваться до миллиардов параметров.