Матрица — это не таблица, это действие

Если вектор — это положение точки, то матрица — это команда, которая заставляет эту точку двигаться. Матрица может повернуть, растянуть, сжать или «схлопнуть» всё пространство сразу. В машинном обучении веса нейронного слоя — это числа в матрице. Когда данные проходят сквозь слой, матрица весов буквально «деформирует» пространство, пытаясь расположить точки разных классов подальше друг от друга.

Измените числа в матрице W и наблюдайте, как деформируется пространство
Grid nodes (x, y) map to (x′, y′):  x′ = ax + by,   y′ = cx + dy
Matrix W
(
)
[1.00, 0.00; 0.00, 1.00]

Линейные преобразования — что умеет матрица

Линейное преобразование сохраняет две вещи: прямые линии остаются прямыми, начало координат остаётся на месте. Всё остальное — повороты, растяжения, отражения, сдвиги осей — матрица может делать.
Identity [[1,0],[0,1]]: «нулевое действие». Пространство остаётся нетронутым. np.eye(2)
Масштаб [[2,0],[0,2]]: растягивает пространство в 2 раза по обеим осям
Поворот [[0,-1],[1,0]]: поворачивает все векторы на 90°. Попробуйте в виджете выше
Каждый полносвязный (Dense) слой нейросети — это матрица: y=Wx+by=Wx+b. Обучение = подбор чисел в W
Умножение матриц: склейка двух действий в одно

Умножение матриц A×BA\times B — это не просто арифметика. Это последовательное применение двух трансформаций: сначала B, потом поверх неё A. Наведите на ячейку результата C ниже — и увидите, какая строка A и какой столбец B участвуют в её вычислении. Важно: порядок имеет значение — A×B, как правило, не равно B×A.

Наведите на ячейку матрицы C, чтобы увидеть, из каких элементов она складывается
Cij=∑kAikBkjC_{ij} = \sum_k A_{ik} B_{kj} — row ii of Слой 1 (W₁), column jj of Слой 2 (W₂)
Слой 1 (W₁)
231
042
Слой 2 (W₂)
12
01
30
Результат
57
64
Наведите курсор на ячейку результата C — подсветятся строка A и столбец B.
Три операции, которые нужно знать
Нажмите на операцию для объяснения
Матрицы в нейросетях: слой как деформация пространства

Каждый полносвязный слой — это буквально y=Wx+by=Wx+b. Матрица W деформирует пространство, вектор смещения b сдвигает его. Обучение нейросети — это подбор таких чисел в W, чтобы после всех деформаций точки разных классов (например, «кошки» и «собаки») оказались максимально далеко друг от друга и их можно было легко разделить.

Линейная алгебра в действии ▼
python
1
import numpy as np
▼
2
W = np.array([[0, -1], [1, 0]])
▼
3
x = np.array([1, 0])
▼
4
y = W @ x  # [0, 1]
▼
5
inv_W = np.linalg.inv(W)
▼
6
det = np.linalg.det(W)  # = 1.0
▼
GPU стали сердцем глубокого обучения именно потому, что они умеют выполнять миллиарды матричных умножений параллельно. Обучение GPT-4 потребовало квадриллионы таких операций. Без этой «матричной магии» современные LLM были бы невозможны.