# Как машина читает

> Языковая модель читает текст в пять шагов: режет его на токены, превращает каждый токен в вектор, связывает слова механизмом внимания, пропускает векторы через десятки слоёв трансформера и выбирает вероятное следующее слово. Потом дописывает его и повторяет.

- Источник: https://ivanbudnik.ru/aiwiki/kak-mashina-chitaet/
- Раздел: [AI Wiki](https://ivanbudnik.ru/aiwiki/) — уровень 3 «Как ИИ видит, слышит, читает и создаёт», тема № 45 «Обработка языка»
- Автор: [Иван Будник](https://ivanbudnik.ru/about/) — Solo Founder, эксперт по AI-трансформации и e-commerce
- Опубликовано: 2026-10-13, обновлено: 2026-10-14
- Форматы: [Интерактив](https://ivanbudnik.ru/aiwiki/kak-mashina-chitaet/), [Видео](https://ivanbudnik.ru/aiwiki/kak-mashina-chitaet/video/)
- Сначала стоит прочитать: № 42 Эмбеддинги

## Коротко

- Токены: модель не видит букв и слов. Текст режется на кусочки — частые слова целиком, редкие по частям (алгоритм BPE). У каждого токена есть номер в словаре.
- Эмбеддинги: каждый номер превращается в вектор — точку в пространстве смыслов. Слова из похожих контекстов лежат рядом.
- Внимание: слова в предложении смотрят друг на друга. Так «она» во фразе «Кошка не перешла дорогу, потому что она устала» связывается с «кошкой».
- Слои: трансформер — стопка одинаковых блоков «внимание + MLP». С каждым слоем вектор слова вбирает смысл контекста. У GPT-3 таких слоёв 96, а параметров 175 млрд.
- Следующий токен: модель выдаёт вероятность каждого возможного продолжения, выбирает одно (температура управляет случайностью), дописывает и повторяет. Перевод, пересказ и ответ на вопрос — это всё допечатывание текста.

## Вопросы и ответы

### Что такое токен в языковой модели?

Кусочек текста, с которым работает модель: частое слово целиком или часть редкого слова. У каждого токена есть номер в словаре, и модель видит только эти номера.

### Что такое эмбеддинг?

Вектор из тысяч чисел, который соответствует токену. Это точка в пространстве смыслов: слова, встречающиеся в похожих контекстах, оказываются рядом.

### Что такое механизм внимания?

Способ, которым каждое слово «смотрит» на остальные и решает, какие из них важны для его смысла. Запрос слова сравнивается с ключами других слов, оценки превращаются в доли, и по ним смешиваются значения.

### Что такое температура модели?

Настройка случайности при выборе следующего токена. Низкая температура делает выбор предсказуемым, высокая — разнообразнее.

### Почему одна модель умеет и переводить, и отвечать на вопросы?

Все эти задачи сводятся к одному действию — продолжить текст наиболее вероятным образом, если правильно задать начало.

## Интерактив

3D-пространство смыслов. Интерактивная визуализация: https://ivanbudnik.ru/aiwiki/kak-mashina-chitaet/

Как машина читает

Раскладываю слова по смыслу…

Как машины понимают текст

## Слова становятся *токенами*

Путь фразы через языковую модель: от букв до следующего слова. Крутите сцену мышью.

1–5 шаг · перетаскивание вращает колесо приближает

## Видео

Ролик 2:48: https://ivanbudnik.ru/aiwiki/kak-mashina-chitaet/video/

- 0:00 Вступление
- 0:09 Токены
- 0:38 Эмбеддинги
- 1:12 Внимание
- 1:48 Слои
- 2:08 Следующий токен
- 2:38 Итог

### Текст ролика

Вы пишете фразу, модель отвечает. Что происходит между этими моментами? Пройдём путь одной фразы через языковую модель, шаг за шагом.

Для компьютера текст с самого начала — это числа. У каждой буквы свой номер. Алгоритм BPE раз за разом склеивает пару букв, которая чаще всего встречается в текстах. Частое слово становится одним кусочком — токеном. У каждого токена есть номер в словаре. Модель видит только эти номера, и ничего больше. А редкое слово не пропадёт: оно просто распадётся на несколько кусочков.

Номер — это адрес строки в огромной таблице. Строка из тысяч чисел и есть вектор слова. Векторы — это точки в пространстве смыслов. Слова, которые встречаются в похожих контекстах, оказываются рядом. Даже направления здесь имеют смысл. Париж минус Франция плюс Япония — и мы рядом с Токио.

Слово «она» спрашивает остальные: кто из вас мне важен? Ответ — доли внимания. Будущее для неё скрыто. Технически запрос одного слова умножают на ключи других слов, а функция softmax превращает оценки в доли. Значения слов смешиваются по этим долям. И теперь вектор «она» несёт в себе «кошку». Таких голов внимания много, и каждая ищет свои связи.

Блок «внимание плюс MLP» повторяется десятки раз. С каждым слоем векторы уточняются. У GPT-3 таких слоёв девяносто шесть, а параметров — сто семьдесят пять миллиардов.

На выходе модель даёт вероятность каждого токена словаря. Температура делает выбор осторожнее или смелее. Модель выбирает токен, дописывает его и прогоняет всё заново. Так, слово за словом, и появляется ответ. Перевод, пересказ, ответ на вопрос — для модели это одна и та же задача: продолжить текст.

Текст, токены, векторы, внимание и слои, вероятности, следующее слово. И так по кругу. Всё остальное — масштаб.