AI Wiki · уровень 3 · Как ИИ видит, слышит, читает и создаёт · тема № 45Как машина читаетЯзыковая модель читает текст в пять шагов: режет его на токены, превращает каждый токен в вектор, связывает слова механизмом внимания, пропускает векторы через десятки слоёв трансформера и выбирает вероятное следующее слово. Потом дописывает его и повторяет.
Коротко- Токены: модель не видит букв и слов. Текст режется на кусочки — частые слова целиком, редкие по частям (алгоритм BPE). У каждого токена есть номер в словаре.
- Эмбеддинги: каждый номер превращается в вектор — точку в пространстве смыслов. Слова из похожих контекстов лежат рядом.
- Внимание: слова в предложении смотрят друг на друга. Так «она» во фразе «Кошка не перешла дорогу, потому что она устала» связывается с «кошкой».
- Слои: трансформер — стопка одинаковых блоков «внимание + MLP». С каждым слоем вектор слова вбирает смысл контекста. У GPT-3 таких слоёв 96, а параметров 175 млрд.
- Следующий токен: модель выдаёт вероятность каждого возможного продолжения, выбирает одно (температура управляет случайностью), дописывает и повторяет. Перевод, пересказ и ответ на вопрос — это всё допечатывание текста.
Вопросы и ответы- Что такое токен в языковой модели?
- Кусочек текста, с которым работает модель: частое слово целиком или часть редкого слова. У каждого токена есть номер в словаре, и модель видит только эти номера.
- Что такое эмбеддинг?
- Вектор из тысяч чисел, который соответствует токену. Это точка в пространстве смыслов: слова, встречающиеся в похожих контекстах, оказываются рядом.
- Что такое механизм внимания?
- Способ, которым каждое слово «смотрит» на остальные и решает, какие из них важны для его смысла. Запрос слова сравнивается с ключами других слов, оценки превращаются в доли, и по ним смешиваются значения.
- Что такое температура модели?
- Настройка случайности при выборе следующего токена. Низкая температура делает выбор предсказуемым, высокая — разнообразнее.
- Почему одна модель умеет и переводить, и отвечать на вопросы?
- Все эти задачи сводятся к одному действию — продолжить текст наиболее вероятным образом, если правильно задать начало.
Сначала стоит прочитать№ 42 Эмбеддинги
Автор — Иван Будник · обновлено 14 октября 2026 · текст для нейросетей (.md)