Как машина читает
Языковая модель читает текст в пять шагов: режет его на токены, превращает каждый токен в вектор, связывает слова механизмом внимания, пропускает векторы через десятки слоёв трансформера и выбирает вероятное следующее слово. Потом дописывает его и повторяет.
Главы
Текст ролика
Вы пишете фразу, модель отвечает. Что происходит между этими моментами? Пройдём путь одной фразы через языковую модель, шаг за шагом.
Для компьютера текст с самого начала — это числа. У каждой буквы свой номер. Алгоритм BPE раз за разом склеивает пару букв, которая чаще всего встречается в текстах. Частое слово становится одним кусочком — токеном. У каждого токена есть номер в словаре. Модель видит только эти номера, и ничего больше. А редкое слово не пропадёт: оно просто распадётся на несколько кусочков.
Номер — это адрес строки в огромной таблице. Строка из тысяч чисел и есть вектор слова. Векторы — это точки в пространстве смыслов. Слова, которые встречаются в похожих контекстах, оказываются рядом. Даже направления здесь имеют смысл. Париж минус Франция плюс Япония — и мы рядом с Токио.
Слово «она» спрашивает остальные: кто из вас мне важен? Ответ — доли внимания. Будущее для неё скрыто. Технически запрос одного слова умножают на ключи других слов, а функция softmax превращает оценки в доли. Значения слов смешиваются по этим долям. И теперь вектор «она» несёт в себе «кошку». Таких голов внимания много, и каждая ищет свои связи.
Блок «внимание плюс MLP» повторяется десятки раз. С каждым слоем векторы уточняются. У GPT-3 таких слоёв девяносто шесть, а параметров — сто семьдесят пять миллиардов.
На выходе модель даёт вероятность каждого токена словаря. Температура делает выбор осторожнее или смелее. Модель выбирает токен, дописывает его и прогоняет всё заново. Так, слово за словом, и появляется ответ. Перевод, пересказ, ответ на вопрос — для модели это одна и та же задача: продолжить текст.
Текст, токены, векторы, внимание и слои, вероятности, следующее слово. И так по кругу. Всё остальное — масштаб.