Прежде чем разбирать оптимизации, зафиксируем базовые понятия:
Токен — минимальный фрагмент последовательности, с которым работает модель. Из hidden state каждого токена attention строит query, key и value. Query отвечает на вопрос «что я ищу»,
Key — “что я содержу”,