Про архитектуру трансформеров написано уже немало, поэтому опишу работу LLM с прикладной точки зрения.
Контекст
На вход LLM подаётся блок текста, который называется контекстом. Размер контекста ограничен: когда всё начиналось, прорывом считались 32К, сейчас 1М — индустриальный стандарт.
На основе этого текста LLM генерирует его продолжение. Современные модели выдают логически законченный фрагмент (на уровне модели он завершается специальным токеном <stop>).
Контекст таким образом увеличивается: к нему можно дописать новый фрагмент — и всё повторяется заново.
