LLM могут принимать на вход все большее количество токенов, но большое количество переданных на вход токенов, включая промт, контекст и историю переписки, не равно качеству ответа.
В идеале на вход LLM нужно передавать минимально достаточный набор данных для получения ожидаемого качественного ответа.
Больше деталей о развии проекта, RAG и ИИ-агентах в @aigentto.

