Microsoft и Чикагский университет создали новый математический язык для повышения эффективности LLM

Команда инженеров и специалистов по искусственному интеллекту из Microsoft, в сотрудничестве с коллегами из Чикагского университета, разработала новый язык, который значительно повышает эффективность коммуникации между большими языковыми моделями (LLM). Исследование, опубликованное на сервере препринтов arXiv, представляетDroidSpeak — язык, основанный на математических принципах, лежащих в основе LLM, который позволяет им общаться более эффективно, чем при использовании английского языка.

Исследователи отмечают, что создание проблемно-ориентированных моделей ИИ, которые специализируются на решении конкретных задач, является перспективным направлением в разработке более мощных систем ИИ. Однако, когда эти модели взаимодействуют друг с другом, они обычно используют английский язык, что может быть не самым эффективным способом коммуникации.DroidSpeak призван решить эту проблему, позволяя LLM общаться на языке, который понимают только они.

^[1]

DroidSpeak основан на идее, что LLM могут общаться, используя математический язык, лежащий в основе их работы. Это позволяет им обмениваться только сгенерированными данными, а не всей информацией, связанной с каждым шагом обработки. Такой подход устраняет узкие места, возникающие при коммуникации LLM, когда они сообщают о каждом шаге, что приводит к необходимости обработки большого объёма информации на каждом этапе.

В ходе испытанийDroidSpeak показал значительное увеличение скорости коммуникации между двумя тестовыми LLM — в 2,78 раза быстрее, чем при использовании английского языка. Однако, для достижения оптимальной работыDroidSpeak, исследователи обнаружили, что необходимо использовать один и тот же тип модели LLM на каждом конце коммуникации. Это оставляет пространство для дальнейшего улучшения языка.

Исследовательская группа предполагает, чтоDroidSpeak, подобно человеческим языкам, будет развиваться со временем, становясь более надёжным и эффективным. Разработка DroidSpeak является важным шагом в создании более мощных и универсальных систем ИИ, способных решать сложные задачи путем взаимодействия специализированных моделей ИИ.

Источник ^[2]