SlideFormer: новый подход к тонкой настройке больших языковых моделей на одном GPU

Тонкая настройка больших языковых моделей (LLM) становится всё более важной для адаптации к конкретным задачам, но её высокая требовательность к памяти превышает возможности большинства современных GPU. Разработчики из Гонконгского университета науки и технологий (Hong Kong University of Science and Technology, HKUST) представили SlideFormer ^[1] — систему, которая позволяет выполнять тонкую настройку моделей с более чем 123 миллиардами параметров на одном GPU, таком как Nvidia RTX 4090. SlideFormer предлагает решения для преодоления ограничений памяти и повышения производительности.

Решение использует архитектуру скользящих слоёв, которая позволяет GPU работать как окно, совмещая вычисления на GPU с обновлениями на CPU и многоуровневым вводом-выводом. Система снижает пиковое использование памяти за счёт предварительно выделенных GPU-кэшей и буферов на CPU, что уменьшает фрагментацию и перераспределение памяти. Интеграция методов ввода-вывода и оптимизированных вычислительных ядер Triton устраняет узкие места в вычислениях.

^[2]

Это решение позволяет SlideFormer достигать следующих результатов: увеличение пропускной способности от 1,40 до 6,27 раз по сравнению с существующими решениями, такими как ZeRO-Offload и ColossalAI, снижение использования памяти GPU более чем на 50% и уменьшение потребления памяти CPU на 40%. Например, SlideFormer позволяет тонко настраивать модели с 123 миллиардами параметров на одном RTX 4090, а также обрабатывать пакеты данных в 8 раз больше. На высокопроизводительном ПК с 256 ГБ оперативной памяти система может обрабатывать модели до 24 миллиардов параметров без потери производительности.

SlideFormer открывает новые возможности для демократизации тонкой настройки LLM, позволяя пользователям и небольшим организациям использовать мощь больших моделей без необходимости в дорогих кластерных решениях.

Источник ^[3]