Яндекс Музыка ела 850 МБ памяти. Переписал клиент на Rust, стало 64

в 9:06, , рубрики: electron, linux, open source, Rust, skia, slint, windows, десктопное приложение, оптимизация памяти
Яндекс Музыка ела 850 МБ памяти. Переписал клиент на Rust, стало 64 - 1

Вечер, браузер с кучей вкладок, IDE, в фоне играет музыка, и комп начинает подтупливать. Лезу в диспетчер задач, сортирую по памяти — наверху Яндекс Музыка. Семь процессов, на всех почти гигабайт. При этом она просто играла трек и показывала текст песни, больше ничего.

Откуда столько, в целом понятно: приложение на Electron, то есть внутри свой Chromium, а в нём сайт музыки. Отдельные процессы под окно, страницу, GPU, звук, плюс V8. Яндекс понять можно, один код на веб и десктоп. Но мне от этого не легче, у меня эта память не лишняя.

Готовые сторонние клиенты я посмотрел. Те что попадались были либо тоже на Electron, либо выглядели совсем по-другому, а я к интерфейсу официального привык и переучиваться не хотел. Хотелось то же самое один в один, только без браузера. Ну и давно хотел написать на Rust что-то крупнее консольной утилиты, так что решил делать сам.

Что в итоге вышло по цифрам:

Яндекс Музыка ела 850 МБ памяти. Переписал клиент на Rust, стало 64 - 2

egui

Начинал на egui, потому что уже немного его знал. Вход, поиск и проигрывание через rodio завелись быстро, и какое-то время я был доволен. Потом глянул в диспетчер: почти пустое окно на eframe с glow — от 46 до 99 МБ. Большая часть этого даже не моя, это видеодрайвер выделяет под контекст OpenGL, буферы, шейдеры. Из приложения на это почти никак не повлиять.

Но память была не главной проблемой. Главная - что на immediate mode очень тяжело повторить интерфейс, где у каждой карточки тень, скругление, ховер с анимацией, а у фона градиент и размытие. Каждый отступ считаешь руками в коде, их сотни, и при любом изменении всё едет. Похожести я бы так не добился, вообщем egui пришлось выкинуть.

Slint, и почему рисую на процессоре

Следующим взял Slint. У него свой декларативный язык для интерфейса, что-то между QML и CSS, компилируется в Rust. Разметка пишется почти как вёрстка, логика остаётся в Rust, для задачи "скопировать чужую вёрстку" это сильно удобнее.

Рендереров у Slint несколько, и я замерил пустое окно с каждым:

Чем рисуем

Память пустого окна

Skia через OpenGL

~220 МБ

egui + glow (для сравнения)

46–99 МБ

Skia на процессоре

18 МБ

После этой таблички вопрос, на чём рисовать, отпал сам:

slint::BackendSelector::new()
    .backend_name("winit".into())
    .renderer_name("skia-software".into())
    .select()?;

Музыкальный плеер большую часть времени статичен, так что процессора хватает. Я потом ещё раз пробовал видеокарту, уже на рабочем приложении и окне 1600x1000: OpenGL от 61 до 164 МБ, D3D12 от 101 до 152, на процессоре с анимациями от 25 до 67. Лимит кэша у Skia на GPU не помогает, это память драйвера.

Как копировал интерфейс

Тут Electron как раз помог. Официальное приложение — это Chromium, и его можно запустить с --remote-debugging-port=9333. Дальше подключаешься по Chrome DevTools Protocol и читаешь DOM, вычисленные стили, размеры любого элемента, хоть всей страницы целиком. Я написал на Node пару скриптов, которые открывают нужную страницу (переход кликом через dispatchEvent), снимают скриншот и выгружают размеры всех блоков в json. Вход в копии профиля, кстати, не переносится, скопированные куки оригинал не принимает, так что для замеров приходилось логиниться заново. Окно оригинала при этом я уносил за пределы экрана, оно и там нормально рисуется, просто не мешает. В итоге я сверял свою вёрстку с цифрами, а не на глаз со скриншотом, и это, наверное, главное, почему получилось похоже.

Цвета и размеры не переносил руками, в CSS оригинала токены темы лежат переменными. Скрипт на Python их забирает и генерирует theme.slint.

С масштабом была засада. У оригинала размер шрифта зависит от ширины окна:

html { font-size: calc(.75rem + .3vw) }

Всё что в rem растёт вместе с окном. На 1280x800 у меня совпадало по пикселям, а на большом мониторе выглядело мелко, и я долго не понимал почему.

Шрифтов YS Text, иконок и логотипа в репозитории нет, это собственность Яндекса. Программа при запуске читает их из app.asar установленного официального приложения: это обычный архив Electron, WOFF внутри перегоняется в sfnt. Нет официального приложения — один раз скачивает с music.yandex.ru. Словари английского, узбекского и казахского достаются оттуда же, из webpack-чанков вида JSON.parse('{"a11y…').

Слева оригинал, справа моё, аккаунт и страницы одни и те же:

Яндекс Музыка ела 850 МБ памяти. Переписал клиент на Rust, стало 64 - 3

API

Публичного API у Яндекс Музыки нет, поэтому через тот же отладочный порт я записал запросы, которые приложение шлёт при переходах. Выяснилось, что главную, "Для вас" и прочие витрины собирает сервер: /landing/skeleton/... отдаёт список блоков с типом и адресом данных, а клиент просто рисует, что пришло. Мне это сильно сэкономило время, новые страницы появлялись почти даром.

"Моя волна" работает через сессии. Клиент создаёт сессию, получает пачку треков и шлёт обратно события: начал, пропустил, дослушал, дизлайк. Без событий волна не учится. У меня в первых версиях дизлайк уходил как обычный пропуск, потом поправил.

Вход по коду, как на телевизоре: программа показывает код, вводишь его на ya.ru/device. Пароль программа не видит.

Тормоза

Первая рабочая версия прокручивала главную за 18,8 мс на кадр. У меня монитор 2560x1440 со 125% и 240 Гц, на нём это прям видно. Чтобы понять, где время, собрал локальную копию рендерера Slint с логом времени кадра и подсунул через [patch.crates-io].

Текст оказался почти бесплатным, раскладка и глифы кэшируются. Время уходило на другое.

Масштабирование картинок. Обложка 400x400 в квадрате 236x236 — это билинейная фильтрация каждого пикселя на процессоре, и так на каждой карточке. Если декодировать картинку ровно под размер на экране с учётом DPI, Skia рисует её 1:1 без фильтрации, примерно вдвое быстрее. Сервер Яндекса отдаёт обложки любого размера по адресу, так что заодно меньше трафика.

fn size_for(&self, css: f32) -> u32 {
    // Ровно под экран: картинка 1:1 рисуется без сглаживания, а это вдвое быстрее.
    ((css * self.ui().window().scale_factor()).round() as u32).clamp(1, 1000)
}

opacity на контейнере с детьми. Skia рисует такой контейнер в отдельный слой и потом смешивает, а у меня так было сделано затухание строк в тексте песни. Полноэкранный плеер из-за этого лагал. Теперь у контейнеров прозрачность не трогаю, задаю её цветом элементам внутри.

Градиенты и затухания закэшировал через cache-rendering-hint, кэш глифов Skia поднял до 16 МБ.

Итого прокрутка ускорилась с 18,8 до 12,7 мс на кадр, а после ещё нескольких правок на окне 1600x1000 между кадрами около 6 мс. Строки текста песни сменяются примерно за 4,5 мс. Для совсем слабых машин есть режим "Лёгкий" без анимаций, переключается без перезапуска.

Яндекс Музыка ела 850 МБ памяти. Переписал клиент на Rust, стало 64 - 4

Ещё у меня path с fill-rule: evenodd рисовался как nonzero, и у части иконок пропадали дырки, пришлось делать их встречным обходом контура. А в Slint элемент без явных x и y центрируется в родителе, об этом лучше знать заранее.

Замеры

Стенд такой: оба приложения по очереди проходят один сценарий, клики по таймеру. Запуск, на 10-й секунде "Для вас и Тренды" и прокрутка вниз, на 24-й включается трек, на 32-й открывается текст песни. Каждые полсекунды скрипт снимает Private Bytes и процессорное время всех процессов приложения. Окна видимые, звук выключен. Windows 11, i3-13100, окно 1280x800.

Яндекс Музыка ела 850 МБ памяти. Переписал клиент на Rust, стало 64 - 5

Официальное

RS

Память в конце сценария

852 МБ

64 МБ

Процессов

7

1

На диске

356 МБ, папка

26 МБ, один exe

Процессор в среднем

2,9%

0,4%

По памяти в 13 раз, по процессору раз в 7. Private Bytes взял, а не Working Set, потому что Working Set у Electron скачет, когда Windows выгружает страницы, и выходит красивее, чем есть.

Один exe и токен

Установщика нет, всё в одном exe на 26 МБ, настройки и кэш в %APPDATA%yamusic-rs. Обновление по кнопке: качает новый exe с GitHub, сверяет SHA-256 с релизом, переименовывает запущенный файл в .old.exe, кладёт новый и перезапускается. Удалить запущенный exe Windows не даёт, а переименовать даёт, на этом и держится.

Токен шифруется через DPAPI, расшифровать может только ваша учётка Windows на этом компьютере, на Linux он в связке ключей через Secret Service. Отправляется только по https и только на домены Яндекса, через одну проверку, мимо которой запрос не уйдёт:

/// Токен уходит только по https и только на хосты Яндекса.
pub fn token_allowed(url: &reqwest::Url) -> bool {
    if url.scheme() != "https" {
        return false;
    }
    let Some(host) = url.host_str() else { return false };
    ["yandex.net", "yandex.ru"].iter().any(|d| host == *d || host.ends_with(&format!(".{d}")))
}

Рядом тесты на https://yandex.net.evil.com/, https://evil.com/yandex.net и http-адреса. Аналитики нет, кроме Яндекса программа ходит только на api.github.com за обновлениями.

Exe собирает GitHub Actions из исходников, и сборка воспроизводимая: флаг линкера /Brepro убирает из файла время сборки и случайный GUID. Один и тот же коммит в двух разных прогонах CI даёт одинаковый файл байт в байт, хеш можно сверить с логом сборки. Локально у меня, правда, хеш с CI не совпадает — другая версия MSVC и в бинарник зашит путь к .cargo, так что сверять надо именно с CI.

Linux

Раз браузера внутри нет, переносить пришлось впринципе только платформенный слой. Сначала вынес весь код под Windows в src/sys, потом написал то же для Linux:

  • пути по XDG, один экземпляр через unix-сокет вместо мьютекса;

  • медиаклавиши и плеер в панели GNOME и KDE через MPRIS;

  • токен в GNOME Keyring или KWallet;

  • статус в Discord через unix-сокет, в том числе когда Discord из Flatpak или Snap;

  • .deb, .rpm и AppImage на 14 МБ, собираются в CI на Ubuntu 22.04, чтобы не требовать свежую glibc.

tokio в проекте нет вообще. Сеть блокирующая, в отдельных потоках, и тащить асинхронный рантайм ради D-Bus не хотелось. MPRIS и связка ключей работают на том же zbus, который уже приходит со Slint, второй копии в сборке нет.

Памяти на Linux уходит больше: около 85 МБ на Fedora под Wayland и около 120 на Arch под X11. Почему такая разница, я так и не понял. Если кто-то знает, куда копать, напишите.

Живого Linux у меня нет, гонял на стендах с Ubuntu, Debian, Fedora и Arch. Поэтому пока бета, и трея там ещё нет.

Что не так

  • API неофициальный, Яндекс может поменять его когда угодно, и что-то отвалится.

  • На Windows нет плашки плеера в системном регуляторе громкости, медиаклавиши при этом работают.

  • macOS не будет, мака у меня нет. В README есть ссылка на форк, где её делают.

  • Без Плюса сервер отдаёт 30-секундные отрывки, как и официальному приложению, обходить это я не буду.

Всего около 11,5 тысяч строк на Rust и около 7 тысяч на Slint.

Код и релизы: https://github.com/SpolzerMod/yamusic-rs

Лицензия GPL-3.0. Проект неофициальный, Яндекс к нему отношения не имеет.

Если видите, что где-то RS отличается от оригинала, присылайте в issues два скриншота при одинаковом размере окна.

Автор: Spolzer

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js