На вашем диске лежит семь одинаковых моделей птицы Додо. Не благодарите — это ARK заботливо положил их вам в каждое DLC.
Рубрика «сжатие данных»
Почему Chrome весит 7 000 Марио или как сжать «Змейку» в 1 000 раз
2026-04-29 в 8:00, admin, рубрики: python, pytorch, selectel, Алгоритмы, геймдев, История ИТ, нейросети, оптимизация, процедурная генерация, сжатие данныхmaxpack: межфайловая дедупликация на версионных данных
2026-04-06 в 7:16, admin, рубрики: 7z, snapshots, tar, versioned data, zstd, архивация, дедупликация, сжатие данныхПредставьте: у вас 100 файлов, 90% содержимого повторяется между ними. Вы пакуете их через tar | zstd. Получаете сжатие порядка 3.1x. А могли бы получить 10.0x.
Проблема в том, что обычная упаковка не знает, что файлы похожи. tar склеивает их в линейный поток и отдаёт компрессору. zstd работает в пределах окна и плохо сопоставляет одинаковые куски, если они разнесены по потоку на десятки мегабайт.
Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё
2026-03-31 в 16:52, admin, рубрики: gpt, llm, галлюцинации, искусственный интеллект, машинное обучение, научпоп, сжатие данных, теория информации, ШеннонПредставьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.
Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».
И были бы правы, потому что именно это делает LLM.
Предсказание = сжатие (и это не метафора)
Тут нужно кое-что объяснить, и это самое важное в статье.
Клод Шеннон доказал в 1948 году: предсказание следующего символа и сжатие данных — математически одно и то жеЧитать полностью »
Видеокодек AV2 готов. Почему нам важны открытые стандарты
2025-12-08 в 9:01, admin, рубрики: AOMedia, AV1, av2, H.265, HEVC, PSNR, ruvds_статьи, SSIM, сжатие данных
Гибридный квантовый эмулятор с топологическим сжатием: вдохновленный фотонными вычислениями
2025-08-27 в 12:59, admin, рубрики: ecdsa, квантовые алгоритмы, квантовые вычисления, квантовый эмулятор, лазер, сжатие данных, топология, фотон, эмуляцияВведение
Недавно на Хабре появилась потрясающая статья "Свет считает быстрее: как работают фотонные вычисления и из какого «железа» они собраны" от автора vsradkevich, которая стала ключевым вдохновением для нашего проекта. Эта статья подробно раскрывает принципы фотонных вычислений и дает четкие рекомендации по созданию гибридных систем: "Линейные операции — в оптике, нелинейности и память — в CMOS".
Вдохновившись идеями vsradkevich, мы разработали Гибридный Квантовый Эмулятор с Топологическим Сжатием (HQE)Читать полностью »
Как написать bzip2-архиватор на Python: разбираем преобразование Барроуза-Уилера
2025-08-15 в 14:38, admin, рубрики: BWT, bzip2, bzip2-архиватор, Алгоритмы, архиваторы, архивация, сжатие данных
Привет! Я Рома, бэкендер-питонист в KTS.
Это вторая статья в моем цикле об алгоритме архивации bzip2Читать полностью »
Компактные структуры данных
2025-03-12 в 13:01, admin, рубрики: abstract syntax tree, AST, json, ruvds_переводы, XML, деревья, днк, сжатие данных
Введение
Несколько месяцев назад в поисках идей по ускорению кода я изучал множество научных статей по computer science. Не буду притворяться, что хорошо их понимал, но меня не пугает непонятное, и я готов признать своё невежество1. Я обнаружил статью, написанную пятнадцать лет назад2, в которой было множество новых для меня концепций. Мне никак не удавалось в них разобраться.
Что же делать дальше? Можно искать другие статьи, чтобы они заполнили мои пробелы. Это рискованное предприятие, потому что они могут запутать ещё больше, но избежать этого нельзя. Я нашёл статью с нужной структурой данных, в которой упоминался исходный код с веб-сайта. Код был написан на C++, а я работаю на Rust, но решил, что всё равно стоит на него взглянуть. Однако зайдя на сайт, я не обнаружил там ресурс, поэтому я написал владельцу веб-сайта, который оказался преподавателем computer science.
Этот преподаватель (Гонсало Наварро) очень тепло меня принял и сразу же ответил мне3 4. И только в процессе общения с ним я осознал, что видел его фамилию на множестве статей в этой области. Оказалось, я познакомился с одним из специалистов мирового уровня в области компактных структур данных (succinct data structure). Невежество может завести очень далеко.
Что же такое компактные структуры данных? Если вы изучали в последние десятилетия computer science, то могли сталкиваться с ними, но мне не доводилось встречаться с ними в процессе работы программистом, а если и доводилось, то я сразу же о них забыл. Но я считаю, что эти структуры данных обладают потрясающими свойствами.
Все мы пользуемся массивами и хэш-таблицами5, популярны также различные деревья. Нам не нужно полностью понимать их устройство, чтобы эффективно пользоваться их свойствами. А теперь я задаюсь вопросом, почему же люди не используют компактные структуры данных чаще.
Я решил, что стоит немного о них рассказать.Читать полностью »
Как уместить поиск по 30 тысячам слов в 64 КБ ОЗУ
2025-02-20 в 6:21, admin, рубрики: spell, код голомба, проверка правописания, сжатие данных, теория информации, хэш-таблицыКак уместить словарь размером 250 КБ в 64 КБ ОЗУ с возможностью выполнения быстрого поиска? Для справки: даже современные методики сжатия наподобие gzip -9 не могут сжать этот файл до размера меньше 85 КБ.
В 1970-х Дуглас Макилрой столкнулся с этой непростой задачей при реализации проверки правописания для Unix в AT&T. Из-за ограничений компьютера PDP-11 весь словарь должен был умещаться всего в 64 КБ ОЗУ. Кажется, подобную задачу решить невозможно.
Как сделать видео на стриминге легче и не погрязнуть в шакалах: опыт Кинопоиска
2024-12-20 в 9:30, admin, рубрики: видео, качество видео, Кинопоиск, оптимизация трафика, сжатие данных, стримингПривет! Меня зовут Михаил Мазанов, я отвечаю за технологический стек работы с медиаданными в Кинопоиске: от съёмок оригинальных проектов до доставки и просмотра видео на всех экранах. Для нашей пятой ежегодной конференции про стриминг PlayButton 2024 я готовил большой доклад про оптимизацию качества видео Кинопоиска, а для Хабра решил пересобрать его в виде статьи — для тех, кому текстовый формат предпочтительнее видео.
Кроме технических графиков, вас ждёт ещё и наглядная разница в работе алгоритмов сжатия на примере «Рика и Морти» и «Джона Уика».