Рубрика «сжатие»

Полгода назад я начал писать сжатую файловую систему для macOS. Идея была довольно простой. В macOS уже существует decmpfs — встроенный механизм прозрачного сжатия файлов. Приложение продолжает видеть обычный файл, хотя физически его содержимое может храниться в сжатом виде. Но у этого подхода есть неприятное для моей задачи свойство: после изменения файла сжатие может исчезнуть.

Например, можно сжать node_modules, получить приличную экономию места, потом запустить сборку — часть файлов перезапишется, распакуется, и каталог постепенно снова начнёт занимать почти исходный объём. Мне хотелось другого поведения: Читать полностью »

Прогресс видеокодеков и большое сравнение российских видеосервисов - 1

Год назад на конференции VideoTech ваш покорный слуга сделал большой доклад, в том числе про прогресс современных метрик качества видео (которыми мы довольно плотно занимаемся: Читать полностью »

Я хочу, чтобы посетители моего сайта наслаждались им, так что я забочусь об accessibility и проверяю, что даже без JavaScript тут есть, на что смотреть. Я забочусь о том, насколько быстро грузятся страницы, ведь на некоторых из них есть большие иллюстрации, поэтому я минифицирую HTML.

Вот только есть один нюанс, который ставит мне палки в колёса и не даёт сделать блог лёгким как пёрышко.

Палка

Наиболее сильно уменьшает трафик (а значит и latency на мобильных устройствах!) не минификация, а сжатие. HTTP поддерживает gzip и Brotli через заголовок Content-EncodingЧитать полностью »

Среди методов анализа информации, в данной статье представлен анализ распределения плотности информации в битовом блоке данных. Данный метод может быть ориентиром при разработке методов сжатия информации, так как дает оценки как распределена плотность информации в зависимости от состава блока, который определяется количеством нулей и единиц, формирующих битовый блок данных.

Задан входной поток с длиной CT бит. Далее определяется количество нулей и единиц в блоке, тогда можно определить количество комбинаций которые задает данный набор нулей и единиц при заданной длине блока по формуле подсчета перестановок:

Читать полностью »

Спасительный пазл: механика экзоскелета дьявольского жука - 1

Ни для кого не секрет, что эволюция это крайне длительный, сложный и порой невероятно странный процесс. Стоит взглянуть на муравьеда, птичку киви или на утконоса, как сразу же начинаешь задумываться про чувство юмора матушки-природы. Однако любые адаптационные изменения, приобретенные в ходе эволюции, всегда имеют логическое объяснение и вполне практическое применение, какими бы странными на первый взгляд они ни казались. Ученые из университета Пердью (США) решили повнимательнее изучить необычного жука вида Nosoderma diabolicum, который способен выдерживать внушительное давление. В чем особенность строения жука-экстремала, насколько он вынослив, и как человек может использовать секреты жука в инженерии? Ответы на эти вопросы мы найдем в докладе ученых. Поехали.Читать полностью »

Визуальная теория информации (часть 2) - 1

Вторая часть перевода лонгрида посвященного визуализации концепций из теории информации. Во второй части рассматриваются энтропия, перекрестная энтропия, дивергенция Кульбака-Лейблера, взаимная информация и дробные биты. Все концепции снабжены прекрасными визуальными объяснениями.

Для полноты восприятия, перед чтением второй части, рекомендую ознакомиться с первой.

Читать полностью »

Визуальная теория информации (часть 1) - 1

Перевод интересного лонгрида посвященного визуализации концепций из теории информации. В первой части мы посмотрим как отобразить графически вероятностные распределения, их взаимодействие и условные вероятности. Далее разберемся с кодами фиксированной и переменной длины, посмотрим как строится оптимальный код и почему он такой. В качестве дополнения визуально разбирается статистический парадокс Симпсона.

Теория информации дает нам точный язык для описания многих вещей. Сколько во мне неопределенности? Как много знание ответа на вопрос А говорит мне об ответе на вопрос Б? Насколько похож один набор убеждений на другой? У меня были неформальные версии этих идей, когда я был маленьким ребенком, но теория информации кристаллизует их в точные, сильные идеи. Эти идеи имеют огромное разнообразие применений, от сжатия данных до квантовой физики, машинного обучения и обширных областей между ними.

К сожалению, теория информации может казаться пугающей. Я не думаю, что есть какая-то причина для этого. Фактически, многие ключевые идеи могут быть объяснены визуально!

Читать полностью »

Всем привет!

В этом посте хочу вернуться к продолжению проекта машины для проведения физико- механических испытаний.

Универсальная машина для проведения испытаний своими руками ч.2 - 1
Читать полностью »

Проверка на прочность: наномеханика перламутра раковин благородной пинны - 1

Какой самый прочный материал на планете? Однозначного ответа на этот вопрос нет, поскольку все зависит от того, как именно вы будете оценивать прочность, и что вы подразумеваете под этим термином. Кто-то назовет алмаз — самый прочный минерал, кто-то назовет паутину, у которой предел прочности на разрыв составляет до 2.7 ГПа, т.е. примерно в 2 раза больше, чем у стали. Другими словами, прочных материалов органического и неорганического происхождения достаточно много. Ученые со всех уголков планеты тратят годы на изучение этих материалов, дабы установить все физико-химические процессы, которые приводят к их формированию. Уникальным объектом одного из таких многолетних исследований считается перламутр — органико-неорганический материал, который покрывает внутренние стенки раковин моллюсков и является основой жемчуга. Сегодня мы с вами познакомимся с исследованием, в котором ученые из Мичиганского университета решили раскрыть секрет одного из самых прочных природных материалов, наблюдая за ним в реальном времени. Что удалось выяснить ученым, какими необычными характеристиками обладает перламутр, какие наномеханические процессы протекают в нем, и что эти открытия значат для человечества? Об этом мы узнаем из доклада исследовательской группы. Поехали.Читать полностью »

hashget — это бесплатный, оперсорсный дедупликатор — похожая на архиватор утилита, которая позволяет значительно сократить размер бэкапов, а так же организовать схемы инкрементального и дифференциального бэкапа и не только.

Это обзорная статья для описания возможностей. Само использование hashget (довольно простое) описано в README проекта и wiki-документации.

Сравнение

По закону жанра, начну сразу с интриги, сравнения результатов:

Data sample unpacked size .tar.gz hashget .tar.gz
WordPress-5.1.1 43 Mb 11 Mb ( 26% ) 155 Kb ( 0.3% )
Linux kernel 5.0.4 934 Mb 161 Mb ( 20% ) 4.7 Mb ( 0.5% )
Debian 9 (LAMP) LXC VM 724 Mb 165 Mb ( 23% ) 4.1 Mb ( 0.5% )

Предыстория, каким должен быть идеальный и эффективный бэкап

Каждый раз когда я делал бэкап свежесозданной виртуалки мне не давало покоя чувство, что я что-то делаю не так. Почему у меня получается увесистый бэкап от системы, где моего бесценного нетленного творчества — однострочный index.html с текстом "Hello world"?

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js