Рубрика «кодеки»

Кодеки новой эпохи: HEVC, AV1, VVC и нейросети - 1

Сжатие с учётом контекста, источник: WaveOne (сайт удалён)

Хотя новые стандарты кодеков появляются каждые десять лет, все они основаны на пиксельной математике — манипулировании значениями отдельных пикселей в видеокадре для удаления информации, не важной для восприятия. Другие математические операции уменьшают объём данных после первоначального кодирования.

В новом поколении кодеков алгоритмы машинного обучения используются для анализа и понимания визуального содержания видео, выявления избыточных данных и более эффективного сжатия. Вместо написанных вручную алгоритмов, тут применяют методы Software 2.0, основанные на обучении. Данная область развивается на протяжении десятилетий, но в последние годы получила сильный толчок. Все знают, что в 2017 году произошёл прорыв в разработке ИИ благодаря изобретению трансформеров. В свою очередь, они основаны на концепции внимания, которую придумали в 90-е. Эта техника впервые позволила соотносить друг с другом отдельные части текста или видеокадра.
Читать полностью »

RED: Улучшение качества звука с помощью резервирования - 1


Еще в апреле 2020 года Citizenlab сообщил о довольно слабом шифровании Zoom и заявил, что Zoom использует аудиокодек SILK. К сожалению, статья не содержала исходных данных, чтобы это подтвердить и дать мне возможность обращаться к ней в дальнейшем. Однако благодаря Натали Сильванович из Google Project Zero и инструменту трассировки Frida я смог получить дамп некоторых необработанных кадров SILK. Их анализ вдохновил меня взглянуть на то, как WebRTC обрабатывает звук. Что касается восприятия качества вызова в целом, больше всего на него влияет качество звука, поскольку мы склонны замечать даже небольшие сбои. Всего десяти секунд анализа было достаточно, чтобы отправиться в настоящее приключение – на поиски вариантов улучшения качества звука, обеспечиваемых WebRTC.
Читать полностью »

image

В Сиднее на 86-й встрече JPEG Комитет Joint Photographic Experts Group выпустил призыв к доказательствам для изучения методов на основе ИИ и поиска нового кодека сжатия изображений. Сама программа, названная JPEG AI, была запущена в 2019 году.

За прошедший год исследователям нужно было доказать преимущества нейросетей перед традиционными методами. В рамках инициативы JPEG AI предполагается повысить эффективность сжатия изображений. Однако сложность состоит в необходимости обучения нейросетей на больших объемах данных. Читать полностью »

На днях специалист по кибербезопасности Дэвид Бьюкенен из Великобритании заявил об успешном взломе технологии защиты аудио/видео контента Widevine L3. Взлом дает возможность дампить все данные, которые передаются через защищенный этой технологией канал связи.

Widevine L3 является разработкой корпорации Google. Она используется для защиты авторского контента, распространяемого по сети. В частности, эта технология внедрена в сервисы Netflix, Disney, Amazon Video, BBC, HBO, Facebook, Hulu, Spotify и т.п.
Читать полностью »

Какие видеокодеки (не) используют браузеры для видеозвонков - 1

Типичный запрос в техподдержку Voximplant: «Почему видеозвонок между двумя Chrome выглядит лучше, чем видеозвонок между MS Edge и нативным iOS-приложением»? Коллеги обычно отвечают нейтральное — «потому что кодеки». Но мы, айтишники, любопытны. Даже если я не разрабатываю новый Skype-for-web, чтение «какой браузер что может» и как они разбивают одно видео на несколько потоков разного качества обогащает картину мира и дает свежую тему для обсуждения в курилке. Удачно подвернувшаяся статья от широко известного в узких кругах Dr Alex (с лучшим объяснением термина «media engine» из всех, что я видел), немного нашего опыта, пара вечеров в «Циферблате» — и адаптированный для Хабра перевод ждет под катом!
Читать полностью »

Купив беспроводные наушники для прослушивания музыки, многие пользователи отмечают, что верность воспроизведения в них ниже, чем в наушниках, где звук передается по проводу. Такие случаи далеко не всегда следствие аудиофильского плацебо. Очень часто они обусловлены кодеками, которые использованы для передачи звука. Источником проблемы могут стать как сами наушники, так и смартфон, использованный для звуковоспроизведения.

Не все беспроводные наушники одинаково полезны или несколько слов о проблеме кодеков - 1

Этот пост будет содержать ответы на распространённые вопросы, связанные с качеством передачи звука по bluetooth от смартфона к беспроводным наушникам, а также некоторые рекомендации по выбору беспроводных наушников и смартфонов, использующих кодек APTX. Уверен, что материал будет полезен всем, кто озадачен выбором и использованием беспроводных наушников. Если это ваш случай — добро пожаловать под кат.
Читать полностью »

Просто, мощно, навсегда. Элекард CodecWorks 990 — программный лайв транскодер для AVC и HEVC - 1

В прошлой статье мы рассмотрели, как работает аппаратное ускорение кодирования и декодирования видео Quick Sync Video (QSV) в процессорах 6-го поколения Skylake. Маленький участок SoC специально выделили для размещения специализированных интегральных схем, которые занимаются только обработкой видео. Воспроизведение видео с аппаратной поддержкой стало гораздо меньше отнимать ресурсов у других задач в ОС, меньше нагревать CPU и потреблять меньше электроэнергии. Благодаря QSV, например, ноутбук MacBook Air воспроизводит более 10 часов видео на одном заряде аккумулятора.
Читать полностью »

Более шести лет назад 13 сентября 2010 года на форуме IDF компания Intel представила микроархитектуру процессоров Sandy Bridge — второго поколения процессоров Intel Core. Процессор и графическое ядро объединили на одном кристалле, а само графическое ядро значительно обновилось и увеличило тактовую частоту. Именно в Sandy Bridge появилось «секретное оружие» — технология Intel Quick Sync Video (QSV) для аппаратного ускорения кодирования и декодирования видео. Маленький участок SoC специально выделили для размещения специализированных интегральных схем, которые занимаются только видео. Это был настоящий аппаратный транскодер.

VP8, VP9 и H265. Аппаратное ускорение кодирования и декодирования видео в процессорах 6-го поколения Skylake - 1
Встроенная графика 9-го поколения HD Graphics 530 в процессоре Intel Core i7 6700K с 24 блоками выполнения команд (EU), организованными в три фрагмента по 8 блоков.
Читать полностью »

Договор по лицензированию видео защитит 4K-записи в будущем

Лицензионные отчисления HEVC были пересмотрены - 1

В последнее время будущее формата 4K находится под вопросом. Независимая компания HEVC Advance, занимающаяся лицензированием видео формата H.265/HEVC, затребовала немалые отчисления почти ото всех без исключений, даже бесплатные сервисы столкнулись с необходимостью платить небольшие суммы. Цена для многих оказалась слишком большой, и гиганты отрасли начали работать над своими бесплатными форматами, дабы ни от кого не зависеть. HEVC Advance не растерялись и предложили обновленную схему лицензирования. Хоть эта схема все еще может быть дорогостоящей, она, однако, поможет относительно дешево защитить 4K контент.
Читать полностью »

Microsoft, Google, Amazon, Netflix работают над созданием открытых новых кодеков и медиаформатов без лицензионных отчислений - 1

Сразу несколько крупных телекоммуникационных компаний объединили усилия для работы в едином проекте по созданию нового формата видеоконтента с разработкой открытых кодеков. Это позволило бы компаниям снизить зависимость от кодеков и форматов, за которые приходится платить. Кроме указанных в заголовке компаний, работать над реализацией этого проекта будут еще и Cisco, Intel, Mozilla. Представители этих компаний высказались за отказ от кодеков вроде H.265, создатели которых требуют выплаты лицензионных отчислений за использование своего продукта.

Группа, которая будет работать над этим проектом, получила название Alliance for Open Media. Некоторые из участников уже создают собственные медиа-платформы и ПО, например, VP9 и VP10 от Google и Daala от Mozilla. Цель каждой из компаний, которые принимают участие в проекте — создание новых, открытых, royalty-free совместимых кодеков, которые поддерживали бы HQ видео-стриминг, равно, как шифрование для защищенных авторским правом видеоматериалов.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js