Рубрика «Шеннон»

The Voyager 1 spacecraft, traveling for nearly 50 years, will soon cross a mile marker reached by no other human-made object — one light-day away from Earth. That's the distance a particle of light can travel in 24 hours, equaling about 16 billion miles (about 26 billion kilometers), a point that Voyager 1 will reach on Wednesday, Nov. 18, 2026, at 5:16:07 a.m. EST.

NASA: Voyager 1 - What is a Light-Day?


Читать полностью »

Пара слов о формате “Код как борьба”. Здесь не будет подробных биографий - про каждого из героев этого цикла написаны отдельные толстые книги, и одна статья такую книгу не заменит. Не будет здесь и сухого технического разбора, кому это интересно. Вместо этого - попытка проследить, как одна идея вырастает из другой, как эстафета, которую передают друг другу через десятилетия и века люди, часто вообще не подозревающие, что работают над одним и тем же. Если какой-то сюжет или деталь захочется изучить подробнее - внизу статьи есть подборка книг, статей и первоисточников по теме.

Прошлые статьи цикла:

Читать полностью »

Вместо эпиграфа

Наверняка все, у кого есть дети, слышали вопрос «чем ты занимаешься на работе?». Мне его точно задавали и неоднократно.

Дать ответ на этот вопрос ребёнку, не скатываясь в иронию, не так уж и просто. Но оказалось, что все ответы для нас уже подготовили. И не евангелисты из Кремниевой долины, а товарищи в кожаных плащах и пыльных шлемах, думавшие о том, как воспитать миллионы молодых инженеров, лет шестьдесят назад и ещё раньше.

Основание

Читать полностью »

Представьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.

Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».

И были бы правы, потому что именно это делает LLM.

Предсказание = сжатие (и это не метафора)

Тут нужно кое-что объяснить, и это самое важное в статье.

Клод Шеннон доказал в 1948 году: предсказание следующего символа и сжатие данных — математически одно и то жеЧитать полностью »

Это видео создано из фотографии Клода Шеннона с помощью нейросети Алиса, основанной на Yandex GPT.
На него наложен звук, скрэмблированный с помощью программы, написанной нейросетью Claude от Antropic, названной так в честь Шеннона, практиковавшего машинное обучение ещё 70 лет назад.


Отец цифровой эпохи

Переоценить роль Шеннона невозможно. Попробуйте назвать любой артефакт современности — и вы с вероятностью 99 из 100 попадёте в то, что существует благодаря нему.

Читать полностью »

О приоритете работ в области передачи информации.

Первопроходцем в этом современном вопросе является В.А.Котельников. Во время аспирантуры в МЭИ были опубликованы в 1932г. работы, одна из которых называлась «О пропускной способности „эфира“ и проволоки в электросвязи» и заявлена к докладу I Всесоюзного съезда по вопросам технической реконструкции дела связи и развития слаботочной промышленности. Съезд не состоялся. Была опубликована в 1933г. как материал к докладу (принят к печати в
ноябре 1932г.). Читать полностью »

image

Всякий, знакомый с проблематикой кодирования информации, периодически сталкивался с идеями алгоритмов «суперсжатия» данных без потерь. Зачастую предлагается использование хеш-сумм, генераторов случайных чисел (зачем?), или просто различных комбинаций повторного сжатия данных при помощи архиваторов. После очередного бурного обсуждения, как правило, эксперты в очередной раз советуют первооткрывателям ознакомиться с азами теории информации. Особо упертым предлагают просто написать программу сжатия данных на один бит файла со случайными данными. После этого доселе бурно проходящее обсуждение «революционной технологии» постепенно сходит на нет.

image
Проблематика завлекает

Много лет назад, в ходе работы над программой анализа текстов, я также заинтересовался этой темой. В результате изучения фундаментальных основ современной теории информации, стало понятно, об какие камни спотыкались многочисленные первопроходцы, пытавшиеся с наскока решить эту проблему.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js