Я попробовал создать вселенную. Ночью, лежа в кровати, думая о том, что могло бы стать ее фундаментальной основой. Самым базовым кирпичиком, так что бы проще уже некуда. Может ли базовый строительный элемент быть онтологически сложным? Скажем, Теория Струн и ее развитие М‑теория, постулируют, что базовым кирпичиком лежащим в основе мироздания, является многомерная брана. Неужели все должно быть так сложно?
Интуиция на бессознательном уровне устраивает протест, отказываясь принимать идею того, что базовый объект может представлять собой совокупность сложных отношений и характеристик. Почему сложных?Читать полностью »
Рубрика «теория информации»
Атом смысла: как из ничего получить все
2025-10-05 в 0:05, admin, рубрики: квантовая запутанность, квантовая физика, теория интегрированной информации, теория информации, философия математики, философия науки, Фундамент математики, фундаментальная наука, фундаментальные знанияДо нас дошло. Клод Шеннон — отец цифровой эпохи
2025-09-27 в 5:13, admin, рубрики: linkmeup, до нас дошло, искусственный интеллект, машинное обучение, нейросети, передача данных, теория информации, цифровизация, Шеннон, шифрованиеЭто видео создано из фотографии Клода Шеннона с помощью нейросети Алиса, основанной на Yandex GPT.
На него наложен звук, скрэмблированный с помощью программы, написанной нейросетью Claude от Antropic, названной так в честь Шеннона, практиковавшего машинное обучение ещё 70 лет назад.
Отец цифровой эпохи
Переоценить роль Шеннона невозможно. Попробуйте назвать любой артефакт современности — и вы с вероятностью 99 из 100 попадёте в то, что существует благодаря нему.
Как уместить поиск по 30 тысячам слов в 64 КБ ОЗУ
2025-02-20 в 6:21, admin, рубрики: spell, код голомба, проверка правописания, сжатие данных, теория информации, хэш-таблицыКак уместить словарь размером 250 КБ в 64 КБ ОЗУ с возможностью выполнения быстрого поиска? Для справки: даже современные методики сжатия наподобие gzip -9 не могут сжать этот файл до размера меньше 85 КБ.
В 1970-х Дуглас Макилрой столкнулся с этой непростой задачей при реализации проверки правописания для Unix в AT&T. Из-за ограничений компьютера PDP-11 весь словарь должен был умещаться всего в 64 КБ ОЗУ. Кажется, подобную задачу решить невозможно.
Поиск секретов в программном коде (по энтропии)
2024-08-16 в 17:02, admin, рубрики: detect-secrets, entropy, ggshield, gitleaks, nosey parker, pyWhat, Semgrep Secrets, tartufo, TruffleHog, биты энтропии, информационная энтропия, поиск секретов, теория информации, учетные данные, хартли, шенноны, энтропия
Недавно в открытом доступе появился новый инструмент для поиска приватной информации в открытом коде. Это Entropy — утилита командной строки, которая сканирует кодовую базу на предмет строк с высокой энтропией. Предположительно, такие строки могут содержать секретную информацию: токены, пароли и др.
Подход логичный. Пароли и токены — это по определению строки с высокой энтропией, поскольку они создаются с помощью генераторов случайных или псевдослучайных чисел. Символы в такой последовательности в идеале непредсказуемы.
Читать полностью »
Не набирайте тексты в интернете, или Обфускация времени между нажатиями клавиш в SSH
2023-11-01 в 9:00, admin, рубрики: openssh, ruvds_статьи, ssh, буквенные пары, интервал нажатий, нажатия клавиш, обфускация, пароли, теория информации
В августе этого года в ssh(1) (клиент OpenSSH) внесено изменение с поддержкой обфускации тайминга нажатий клавиш, то есть интервалов между временем нажатия клавиш на клавиатуре.
Спрашивается, почему разработчики озаботились такими нюансами информационной безопасности? Но причина есть. И на самом деле такие меры должны предпринять все программы, которые допускают ввод паролей в интернете (или вообще любого конфиденциального текста). В первую очередь, браузеры и мессенджеры.Читать полностью »
«Странная алгебра», философия упрощения и изобретение бита. К 107-летию со дня рождения Клода Элвуда Шеннона
2023-04-30 в 6:05, admin, рубрики: timeweb_статьи_выходного_дня, абстракции, Биографии гиков, бит, Блог компании Timeweb Cloud, вэнивар буш, интерграф, Клод Элвуд Шеннон, криптография, математика, теория информации, Читальный зал
Как совершаются великие научные открытия? Как вообще работает механизм
«гениальности»?
Сегодня мы с вами попробуем раскрыть эту тайну – и понять, что не существует
универсального ответа на этот вопрос.
Клод Элвуд Шеннон наиболее популярные и революционные свои работы сделал
очень рано. Многие эксперты считают, что два его важнейших вклада в науку
– магистерская диссертация 1938 г., развивающая метод использования булевой логики для представления схем, и его статья 1948 г. по теории связи, определившие область и революционный метод, с помощью которого мы обозреваем мир. Основа этих двух работ и большинства других его работ – идея, что математические концепции можно использовать для создания структур и понимания чего угодно.
Читать полностью »
Death Note, анонимность и энтропия
2020-08-27 в 8:20, admin, рубрики: аниме, анонимность в интернете, информационная безопасность, математика, приватность, теория информации
В начале “Death Note” местный гениальный детектив по сути занят деанонимизацией: он знает только то, что убийца существует где-то на планете. Никаких улик тот не оставляет, но довольно быстро оказывается пойман. Вообще-то хабр не площадка для обсуждения аниме, но такая же охота на того-не-знаю-кого порой случается и в реальном мире — достаточно вспомнить Сатоши Накамото, Dread Pirate Roberts или Q. Так что под катом перевод статьи (анонимного, кстати говоря, автора) о том, насколько происходящее в этом сериале связано с реальной анонимностью и что у его героя пошло не так.
Визуальная теория информации (часть 2)
2020-01-21 в 19:40, admin, рубрики: кодирование, математика, математическая статистика, машинное обучение, сжатие, Статистика в IT, теория вероятностей, теория информации, энтропия
Вторая часть перевода лонгрида посвященного визуализации концепций из теории информации. Во второй части рассматриваются энтропия, перекрестная энтропия, дивергенция Кульбака-Лейблера, взаимная информация и дробные биты. Все концепции снабжены прекрасными визуальными объяснениями.
Для полноты восприятия, перед чтением второй части, рекомендую ознакомиться с первой.
Визуальная теория информации (часть 1)
2020-01-20 в 14:09, admin, рубрики: кодирование, математика, математическая статистика, машинное обучение, сжатие, Статистика в IT, теория вероятностей, теория информации, энтропия
Перевод интересного лонгрида посвященного визуализации концепций из теории информации. В первой части мы посмотрим как отобразить графически вероятностные распределения, их взаимодействие и условные вероятности. Далее разберемся с кодами фиксированной и переменной длины, посмотрим как строится оптимальный код и почему он такой. В качестве дополнения визуально разбирается статистический парадокс Симпсона.
Теория информации дает нам точный язык для описания многих вещей. Сколько во мне неопределенности? Как много знание ответа на вопрос А говорит мне об ответе на вопрос Б? Насколько похож один набор убеждений на другой? У меня были неформальные версии этих идей, когда я был маленьким ребенком, но теория информации кристаллизует их в точные, сильные идеи. Эти идеи имеют огромное разнообразие применений, от сжатия данных до квантовой физики, машинного обучения и обширных областей между ними.
К сожалению, теория информации может казаться пугающей. Я не думаю, что есть какая-то причина для этого. Фактически, многие ключевые идеи могут быть объяснены визуально!
Протокол “Энтропия”. Часть 6 из 6. Никогда не сдавайся
2019-06-28 в 15:23, admin, рубрики: кибернетика, литература, теория информации, фантастика, Читальный зал, энтропия
А вокруг меня тундра, вокруг меня лед
Я смотрю, как все куда-то торопятся,
но никто никуда не идет.
Б. Г.
Читать полностью »