Рубрика «теория информации»
Математика букв: Wordle и теория информации
2026-06-24 в 7:05, admin, рубрики: wordle, Алгоритмы, буквы, головоломки, математика, морфология, Научно-популярное, слова, статистика, теория информации
Как рассказать ребёнку, чем занимается папа, если папа работает с ИИ?
2026-06-19 в 18:49, admin, рубрики: Велтистов, детская литература, искусственный интеллект, машинное обучение, научная фантастика, теория информации, трансформеры, Шеннон, Электроник, эмбеддингиВместо эпиграфа
Наверняка все, у кого есть дети, слышали вопрос «чем ты занимаешься на работе?». Мне его точно задавали и неоднократно.
Дать ответ на этот вопрос ребёнку, не скатываясь в иронию, не так уж и просто. Но оказалось, что все ответы для нас уже подготовили. И не евангелисты из Кремниевой долины, а товарищи в кожаных плащах и пыльных шлемах, думавшие о том, как воспитать миллионы молодых инженеров, лет шестьдесят назад и ещё раньше.
Основание
Мой универсальный код
2026-05-19 в 12:58, admin, рубрики: битовая магия, биты, данные, индекс, кодирование, кодировки, наука, теория информацииЗачем я переплачиваю 31 бит на число 1?
Зачем на число 1 я в типах u8, u16, u32 и так далее переплачиваю 7, 15 и 31 бит? Это же бред.
Однозначность декодирования? Быстрая адресация? Сейчас распишу до чего я допёр.
Проблема
Если биты лежат в потоке, то не совсем понятно что они значат без предварительной договорённости. Например:
1110101011
Что это? Одно число? Два? Бог его знает. Без какого-то знания начального подойти к данным не выйдет (я работаю над этим :D).
Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё
2026-03-31 в 16:52, admin, рубрики: gpt, llm, галлюцинации, искусственный интеллект, машинное обучение, научпоп, сжатие данных, теория информации, ШеннонПредставьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.
Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».
И были бы правы, потому что именно это делает LLM.
Предсказание = сжатие (и это не метафора)
Тут нужно кое-что объяснить, и это самое важное в статье.
Клод Шеннон доказал в 1948 году: предсказание следующего символа и сжатие данных — математически одно и то жеЧитать полностью »
Почему норка лучше кроат: разбираем Wordle с помощью энтропии и Excel
2026-03-10 в 7:01, admin, рубрики: wordle, Алгоритмы, головоломка, игры, комбинаторика, Ланит, логика, логические игры, слова, теория информацииВ Wordle принято начинать с «хороших» слов – с частыми гласными и согласными. Однако анализ показывает, что менее очевидные варианты иногда дают больше информации. Возникает простой, но неудобный вопрос, можно ли доказать, что одно стартовое слово лучше другого. Краткий ответ – да. Я рассмотрел Wordle как задачу теории информации и количественно оценил каждый ход, используя Excel и официальный словарь игры. Эту статью я публикую в блоге ЛАНИТ, чтобы обсудить полученные результаты с техническим сообществом.
От Шеннона до современного ИИ: применение теории информации в машинном обучении
2025-12-22 в 16:10, admin, рубрики: искусственный интеллект, машинное обучение, теория информацииГлавная задача этой статьи — показать связь между теорией информации Шеннона и инструментами, которые можно встретить в современных системах машинного обучения. Здесь мы поговорим об энтропии (entropy) и о приросте информации (information gain), потом перейдём к кросс-энтропии (перекрёстная энтропия, cross-entropy), к KL-дивергенции (дивергенция или расхождение Кульбака–Лейблера, относительная энтропия, KL-divergence), рассмотрим методы, используемые в современных системах генеративного ИИ.
Атом смысла: как из ничего получить все
2025-10-05 в 0:05, admin, рубрики: квантовая запутанность, квантовая физика, теория интегрированной информации, теория информации, философия математики, философия науки, Фундамент математики, фундаментальная наука, фундаментальные знанияЯ попробовал создать вселенную. Ночью, лежа в кровати, думая о том, что могло бы стать ее фундаментальной основой. Самым базовым кирпичиком, так что бы проще уже некуда. Может ли базовый строительный элемент быть онтологически сложным? Скажем, Теория Струн и ее развитие М‑теория, постулируют, что базовым кирпичиком лежащим в основе мироздания, является многомерная брана. Неужели все должно быть так сложно?
Интуиция на бессознательном уровне устраивает протест, отказываясь принимать идею того, что базовый объект может представлять собой совокупность сложных отношений и характеристик. Почему сложных?Читать полностью »
До нас дошло. Клод Шеннон — отец цифровой эпохи
2025-09-27 в 5:13, admin, рубрики: linkmeup, до нас дошло, искусственный интеллект, машинное обучение, нейросети, передача данных, теория информации, цифровизация, Шеннон, шифрованиеЭто видео создано из фотографии Клода Шеннона с помощью нейросети Алиса, основанной на Yandex GPT.
На него наложен звук, скрэмблированный с помощью программы, написанной нейросетью Claude от Antropic, названной так в честь Шеннона, практиковавшего машинное обучение ещё 70 лет назад.
Отец цифровой эпохи
Переоценить роль Шеннона невозможно. Попробуйте назвать любой артефакт современности — и вы с вероятностью 99 из 100 попадёте в то, что существует благодаря нему.
Как уместить поиск по 30 тысячам слов в 64 КБ ОЗУ
2025-02-20 в 6:21, admin, рубрики: spell, код голомба, проверка правописания, сжатие данных, теория информации, хэш-таблицыКак уместить словарь размером 250 КБ в 64 КБ ОЗУ с возможностью выполнения быстрого поиска? Для справки: даже современные методики сжатия наподобие gzip -9 не могут сжать этот файл до размера меньше 85 КБ.
В 1970-х Дуглас Макилрой столкнулся с этой непростой задачей при реализации проверки правописания для Unix в AT&T. Из-за ограничений компьютера PDP-11 весь словарь должен был умещаться всего в 64 КБ ОЗУ. Кажется, подобную задачу решить невозможно.
Поиск секретов в программном коде (по энтропии)
2024-08-16 в 17:02, admin, рубрики: detect-secrets, entropy, ggshield, gitleaks, nosey parker, pyWhat, Semgrep Secrets, tartufo, TruffleHog, биты энтропии, информационная энтропия, поиск секретов, теория информации, учетные данные, хартли, шенноны, энтропия
Недавно в открытом доступе появился новый инструмент для поиска приватной информации в открытом коде. Это Entropy — утилита командной строки, которая сканирует кодовую базу на предмет строк с высокой энтропией. Предположительно, такие строки могут содержать секретную информацию: токены, пароли и др.
Подход логичный. Пароли и токены — это по определению строки с высокой энтропией, поскольку они создаются с помощью генераторов случайных или псевдослучайных чисел. Символы в такой последовательности в идеале непредсказуемы.
Читать полностью »