Двенадцать нот, двенадцать цветов и все их симметричные аккорды располагаются на одном многограннике; тритон всегда оказывается на противоположной вершине. Каждая вершина несёт в себе делитель — число, простое разложение которого указано на метке.
Рубрика «теория информации»
# Комбинаторная синестезия: аккорды и цвета как арифметика делителей на икосаэдре
2026-07-13 в 11:04, admin, рубрики: RGB, аккорды, кибернетика, математика, теория информации, теория музыки, цвет, цвета, цветовой кругНаблюдатель как конечная структура различения
2026-07-13 в 8:34, admin, рубрики: геометрия, Гиперкуб, кибернетика, комбинаторика, математика, наблюдатель, теория информации, теория систем, теория цветаНаблюдатель как конечная структура различения
В формальных науках — математике, логике, теоретической физике, теории информации — наблюдатель часто появляется либо как нечто заранее данное, либо растворяется в формализме как набор переменных или граничных условий. Но что такое наблюдатель структурно? Какие минимальные требования должна удовлетворить модель, чтобы то, что она описывает, можно было читать как акт наблюдения?
Я предлагаю три рабочих требования.
Первое — позиционное.Читать полностью »
Математика букв: Wordle и теория информации
2026-06-24 в 7:05, admin, рубрики: wordle, Алгоритмы, буквы, головоломки, математика, морфология, Научно-популярное, слова, статистика, теория информации
Как рассказать ребёнку, чем занимается папа, если папа работает с ИИ?
2026-06-19 в 18:49, admin, рубрики: Велтистов, детская литература, искусственный интеллект, машинное обучение, научная фантастика, теория информации, трансформеры, Шеннон, Электроник, эмбеддингиВместо эпиграфа
Наверняка все, у кого есть дети, слышали вопрос «чем ты занимаешься на работе?». Мне его точно задавали и неоднократно.
Дать ответ на этот вопрос ребёнку, не скатываясь в иронию, не так уж и просто. Но оказалось, что все ответы для нас уже подготовили. И не евангелисты из Кремниевой долины, а товарищи в кожаных плащах и пыльных шлемах, думавшие о том, как воспитать миллионы молодых инженеров, лет шестьдесят назад и ещё раньше.
Основание
Мой универсальный код
2026-05-19 в 12:58, admin, рубрики: битовая магия, биты, данные, индекс, кодирование, кодировки, наука, теория информацииЗачем я переплачиваю 31 бит на число 1?
Зачем на число 1 я в типах u8, u16, u32 и так далее переплачиваю 7, 15 и 31 бит? Это же бред.
Однозначность декодирования? Быстрая адресация? Сейчас распишу до чего я допёр.
Проблема
Если биты лежат в потоке, то не совсем понятно что они значат без предварительной договорённости. Например:
1110101011
Что это? Одно число? Два? Бог его знает. Без какого-то знания начального подойти к данным не выйдет (я работаю над этим :D).
Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё
2026-03-31 в 16:52, admin, рубрики: gpt, llm, галлюцинации, искусственный интеллект, машинное обучение, научпоп, сжатие данных, теория информации, ШеннонПредставьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.
Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».
И были бы правы, потому что именно это делает LLM.
Предсказание = сжатие (и это не метафора)
Тут нужно кое-что объяснить, и это самое важное в статье.
Клод Шеннон доказал в 1948 году: предсказание следующего символа и сжатие данных — математически одно и то жеЧитать полностью »
Почему норка лучше кроат: разбираем Wordle с помощью энтропии и Excel
2026-03-10 в 7:01, admin, рубрики: wordle, Алгоритмы, головоломка, игры, комбинаторика, Ланит, логика, логические игры, слова, теория информацииВ Wordle принято начинать с «хороших» слов – с частыми гласными и согласными. Однако анализ показывает, что менее очевидные варианты иногда дают больше информации. Возникает простой, но неудобный вопрос, можно ли доказать, что одно стартовое слово лучше другого. Краткий ответ – да. Я рассмотрел Wordle как задачу теории информации и количественно оценил каждый ход, используя Excel и официальный словарь игры. Эту статью я публикую в блоге ЛАНИТ, чтобы обсудить полученные результаты с техническим сообществом.
От Шеннона до современного ИИ: применение теории информации в машинном обучении
2025-12-22 в 16:10, admin, рубрики: искусственный интеллект, машинное обучение, теория информацииГлавная задача этой статьи — показать связь между теорией информации Шеннона и инструментами, которые можно встретить в современных системах машинного обучения. Здесь мы поговорим об энтропии (entropy) и о приросте информации (information gain), потом перейдём к кросс-энтропии (перекрёстная энтропия, cross-entropy), к KL-дивергенции (дивергенция или расхождение Кульбака–Лейблера, относительная энтропия, KL-divergence), рассмотрим методы, используемые в современных системах генеративного ИИ.
Атом смысла: как из ничего получить все
2025-10-05 в 0:05, admin, рубрики: квантовая запутанность, квантовая физика, теория интегрированной информации, теория информации, философия математики, философия науки, Фундамент математики, фундаментальная наука, фундаментальные знанияЯ попробовал создать вселенную. Ночью, лежа в кровати, думая о том, что могло бы стать ее фундаментальной основой. Самым базовым кирпичиком, так что бы проще уже некуда. Может ли базовый строительный элемент быть онтологически сложным? Скажем, Теория Струн и ее развитие М‑теория, постулируют, что базовым кирпичиком лежащим в основе мироздания, является многомерная брана. Неужели все должно быть так сложно?
Интуиция на бессознательном уровне устраивает протест, отказываясь принимать идею того, что базовый объект может представлять собой совокупность сложных отношений и характеристик. Почему сложных?Читать полностью »
До нас дошло. Клод Шеннон — отец цифровой эпохи
2025-09-27 в 5:13, admin, рубрики: linkmeup, до нас дошло, искусственный интеллект, машинное обучение, нейросети, передача данных, теория информации, цифровизация, Шеннон, шифрованиеЭто видео создано из фотографии Клода Шеннона с помощью нейросети Алиса, основанной на Yandex GPT.
На него наложен звук, скрэмблированный с помощью программы, написанной нейросетью Claude от Antropic, названной так в честь Шеннона, практиковавшего машинное обучение ещё 70 лет назад.
Отец цифровой эпохи
Переоценить роль Шеннона невозможно. Попробуйте назвать любой артефакт современности — и вы с вероятностью 99 из 100 попадёте в то, что существует благодаря нему.