Рубрика «энтропия»

При охлаждении воды в сосуде без центров кристаллизации можно переохладить воду ниже температуры замерзания. Переохлажденная вода находится в метастабильном состоянии, и поэтому процесс ее перехода в лед является самопроизвольным. Поместим переохлажденную воду для определенности при -2°С (271.15 К) в изолированную систему. В изолированной системе в самопроизвольном процессе энтропия системы должна увеличиться, но в данном случае энтропия переохлажденной воды больше энтропии льда.

Читать полностью »

Всем привет! В этой статье я хотел бы попробовать осветить несколько взглядов на кросс-энтропию и попробовать сформировать некоторую интуицию с точки зрения теории информации.

Кросс-энтропия - одна из центральных метрик машинного обучения. Любая задача классификации так или иначе сводится к оптимизации модели через эту метрику. Однако новички нередко задаются вопросом, откуда берётся эта метрика и почему имеет такой вид, так как нередко вне профильных курсов она преподносится как данность.

Вывод через метод максимального правдоподобия

Читать полностью »

Время течет назад, а у Вселенной три временных измерения? - 1

Стрелка часов выглядит самым надежным элементом физической реальности. Секунды сменяют друг друга строго вперед, прошлое закрыто, будущее неизвестно. Но стоит обратиться к уравнениям микромира, как эта уверенность рассыпается.

Читать полностью »

Вопрос на засыпку: кто придумал бит? Если вы ответите «Клод Шеннон», то будете неправы, бит он не придумывал. Но без Шеннона сухая концепция его коллеги по Bell Джона Тьюки вряд ли бы обрела такую популярность и легла в основу современного мира.

А еще Шеннон не придумывал Булеву алгебру, энтропию и логарифмическую меру количества информации. Если честно, то изобретатель из него так себе.

Зато в чем у отца современной информатики точно был талант: он умел находить отличные идеи и применять их в неожиданных формах. При этом на авторство он никогда не претендовал и никогда не пытался выдать что-то чужое за свое. 

Читать полностью »

Моя статься Почему время замедляется при ускорении? Объяснение, которое вы нигде не найдёте собрала 454 комментария. Большинство из них сводились к одному: «красиво, но где формулы?» Эта статья — ответ.

Здесь не будет метафор про ползунок. Здесь будет математика специальной теории относительности — та самая, которую проходят на втором курсе физфака и которую почему-то считают недоступной для обычного человека. Это неправда.

Читать полностью »
Происхождение, часть 1. Самовоспроизводство и диссипативная адаптация - 1

«В жизни нет ничего определённого, кроме смерти, налогов и второго закона термодинамики» (Сет Ллойд)

«Читать полностью »

Новый класс Интернет-ресурсов: антисоцсети - 1

Разработчики, занимающиеся стартапами, иногда сталкиваются с проблемами типизации своей разработки. Им зачастую самим хочется понять, что же именно они ваяют? Особенно эта проблема становится актуальной, если проект, так или иначе, подразумевает Читать полностью »

Иногда кажется, что физика и программирование живут в разных мирах. Но чем глубже смотришь, тем сильнее понимаешь — законы мышления, которыми мы руководствуемся, удивительно схожи. Симметрия, порядок, борьба с энтропией, поиск инвариантов — всё это объединяет инженеров, физиков и программистов в одном стремлении понять, как устроен мир. Я просто захотел порассуждать об этом и поделиться с вами своими мыслями.

Читать полностью »

https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js