Список скептика

Громкие заявления требуют убедительных доказательств.
Карл Саган (оригинал ^[1])

Преамбула

Однажды вечером много лет назад на первом курсе в славном городе Долгопрудном прогуливался с товарищами по коридорам университета, как вдруг совершенно случайно, мы увидели на двери объявление: «Лекция: Славянские руны. Чудинов ^[2]». Стоит отметить, это не самая популярная для физтеха тема лекций. Из любопытства мы заглянули на огонек и даже честно попытались понять, что же нам пытаются рассказать. Примерно через десять минут мы уже не могли сдерживать смех и попытались в мягкой форме спросить, действительно ли автор верит в то, что он говорит, и не нарушают ли его теории ряд научных принципов. Автор честно признался, что они не очень-то стараются следовать каким-то там принципам, а пытаются разобраться в сути вопроса и вообще всё, что он говорит, это чистая правда — смотрите на эти фотографии, они всё доказывают — вот тут вот точно «Мара» написано.

Что же в сухом остатке с той самой лекции? Далеко не последний университет проводит в своих стенах лекцию сомнительного качества (с продажей книг выступающего, конечно же) и мало того, что выступает бесплатной площадкой для такого рода личностей, так еще и бьёт по своему статусу. Казалось бы, возможно это единичный случай. Например, та же лекция была прочитана в лектории Политехнического музея. В последствии администрация признала ^[3] эту лекцию и ряд других лженаучными и даже организовали отличную лекцию "Что такое любительская лингвистика ^[4]", прочитанную академиком Зализняком ^[5].

Однако, оказалось, что это не исключение.

Никогда такого не было и вот опять

Сегодня с удивлением обнаружил следующий пост

К еще большому удивлению обнаружил соответствующий пост ^[6] на Хабре. Конечно же, я не могу утверждать, что данная работа является псевдонаучной. Но как и во многих других случаях у нас есть повод усомниться.

Для иллюстрации общей идеи, рассмотрим несколько примеров встречающихся на Хабре и за его пределами. В качестве основного примера разберем несколько статей по известной и популярной в информатике задаче SAT ^[7]. Задача имеет довольно простую формулировку и поэтому получила достаточное внимание среди неспециалистов, которые предлагают разнообразные решения. Как правило большинство таких работ не удовлетворяет базовым научным принципам написания статей и поэтому является отличным примером для разбора ошибок.

В то же время эта задача достаточно широко известна и несколько раз освещалась на Хабре, чтобы быть хорошим иллюстративным материалом для общей идеи. Мы постараемся не просто проанализировать эти работы, но и выявить некоторые общие черты между «сомнительными» работами и постараемся использовать полученные правила для упомянутого выше проекта «Планетарный Передатчик Энергии».

Решение задачи P ?= NP

За примерами далеко ходить не нужно: здесь ^[8], здесь ^[9] и здесь ^[10], тысячи их! Поиск выдает еще больше результатов, но для иллюстрации и этих достаточно.

Для эксперта в SAT скорее всего сразу всё будет ясно, как только он увидит статью ^[11] с доказательствами, однако представим, что у нас нет совершенно никаких знаний в области вычислительной сложности и мы пытаемся разобраться насколько нам стоит доверять данной работе.

Первое о чем стоит задуматься, что говорят эксперты? Статья ^[12] из Википедии приводит нас к следующей работе: "Reasons to believe by Scott Aaronson ^[13]", то, что это действительно эксперт мы можем убедиться, заглянув в его CV ^[14]. Автор последовательно доказывает, что ни одна из современных математических техник, не позволяет дать какой бы это ни было ответ на вопрос о NP vs. P.

Второй вопрос, а где данная статья была опубликована? Даже поверхностный поиск по запросу: «computational complexity conference» даёт хорошее представление, что над данной задачей и в предметной области работает ряд выдающихся экспертов (а так же такие организации как IEEE, ACM etc), которые в состоянии оценить работу в деталях.

Третий вопрос, в чем эта работа принципиально отличается от других? Это довольно интересный вопрос, когда-то мне посчастливилось побывать на лекции ^[15] Дональда Кнута на летней школе посвященной SAT/SMT и в неформальной беседе, прозвучала фраза, что по тому, как выглядит список ссылок в работе и по обзору литературы можно понять насколько глубокой является статья. Интуиция здесь примерно следующая: если автор даёт качественный детальный обзор литературы, включая современные работы из топовых конференцийжурналов, то значит у него есть хорошее понимание предметной области и позиционирования своей работы.

Список можно продолжать и продолжать, но нас на самом деле интересует более общий вопрос нежели проблема NP vs. P.

Абстрактный Петрик ^[16] в вакууме

На хабре, как и на многих других ресурсах, есть огромное количество статей, о результатах которых только эксперты могут дать однозначный ответ. Приведу для примера несколько работ из чулана: вот ^[17], тут ^[18] и конечно же шедевр ^[19] «Белорусские военные изучают торсионные поля».

Безусловно, никто не является специалистом в каждой области и поэтому, если опубликовать на Хабре технические выкладки по какой-то узкой предметной области, то 99% не сможет вникнуть в детали и вести предметный разговор на уровне конкретных формул, доказательств и теорий. Это вовсе не означает, что сообщество не может оценить качество работы по каким-то формальным критериям.

Мы приходим к старой проблеме определения качества научно-популярного материала, представленного широкой публике. И тут совершенно не хотелось бы изобретать велосипед. С подобной проблемой сталкиваются многие организации и можно оценить их решения и попробовать понять можем ли мы их адаптировать для Хабра.

Письмо TEDx

Наиболее адекватными и грамотным решением, на мой взгляд, является письмо TEDx A letter to the tedx community on tedx and bad-science. ^[20]

Почему TEDx? Во многом TEDx и Хабр схожи: основная ценность ресурса — контент созданный пользователями. С одной стороны ресурс тематический (различные топики в TEDx и Хабы), с другой стороны материал представляют широкой публике. Ни TEDx, ни Хабр не проводят и не предназначены для публикации оригинальных научных исследований и предполагают, что материал должен быть понятен неспециалисту по крайне мере на уровне идей, пример отличной статьи в подобном формате ^[21]. Нельзя сказать, что ресурсы схожи во всем и поэтому нельзя бездумно скопировать решение и применять его направо и налево, но используя специфику ресурса, мы можем сделать первый шаг в адаптации и создании такого решения.

Далее, приведем короткий список вопросов из письма (точнее их адаптацию для хабра), которыми стоит задаться скептику, когда перед ним новая «прорывная» работа и заодно приведем короткий комментарий согласно этим вопросам по проекту «Планетарный Передатчик Энергии».

• Данная работа не убедила достаточного количества экспертов: единственное подтверждение корректности, которое мы видим исходит от академика РАСХН ^[22] и РАЕН ^[23]
  
• Работа не имеет экспериментального подтверждения, повторенного другими учеными (эффект Моцарта ^[24])
• Авторы делают невероятно самоуверенные утверждения: «Это бесконечный источник природной энергии для всего человечества»
• Упрощают картину настолько, что содержание невозможно опровергнуть: критерий Поппера ^[25], должен существовать выполнимый эксперимент, который мог бы опровергнуть данную теорию (желательно перед тем, как авторам переведут 10^6 рублей)
• Тема работы: бесконечная энергия, путешествие во времени, алхимия и т.д. см. комментарий выше про бесконечную энергию.
• Работа содержит огромное количество общей информации, не позволяющей читателю разобраться в работе: этот пункт, как и остальные субъективен, можно получить личную оценку пробежавшись по материалу ^[6]
• Отсутствуют серьезная научная репутация: если эта работа будет опубликована в Physical Review Letters, то я в тот же момент переведу 10к+ на развитие проекта
• Авторы единственные обладают подобным знанием: как же так за 100 лет, никто другой не придумал как собрать Башню Тесла?
• Отсутствую сторонние источники информации о проекте: мне не удалось найти ни одного стороннего ресурса дающего экспертную оценку данному проекту
• В оригинальном письме помечено как «БОЛЬШОЙ КРАСНЫЙ ФЛАГ»: продает связанную продукцию, услуги или план
• Авторы проявляют излишнюю назойливость в доступе к площадке: с моей позиции это сложно проанализировать, но известно, что администрация уже удаляла статью с ресурса

Как и в любом другом случае все эти утверждения и вопросы не могут однозначно сказать является ли работа качественной или нет, но они позволяют читателю получить некоторую общую оценку качества работы с точки зрения базовых научных принципов.

Вместо заключения

Данная статья прежде всего направлена на развитие дискуссии о том, какие критерии должны применяться к статьям на Хабре. Должно ли сообщество иметь некоторый перечень вопросов, на которые необходимо получить ответ прежде чем кто-то сможет использовать Хабр как площадку для продвижения своих идей?

Есть ли какие-то общие принципы, которым мы должны следовать? Сообщество регулирует интерес к статьям с помощью голосования, но значит ли, что у нас не должно быть никакого стандарта, какими должны быть статьи? Будем ли это цензурой и давлением, если перед публикацией подобных статей, к ним будут предъявляться какие-то требования соблюдения определенных норм?

Конечно же не существует серебряной пули, которая решит все проблемы, но проблема сама не исчезнет, если её игнорировать.

Автор: varagian

Источник ^[26]