- PVSM.RU - https://www.pvsm.ru -

Некачественные исследования получают все больше и больше денег

Некачественные исследования получают все больше и больше денег - 1
Виктор Петрик демонстрирует свой нанофильтр (Источник: rusphysics.ru)

В 1963 году Джейкоб Кэн, психолог из Нью-Йоркского университета, проанализировал около 70 статей, опубликованных в издании Journal of Abnormal and Social Psychology и обнаружил интересный факт. Лишь малое число ученых признавали неудачи своих исследований в работах. Для этих материалов он выполнил подсчет их «статистической мощности». Термин «статистическая мощность» означает вероятность отвержения нулевой гипотезы, если она фактически неверна.

По статистике [1], подтверждение ожидаемого исследователем результата проявляется в ходе всего лишь 20% выполняемых экспериментов. Как оказалось, практически во всех изученных Коэном работах авторы указывали положительный ожидаемый результат исследований. Получается, что авторы просто не докладывают о неудачах. Более того, некоторые авторы искажают результаты своих исследований, указывая положительный эффект даже в том случае, когда его нет.

Величина мощности при проверке статистической гипотезы зависит от следующих факторов [2]:

  • величины уровня значимости, обозначаемого греческой буквой α (альфа), на основании которого принимается решение об отвержении или принятии альтернативной гипотезы;
  • величины эффекта (то есть разности между сравниваемыми средними);
  • размера выборки, необходимой для подтверждения статистической гипотезы.

Со времени публикации работы Джейкоба Коэна прошло уже более полувека, но авторы научных исследований все так же рассказывают о своих успехах, скрывая поражения. Это доказывают результаты еще одной работы, опубликованной недавно в Royal Society Open Science. Авторы этой работы — Пол Смальдино из Калифорнийского университета и Ричард Мак Элрес из Института эволюционной антропологии Общества Макса Планка [3]. По словам исследователей, современные статьи не стали качественнее. По крайней мере, статьи, которые относятся к психологии, неврологии и медицинской науке.

Изучив несколько десятков статей, опубликованных в период времени с 1960 по 2011 год, ученые определили, что средний показатель статистической мощности в этом случае равен 24%. Это лишь немногим выше того параметра, который был просчитан Коэном. И это несмотря на то, что за последние годы методы научного исследования стали точнее, а для исследователей публикуется все больше книг и статей с описанием принципов и методов научной работы.

Некачественные исследования получают все больше и больше денег - 2
Усредненная статистическая мощность публикаций, размещенных в научных журналах с 1960 по 2011 года

Получив такой результат, ученые задумались над тем, что может изменить текущее положение вещей, чтобы авторы научных работ стали добросовестнее. Для этого Мак Элрес и Смальдино создали компьютерную эволюционную модель. В рамках этой модели около 100 виртуальных лабораторий соревновались за право получения вознаграждения. Оно выплачивалось в том случае, если в рамках исследования команда лаборатории получала действительно значимый результат. Для определения размера вознаграждения ученые использовали такой показатель, как объем публикаций.

Как выяснилось [4], некоторые лаборатории работали более эффективно, чем другие, показывая больше результатов. В то же время, эти лаборатории часто выдавали ожидаемое за действительное. В этом случае результаты выверялись хуже, и результаты интерпретировались, как положительные. Если результаты работы выверялись тщательнее, то публиковалось меньше работ.

В каждом цикле симуляции все моделируемые лаборатории выполняли эксперименты и публиковали результаты. После этого ученые убирали наиболее старую лабораторию из ряда случайно выбранных. А лаборатории из еще одного случайного списка (критерий выборки — максимальное количество полученных вознаграждений) позволяли создать собственное подразделение, которое занималось активной работой по публикации научных материалов. Предварительные результаты анализа компьютерной модели продемонстрировали: публиковавшие больше всех работ лаборатории уделяли лишь малую толику времени проверке результатов и становились наиболее авторитетными, распространяя свои методы исследований в научном сообществе.

Но было еще кое-что. Как оказалось, повторение результатов работы какой-то одной лаборатории коллективом другой приводит к улучшению репутации первой лаборатории. А вот неудача в повторении результатов какого-либо эксперимента приводит к проблемам и понижению репутации лаборатории, которая провела такой эксперимент первой. В этом случае срабатывает фильтр, который не допускает появления в научном сообществе фальшивых исследований с модифицированными результатами исследований.

Чем сильнее было наказание для тех, кто опубликовал непроверенные результаты, тем мощнее оказывался фильтр некачественных исследований. При максимальном наказании в 100 баллов лабораторий с фальшивыми данными резко вырастало количество публикаций с реальными результатами. Кроме того, вырастало и количество повторных экспериментов, которые проводили другие лаборатории с намерением повторить полученные кем-то результаты.

Напомню, что все, сказанное выше — смоделированная на ПК ситуация. Авторы исследования делают следующий вывод: как и раньше, сейчас научные организации, которые публикуют больше работ, чем другие, считаются наиболее авторитетными. К сожалению, фильтр некачественных публикаций, который сработал в виртуальном мире, не слишком хорошо работает в мире реальном. Дело в том, что НИИ и отдельные исследователи не слишком часто проверяют результаты друг друга. Если бы такие проверки с намерением повторить результат, полученный партнером, осуществлялись чаще, то и «фальшивых результатов» в мире науки стало бы значительно меньше.

Авторы исследования считают, что компьютерная модель показала возможность изменения текущего положения вещей. Если бы фонды и научные организации не давали деньги тем ученым и лабораториям, кто публиковал непроверенные результаты своих исследований, выдавая их за положительный результат, то обманщиков быстро бы стало меньше. Но реализовать такую модель в реальном мире довольно сложно. «Легче сказать, чем сделать», — говорит Смальдино.

Так что пока в плюсе оказываются те организации, кто публикует много статей. А вот организации, которые тщательно выверяют свои результаты, публикуются реже.

DOI: 10.1098/rsos.160384

Автор: marks

Источник [5]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/statistika/192315

Ссылки в тексте:

[1] статистике: http://www.economist.com/news/science-and-technology/21707513-poor-scientific-methods-may-be-hereditary-incentive-malus

[2] зависит от следующих факторов: https://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%BC%D0%BE%D1%89%D0%BD%D0%BE%D1%81%D1%82%D1%8C

[3] Института эволюционной антропологии Общества Макса Планка: https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%81%D1%82%D0%B8%D1%82%D1%83%D1%82_%D1%8D%D0%B2%D0%BE%D0%BB%D1%8E%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%BE%D0%B9_%D0%B0%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_%D0%9E%D0%B1%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B0_%D0%9C%D0%B0%D0%BA%D1%81%D0%B0_%D0%9F%D0%BB%D0%B0%D0%BD%D0%BA%D0%B0

[4] выяснилось: http://rsos.royalsocietypublishing.org/content/3/9/160384

[5] Источник: https://geektimes.ru/post/280826/