Пререгистрированные исследования (заявленное исследование, англ. pre-registration studyReplication crisis#Tackling publication bias with pre-registration of studies[англ.]!!) — представляют собой форму исследования, в которой методы и предлагаемый анализ результатов предварительно регистрируются и рецензируются в виде эмпирической журнальной статьи, до начала проведения исследования и сбора данных. Протоколы исследований высокого качества, соответствующие научным стандартам, получают согласие на публикацию. После одобрения протокола, данные собираются в соответствии с заявленной процедурой и финальный вариант статьи вне зависимости от результатов публикуется в журнале. Такой вид исследования позволяет избежать некоторых искажений, которые возникают при публикации научных исследований (например, предвзятости публикаций Publication bias[англ.] или p-hacking Data dredging[англ.]). Подробнее о пререгистрированных исследованиях можно прочитать здесь: https://cos.io/rr/.
Необходимые элементы править
При проведении обычного исследования авторы сначала проводят все процедуры, затем их описывают и посылают в журнал на рецензирование.
Чтобы тип статьи квалифицировался как пререгистрированное исследование, политика журнала должна включать, по крайней мере, следующие положения:
- Перед проведением эксперимента проводится экспертная оценка.
- Рукописи, выдержавшие предварительную экспертизу, получают принципиальное согласие на публикацию, которое не будет отменено на основании результатов исследования, а отказ в публикации может происходить либо в результате сбоя в обеспечении качества, либо при отклонениях от зарегистрированного протокола, либо из-за неразрешимых проблем с прозрачностью или стилем отчетности.
Области применения править
Научные области, в которых проводятся исследования, в формате пререгистрированных исследований: психология, биология, нейронауки, медицина, экономика, экология, лингвистика, политика, и другие.
Этапы проведения править
1 этап — Подготовка рукописи для пререгистрации и подача заявки править
Авторы пререгистрированных исследований первоначально представляют журналу для первичного рецензирования рукопись первого этапа. На этом этапе рукопись должна содержать разделы: «введение», «методы» (включая планируемые методы статистической обработки). Также можно приложить результаты пилотных экспериментов (если такие эксперименты проводились).
2 этап — Рецензирование и получение принципиального согласия править
После оценки протокола редакторами и рецензентами, рукопись корректируется в соответствии с рецензиями и предоставляется на рассмотрение. Процесс рассмотрения в среднем требует 9 недель. По итогам рассмотрения, в случае соответствия исследования научным стандартам, автор получает принципиальное согласие на публикацию (in-principal acceptance). Это означает, что журнал практически гарантирует публикацию, если авторы проводят эксперимент в соответствии с утвержденным протоколом. После получения принципиального согласия, автор может приступить к реализации эксперимента.
3 этап — Сбор данных и подача финальной стати для повторного рецензирования править
После сбора данных, рукопись, включающая «введение» и «методы» из первоначальной рукописи, а также «результаты» и «обсуждение», отправляется на вторичное рецензирование, для проверки соответствия планов результату. Раздел «результаты» включает результаты предварительно зарегистрированных анализов, вместе с любыми дополнительными незарегистрированными анализами в отдельном разделе, озаглавленном «исследовательский анализ». Авторы должны также предоставить свои данные в архиве в свободном доступе (например Open Science Framework (OSF) или Figshare).
4 этап — Публикация править
После оценки финальной рукописи редакторами и рецензентами, статья публикуется в журнале. Таким образом, опубликованное пререгистрированное исследование, будет выглядеть очень похожим на стандартное исследование, но у читателей будет уверенность в том, что гипотезы и основные методы анализа не содержат сомнительных исследовательских практик.
Преимущества пререгистрированных исследований править
Пререгистрированные исследования подчеркивают важность исследовательского вопроса и качество методологии путем проведения экспертной оценки перед сбором данных. Протоколы высокого качества принимаются к публикации в предварительном порядке, если авторы соблюдают зарегистрированную методологию.
Дэниел Симонс, профессор Университета штата Иллинойс, Урбана-Шампейн, соредактор Пререгистрированных реплицированных исследований в "Перспективах психологической науки" (Perspectives on Psychological Science), и входящий главный редактор "Достижения в области методов и практики в области психологической науки" ( Advances in Methods and Practices in Psychological Science) заметил что, "Пререгистрированные исследования устраняют предвзятость к нежелательным результатам при публикации, поскольку результаты не известны во время проверки."[1]
Крис Чамберс, профессор Кардиффского университета, редактор разделов для пререгистрированных исследованиях в Cortex, Европейского журнала неврологии и Королевского общества открытой науки, Председатель Комитета пререгистрированных исследований при поддержке Центра открытых наук высказался следующим образом: "Поскольку исследование принято заранее, стимулы для авторов меняются от создания самой красивой истории к самой точной." [2]
Выгода править
- Журналы выигрывают, публикуя работы, которые являются одновременно передовыми и демонстративно воспроизводимыми. Выполнение этих критериев с трудом можно достичь в одном документе, опубликованном обычными средствами.
- Спонсоры получают выгоду благодаря поддержке ряда проектов, которые, почти гарантировано, будут опубликованы в авторитетном журнале, устраняя смещение публикаций и максимизируя прозрачность. Этот механизм также обеспечивает выполнение работы более корректно, с поддержкой спонсора; а также может повысить административную эффективность для спонсора, в котором процесс рассмотрения, по крайней мере частично, управляется журналом (при этом, спонсор сохраняет основную роль в принятии решений, какую работу поддерживать). После одновременного рассмотрения и спонсором и журналом, самые сильные предложения получают финансовую поддержку спонсора и принципиальное согласие на публикацию журналом.
- Авторы получают выгоду от того, что их публикации принимаются в уважаемом журнале до начала проведения исследований, и через механизм, который не только минимизирует предвзятость исследователей, но и устраняет стимул для авторов к предвзятости публикаций Publication bias[англ.]. Поэтому документы, скорее всего, окажутся содержательными и хорошо цитируемыми.
- Научное сообщество извлекает выгоду из увеличения объема исследований, которые являются своевременными, важными, транспарантными и воспроизводимыми.
Другие преимущества править
- Формат пререгистрированных исследований соблюдает гипотетико-дедуктивную модель научного метода и исключает различные сомнительные методы исследований, включая низкую статистическую мощность, избирательную отчетность о результатах и предвзятость публикацийPublication bias[англ.], позволяя при этом свободно проводить пилотные (незарегистрированные) анализы и сообщать о полученных результатах.
- Стимулирование прямых репликаций. Репликации могут быть дорогостоящими и приносят немного пользы для карьеры авторов. Для обеспечения убедительности прямой репликации часто требуется гораздо большая выборка, чем в исходном исследовании, а также после завершения репликации, исследование может быть трудно опубликовать, поскольку многие журналы отказываются от нее независимо от результатов. До тех пор, пока не будет обеспечена предварительная публикация, ученые не смогут иметь никакого стратегического смысла проводить прямые репликации. В случае пререгистрированных исследований получение принципиального согласия обеспечивает уверенность в публикации и, таким образом, дает ученым самый сильный стимул к прямому тиражированию предыдущей работы.
- Публикация всех результатов. Поскольку пререгистрированные исследования не подвержены предвзятости к публикации, они гарантируют, что научные исследования высокого качества публикуется независимо от результата. Это означает, что авторы могут публиковать каждый качественный эксперимент, а не выборочно публиковать исследования, которые дали положительные результаты.
- Повышение воспроизводимости исследований. Так как пререгистрированные исследования нейтрализовывают различные сомнительные методы научного исследования, такие как p-hacking Data dredging[англ.] и низкую статистическую мощность, вполне вероятно, что результаты таких исследований будут, в среднем, более воспроизводимы, чем в результатах обычных исследований. Это, в свою очередь, поможет сформировать репутацию участвующих ученых, как доверенных генераторов знаний.
Отличие пререгистрированых исследований от других форматов править
Отличие пререгистрированых исследований от клинических испытаний править
Формат пререгистрированых исследований применяется как к клиническим, так и к неклиническим исследованиям, и выходит за рамки регистрации клинических испытаний.
- Во-первых, в случае пререгистрированых исследований процесса рецензирования непрерывен от первого этапа до публикования результатов, что обеспечивает верность авторов зарегистрированному протоколу. Это особенно важно, учитывая, что только 1 из 3 рецензентов клинических исследований сравнивают первоначальные протоколы авторов с их окончательными представленными рукописями (Matieu, Chan, & Ravaud, 2013)[1].
- Во-вторых, в отличие от пререгистрированых исследований, большинство форм регистрации клинических испытаний (например clinicaltrials.gov)[2] не проводит экспертизу изучения протоколов исследования, что дает возможность авторам (даже неосознанно)[3] оставлять достаточного простора для маневра в методах или предлагаемых анализах для выборочного представления желаемых результатов (Джон Левенштейн, & Prelec, 2011)[4] или изменять априорные гипотезы после того, как результаты стали известны (Керр, 1998)[5].
- В-третьих, даже в тех ограниченных случаях когда журналы делают обзор и публикуют первоначальные протоколы испытаний (например, журнал ЛанцетThe Lancet, BMC протокол[6]), ни один из этих форматов дает никаких гарантий, что окончательные итоги будут опубликованы в журнале. Эти особенности формата пререгистрированых исследований отличают ее от существующих систем предварительной регистрации клинических испытаний.
Отличие рецензирования протоколов исследования пререгистрированых исследований от рецензирования протоколов исследований, финансируемых за счет грантов править
И в тех и в других случаях протокол исследования проходит предварительное рецензирование, но существует также несколько различий между этими видами рецензирования.:
- Рецензирование протоколов исследований, финансируемых за счет грантов, как правило, включает только общее или приблизительное описание методов, которые будут использоваться, в то время как первый этап пререгистрированых исследований включает поэтапный отчет экспериментальных процедур и плана анализа.
- Протоколы исследований финансируемых за счет грантов редко публикуются и исследователи часто от них отклоняются.
- Пререгистрированые исследования предназначены для всех вариантов исследований, а не только для исследований, финансируемых за счет грантов.
Список журналов править
В настоящее время 88 журналов используют формат пререгистрированых исследований либо как обычный вариант представления результатов, либо как единичный специальный выпуск. Другие журналы предлагают некоторые особенности формата. Регулярно обновляемый список можно посмотреть здесь на вкладке "Participating Journals" [7]. Таблица, которая сравнивает особенности пререгистрированых исследований в разных журналах, находится здесь[8].
Ограничения править
Не является панацей для всех областей науки[9] править
Формат пререгистрированых исследований не была предложен в качестве “панацеи” для всех областей науки. Данная модель подходит для любой области в которой существует:
- предвзятость публикации Publication bias[англ.] (журналы выборочно публикуют результаты, которые являются статистически значимыми или содержащими желательные результаты)
- p-hacking Data dredging[англ.] (в исследованиях, где выводы зависят от выбранных методов статистической обработки, исследователи выборочно сообщают о статистически значимых результатах)
- HARKing (изменение первоначальной гипотезы после того как стали известны результаты)
- низкая статистическая мощность (недостаточность размер выборки для обнаружения реального эффекта. Недостаточная статистическая мощность не только уменьшает шанс обнаруживать эффект, но она также уменьшает шанс что наблюдаемый эффект реально существует)
- отсутствие прямой репликации (недостаточное число исследований, направленных на установление воспроизводимости, путем максимально близкого повторения методов предыдущих экспериментов). Если ни одной из этих проблем в этой области нет или применяемый подход не обусловлен гипотезой, то модель пререгистрированых исследований не несет никаких преимуществ.
Дополнительная работа для рецензентов править
Экспертная оценка в соответствии с моделью пререгистрированых исследований происходит более тщательно, чем обычное рецензирование. Но в обычном процессе рецензирования рукописи часто последовательно отвергаются несколькими журналами, проходит через многих рецензентов перед тем как будет найден журнал, который опубликует статью. При применении модели пререгистрированых исследований, обходятся по крайней мере две проблемы, которые приводят к такому систематическому отказу, и, следовательно, дополнительной нагрузке на рецензентов. Во-первых, редакторы и рецензенты рукописи на первом этапе имеют возможность помочь авторам исправить методологические недостатки до начала сбора данных. Во-вторых, поскольку публикация статьи не может быть отвергнута из-за результата, это позволяет избежать общей причины обычного отказа: что результаты не считаются достаточно новыми или новаторскими. В целом общая рабочая нагрузка рецензента в рамках модели пререгистрированых исследований примерно аналогична нагрузке при обычной публикации.
Например, в рамках обычного исследования статья представляется последовательно четырем журналам, и первые три журнала отвергают ее после трех рецензий. Четвертый журнал принимает рукопись после 3 рецензий и 3 повторных рецензий. Всего рукопись увидит до 12 рецензентов и пройдет 15 раундов рецензирования. Теперь рассмотрим, что могло бы произойти, если бы исследование было представлено до сбора данных в качестве первого этапа пререгистрированого исследования, оцененного тремя рецензентами. Даже если он проходит через три раунда рассмотрения на первом этапе плюс два раунда рассмотрения втором этапе, общая нагрузка рецензента (15 раундов) совпадает с обычной моделью (15 раундов).
Рецензенты могут "украсть" идеи авторов на первом этапе рецензирования править
Такая возможность существует, хотя и очень маловероятна. Только небольшая группа людей будет знать об идеях, изложенных в рукописи на первом этапе, включая редакторов и небольшой набор рецензентов; Кроме того рукопись первого этапа не будет опубликована до завершения исследования. После получения принципиального согласия на публикацию журнал не может отклонить статью на заключительном втором этапе рецензирования, на основании того, что аналогичная работа была опубликована в другом месте. Поэтому даже в маловероятном случае, когда рецензент сможет завершить предварительную регистрацию проекта раньше авторов, такая стратегия не даст большого преимущества для карьеры преступника (особенно потому, что в опубликованной статье дата подачи протокола на первый этап рецензирования будет предшествовать дате подачи протокола на первый этап рецензирования у конкурента).
Регистрация протокола уже проведенного исследования править
В текущем формате пререгистрированых исследований, попытка зарегистрировать протокол уже проведенного исследования будет являться мошенничеством. Так как, при представлении авторами рукописи на втором этапе, к ней необходимо приложить лабораторный журнал, в котором указан диапазон дат, в течение которых осуществлялся сбор данных. Все авторы также должны подтвердить, что предоставленные данные не были собраны до момента получения принципиального согласия на публикацию (кроме пилотных данных, включенных в представление первого этапа).
Примечания править
- ↑ Daniel Simons, Professor at University of Illinois, Urbana-Champaign, co-editor of Registered Replication Reports at Perspectives on Psychological Science, and incoming chief editor of Advances in Methods and Practices in Psychological Science. “Registered Reports eliminates the bias against negative results in publishing because the results are not known at the time of review.". https://cos.io/rr/.
- ↑ Chris Chambers, Professor at Cardiff University, Section Editor for Registered Reports at Cortex, European Journal of Neuroscience and Royal Society Open Science, Chair of the Registered Reports Committee supported by the Center for Open Science. "Because the study is accepted in advance, the incentives for authors change from producing the most beautiful story to the most accurate one.". https://cos.io/rr/.