Поиск оптимальных способов оценки результатов научных исследований финансирующими агентствами, научными учреждениями и другими заинтересованными сторонами очень актуален. Для решения этой задачи 16 декабря 2012 г. в Сан-Франциско (Калифорния) в рамках Ежегодного собрания Американского общества клеточной биологии (American Society for Cell Biology, ASCB) группой редакторов и издателей научных журналов был разработан ряд рекомендаций, названных «Сан-Францисской декларацией об оценке научных исследований». Мы призываем заинтересованные стороны во всех научных дисциплинах заявить о своей поддержке, поставив свою подпись под этой Декларацией.

Результаты научных исследований многочисленны и разнообразны, к ним можно отнести научные статьи, посвященные новым знаниям, данным, реагентам и ​​программному обеспечению; интеллектуальную собственность, а также обучение высококвалифицированных молодых ученых. Качество и значимость научных результатов оценивают финансирующие организации, научные учреждения и сами ученые. Необходимо, чтобы оценка научной деятельности была точной и объективной.

В качестве основного параметра, с которым сравниваются научные результаты исследований отдельных лиц и учреждений, часто используется импакт-фактор журнала. Изначально импакт-фактор журнала создавался компанией Thomson Reuters^* как инструмент отбора журналов для пополнения библиотечных фондов, а не как показатель качества научного исследования, представленного в статье. Поэтому важно понимать, что импакт-фактор журнала в качестве инструмента оценки научных исследований имеет следующие недостатки, которые отмечаются многими исследователями:

а) распределение цитирований в журналах крайне неравномерно [1-3];

б) импакт-фактор журнала имеет свою специфику для каждой конкретной научной области; одинаково оценивает самые разные типы статей, включая как оригинальные научные исследования, так и обзорные статьи [1, 4];

в) импакт-фактором журнала можно манипулировать с помощью редакционной политики [5];

г) данные, используемые для расчета коэффициентов импакт-фактора, не являются прозрачными и общедоступными [4, 6, 7].

Ниже представлен ряд рекомендаций по совершенствованию оценки качества результатов исследований. В будущем возрастет значение других результатов научной деятельности, однако научная статья, прошедшая рецензирование, останется основным результатом исследований, который будет использоваться для оценки научной деятельности. Поэтому рекомендации сосредоточены главным образом на практике, связанной с научными статьями, опубликованными в рецензируемых журналах, однако их можно применить и к другим значимым научным результатам, таким как массивы данных. Эти рекомендации предназначены для финансирующих организаций, научных учреждений, журналов, наукометрических организаций и отдельных исследователей.

В рекомендациях отражены следующие темы:

• необходимость исключить использование показателей, основанных на журнальных метриках, таких как импакт-фактор журнала, в вопросах финансирования, кадровых назначений и продвижения по службе;
• необходимость оценки самого исследования, а не журнала, в котором оно опубликовано;
• необходимость использования возможностей онлайн-публикации (например, неограниченное количество слов, рисунков и ссылок в статье, а также применение новых показателей для оценки значимости исследования).

Мы признаем, что многие финансирующие организации, научные учреждения, издатели и исследователи уже применяют лучшие практики в оценке научных результатов, давая импульс к разработке более сложных и значимых методов оценки, которые могут быть приняты всеми основными заинтересованными сторонами.

Подписавшие Сан-Францисскую декларацию об оценке исследований поддерживают следующие методы оценки исследований.

Общая рекомендация

1. Следует избегать использования журнальных метрик, таких как импакт-фактор, для оценки качества отдельных научных статей, вклада конкретного ученого или принятия решений о найме, продвижении по службе или финансировании исследований.

Для финансирующих организаций

2. Необходимо четко определять критерии, используемые для оценки научной результативности соискателей гранта, и подчеркивать, что научное содержание статьи гораздо важнее, чем показатели публикационной активности или репутация журнала, в котором она опубликована. Это особенно актуально для молодых исследователей.
3. Следует учитывать значимость всех результатов исследований (включая массивы данных и программное обеспечение) в дополнение к публикациям статей, а также рассматривать разнообразные показатели значимости исследования, включая качественные показатели, такие как практическое применение результатов и их влияние на политические решения.

Для научных учреждений

4. Необходимо четко определять критерии, используемые для принятия решений о найме сотрудников и их продвижении по службе, и подчеркивать, что научное содержание статьи гораздо важнее, чем показатели публикационной активности или репутация журнала, в котором она опубликована. Это особенно актуально для молодых исследователей.
5. Следует учитывать значимость всех результатов исследований (включая массивы данных и программное обеспечение) в дополнение к публикациям статей, а также рассматривать разнообразные показатели значимости исследования, включая качественные показатели, такие как практическое применение результатов и их влияние на политические решения.

Для издателей

6. Не следует делать акцент на импакт-фактор как инструмент продвижения, а в идеале – прекратить рекламировать импакт-фактор; следует использовать его наряду с другими метриками журнала (например, 5-летний импакт-фактор, EigenFactor [ 8], Scimago [9], h-index, сроки редактирования и публикации и т. д.), которые дают более полное представление о качестве журнала.
7. Необходимо использовать показатели статьи, чтобы стимулировать переход к оценке научного содержания конкретного исследования, а не показателей публикационной активности журнала, в котором были опубликованы его результаты.
8. Следует способствовать распространению практики ответственного авторства, предоставляя информацию о конкретном вкладе каждого автора в содержание статьи.
9. Независимо от того, использует ли журнал модель открытого доступа или модель доступа по подписке, следует отменить ограничения на повторное использование списков источников в научных статьях и сделать их доступными по лицензии Creative Commons Public Domain Dedication [10].
10. Необходимо отменить или ослабить ограничения на количество ссылок в научных статьях и, по возможности, поощрять цитирование оригинальных источников, а не обзорных статей, чтобы оценить значимость работы научного коллектива, который впервые озвучил данные результаты.

Для наукометрических организаций

11. Необходимо использовать политику открытости и прозрачности, предоставлять информацию о данных и методах, используемых для расчета всех показателей.
12. Необходимо предоставлять данные по лицензии, которая позволяет их неограниченное повторное использование, а также доступ к данным для вычислений.
13. Следует четко обозначить позицию о недопустимости манипуляций с метрикам, определить способы манипулирования и меры борьбы с ними.
14. При использовании, консолидации и сравнении показателей необходимо учитывать особенности типов статей (например, обзорные или научные статьи) и предметных областей.

Для исследователей

15. Членам организаций, принимающих решения о финансировании, найме или продвижении по службе, необходимо прежде всего оценивать научное содержание работ, а не показатели публикационной активности.
16. По возможности необходимо ссылаться не на обзорные статьи, а на оригинальные источники, в которых впервые сообщается о научных результатах, чтобы оценить их вклад.
17. В качестве доказательства значимости отдельных опубликованных статей и других результатов исследований при формировании частного мнения или отзыва следует использовать разнообразные метрики и индикаторы [11].
18. Необходимо подвергать сомнению практику оценки исследований, на основе импакт-фактора журнала; следует пропагандировать и обучать передовым практикам, ориентированным на ценность и значимость конкретных результатов исследований.

Список источников

1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
8. http://www.eigenfactor.org/
9. http://www.scimagojr.com/
10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
11. http://altmetrics.org/tools/

^* В настоящее время расчет импакт-фактора публикует компания Clarivate Analytics

PDF: DORA_Russia.pdf

This is a translation of the DORA text at https://sfdora.org/read, contributed by Evgeniya Balyakina and Olga  Kirillova. It is also published in Научный редактор и издатель and is made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.