Es besteht dringender Bedarf, die Art und Weise zu verbessern wie die Ergebnisse der wissenschaftlichen Forschung von Geldgebern, akademischen Einrichtungen und anderen Beteiligten bewertet werden. Am 16. Dezember 2012 traf sich eine Gruppe von Redakteuren und Herausgebern wissenschaftlicher Zeitschriften während der Jahrestagung der American Society for Cell Biology (ASCB) in San Francisco, Kalifornien, um Lösungen und Alternativen zu diskutieren. Die Teilnehmer erstellten eine Reihe von Empfehlungen: die San Francisco Declaration on Research Assessment. Wir laden alle Interessierten aus allen wissenschaftlichen Disziplinen ein, diese Erklärung namentlich zu unterstützen.

Die Ergebnisse wissenschaftlicher Forschung sind vielfältig und umfassen Fachpublikationen über neues Wissen, Daten, Reagenzien und Software; geistiges Eigentum; und gut ausgebildete junge Wissenschaftler. Geldbeger, wissenschaftliche Institutionen, und Wissenschaftler selber wollen und müssen ihre Qualität und Auswirkungen beurteilen können. Es ist daher unerlässlich dass diese Ergebnisse präzise und mit Bedacht gemessen und bewertet werden.

Der „Journal Impact Factor“ wird häufig als wesentlicher Parameter verwendet, um die wissenschaftliche Produktivität von Individuen und Institutionen zu vergleichen. Der von Thomson Reuters* berechnete Journal Impact Factor wurde ursprünglich als Instrument für Bibliothekare entwickelt, um Entscheidungen über den Ankauf wissenschaftlicher Fachzeitschriften zu treffen, nicht als Maß für die Qualität der Forschung in einem Artikel. Aus diesem und weiteren gut dokumentierten Gründen ist der Journal Impact Factor kein geeignetes Instrument für die Bewertung von Forschungsergebnissen. Zu den Einschränkungen gehören: A) die Verteilung der Häufigkeit mit der einzelne Artikel in einem Journalen zitiert werden ist stark verzerrt [1-3]; B) der Journal Impact Factor ist feldspezifisch: Er basiert auf unterschiedlichen Artikeltypen, einschließlich primären Forschungsartikeln und Reviews [1, 4]; C) der Journal Impact Factor kann durch redaktionelle Richtlinien manipuliert werden [5]; und D) die Daten, die zur Berechnung der Journal Impact Factors verwendet werden, sind weder transparent noch öffentlich zugänglich [4, 6, 7]. Im Folgenden geben wir eine Reihe von Empfehlungen um die Qualität der Bewertung von Forschungsergebnissen zu verbessern. Zukünftig werden auch andere Leistungen als primäre Forschungsartikel bei der Bewertung der Forschungseffektivität an Bedeutung gewinnen, aber der Peer-Review-Artikel wird auch weiterhin eine zentrale Rolle für die Bewertung haben. Unsere Empfehlungen konzentrieren sich daher in erster Linie auf Praktiken in Bezug auf Forschungsartikel, die in Fachzeitschriften veröffentlicht werden. Sie können und sollten jedoch erweitert werden, um auch andere Ergebnisse wie Datensätze als wichtige Forschungsleistungen anzuerkennen. Diese Empfehlungen richten sich an Geldgeber, akademische Einrichtungen, Fachzeitschriften, Organisationen, die Metriken erstellen, und Wissenschaftler.

Diese Empfehlungen betreffen eine Reihe von Aufgaben:

• die Notwendigkeit journalbasierte Metriken wie Journal Impact Factors in Bezug auf Finanzierung, Berufung und Beförderung zu vermeiden;
• die Notwendigkeit, die Qualität der Forschung selber zu bewerten, und nicht auf Grundlage der Zeitschrift, in der die Forschung veröffentlicht wird; und
• die Möglichkeiten der Online-Veröffentlichung zu nutzen (z. B. keine unnötige Begrenzung der Anzahl der Wörter, Abbildungen und Zitate in einem Artikel, sowie die Analyse neuer Indikatoren zu Bedeutung und Wirkung).

Wir sind uns bewusst, dass viele Geldgeber, Forschungsinstitute, Verlage und Wissenschaftler bereits verbesserte Praktiken der Forschungsbewertung empfehlen. Diese Ansätze erhöhen die Motivation differenziertere und sinnvollere Methoden für die Bewertung von Forschungsergebnissen zu benutzen, die von allen entscheidenden Beteiligten übernommen und weiter verbessert werden können.

Die Unterzeichner der San Francisco Declaration on Research Assessment unterstützen die folgenden Praktiken in der Forschungsbewertung:

Allgemeine Empfehlung

1. Verwenden Sie keine journalbasierten Metriken, wie z. B. Journal Impact Factor, als Ersatz für die Bewertung der Qualität einzelner Forschungsartikel, um die Beiträge einzelner Wissenschaftler zu bewerten, oder um Entscheidungen über Einstellung, Beförderung oder Finanzierung zu treffen.

Für Geldgeber

2. Stellen Sie klar welche Kriterien Sie bei der Bewertung der wissenschaftlichen Arbeit von Antragstellern benutzen, und betonen Sie, besonders gegenüber Antragstellern am Beginn ihrer wissenschaftlichen Karriere, dass der wissenschaftliche Inhalt eines Artikels wichtiger ist als die Publikationsmetrik oder das Journal in dem er veröffentlicht wurde.
3. Berücksichtigen Sie für die Forschungsbewertung neben Publikationen auch alle anderen Forschungsleistungen (einschließlich Datensätze und Software) sowie eine Reihe anderer Faktoren, so wie qualitativer Indikatoren für die Auswirkungen auf der Forschung, z. B. Einfluss auf die Politik.

Für Forschungsinstitutionen

4. Stellen Sie klar welche Kriterien Sie für Entscheidungen über Einstellungen und Beförderungen benutzen, und betonen Sie, besonders gegenüber Wissenschaftlern am Beginn ihrer Karriere, dass der wissenschaftliche Inhalt eines Artikels wichtiger ist als die Publikationsmetrik oder das Journal, in dem er veröffentlicht wurde.
5. Berücksichtigen Sie für die Forschungsbewertung neben Publikationen auch alle anderen Forschungsleistungen (einschließlich Datensätze und Software) sowie eine Reihe anderer Faktoren, so wie qualitativer Indikatoren für die Auswirkungen auf der Forschung, z. B. Einfluss auf die Politik.

Für Verlage

6. Verringern Sie die Bedeutung des Impact Factors als Marketinginstrument, idealerweise indem Sie den Impact-Faktor nicht mehr zur Werbung benutzen oder durch die Verwendung alternativer journalbasierter Metriken (z. B. 5-Jahres-Impact-Faktor, EigenFaktor 8], SCImago [9], h-Index, Entscheidungs- und Publikationszeiten usw.), die einen besseren Überblick über die Leistungen des Journals bieten.
7. Stellen Sie alternative Metriken auf der Artikelebene zur Verfügung, um die Bewertung des wissenschaftlichen Inhalt eines Artikels, anstelle der Veröffentlichungsmetriken des Journals in dem er veröffentlicht wurde, zu bestärken.
8. Ermutigen Sie gewissenhafte Autorenpraktiken und veröffentlichen Sie weitere Informationen über die spezifischen Beiträge jedes Autors.
9. Unabhängig davon, ob ein Journal frei zugänglich oder abonnementbasiert ist, entfernen Sie alle Beschränkungen für Referenzlisten in Forschungsartikeln und stellen Sie sie as Creative Commons Public Domain zur freien Verfügung [10].
10. Entfernen oder reduzieren Sie Beschränkungen der Anzahl der Referenzen in Forschungsartikeln und, wenn möglich, setzen Sie durch dass die Primärliteratur zitiert wird anstelle von Reviews, um der oder den Arbeitsgruppe(n) die zuerst veröffentlicht haben, Anerkennung zu verschaffen.

Für Organisationen, die Metriken erstellen

11. Seien Sie offen und transparent, indem Sie die Daten und Methoden zur Berechnung aller Metriken bereitstellen.
12. Veröffentlichen Sie die Daten unter einer Lizenz, die eine uneingeschränkte Wiederverwendung ermöglicht, und bieten Sie nach Möglichkeit rechnergestützten Zugriff.
13. Stellen Sie klar dass eine unangemessene Manipulation von Metriken nicht toleriert wird; stellen Sie klar was unangemessene Manipulationen sind und welche Maßnahmen dagegen ergriffen werden.
14. Berücksichtigen Sie unterschiedliche Arten von Artikeln (z. B. Reviews oder Primärliteratur) und die verschiedenen Themenbereichen, wenn Metriken verwendet, vereint oder verglichen werden.

Für Wissenschaftler

15. Wenn Sie an Gremien teilnehmen, die Entscheidungen in Bezug auf Finanzierung, Einstellung oder Beförderung treffen, sollten Sie Ihre Bewertungen auf wissenschaftlichen Inhalten statt auf Publikationskennzahlen basieren.
16. Wann immer möglich, zitieren Sie die Primärliteratur in der die Resultate zuerst veröffentlicht wurden, anstelle von Reviews, um die originale Forschungsleistung zu würdigen.
17. Verwenden Sie verschiedene Artikelmetriken und -indikatoren in persönlichen oder bekräftigenden Aussagen die die Bedeutung einzelner Artikel und anderer Forschungsbeiträge bewerten [11].
18. Bezweifeln Sie Bewertungspraktiken, die sich unangemessenerweise auf Journal Impact Factors stützen, und empfehlen Sie „Best Practices“, die sich auf den Wert und die Bedeutung spezifischer Forschungsleistungen konzentrieren.

Verweise

1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
8. http://www.eigenfactor.org/
9. http://www.scimagojr.com/
10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
11. http://altmetrics.org/tools/

* Der Journal Impact Factor wird jetzt von Clarivate Analytics veröffentlicht.

PDF: DORA_German.pdf

This is a translation of the DORA text at https://sfdora.org/read, contributed by Lisa Matthias and Holger Breithaupt and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.