Υπάρχει επιτακτική ανάγκη να βελτιωθούν οι τρόποι με τους οποίους αποτιμάται η παραγωγή της επιστημονικής έρευνας από φορείς χρηματοδότησης, ακαδημαϊκά ιδρύματα και άλλα μέρη. Για να αντιμετωπιστεί αυτό το ζήτημα, μια ομάδα επιμελητών και εκδοτών επιστημονικών περιοδικών συναντήθηκε κατά τη διάρκεια της Ετήσιας Συνάντησης της American Society for Cell Biology (ASCB) στο Σαν Φρανσίσκο, στην Καλιφόρνια των ΗΠΑ, στις 16 Δεκεμβρίου 2012. Η ομάδα ανέπτυξε ένα σύνολο συστάσεων, που αναφέρονται ως η Διακήρυξη του Σαν Φρανσίσκο για την Αποτίμηση της Έρευνας. Καλούμε τα ενδιαφερόμενα μέρη σε όλους τους επιστημονικούς κλάδους να δηλώσουν την στήριξή τους προσθέτοντας το ονομά τους σε αυτή τη Διακηρυξη.

Τα παράγωγα της επιστημονικής έρευνας είναι πολλά και ποικίλα, συμπεριλαμβανομένων: ερευνητικών άρθρων που αναφέρουν νέα γνώση, δεδομένα, προϊόντα πειραματικών διαδικασιών και λογισμικό· διανοητική ιδιοκτησία· και πολύ καλά εκπαιδευμένους νέους επιστήμονες. Οι φορείς χρηματοδότησης, τα ιδρύματα που απασχολούν επιστήμονες και οι ίδιοι οι επιστήμονες έχουν όλοι την επιθυμία και την ανάγκη να αποτιμούν την ποιότητα και την απήχηση των επιστημονικών παραγώγων. Επομένως, είναι επιτακτική ανάγκη η επιστημονική παραγωγή να μετράται με ακρίβεια και να αξιολογείται με σύνεση.

Ο Δείκτης Απήχησης των επιστημονικών περιοδικών (Journal Impact Factor) χρησιμοποιείται συχνά ως η κύρια παράμετρος με την οποία συγκρίνεται η επιστημονική παραγωγή ατόμων και ιδρυμάτων. Ο Δείκτης Απήχησης, όπως υπολογίζεται από την Thomson Reuters,* δημιουργήθηκε αρχικά ως εργαλείο για να βοηθήσει τους βιβλιοθηκονόμους να αναγνωρίσουν επιστημονικά περιοδικά προς πρόσκτηση, όχι ως μέτρο της επιστημονικής ποιότητας της έρευνας σε ένα άρθρο. Λαμβάνοντας αυτό υπόψη, είναι κρίσιμο να κατανοήσουμε ότι ο Δείκτης Απήχησης έχει πολύ καλά τεκμηριωμένες ελλείψεις ως εργαλείο για την αποτίμηση της έρευνας. Αυτοί οι περιορισμοί περιλαμβάνουν: A) οι κατανομές των παραπομπών σε περιοδικά είναι εξαιρετικά διαστρεβλωμένες [1-3]· Β) οι ιδιότητες του Δείκτη Απήχησης είναι ειδικές για κάθε τομέα: είναι μια σύνθεση πολλαπλών, πολύ διαφορετικών τύπων άρθρων, συμπεριλαμβανομένων πρωτογενών ερευνητικών εργασιών και ανασκοπήσεων [1, 4]· Γ) ο Δείκτης Απήχησης μπορεί να χειραγωγηθεί (ή να “μοχλευθεί”) από τις πολιτικές των επιμελητών [5]· και Δ) τα δεδομένα που χρησιμοποιούνται για τον υπολογισμό του Δείκτη Απήχησης δεν είναι ούτε διαφανή, ούτε ανοικτά διαθέσιμα στο κοινό [4, 6, 7]. Ακολουθεί μια σειρά συστάσεων για τη βελτίωση του τρόπου με τον οποίο αξιολογείται η ποιότητα των ερευνητικών παραγώγων. Παράγωγα πλην των ερευνητικών άρθρων θα αποκτήσουν στο μέλλον μεγαλύτερη σημασία για την αποτίμηση της αποτελεσματικότητας της έρευνας, όμως το ερευνητικό άρθρο που υπόκειται σε ομότιμη κρίση θα παραμείνει το κεντρικό ερευνητικό παράγωγο που θα πληροφορεί την αποτίμηση της έρευνας. Συνεπώς, οι συστάσεις μας επικεντρώνονται κυρίως στις πρακτικές που σχετίζονται με τα ερευνητικά άρθρα τα οποία δημοσιεύονται σε επιστημονικά περιοδικά, αλλά μπορούν και πρέπει να επεκταθούν σε πρόσθετα ερευνητικά παράγωγα, όπως τα σύνολα δεδομένων, αναγνωρίζοντας τα ως σημαντικά. Αυτές οι συστάσεις απευθύνονται σε φορείς χρηματοδότησης, σε ακαδημαϊκά ιδρύματα, επιστημονικά περιοδικά, οργανισμούς που παρέχουν μετρήσεις και μεμονωμένους ερευνητές.

Τις συστάσεις αυτές διαπερνούν διάφορες ιδέες:

• Η ανάγκη να εξαλειφθεί η χρήση μετρικών που βασίζονται στα επιστημονικά περιοδικά, όπως ο Δείκτης Απήχησης, για την παροχή χρηματοδοτήσεων, διορισμούς και προαγωγές ·
• η ανάγκη αξιολόγησης της έρευνας με βάση την αξία της και όχι με βάση το περιοδικό στο οποίο δημοσιεύεται· και
• η ανάγκη κεφαλαιοποίησης των ευκαιριών που παρέχονται από την ηλεκτρονική δημοσίευση (όπως η χαλάρωση των περιττών ορίων όσον αφορά τον αριθμό των λέξεων, των εικόνων και των αναφορών σε άρθρα, και η εξερεύνηση νέων δεικτών σημασίας και αντίκτυπου).

Αναγνωρίζουμε ότι πολλοί φορείς χρηματοδότησης, ιδρύματα, εκδότες και ερευνητές ήδη ενθαρρύνουν βελτιωμένες πρακτικές αποτίμησης της έρευνας. Τέτοια βήματα αρχίζουν να αυξάνουν τη δυναμική προς πιο σύνθετες και ουσιαστικές προσεγγίσεις στην αποτίμηση της έρευνας, οι οποίες μπορούν τώρα να οικοδομηθούν και να υιοθετηθούν από όλες τις κύριες συνιστώσες.

Οι υπογράφοντες τη Διακήρυξη του Σαν Φρανσίσκο για την Αποτίμηση της Έρευνας υποστηρίζουν την υιοθέτηση των ακόλουθων πρακτικών στην αποτίμηση της έρευνας.

Γενική σύσταση

1. Να μην χρησιμοποιείτε μετρικούς δείκτες περιοδικών, όπως ο Δείκτης Απήχησης, ως μέτρα που αντικαθιστούν την ποιότητα των μεμονωμένων ερευνητικών άρθρων, για να αξιολογήσετε τα άρθρα ενός μεμονωμένου επιστήμονα ή για αποφάσεις πρόσληψης, προαγωγής ή χρηματοδότησης.

Για τους οργανισμούς χρηματοδότησης

2. Να είστε σαφείς αναφορικά με τα κριτήρια που χρησιμοποιούνται για την αξιολόγηση της επιστημονικής παραγωγικότητας όσων αιτούνται επιχορηγήσεων και να τονίζετε ρητά, ειδικά για τους ερευνητές αρχικών σταδίων, ότι το επιστημονικό περιεχόμενο μιας εργασίας είναι σημαντικότερο από τις μετρικούς δείκτες άρθρων ή την ταυτότητα του περιοδικού στο οποίο δημοσιεύθηκαν.
3. Όσον αφορά την αξιολόγηση της έρευνας, να εξετάζετε -επιπρόσθετα των ερευνητικών εργασιών- την αξία και τον αντίκτυπο όλων των επιστημονικών ευρημάτων (συμπεριλαμβάνοντας το σύνολο των δεδομένων και λογισμικού) και να εξετάζετε ένα ευρύ φάσμα δεικτών απήχησης, που συμπεριλαμβάνουν ποιοτικούς δείκτες, όπως η επιρροή σε τομείς στρατηγικής και πρακτικής.

Για τα ιδρύματα

4. Να είστε σαφείς αναφορικά με τα κριτήρια που χρησιμοποιούνται για τη λήψη αποφάσεων πρόσληψης, μονιμοποίησης και προαγωγής, και να τονίζετε ρητά, ειδικά για τους ερευνητές αρχικών σταδίων, ότι το επιστημονικό περιεχόμενο μιας εργασίας είναι σημαντικότερο από τις μετρικούς δείκτες άρθρων ή την ταυτότητα του περιοδικού στο οποίο δημοσιεύθηκαν.
5. Όσον αφορά την αξιολόγηση της έρευνας, να εξετάζετε -επιπρόσθετα των ερευνητικών εργασιών- την αξία και τον αντίκτυπο όλων των επιστημονικών ευρημάτων (συμπεριλαμβάνοντας το σύνολο των δεδομένων και λογισμικού) και να εξετάζετε ένα ευρύ φάσμα δεικτών απήχησης, που συμπεριλαμβάνουν ποιοτικούς δείκτες, όπως η επιρροή σε τομείς στρατηγικής και πρακτικής.

Για τους εκδότες

6. Να μειώστε σημαντικά την έμφαση στον Δείκτη Απήχησης ως μέτρο προώθησης, μέσω της παύσης χρήσης του ή μέσω της παρουσίασης αυτού του δείκτη στο πλαίσιο ποικίλων άλλων δεικτών επιστημονικών περιοδικών (π.χ. Πενταετής Δείκτης Απήχησης, Δείκτης EigenFactor [8], SCImago [9], h-index, πλήθος δημοσίευσης και επιμέλειας, κλπ.), τα οποία παρέχουν μια πλουσιότερη εικόνα της απόδοσης των περιοδικών.
7. Να διαθέτετε μια σειρά μετρικών σε επίπεδο άρθρου για να ενθαρρύνετε την μετατόπιση προς την αξιολόγηση βάσει του επιστημονικού περιεχομένου ενός άρθρου και όχι των μετρικών δημοσίευσης του περιοδικού στο οποίο δημοσιεύθηκε.
8. Να ενθαρρύνετε υπεύθυνες πρακτικές συγγραφής και την παροχή πληροφόρησης σχετικά με τις συγκεκριμένες συνεισφορές κάθε συγγραφέα.
9. Είτε ένα περιοδικό είναι Ανοικτής Πρόσβασης, είτε συνδρομητικό, να αφαιρέσετε όλους τους περιορισμούς επαναχρησιμοποίησης των καταλόγων αναφορών των ερευνητικών άρθρων και να τους κάνετε διαθέσιμους με την άδεια Creative Commons Public Domain Dedication [10].
10. Να καταργήσετε ή να μειώσετε τους περιορισμούς σχετικά με τον αριθμό των αναφορών στα ερευνητικά άρθρα και, κατά περίπτωση, να υποχρεώσετε την αναφορά της πρωτογενούς βιβλιογραφίας έναντι των επισκοπήσεων (reviews), προκειμένου να δώσετε τα εύσημα στην ομάδα που ανέφερε για πρώτη φορά ένα εύρημα.

Για οργανισμούς που παρέχουν μετρήσεις

11. Να είστε ανοιχτοί και διαφανείς παρέχοντας τα δεδομένα και τις μεθόδους που χρησιμοποιούνται για τον υπολογισμό όλων των μετρικών δεικτών.
12. Να παρέχετε τα δεδομένα βάσει μιας άδειας που επιτρέπει την απεριόριστη επαναχρησιμοποίηση και να παρέχετε, όπου είναι δυνατόν, υπολογιστική πρόσβαση στα δεδομένα.
13. Να είστε σαφείς ότι η ακατάλληλη χειραγώγηση των μετρικών δεικτών δεν θα γίνει ανεκτή· να καταστήσετε σαφές τι συνιστά ακατάλληλη χειραγώγηση και ποια μέτρα θα ληφθούν για την καταπολέμηση της.
14. Συνυπολογίστε την ποικιλία των τύπων άρθρων (π.χ. επισκοπήσεις σε σχέση με ερευνητικά άρθρα) και τις διαφορετικές θεματικές ενότητες, όταν χρησιμοποιούνται, συγκεντρώνονται ή συγκρίνονται οι μετρικοί δείκτες.

Για τους ερευνητές

15. Όταν συμμετέχετε σε επιτροπές που λαμβάνουν αποφάσεις σχετικά με τη χρηματοδότηση, την πρόσληψη, τη μονιμοποίηση ή την προαγωγή, να αξιολογείτε βάσει του επιστημονικού περιεχομένου και όχι βάσει των μετρικών δεικτών των δημοσιεύσεων.
16. Όπου ενδείκνυται, να παραθέτετε την πρωτογενή βιβλιογραφία στην οποία αναφέρονται για πρώτη φορά οι παρατηρήσεις και όχι τις επισκοπήσεις, προκειμένου να δοθούν τα εύσημα σε όσους πρέπει.
17. Να χρησιμοποιείτε μια σειρά μετρικών δεικτών σε προσωπικές/υποστηρικτικές δηλώσεις, ως απόδειξη του αντίκτυπου των μεμονωμένων δημοσιεύσεων και άλλων ερευνητικών παραγώγων [11].
18. Να αμφισβητείτε τις πρακτικές αξιολόγησης της έρευνας που βασίζονται αδόκιμα στον Δείκτη Απήχησης και να προωθείτε και να διδάσκετε τις βέλτιστες πρακτικές που επικεντρώνονται στην αξία και την επιρροή συγκεκριμένων παραγώγων της έρευνας.

References

1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
8. http://www.eigenfactor.org/
9. http://www.scimagojr.com/
10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
11. http://altmetrics.org/tools/

* Ο Δείκτης Απήχησης (Journal Impact Factor) δημοσιεύεται πλέον από την Clarivate Analytics.

PDF: DORA_Greek.pdf

This is a translation of the DORA text at https://sfdora.org/read, contributed by Giannis Tsakonas and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.