Сан-Францисская декларация об оценке научного исследования

Опубликовано пользователем Sociologos

SAN FRANCISCO DECLARATION ON RESEARCH ASSESSMENT САН-ФРАНЦИССКАЯ ДЕКЛАРАЦИЯ ОБ ОЦЕНКЕ НАУЧНОГО ИССЛЕДОВАНИЯ
Putting science into the assessment of research Ставим науку во главу оценки научного исследования
There is a pressing need to improve the ways in which the output of scientific research is evaluated by funding agencies, academic institutions, and other parties. Существует настоятельная необходимость в совершенствовании способов оценки результатов научных исследований, используемых финансирующих организациями, академическими институтами и другими участниками.
To address this issue, a group of editors and publishers of scholarly journals met during the Annual Meeting of The American Society for Cell Biology (ASCB) in San Francisco, CA, on December 16, 2012. The group developed a set of recommendations, referred to as the San Francisco Declaration on Research Assessment. We invite interested parties across all scientific disciplines to indicate their support by adding their names to this Declaration. Для решения этой проблемы группа редакторов и издателей научных журналов встретилась 16 декабря 2012 года в Сан-Франциско, Калифорния, на ежегодном собрании Американского общества клеточной биологии (ASCB). Группа разработала ряд рекомендаций, получивших название "Сан-Францисская Декларация об оценке научного исследования". Мы приглашаем заинтересованные стороны во всех научных дисциплинах выразить свою поддержку, подписав данную Декларацию.
The outputs from scientific research are many and varied, including: research articles reporting new knowledge, data, reagents, and software; intellectual property; and highly trained young scientists. Funding agencies, institutions that employ scientists, and scientists themselves, all have a desire, and need, to assess the quality and impact of scientific outputs. It is thus imperative that scientific output is measured accurately and evaluated wisely. Результаты научных исследований многочисленны и разнообразны, включая научные статьи о новом знании, новых данных, веществах и программном обеспечении; интеллектуальной собственности и молодых ученых с высокой квалификацией. У финансирующих организаций, и институтов, в которых работают ученые, и у самих ученых есть желание и потребность в оценке качества и долгосрочного воздействия научных результатов. Таким образом, нужно точно измерить и грамотно оценить собственно научный результат.
The Journal Impact Factor is frequently used as the primary parameter with which to compare the scientific output of individuals and institutions. The Journal Impact Factor, as calculated by Thomson Reuters, was originally created as a tool to help librarians identify journals to purchase, not as a measure of the scientific quality of research in an article. With that in mind, it is critical to understand that the Journal Impact Factor has a number of well-documented deficiencies as a tool for research assessment. These limitations include: A) citation distributions within journals are highly skewed [1–3]; B) the properties of the Journal Impact Factor are field-specific: it is a composite of multiple, highly diverse article types, including primary research papers and reviews [1, 4]; C) Journal Impact Factors can be manipulated (or "gamed") by editorial policy [5]; and D) data used to calculate the Journal Impact Factors are neither transparent nor openly available to the public [4, 6, 7]. Импакт-фактор журнала часто используется в качестве основного параметра, с помощью которого сравнивают научные результаты отдельных лиц и институтов. Изначально, импакт-фактор журнала, рассчитываемый Thomson Reuters, создавался как некий инструмент, предназначенный лишь помочь работникам библиотек определить те журналы, которые следует приобретать, а не как мера научного качества исследования, описываемого в статье. Учитывая это, важно осознавать, что импакт-фактор журнала, как инструмент оценки исследования, имеет целый ряд доказанных недостатков. Эти ограничения сводятся к следующему: а) распределение числа цитирований в журналах имеет сильный перекос [1-3], б) свойства импакт-фактора журнала являются профильными: он представляет собой совокупность нескольких, весьма разнообразных типов статей, включая основополагающие научные статьи и обзоры [1, 4], в) импакт-факторами журналов можно манипулировать (или "жульничать") в результате редакционной политики [5], и г) данные, используемые для расчета импакт-факторов журналов не являются ни прозрачными, ни открытыми для общественности [4, 6, 7].
Below we make a number of recommendations for improving the way in which the quality of research output is evaluated. Outputs other than research articles will grow in importance in assessing research effectiveness in the future, but the peer-reviewed research paper will remain a central research output that informs research assessment. Our recommendations therefore focus primarily on practices relating to research articles published in peer-reviewed journals but can and should be extended by recognizing additional products, such as datasets, as important research outputs. These recommendations are aimed at funding agencies, academic institutions, journals, organizations that supply metrics, and individual researchers. Здесь мы предлагаем несколько рекомендаций, как улучшить способ оценки качества научного результата. Результаты, отличные от научных статей, будут приобретать все большее значение в оценке эффективности исследований в будущем, но рецензируемая научная статья останется главным итогом, который лежит в основе оценки научного исследования. Поэтому наши рекомендации ориентированы, прежде всего, на подходы, связанные с научными статьями, опубликованными в рецензируемых журналах, но могут и должны быть расширены путем признания дополнительных результатов, таких как массивы данных - важный результат исследований. Эти рекомендации предназначены для финансирующих учреждений, академических институтов, журналов, организаций, которые предоставляют количественные показатели, а также для отдельных исследователей.
A number of themes run through these recommendations: Эти рекомендации содержат в себе следующие идеи:
the need to eliminate the use of journal-based metrics, such as Journal Impact Factors, in funding, appointment, and promotion considerations; the need to assess research on its own merits rather than on the basis of the journal in which the research is published; and the need to capitalize on the opportunities provided by online publication (such as relaxing unnecessary limits on the number of words, figures, and references in articles, and exploring new indicators of significance and impact). при рассмотрении вопросов финансирования, приёма на работу и продвижения по службе, нужно отказаться от использования таких количественных журнальных показателей, как импакт-фактор; нужно оценивать научное исследование по существу, а не по журналу, в котором оно было опубликовано; и необходимо извлечь выгоду из возможностей, предоставляемых онлайн публикацией (например, смягчение ненужных ограничений на количество слов, рисунков и ссылок в статьях, а также изучение новых индикаторов значимости и влияния).
We recognize that many funding agencies, institutions, publishers, and researchers are already encouraging improved practices in research assessment. Such steps are beginning to increase the momentum toward more sophisticated and meaningful approaches to research evaluation that can now be built upon and adopted by all of the key constituencies involved. Мы ценим то, что многие финансирующие учреждения, институты, издатели и исследователи уже содействуют совершенствованию методов оценки научного исследования. Такие шаги способствуют нарастанию динамики использования более сложных и значимых подходов к оценке научных исследований, которые теперь могут быть разработаны и приняты всеми заинтересованными сторонами.
The signatories of the San Francisco Declaration on Research Assessment support the adoption of the following practices in research assessment. Подписавшие Сан-Францисскую Декларацию об оценке научного исследования поддерживают внедрение следующих подходов при оценке исследования.
General Recommendation Общая рекомендация
1. Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist's contributions, or in hiring, promotion, or funding decisions. 1. Не используйте журнальные показатели, такие как импакт-фактор,  в качестве косвенного показателя качества отдельных научных статей при оценке вклада конкретных ученых, при приеме на работу, продвижении по службе, или при принятии решений о финансировании.
For funding agencies Для финансирующих организаций
2. Be explicit about the criteria used in evaluating the scientific productivity of grant applicants and clearly highlight, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published. 2. Четко формулируйте критерии, используемые при оценке научной продуктивности соискателей грантов, и внятно объясняйте, особенно исследователям в начале работы, то, что научное содержание статьи гораздо важнее, чем публикационные показатели или тип журнала, в котором она была опубликована.
3. For the purposes of research assessment, consider the value and impact of all research outputs (including datasets and software) in addition to research publications, and consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice. 3. С целью оценки исследования, рассматривайте ценность и влияние всех его результатов (включая, в том числе, массивы данных и программное обеспечения) в дополнение к научным публикациям, а также рассматривайте широкий спектр мер последействия, включая такие качественные индикаторы воздействия исследования, как его влияние на политику и практику.
For institutions Для институтов
4. Be explicit about the criteria used to reach hiring, tenure, and promotion decisions, clearly highlighting, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published. 4. Четко формулируйте критерии, используемые при принятии решений в вопросах о приёме на работу, определении срока полномочий и продвижении по службе, внятно объясняя, особенно исследователям в начале работы, то, что научное содержание статьи гораздо важнее, чем публикационные показатели или тип журнала, в котором она была опубликована.
5. For the purposes of research assessment, consider the value and impact of all research outputs (including datasets and software) in addition to research publications, and consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice. 5. С целью оценки исследования, рассматривайте ценность и влияние всех его результатов (включая, в том числе, массивы данных и программное обеспечения) в дополнение к научным публикациям, а также рассматривайте широкий спектр мер последействия, включая такие качественные индикаторы воздействия исследования, как его влияние на политику и практику.
For publishers Для издателей
6. Greatly reduce emphasis on the journal impact factor as a promotional tool, ideally by ceasing to promote the impact factor or by presenting the metric in the context of a variety of journal-based metrics (e.g., 5-year impact factor, EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that provide a richer view of journal performance. 6. Делайте гораздо меньший упор на импакт-факторе журнала в качестве инструмента продвижения, в идеале, прекращая продвигать импакт-фактор, или представляя систему показателей в контексте различных журнальных метрик (например, 5-летний импакт-фактор, EigenFactor [8], SCImago [9], индекс Хирша, время на редакционную обработку и опубликование и т.д.), которые дают более полноценное представление об эффективности журнала.
7. Make available a range of article-level metrics to encourage a shift toward assessment based on the scientific content of an article rather than publication metrics of the journal in which it was published. 7. Внедряйте ряд показателей, касающихся именно статьи, поощряйте переход к оценке, основанной на научном содержании статьи, а не публикационной метрике журнала, в котором она была напечатана.
8. Encourage responsible authorship practices and the provision of information about the specific contributions of each author. 8. Поощряйте практику ответственного авторства и предоставления информации о конкретном вкладе каждого из авторов.
9. Whether a journal is open-access or subscription-based, remove all reuse limitations on reference lists in research articles and make them available under the Creative Commons Public Domain Dedication [10]. 9. Если журнал является изданием с открытым доступом или подписным, то удалите все ограничения на повторное использование списков литературы в научных статьях, и сделайте их доступными в соответствии с Актом передачи в общественное достояние [10].
10. Remove or reduce the constraints on the number of references in research articles, and, where appropriate, mandate the citation of primary literature in favor of reviews in order to give credit to the group(s) who first reported a finding. 10. Удалите или уменьшите ограничения на количество использованных источников в научных статьях, и, при необходимости, потребуйте цитирования первоисточников вместо обзоров для того, чтобы отдать предпочтение группе (группам), которые первыми сообщили о полученном результате.
For organizations that supply metrics Для организаций, предоставляющих информацию о количественных показателях
11. Be open and transparent by providing data and methods used to calculate all metrics. 11. Будьте открытыми и транспарентными, предоставляя данные и методы, используемые для расчета всех показателей.
12. Provide the data under a licence that allows unrestricted reuse, and provide computational access to data, where possible. 12. Предоставляйте данные по лицензии, которая даёт возможность неограниченного использования, и обеспечивайте вычислительный доступ к данным, когда это возможно.
13. Be clear that inappropriate manipulation of metrics will not be tolerated; be explicit about what constitutes inappropriate manipulation and what measures will be taken to combat this. 13. Откровенно говорите о том, что некорректная манипуляция метриками допускаться не будет; чётко сообщайте о том, что собой представляет некорректная манипуляция, и какие меры будут приняты для борьбы с ней.
14. Account for the variation in article types (e.g., reviews versus research articles), and in different subject areas when metrics are used, aggregated, or compared. 14. Учитывайте разброс типов статей (например, обзоры в сравнении с научными статьями), а также различие предметных областей, когда используются объединённые или сопоставительные метрики.
For researchers Для исследователей
15. When involved in committees making decisions about funding, hiring, tenure, or promotion, make assessments based on scientific content rather than publication metrics. 15. Участвуя в комиссиях, принимающих решения о выделении финансирования, приёме на работу, определении срока полномочий и продвижении по службе, делайте оценки на основе научного содержания, а не публикационных метрик.
16. Wherever appropriate, cite primary literature in which observations are first reported rather than reviews in order to give credit where credit is due. 16. В подходящих случаях цитируйте не обзоры, а первоисточники, в которых полученные результаты излагались впервые, для того, чтобы указать на авторов, когда это нужно.
17. Use a range of article metrics and indicators on personal/supporting statements, as evidence of the impact of individual published articles and other research outputs [11]. 17. Используйте совокупность статейных метрик и указателей на персональную или вспомогательную информацию, как доказательство влияния отдельных опубликованных статей и других результатов исследований [11].
18. Challenge research assessment practices that rely inappropriately on Journal Impact Factors and promote and teach best practice that focuses on the value and influence of specific research outputs. 18. Подвергайте сомнению устоявшийся порядок оценки научного исследования, который необоснованно опирается на импакт-фактор журналов, содействуйте и осваивайте передовой опыт, который учитывает в первую очередь значение и влияние конкретных результатов исследований.
References Использованные источники
1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union. http://www.mathunion.org/publications/report/citationstatistics0 1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union. http://www.mathunion.org/publications/report/citationstatistics0
2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498-502. 2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498-502.
3. Editorial (2005). Not so deep impact. Nature 435, 1003-1004. 3. Editorial (2005). Not so deep impact. Nature 435, 1003-1004.
4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometrics 92, 211-238. 4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometrics 92, 211-238.
5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291. 5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091-1092. 6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091-1092.
7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254-255. 7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254-255.
8. http://www.eigenfactor.org/ 8. http://www.eigenfactor.org/
9. http://www.scimagojr.com/ 9. http://www.scimagojr.com/
10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers 10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
11. http://altmetrics.org/tools/ 11. http://altmetrics.org/tools/

Перевод: В.И. Карнышев

Русский текст в формате Word: https://yadi.sk/i/AnMnSkJFr4xTk

Источник: http://piohelp.ru/myfiles/dora/DORA_rus.html

Оригинал: http://www.ascb.org/dora/