Главная тема
ГлавнаяГлавная тема, СтатьиАнализ научной литературы, публицистики и частных высказываний на тему наукометрической оценки деятельности ученых-гуманитариев
Игорь Филиппов

Анализ научной литературы, публицистики и частных высказываний на тему наукометрической оценки деятельности ученых-гуманитариев

При реализации проекта используются средства государственной поддержки, выделенные в качестве гранта в соответствии с распоряжением Президента Российской Федерации от 01.04.2015 №79-рп и на основании конкурса, проведенного Фондом ИСЭПИ.

При несомненной полезности наукометрии и библиометрии как инструмента для понимания тенденций в современной науке, непродуманное внедрение количественных показателей для оценки эффективности деятельности ученых ведет к негативным последствиям. Сама проблема наукометрии и ее применения неоднородна, она состоит из нескольких составляющих, каждый из которых имеет свои особенности, причины возникновения и возможные последствия. В разных странах и даже университетах существуют разные подходы к этому вопросу.

 Первые значимые попытки оценить количественно и формально работу исследователей (затем и преподавателей) относятся к 30-м годам 20 в. и могут быть соотнесены с Экономическим кризисом рубежа 1920-1930 годов. Любой кризис, включая нынешний, неизбежно повышает спрос на наукометрию[1].

 С тех пор наукометрия выросла в целую дисциплину, и многие ее аспекты не относятся вовсе или имеют очень косвенное отношение к той проблеме, которую мы сейчас рассматриваем, а именно различные способы оценки публикационной активности автора в ее количественных и качественных аспектах. Но и эта проблема весьма сложна и получила отражение в столь обширной литературе, что дать ее качественный обзор в небольшом отчете не представляется возможным.

 Основная ее доля приходится на методологические выкладки и касается естественных наук и экономики. Исследования вопроса о том, как следует применять наукометрию в других дисциплинах и о самой ее применимости в этих дисциплинах редки и принадлежат не столько науке, сколько публицистике. Исключения есть[2], но это именно исключения. Что касается литературы на русском языке, практически нет исследований по наукометрии применительно к истории[3] или юриспруденции. В результате нет ясности во многих вопросах, например, в том, кто и как начал внедрять наукометрические способы оценки в гуманитарных науках и почему они приняли именно такие, а не другие формы. Недостаточное внимание к юридической стороне вопроса имело результатом неясность в том, как соотносятся эти показатели с учеными степенями, званиями, статусом лауреата государственной премии, количеством подготовленных к защите дипломантов и аспирантов, общим количеством опубликованных работ, в т. ч. на иностранных языках, наличие на них рецензий и их содержание и многих-многих других). Налицо и дефицит официальных нормативных актов, внедряющих в практику эти способы оценки и соотносящие их с другими.

 Сегодня вряд ли кто-то всерьез будет настаивать на никчемности наукометрических показателей в сфере научных публикаций. Общепризнанно, что они хотя бы небесполезны. Еще совсем недавно было совсем иначе. Вплоть до середины нулевых годов в Ученом Совете Истфака МГУ (как и во многих других Советах) голосование на конкурсах по избранию на должность или по присвоению звания производилось исключительно на основании рекомендации той или иной кафедры. Члены Совета голосовали, не получив ни малейших сведений о количестве опубликованных автором работ, читаемых им курсах, количестве аудиторных и иных часов, составляющих его работу и т. д. Иные члены совета иногда вообще не знали, за кого они голосуют. Теперь, голосуя, каждый член совета имеет эти данные в руках. Сопротивление части сотрудников было отчаянное, поскольку выяснилось, что за 5 лет некоторые опубликовали всего одну статью и годами читают один и тот же спецкурс. Недавно в раздаточном материале для членов Ученого Совета появился и пункт об индексе Хирша, рассчитанный для WoS и РИНЦ. Но налицо печальный факт: хотя выходящие на конкурс беспокоятся о своих показателях, голосующие на Совете по большей части безразличны к ним, так что даже при индексе Хирша в РИНЦ равном нулю человек может быть избран на любую должность. Интересно, как обстоит дело на других факультетах. По моим данным, на 10 декабря 2015 г., помимо Истфака (он был первым) лишь пять факультетов МГУ заключили договора с РИНЦ, позволяющие дополнять и корректировать базу данных ELibrary.

 Очевидно, что описанная ситуация недопустима. Наукометрия является, конечно, не единственным и несовершенным, но все же явно небесполезным средством оценить работу исследователя. Это ориентир, далеко не идеальный, но дающий все же представление об исследователе. Но этот ориентир надо совершенствовать, и это касается в первую очередь инструментов анализа публикационной активности.

 Мотивированное желание государств, частных работодателей и связанных с ними специальных исследовательских учреждений оценить качество научных работников никак не означают ни то, что они знают, как это делать, ни тем более их объективность. Нередко ответ предопределен и зависит от поставленной задачи и степени готовности той или иной группы наукометристов выдать на гора заданный результат. Я говорю, прежде всего, об индексе Хирша, но вопросы вызывают и некоторые другие инструменты наукометрии, например, импакт-фактор журналы и связанные с нею проблемы, в т. ч. игнорирование монографий, других видов публикаций, также баз данных и устных выступлений, дискриминация всех языков планеты, кроме английского, политические, идеологические, конфессиональные, национальные и даже просто клановые (наша школа, не наша...) предубеждения.

 Противники наукометрии чаще всего говорят о разных формах мошенничества или, по крайней мере, о морально предосудительных приемах. Например, главреды 3 журналов договариваются о перекрестном цитировании появляющихся в их журналах публикаций, и импакт-фактор этих журналов стремительно растет[4]. Примерно о том же договориться может группа авторов, и с их индексами Хирша начнут твориться чудеса. Можно чуть-чуть изменить статью или разделить ее на две, а то и на три части, переиначить названия и дать «новые» тексты в разные журналы, и картина станет изменяться на глазах. Правда, иногда у автора нет выхода, особенно если это декан, ректор, другой важный и сильно занятый человек, которого постоянно просят дать текст, пускай небольшой и не самый оригинальный, в какой-нибудь журнал или сборник. Приходится выкручиваться – или портить отношения с коллегами.

 Другая часто высказываемая в адрес наукометрии претензия не связана с ловкачеством. Адепты наукометрии никак не могут взять в толк, что ссылка, содержащая положительный отзыв на статью, не то же самое, что ссылка отрицательная, тем более такая, где статья или отдельные ее положение оцениваются как бред сивой кобылы. Не менее загадочен отказ засчитывать за ссылку рецензию. Кому это пришло в голову, почему эта несуразность до сих пор не отменена?

 Психологи уже говорят о наукометрическом синдроме: ученые все больше поглощены своим индексом Хирша или иными формальными показателями, чем самим исследованием. При этом конкуренция подчас заставляет их писать свои работы совсем не на ту тему, которой они хотели бы заниматься, т. к. есть возможность издать их в престижном журнале, но определенного профиля.

 Однако есть и более объективные проблемы, связанные с лукавством чисел. Первая связана с неодинаковым количеством исследователей той или иной специальности, что автоматически сказывается на численности потенциальных читателей текста и, следовательно, на их возможности на него сослаться. Согласно академику Г.А. Месяцу, бывшему директору Физического института имени П.Н. Лебедева РАН, в недавнем прошлом вице-президента РАН, больше всего в мире химиков и биологов, в том числе исслелователей-врачей; 80% из них приходится на США). Правда, как и в каждой профессии, тут есть свои сгустки и свои пустоты. Молекулярных или клеточных биологов, например, гораздо больше, чем, скажем, энтомологов. Заметно меньше физиков, причем, физиков-теоретиков заметно больше, чем физиков-экспериментаторов. Еще меньше математиков, поэтому сравнивать цитируемость их работ с работами химиков, биологов и даже физиков просто абсурдно[5]. Все это сказывается и на импакт-факторах журналов. Так, в области радиохимии импакт-фактор величиной в 2 – это очень неплохо. У биологов же журнал с импакт-фактором 6 и выше – не редкость. Сказывается это и на исследователях, чей индекс Хирша и просто репутация в немалой степени зависят от престижности журналов, в которых они издают свои статьи.

 Применительно к общественным дисциплинам такие оценки не производились, хотя в этом случае они еще более актуальны. Ясно же, что в рамках одной и той же специальности есть свои центры притяжения. Например, у нас, как и едва ли не в любой стране, гораздо больше специалистов по отечественной истории, чем по зарубежной. И если у второй группы индекс Хирша не так мал, как можно было бы ожидать и, в целом, не отличается кардинально от индекса Хирша авторов по национальной истории, это говорит о многом… Другой пример того же рода: специалистов по новой и новейшей истории (отечественной или зарубежной – в данном случае не так важно) гораздо больше, чем по истории более удаленных эпох. Последним труднее.

 Вторая объективная проблема состоит в том, что больше не значит лучше. Тысяча среднего качества исследований не перекроют одно действительно выдающееся. Если, например, речь идет о факультете материаловедения, и там (прощу простить за этот надуманный пример) успешно занимаются одними чугунными чушками, то толку от этого факультета мало. Почти то же самое можно сказать о гуманитарных дисциплинах. С той лишь разницей, что, в силу большей многоликости общественной материи, приращение, на первый взгляд, однородных данных может, в принципе, дать качественно новые данные. Но не забудем, что превращение количества в качества – явление редкое, и, что касается гуманитарного и общественного знания, требует огромных временных затрат, на которые современная наука не ориентирована.

 То, что данная группа наук, в наибольшей мере связана с национальной культурой, идеологией и политикой, еще больше осложняет применение к ним наукометрии, во всяком случае, в ее нынешнем виде. Не ясно ли, что лингвистика должна развиваться и эффективнее всего развивается усилиями тех ученых, для которых данный язык родной? При переводе слишком многое ускользает. Подчеркну, что речь не идет о сравнительном языкознании; есть и исключения, подтверждающие правила. Яснее всего мысль о принципиальной важности публикаций научных исследований на родном языке видна в филологии. Но это не единственный пример. Ни на одном известном мне иностранном языке невозможно выразить базовое для русской философии различение понятий «истина» и «правда». Английский язык, при всем его богатстве, не позволяет развести важнейшие для континентального европейского права понятия «право» и закон» (ср. франц. droit и loi, нем. Recht и Gesetz). Самое большее – можно сказать laws и law. Большинство языков мира, не исключая и английский, не могут выразить различия между словами «русский» и «российский». Напомню, что вне языка нет мышления, и попытка создать науку исключительно или преимущественно на английском или каком-то другом одном языке грозит культуре огромными потерями. Среди наиболее пострадавших окажутся китайский, японский и другие языки, использующие иероглифику: она ведь не сводима к этимологии слов, но предполагает нагрузку и на пиктограммы. Отказ от кириллицы, греческого, грузинского, армянского, от арабской вязи и алфавитов южной Азии также нанесет удар по соответствующим культурам, хотя и в меньшей степени. Нельзя забывать и то, что в мире найдется максимум 10 языков, претендующих на роль языков международного общения и просто мировых языков. Русский - один из них[6].

 Идеология и политика также являются неотъемлемыми компонентами гуманитарного знания, хотят ли это признать его творцы или нет. Уже появляется информация о том, что с начала украинского кризиса западные журналы по физике стали менее охотно публиковать статьи российских авторов, но это все же проблема в первой очередь гуманитариев. Ясно, например, что статья, критикующая нашего президента, встретит на Западе, в целом, намного больший интерес, чем статья, благоприятная для него. Если же она будет написана влиятельным человеком и будет содержать резкие выражения, рейтинг ее взлетит до небес. Очень наивно думать, что рецензенты, которым будет послана статья на такую тему, и сама редколлегия - ангелы, страстей не ведающие, для которых все страны и их жители, стремящиеся что-то опубликовать в их журналах, действительно равны. Не забудем и банальный блат: ну, как не порадеть родному человечку? О том, что цитирование может преследовать самые разные цели теперь пишут и на Западе[7].

 Очень часто можно слышать, что статьи на русском языке, не читают главным образом потому, что за рубежом не знают русский язык. На это легко ответить, что, если это так, не занимайтесь историей, философией, правом и т. д. тех стран, которые изучают в России. Но, к сожалению, это не вся правда. На Западе часто игнорируют и те наши публикации, которые доступны в переводе (или написаны сразу на иностранном языке) и опубликованы во вполне престижных западных журналах и сборниках. Трудно сказать, почему. Это особый вопрос, и я не хотел бы сейчас вдаваться в него, но ясно, что дело не только в незнании русского языка. Наконец следует с сожалением сказать, что не так уж редко незнание русского языка – это отговорка, позволяющая использовать научные результаты русского ученого, не сославшись на него. Неспособность прочитать по-русски действительно очень распространена на Западе, но ведь за последние годы там обосновалось много выходцев из нашей страны, в массе своей совсем не прочь подработать или оказать услугу влиятельному местному коллеге.

 Следует добавить, что это касается далеко не только русского языка; большинство даже европейских языков в том же положении. Да что там европейских! Даже английского! Например, в Индии или на Мальте есть серьезные издания по гуманитарным дисциплинам с минимальным импакт-фактором, почти неизвестные за пределами своих стран (даже если они доступны on-line) и не фигурирующие в Web of Sciences и других авторитетных базах данных. Репрезентативность отбора журналов в Web of Science – это вообще больная тема. И цена публикации в них статьи, во всяком случае в нижних квартелях - это цена, выраженная не в трудозатратах, а самая банальная цена в долларах, притом немалая.

 В слегка закамуфлированном виде эта проблема существует и в журналах из верхних квартелей Web of Science, т. е. в лучших и журналах, учитываемых этим частным, напомню, изданием. Помимо журнальных статей они учитывают и статьи, опубликованные в актах некоторых конференций. Коллега из Франции, Фредерик Тремон, специалист по античной Галлии и главный соавтор и редактор лучшей монографии по ее центральным областям (Арверны), рассказал мне в 2013 г., как ему удалось попасть на страницы Web of Science (его книга там, естественно, никого не интересовала). Он подал заявку на участие в конференции в Монреале, заплатил 700 евро за само участие, плюс самолет, плюс отель и прочее; всего 2000 евро, заплаченных из своего кармана, т. к. для его лаборатории в университете Оверни, это слишком дорого[8]. Что уж говорить о российских археологах?

 Пойдем дальше. Как быть с тем, что значительная часть нашей науки просто засекречена? Это, кстати, касалось, даже части гуманитарных наук (правда в этом случае речь обычно шла о литературе «для служебного пользования»). Но ведь это искажает общую картину научного знания и влияет на индексы и рейтинги. Как можно не учитывать тот факт, что мозг математиков и вся их наука устроены так, что они создают гораздо меньше статей, чем, физики, химики или биологи? Одна статья в год в математике уже совсем немало, более того, это нормально! Но ведь физика, тем более химика или биолога, как и инженера, вероятно, просто выгнали бы с работы за такой результат!

 Интересно, что нормальные гуманитарии понимают, что в силу каких-то неведомых им особенностей математики такое возможно. Но естественники зачастую не понимают (или отказываются понять, в т. ч., возможно, из корыстных соображений: идет же дележ общего бюджетного пирога!), что очень серьезным научным достижением может быть качественный словарь иностранного и даже родного язык, как и перевод сложного философского, исторического или юридического текста с другого языка, особенно древнего, и комментарий к нему. Знаю по разговорам, что сложнейшая работа такого рода приравнивается некоторыми коллегами-естественниками к кое-как сделанному, чуть ли не при помощи компьютера, переводу с упрощенного английского. Непонятное пренебрежение наукометрия обнаруживает к картографии. Примером может служить "Атлас почв России", выпущенный факультетом почвоведения МГУ и не вошедший в западные индексы, несмотря на уникальность и высокое качество издания.

 В этом вопросе вновь обнаруживаются разные подходы естественников и гуманитариев. Для вторых главный вид продукции - это книги, тематические сборники статей, с недавнего времени также тематические базы данных (не путать с индексами цитирования!) Для гуманитария намного интереснее познакомиться со статьями на смежные темы, чем читать подряд все, что вошло в тот или иной выпуск журнала. Зачастую опубликоваться в тематическом сборнике статей еще и более престижно, поскольку в нем участвуют известные ученые; кроме того, от участия в таких сборниках (я имею в виду Festschriften) бывает очень трудно отказаться. Исключительную важность в гуманитарных науках, особенно в истории, имеет выявление, обработка, публикация и комментарии к самому источнику информации, определение достоверности уже известных источников[9]. Другое важное направление, развившееся в истории в последние годы не чуждо тем, что известны давно в биологии и геологии: это создание сводов тематически однородных данных (надписей, монет, печатей, всевозможных мерил, канонических изображений, топонимов, иных имен собственных, биографий, просто зафиксированных форм слов). Эти своды могут быть очень важны для истории, филологии, философии, истории права, искусствознания.

 В зарубежной Европе и в Северной Америке в гуманитарных дисциплинах индекс Хирша почти не применяется. Например, в Великобритании из 24 гуманитарных дисциплинах – только в двух: в некоторых разделах экономики и в экономической статистике. Некоторый интерес к этому показателю проявляют социологи, политологи и, конечно, близкие к медицине психологи. В лучших вузах США на вопрос, как у них обстоит дело с индексом Хирша коллеги-историки чаще всего отвечают: а что это такое? Или так: что-то слышал, но у нас этого нет. Это не для гуманитариев. И это относится и к небольшим скромным университетах, и к лидерам американской науки: Гарварду, Йелю, Принстону, Колумбийскому университету, Корнелю, Стэнфорду...

 Во Франции предложение писать статьи по-английски, чтобы попасть в Web of Science, вызывает ярость: у нас университетская автономия, и никто не заставит нас писать не по-французски! И вообще подстраиваться под эти англо-саксонские правила[10]. Профессор-историк из университета Пуатье Мартен Аурель написал мне, что "в этом вопросе мы едины: абсолютный и безоговорочный отказ. Система не приживается, по крайней мере сейчас"[11]. Профессор-историк из университета Перпиньяна Аймат Катафо заявил, что он обычно даже не читает материалы этой дискуссии[12]. Профессор-историк из университета Париж-1 Лоран Феллер разъяснил, что, несмотря на все попытки навязать этот механический способ определения качества работы исследователя, во Франции (как и в Италии и в Великобритании - хотя в каждой стране есть свои особенности) упор делается на чтение текстов экспертами. "Мы много читаем"[13]. Ту же приблизительно позицию занял польский историк Кароль Модзедевский, до недавнего прошлого - вице-президент Польской Академии Наук[14]. В мейле от 21.07.2015, затем в ходе личной встречи 30.12.2015 он говорил о попытках оценить качество работы ученого по формальным показателям как о яде или наркотике, который отучает читать научный текст и понять ученого как индивида, в частности оценить его умение думать. В Хорватии, где правительство попыталось заставить ученых всех специальностей печатать свои труды только на английском, эта инициатива была вскоре запрещена Конституционным судом.

 Подходы к индексам цитирования в разных странах разные. Есть страны, где в этом отношении не различаются естественные и гуманитарные науки. Такова, например, Словакия. В большинстве - различаются, причем иногда на уровне национального законодательства, как в Испании[15], иногда на уровне рекомендаций национальных агентств оценки качества вузов, как во Франции и Италии, или национальных фондов с государственной финансовой поддержкой, как в Великобритании (Higher Education Funding Council)[16]. В Германии ситуация близка к испанской; одно из различий состоит в том, что вопрос решается на земельном уровне[17].

 Нюансов, как именно используются индексы цитирования, почти столько же, сколько самих стран. Едва ли не общими принципами являются, однако, два следующие: 1) эта система в наименьшей мере адекватна в гуманитарных и общественных науках; 2) главным инструментом оценки остается мнение экспертов, выбираемых разными способами, значение индексов второстепенное, учитывать его необязательно.

 Основываясь на всем, что мне удалось узнать, я пришел к выводу, что игры с индексом Хирша, в которые бы играли гуманитарии, есть только в слабых государствах, таких, как Словакия и Португалия (замечательные страны, которые я искренно люблю, но не делающие погоду в мировой науке), и где ученых к тому же застали врасплох. Ведь это форма колонизации. Нас, как и их, убеждали, что весь мир давно перешел на эту систему, ну, разве что самые отсталые страны никак не удосужатся. Зачем это великой России, понять не могу.

 Задача не в том, нужна или не нужна наукометрия (ясно, что нужна), а в том, чтобы понять, как использовать ее во благо. Об этом много дельного сказано в Лейденском манифесте[18], но далеко не все, что нужно. Нужен учет самых разных форм публикаций и иных видов научной деятельности, равно как и самых разных форм и видов ее результатов (например, данных об интересе, проявленном к той или иной публикации – например, на сайтах Aсademia и Research Gate). Нужен отказ от взгляда на западную науку снизу верх, нужна борьба, и беспощадная с попытками так или иначе принизить достижения нашей науки, нужно развенчивание в западной науке плагиата, повторов собственных текстов, мелкотемья, игнорирования литературы на других языках и т. д.). Нужна и более последовательная политика в наукометрии: если на настоящий день мы играем по этим правилам и добиваемся повышение индекса Хирша у каждого сотрудника, в каждом вузе и т. д., тогда нужны ясные нормативные акты на этот счет, побуждающие исследователей к соответствующим действиям. Хотя бы в отношении РИНЦ. Нам вообще нужно поддержать в первую очередь РИНЦ. ELibrary, в целом, хороший проект, в частности, тем, что он учитывает практически все виды научной продукции; он рассчитан на пополнение и уточнение базы данных с помощью самих авторов; кроме того, это национальный проект, созданный с целью поддержать российскую науку. Сейчас любой может сказать: а нет такого закона или приказа, чтобы я вносил свои данные в базу ELibrary, я не обязан этим заниматься. А это должно стать одним из приоритетов.


[1] Истории наукометрии или ее отдельным аспектам посвящена обширная многоязычная литература, но этот аспект (наукометрия и состояние экономики) изучен сравнительно слабо. См. все же: Грановский Ю.В. Второе пришествие наукометрии в Московский университет // Естественнонаучное образование: вызовы и перспективы / Под общей редакцией академика В.В. Лунина и проф. Н.Е.Кузьменко. М., 2013. С. 255-267.

[2] См., например: Измерение философии. Об основаниях и критериях оценки философских и социогуманитарных исследований. Сост. и отв. ред. А.В. Рубцов. М., 2012.

[3] См., впрочем: Савельева И. М., Полетаев А. В. Социология знания о прошлом. М., 2005; они же. Зарубежные публикации российских гуманитариев: социометрический анализ // Государственная идеология и современная Россия. Екатеринбург, 2009. С. 643-665; Гарскова И.М. Библиометрический и сетевой анализ историографии // Компьютерные технологии и математические методы в исторических исследованиях. Специальный выпуск. Труды международной конференции. Петрозаводск, 2011. С. 39-48.

[4] Ср.: The Past, Present, Future of the Impact-Factor and other Tools of Scientometria. Warsaw, 2009.

[5] http://www.strf.ru/material.aspx?CatalogId=347&d_no=14318#.VnhUalJRLIA (21.12.2015)

[6] Вот свежий факт: На прошедшей в конце ноября 2015 г. в Кракове международной конференции славистов, несмотря на антироссийские настроения многих ее участников, рабочими языками были польский и русский.

[7] См., напримерн: Pansu P. Dis-­moi qui te cite et je saurai ce que tu vaux: Que mesure vraiment la bibliométrie? Paris, 2012; Gingras Y. Les dérives de l'évaluation de la recherche: du bon usage de la bibliométrie. Paris, 2014. См. также электронные тексты С. Пирона, пишущего, в т. ч. о политической подоплеке проблемы индексов цитирования: http://gas.ehess.fr/document.php?id=140, http://evaluation.hypotheses.org/275, http://evaluation.hypotheses.org/374, http://evaluation.hypotheses.org/354

[8] Речь идет о следующих изданиях: Les Arvernes et leurs voisins du Massif Central à l’époque romaine. Une archéologie du développement des territoires. Vol. 1-2 / Sous la dir. de F. Trément F. // Revue d’Auvergne, 2011-2013, t. 124, 125, 127 (общий объем - 962 с.). Его доклад на нескольких страницах, включая фотографии, был удостоен публикации в электронном издании издании The Earth in Evolution. 22th V.M. Goldschmidt Conference, Montréal, Canada (24-29 juin 2012). О своей монографии он написал, что и она, и овернский журнал, в котором она вышла "полностью отсутствует в международных системах библиографического учета" (мейл от 14.12.2015).

[9] Об этом и о многом другом убедительно написал Академик-секретарь Отделения историко-филологических наук РАН В.А.Тишков. См. его открытое письмо Руководителю Федерального агентства научных организаций М.М.Котюкову от 05.08.2014.

9 Lvaluation de la recherche en sciences humaines et sociales. Regards de chercheurs / Dir. P. Servais. Paris, 2011.

[11] Мейл от 18.12.2015.

[12] Мейл от 20.12.2015.

[13] Мейл от 20.12.2015.

[14] Modzelewski K. Wolna myśl w jarzmie liczydeł // Polityka, 9.06.2015.

[15] Испанский закон см.: http://www.boe.es/diario_boe/txt.php?id=BOE-A-2014-12482

[16] Деятельность этого фонда распространяется только на Англию, но аналогичные фонды созданы для Уэльса и Шотландии. См.: https://en.wikipedia.org/wiki/Higher_Education_Funding_Council_for_England

[17] Немецкий опыт очень поучителен, но он обобщен в специальном докладе Дагмар Мироновой.

[18] Diana Hicks, Paul Wouters, Ludo Waltman, Sarah de Rijcke & Ismael Rafols. Bibliometrics: The Leiden Manifesto for research metrics // Nature, April 23, 2015 (vol. 520), pp. 429–431 (пер. А.А. Исэрова) http://www.igh.ru/about/news/1053/