Главная тема
ГлавнаяГлавная тема, Новый взгляд, СтатьиТочность количественных показателей под вопросом
Редакция

Точность количественных показателей под вопросом

Автор: М. А. Шестакова

Развитие современной российской науки и образования оценивается сегодня преимущественно с помощью количественных критериев. Главным образом используется наукометрическая и балльная оценки. Через эти показатели определяется эффективность как целых организаций, так и отдельных научных и научно-педагогических работников. Количественные показатели имеют ряд достоинств, однако им не всегда присуща точность и объективность.

Среди многочисленных примеров сомнительной точности количественных индикаторов, весьма наглядным, на наш взгляд, является следующий. Известно, что в Указе Президента России № 599 от 7 мая 2012 года была поставлена задача довести долю публикаций российских исследователей в научных журналах, индексируемых в международной базе данных Web of Science до 2.44 % к 2015 году. Не вызывает сомнения, что цифра 2,44 % неслучайна, коль скоро она просчитана с точностью до сотых. Хотя, справедливости ради нужно подчеркнуть, что широкая научная общественность так и не получила обоснования этой цифры. Тем более интересно посмотреть на достигнутый результат.

Прежде всего, хотелось бы отметить, что нет однозначной информации о достигнутых к 2015 году количественных показателях. Некоторые эксперты утверждают, что: «по состоянию на август 2015 г. доля публикаций отечественных ученых составляет около 1,8 %. То есть целевой показатель так и не был достигнут, лишь незначительно превышая показатели прошлых лет, которые, по большому счету, остаются неизменными (в разные годы с 2010 по 2014 г. – от 1,63 до 1,74 %). В среднем речь идет примерно о 32 тыс. публикаций в год из почти двухмиллионного массива работ ученых со всего мира»[1]. Иными словами, в данной экспертной оценке, выражается мнение о том, что доля российских публикаций за последние годы изменилась незначительно.

В других источниках отмечается, что число публикаций российских ученых – выросло с 2,09 % в 2013 году до 2,28 % в 2015 году [2]. Даже если остановиться на цифре 2,28 %, которая явно лучше, чем 1,8 %, очевидно, что она не равна 2,44 %. Если показатель 2,44 % имеет принципиальное значение, следует признать, что Указ Президента не выполнен. Судя по тому, что вопрос о неисполнении в этой части вышеназванного Указа Президента, широко не обсуждается, и никто за это не ответил, видимо, принципиального значения 2,44 % всё-таки не имеет. Иначе говоря, получается, что точность данного количественного показателя, определённая до сотых, не существенна. Для полноты картины в табл. 1 приведем еще один пример, в котором результат, достигнутый в 2015 году, оценивается как 2,31%.

Таблица 1

Динамика числа статей российских авторов в научных журналах, индексируемых в Web of Science

Источники: Минобрнауки России и ИСИЭЗ НИУ ВШЭ. Расчёты по данным Web of Science Core Collection (SCI-EXPANDED, SSCI, A&HCI) от 20.06.2016 г.[3]

Здесь уместно остановиться на том, что количественные показатели зависят от методики расчета, которые могут значительно различаться. По мнению некоторых экспертов, доля российских публикаций, достигнутая к 2015 году, может выглядеть иначе: «в подсчете доли публикаций кроется один нюанс (или хитрость): декларируемые в официальных документах достигнутые значения чуть более 2 %, получаются при подсчете только научных статей (document type: article). Если же учитывать все типы материалов (например, обзоры, тезисы конференций, главы книг и т.д.), которые, безусловно, относятся к научным публикациям, то доля России «просядет» на 20–30 процентных пунктов. Поэтому какой бы конфигурация запроса в базу «Сеть науки» ни была, для достижения таких желаемых значений нужны действительно кардинальные меры. Или хотя бы новые способы расчета!»[4]. Безусловно, нужно считать и разрабатывать методики расчета, однако, на наш взгляд, стоит добавить, что кардинальные меры необходимы только в том случае, если точность планируемого показателя имеет принципиальное значение. Если необходимы именно 2,44 %, а никак не 2,28 %. К слову сказать, Минобрнауки выпустило три методики: «Об утверждении методики расчета количества публикаций российских исследователей по организациям», «Об утверждении методики расчета количества публикаций российских исследователей по финансирующим организациям», «Об утверждении методики планирования количества публикаций российских исследователей по ведомствам, имеющим в своем ведении научные и образовательные организации высшего образования». Эти методики были разработаны с целью исполнения Указа Президента № 599. Поскольку 2015 год уже закончился и результаты, пусть и по-разному, но подсчитаны, можно заметить, что при любой методике подсчета поставленная цель – 2,44 % – не достигнута.

Здесь мы возвращаемся к вопросу о том, насколько общие цели, такие как повышение конкурентоспособности и вхождение российской науки и образования в мировое пространство, могут быть определены «простыми», «точными» и «объективными» количественными индикаторами. Практика показывает, что количественно-временные цели общего характера в большинстве случаев не достигаются. Очевидно, что в подобных ситуациях, количественные критерии имеют статус косвенных характеристик. Только бюрократические структуры могут сделать из них цель, и положить все силы и средства на их достижение. Парадокс в том, что они, как правило, этих целей не достигают и, кажется, никогда за это не отвечают.

Другим примером, который ставит под вопрос точность, объективность и достоверность количественных индикаторов, служит, на наш взгляд, оценка индивидуального вклада. Важность учета личного участия в научной и педагогической работе бесспорна. Однако практика применения количественной оценки персонального вклада вызывает много вопросов, в которых стоит разобраться более подробно.

В российском научно-педагогическом сообществе сложилась довольно противоречивая и странная ситуация. С одной стороны, декларируется важность стимулирования индивидуальной деятельности. Для этого применяются различные системы балльной оценки, и устанавливается зависимость оплаты труда от количества полученных баллов. С другой стороны, индивидуальные результаты рядового ученого и научно-педагогического работника недооцениваются. Так, например, в некоторых организациях действует неписаный принцип «платить не всем». Это означает, что дополнительные выплаты (премии) получают только те, кто вышел за пороговое значение баллов, установленное бюрократическим способом. Иными словами, индивидуальные результаты значительной части сотрудников, не дотянувших до установленной отметки, вообще не учитываются. Не лишним будет отметить, что доля таких работников может доходить до 50 % и выше. А их недооцененным результатом может быть, в частности, одна «ваковская» статья, которая так нужна для отчетности  организации в целом. Такого рода недооценка способствует искусственной и поспешной иерархизации научно-педагогического сообщества, разделению на эффективных и неэффективных, выделению верхушки высокооплачиваемых и «средней массы» низкооплачиваемых работников. Очевидно, что здесь преследуется цель выделения лучших. Однако de facto создаются очень комфортные условия для тех, кто умеет отчитываться, для карьеристов и компиляторов, способных лишь удачно и выгодно использовать чужие идеи. Данный пример еще раз свидетельствует о том, что количественные показатели – это только инструменты, которые могут использоваться во благо или во вред. Их точность и объективность – вопрос относительный.

Нужно отметить, что недооценка личного вклада - характерная черта бюрократизации науки. Эксперты отмечают, что представление о науке как об обезличенной деятельности бюрократической структуры вытесняет мифологизированный образ ученого-творца, и этот процесс характерен не только для российской науки: «В ходе становления «большой науки» у лиц, ответственных за научную политику в западных странах, появилась даже иллюзия, что наука может быть эффективной без ярких индивидуальностей, за счет удачной организации, и что наука — это простая сумма аппаратуры, зданий, денег, научных программ и набора научных учреждений, в которых действует определенное количество научных работников, различающихся лишь должностями и размерами жалования».[5] Интересно, что в вышеприведенной цитате описаны процессы, начавшиеся в западной науке в 60-е годы XX века. В то же время это описание вполне подходит для характеристики современной ситуации в России. Не означает ли это, что мы устойчиво движемся назад в 60-е? Видимо, нам стоит повнимательнее присмотреться к тем мерам, которые используют западные коллеги для противодействия процессам бюрократизации научной деятельности, с целью стимулирования личной активности ученых.

О проблеме количественной оценки личного вклада свидетельствуют и трудности с учетом работ, написанных в соавторстве. В настоящее время отмечается рост числа коллективных публикаций, как в России, так и за рубежом. Это обстоятельство можно прокомментировать двояко. С одной стороны, соавторство – способ увеличить количество статей каждому члену авторского коллектива. Сегодня налицо случаи злоупотребления соавторством с целью улучшения индивидуальных показателей. С другой стороны, эксперты справедливо отмечают, что научное сотрудничество является характерным признаком современной науки. При этом «личный вклад каждого соавтора могут определить только сами соавторы или эксперты, хотя при оценках используется и фракционный подход»[6]. Другими словами, оценка личного вклада в статье с десятью авторами по простой формуле 1/10 или по иной, более сложной формуле, хотя и прозрачна в математическом смысле, может быть неадекватной с точки зрения реального научного вклада автора.

В процессе иерархизации научного сообщества, осуществляемом с применением количественных показателей, явным образом обнаруживается, что в науке имеют существенное значение неколичественные показатели. Речь, прежде всего, идет о научном авторитете. Сегодня становится все более очевидным, что количество публикаций, должность и авторитет ученого далеко не всегда прямо коррелируют между собой. Это обстоятельство заставляет задуматься о выработке неколичественных оценочных показателях. Так, например, некоторые эксперты ставят вопрос о необходимости разработать репутационные критерии: «Нет такой энциклопедии, куда мог бы заглянуть обычный человек и понять, это хороший учёный или плохой. Поэтому вопрос уважения и авторитета очень остро стоит. При этом он всё время где-то за кулисами, его не измерить… В отличие от Европы и Америки (где есть ряд признанных наград во главе с Нобелевской премией), в России пока мало таких «показательных» премий, но всё-таки они есть, например, Премия Президента Российской Федерации для молодых ученых в области науки и инноваций»[7]. Развивая эту мысль, нужно подчеркнуть, что речь должна идти не столько об отдельных премиях, пусть и самых престижных, сколько о сознании целой системы репутационных критериев. Это означает, что необходимо возвращаться к вопросам этоса научного сообщества, который фактически разрушен погоней за индивидуальным рейтингом, превратившим жизнь научно-педагогических коллективов в «войну всех против всех». К сожалению, основными орудиями в этой войне стали количественные индикаторы. Видимо, настало время вспомнить известный афоризм о том, что эквилибристикой математики можно внушить доверие даже к самой ложной теории.

 

 

[1] Николаев Н. Необходимы системные меры по увеличению числа публикаций российских ученых в мировых научных журналах/ http://onf.ru/2015/12/11/nikolaev-neobhodimy-sistemnye-mery-po-uvelicheniyu-chisla-publikaciy-rossiyskih-uchenyh-v/ Дата обращения 29.06.2016.

[2] http://www.strf.ru/material.aspx?CatalogId=221&d_no=116676#.V2WCGmNkiUl. Дата обращения 18.06.2016.

[3] http://www.strf.ru/material.aspx?CatalogId=221&d_no=118602#.V3V6OGNkiUl. Дата обращения 20.06.2016

[4] Юревич М. Статистический фокус научных публикаций// http://www.ng.ru/science/2015-09-09/10_stats.html. Дата обращения 18.06.2016.

[5] Мирская Е.З. Роберт Мертон и науки ХХ века / Социология науки и технологий. 2010. Том 1. № 4, с.33

[6] Маркусова В. http://www.strf.ru/material.aspx?CatalogId=221&d_no=116676#.V11a1BxkiUk. Дата обращения 19.06.2016.

[7] Борисова А. http://www.strf.ru/material.aspx?CatalogId=221&d_no=117077#.V11YchxkiUk. Дата обращения 19.06.2016.