Алексей Николаевич Паршин, академик РАН, заведующий отделом алгебры  Математического института им. В. А. Стеклова, д.ф.-м.н.

(выступление на совещании представителей гуманитарных факультетов высших учебных заведений РФ «О совершенствовании системы оценки деятельности профессорско-преподавательского состава и научных работников» 6 июня 2016 г.).

Если говорить о том вопросе, который стоит в заглавии, точнее, о двух вопросах, то на первый я бы мог ответить так: можно, но трудно, а вот «как?», я хочу здесь предложить  два инструмента такового сопротивления, опираясь на опыт экспертной деятельности по оценке результатов научных организаций, которая существует в Отделении математических наук РАН.

Я буду говорить о фактах и мнениях. Мнения будут мои личные. Первое мое личное мнение состоит в том, что нужно понять идеологию той среды, которая все это делает. Не зачем она это делает, а какие у нее основные принципы. Может быть, слово идеология здесь не очень уместно,  или лучше менталитет, но это уже нюансы. Я думаю, есть несколько основных принципов.

Научная деятельность с точки зрения доминирующей у нас либерально-рыночной экономики есть  форма наемного труда. С этой точки зрения работа прачечной и работа академического института принципиально ничем не отличаются. И те и другие получают бюджетные деньги, и те и другие отчитываются, так как это удобно чиновникам. Сюда же добавляется еще образование как форма предоставления услуг, это  значит, что  образование является  просто услугой, которую мы покупаем.

Второй важный принцип, сильно с этим связанный, это стремление к предельной формализации, естественно вытекающее из первого. Примеры можно приводить: ЕГЭ, ПРНД, всевозможные рейтинги и т.д. Я еще добавил бы одну вещь, которая как-то нечасто  обсуждается.  Все кто читал документы, исходящие от чиновников поражаются чудовищному языку. Для меня это настоящий новояз, а его использование это просто садизм.

И вот теперь, говоря более конкретно, следующий последний третий пункт,  уже специфически российский. Вот все что делается там, в развитых странах, это все здорово и хорошо. Все что делается тут, это второго сорта и нужно догонять или как-то под это подстраиваться. Если говорить о наиболее близкой мне области навуки, математике, то по представлениям чиновников, конечно,  все настоящие ученые уехали туда, начиная с известно  какого времени, а здесь остались только те, кто не смог уехать. Отсюда, например, вытекают «мегагранты», где даются астрономические деньги людям, которые, скажем так, вовремя туда уехали, и так далее. Также и  всякие попытки использовать  при оценке научной деятельности, как уже здесь говорилось, передовой западный опыт в экономически развитых странах. Я не хочу сказать, что это идеология абсолютно всех, в конце я приведу примеры немножко других людей, но в принципе это так.

Давайте посмотрим на два важных документа, по поводу использования передового научного опыта. В апреле 2013 года было заседание Совета по науке и образованию при Президенте Российской Федерации. И после него  было поручение, что  важно и нужно во все документы внести возможность использования тех  показателей результативности, которые используются в экономически развитых странах[1].

Несколько отвлекаясь, замечу что этот текст представляет собой яркий того новояза, о котором я говорил. Первый абзац – это одно предложение, и в конце даже стоит двоеточие,  оно  не кончено, более того я убрал из него еще три строчки, такой  пример этого новояза, который натощак, как говорится, не поймешь.

Это было в апреле. В ноябре Правительство Российской Федерации издало свой документ, где  сказано о создании межведомственной комиссии по оценке, которая уже есть и  работает, и приведены несколько положений о ее деятельности. Здесь уже более четко указано об использовании показателей результативности научных организаций, осуществляющие сходные типы исследований в экономически развитых странах[2]. Хорошо бы понять, что имели ввиду те чиновники, которые составляли эти документы.

Давайте посмотрим, как примерно в это время в экономически развитой стране, именуемой Великобританией, проходила оценка всех научных организаций, департаментов, примерно 150 университетов, занимающихся самыми разными науками.  Эта программа оценки за 6 лет называется Research Excellence Framework, она была размещена сразу в открытом доступе, по  адресу www.ref.ac.uk.  В ней все науки были разбиты на 4 больших блока, а дальше подразбиты на 35 комиссий, которые и производили эту оценку. Два года прошло между сообщением о том, что это будет и окончательрным  документом на 120 страниц, где было детально расписано, как это будет. И затем еще один год для того, чтобы люди подготовились, затем было объявлено, что за два месяца будут собираться  те данные, по которым будет производиться  оценка. Здесь уже упоминался чудовищный рейтинг вузов, не буду о нем детально говорить, его все лучше меня знают. Темпы этого рейтинга и темпы  этой британской оценки  очень неплохо бы  сравнить, прежде чем говорить о передовом западном опыте.

После того как все было подготовлено, всем было ясно, что основным является экспертная оценка во всех науках, далее могут иногда использоваться и дополнительные данные, но результатом оценки  является экспертное. Каждый результат оценивается  относится к одному из  четырех  уровней: мировой лидер, находящийся на мировом уровне, признаваемый в мире и,  наконец, национальный уровень и то, что совсем уж плохо. Такая вот система. И далее принципиальная вещь:  импакт-фактор журналов, где опубликован результат, не используется для оценки во всех научных дисциплинах. Это система, работающая для всей науки Великобритании. Дальше, в виду ограниченности значения цитируемости, данные цитируемости если и будут использоваться, то в качестве вспомогательных и по желанию тех, кто хочет их представить. В любой науке, если вы не хотите их представить, не представляйте, вас за это не поругают. Имеется центральная комиссия D, куда входят все гуманитарные науки, и философия, и теология, и классическая филология, языкознание и так далее. В работе этой комиссии не использовались, это написано прямо и четко: «не будут использоваться, не будут предоставляться никакие библиометрические данные».

Этому предшествовала процедура такой же оценки за предыдущие шесть лет. И в нем была такая же система комиссий, но использовался импакт-фактор, и было  общественное движение против этого. В результате, для того, чтобы сделать такую систему без диктата библиометрики, пришлось вмешаться Британскому  Парламенту. Его комиссия по науке и технологии в 2004 году потребовала чтобы Совет, управляющий научными исследованиями в Англии и организующий  их оценку, напомнил комиссиям, что они обязаны проверять качество индивидуальных статей, а не репутацию журналов, в которых они опубликованы[3]. Таким  образом,  выдающаяся работа не перестает быть выдающейся, из-за того, что она опубликована в никому неизвестном журнале. Вот совершенно четкая и правильная точка зрения.

Я полагаю, что наши чиновники, готовившие упомянутые выше документы,  либо не знали о положении дел в Великобритании, и  тогда они неграмотны, либо  знали, но почему-то об этом умолчали, и тогда я  уж не буду говорить то слово, которое тут напрашивается.

Приведем  еще несколько примеров. Когда я занимался этими вопросами  в 2013-2014 году,  я общался и контактировал с разными людьми разных стран, естественно, прежде всего,  c математиками. У меня есть также выборочные данные по гуманитарным наукам.  Вот Америка. В  Принстоне  есть знаменитый институт,  Institute for Advanced Study, где работали Эйнштейн, фон Нейман, Гёдель и многие другие выдающиеся люди. В этом институте есть не только физика и математика, чем он наиболее известен, там есть также история и социальные науки. В письме директора этого института было написано: «мы не используем ни при приеме на работу, ни приглашения кого-то, ни в отчетах вышестоящим организациям никаких наукометрических показателей во всех этих сферах».

Далее, огромная организация  CNRS[4] во Франции, в ней десятки лабораторий, десятки тысяч исследователей, в том числе и гуманитарных специальностей. Недавно я  был в ее штаб-квартире в Париже и разговаривал там с руководителем математического отдела. Он заверил, что ни в математике, а я спросил его  и про гуманитарные науки, ни в гуманитарных науках никакой наукометрии не используется.

Ну и последнее, это уже немножко другая структура,  огромный фонд DFG[5] в Германии, который выдаёт гранты, это очень большая серьезная организация. Недавно ее представители посещали Москву, я с ними разговаривал, они не используют библиометрию при выдаче грантов, ни в чем.  

Вот такая  ситуация на Западе.  Я призываю коллег из гуманитарных наук в качестве возможного средства борьбы собирать такие же данные как можно большего числа таких организаций, институтов, университетов, фондов, связанных с исследованиями в области гуманитарных наук.  Мне кажется, такие данные могут иметь значение в отстаивании наших интересов.

К этому я хотел бы добавить несколько ссылок. Имеется  совершенно замечательное заявление Отделения историко-филологических наук РАН, где очень подробно, очень качественно, на мой взгляд, описаны особенности цитирования, особенности использования и вообще виды публикаций, которые есть в гуманитарных науках и  которые принципиально отличаются от публикаций в других сферах[6]. Молекулярная биология и медицина, активно отстаивающие использование библиометрики как основы оценки,  абсолютно ничего общего по стилю научной жизни не имеют с любой наукой гуманитарного профиля.

Несколько заявлений  представителей естественных наук и математики содержатся в небольшой брошюрке, которая называется «Игра в цифирь», она есть в доступе открытом[7]. Я призываю гуманитариев,  здесь говорилось об такого рода исследованиях, почему нельзя быстро и оперативно издать такую же брошюру с информацией по гуманитарным наукам. Понимаете, не призывы, а четко: где как и что, со ссылками, понимаете, чтоб это все было проверяемо, чтобы было поменьше эмоций и побольше фактов.

Мне кажется, что чиновников нужно бить их же оружием, понимаете, призывы на них абсолютно не действуют. И второе, о чем бы я хотел здесь сказать, я уже иду к концу. Я хочу сказать, что помимо фактологии, как это делается на Западе, в других странах, есть еще крайне интересные теоретические исследования. Здесь говорилось, что наукометрия и у нас развивалась, есть работы Налимова и другие, но мое впечатление, что  серьезная критика  использования наукометрии, давнишняя критика, которая существуют на Западе, причем не где-нибудь на континенте, а в Англии, Америке, она совершенно у нас  не была использована. Если это не так и я ошибаюсь, я буду только очень рад.

В психологии  имеются  два закона,  я здесь не специалист и собрал откуда смог. Первый - закон Гудхарта. Позвольте  просто его процитировать:  «Когда какой-нибудь экономический, социальный показатель становится целью для проведения политики в экономике или социальных областях, он перестает быть показателем, который заслуживает доверие или адекватен тому, что мы хотим получить». Это никто иной, как Чарльз Гудхарт, известный экономист, профессор лондонской школы экономики и политических наук, работал в банке Англии, ну, в общем, весьма серьезная фигура. Это высказывалось давно в 1975 г. В обзоре 2004 года в исследовательском журнале по оценке и исследованиям в образовании, имеется  такая замечательная его формулировка: «Когда измерение (способ измерения) становится целью, оно перестает быть  хорошим измерением». По-английски это  звучит так: When a measure becomes a target, it ceases to be a good measure[8]. Ясно, коротко и четко. Гвоздь забит.

Совсем недавно я узнал о развитии этого уже в вопросах, непосредственно связанных с образованием. Речь идет о законе Кемпбелла, знаменитого американского  психолога[9], который занимался  также и философией, социологией, антропологией «Когда результаты тестов становятся целью образовательного процесса, они с одной стороны теряют свою ценность в качестве индикаторов уровня этого процесса, а с другой стороны, искажают образовательный процесс в нежелательных направлениях»[10]. Заметьте, это было написано в 1976 г., почему, когда обсуждался ЕГЭ, это не было использовано в качестве серъезных аргументов против, я не понимаю…  Вот как этот закон излагается в недавней американской книге по социологии [11]:

Я завершу  эту дискуссию  несколько иным  наблюдением, сделанным Дональдом Т. Кэмпбеллом. Сформулированная им идея, известная сейчас как закон Кэмпбелла, выглядит следующим образом: «Чем больше какой-либо количественный социальный индикатор используется для принятия социальных решений, тем больше он будет подвержен  давлению коррупции и тем с большей вероятностью он будет деформировать социальные процессы, для  мониторинга  которых он был предназначен, и увеличивать их коррупционную составляющую (1976: p.54). Одним из примеров этого является то, что преподаватели именуют как "подготовка к  испытанию"  (teaching to the test).  Если оценка профессиональных качеств учителя будет зависеть главным образом от того, насколько хорошо его студенты выполняют стандартизированный тест, процесс обучения, скорее всего, сосредоточится  на подготовке к этому тесту, а не на предмете в целом.

Аналогичным образом, если вознаграждение труда биржевых маклеров связать с долей проданных ими акций, то у них появится соблазн как можно скорее избавляться от портфеля акций, хотя разумнее было бы определенную их часть «попридержать». Другой пример для сравнения – когда  департаменты полиции  оцениваются по их способности снижать количество  нападений в городе, возникает соблазн переквалифицировать подобные инциденты, объявляя их менее серьезными преступлениями».

Ну, и последнее, что я хотел бы сказать, еще несколько ссылок, во-первых, это английская система, большие куски ее переведены, их можно найти на сайте onr-russia.ru[12]. Затем, есть замечательная публикация в «Science», это такой известный журнал типа «Nature», где подробно обсуждался публикационный бум в Китае[13]. Ну, мы знаем, что везде жульничают, но нам очень часто говорят, как мы отстаем от Китая. Здесь можно понять, что нам не так страшно отставать от Китая в этом вопросе, пускай он убегает вперед.

И совсем последнее, я бы хотел сказать, что чиновники бывают разные.  27 июня 2013 г., когда заседало правительство, и неожиданно был предложен законопроект, который назывался о реформе Российской академии наук, а реально об ее уничтожении,  на этом заседании четыре министра выступили против этого (сейчас опубликована стенограмма,  можно ее прочитать[14]). Это министр обороны, министр сельского хозяйства, министр внутренних дел и министр иностранных дел. У них были свои аргументы, но они без всяких колебаний выступили против, так что маленькая надежда у нас все-таки есть. Спасибо.