# От цифр - к пониманию

Леонид Александрович Ашкинази

От цифр -- к пониманию


Существует три вида лжи -- ложь, наглая ложь и статистика.


Остроумная глупость, ошибочно приписываемая Марку Твену.


Цифры важны. В качестве аргумента обычно цитируют Менделеева: "Наука начинается с тех пор, как начинают измерять"; Макс Планк выразился еще категоричнее: "Существует лишь то, что можно измерить". Наверное, это все же перебор, но как аргумент -- сойдет. Цитаты из великих приводят ведь не для того, чтобы что-то понять, а для того, чтобы переспорить оппонента. Попробуем посмотреть, какие ситуации возникают при попытке перехода от цифр к пониманию.


Любая область человеческой деятельности, по мере своего развития, в какой-то момент начинает поглядывать в зеркало -- то есть интересоваться собой. Например - собирать статистику о себе: о своем состоянии, развитии, о контактах с окружающим обществом. Чтобы на основании этих данных выработать какое-то понимание тенденций и какие-то рекомендации хотя бы для себя самой.


Все это интересно и окружающему обществу. Но тут возникают проблемы, прежде всего -- просто недостаток информации. Е. Ильф и И. Петров полагали, что "статистика знает все". Утверждение широко известное, но неточное; например, статистика знала, что стульев двенадцать, но не знала, в каком из них искомые Остапом Бендером бриллианты. Важнее, однако, другое: на основании цифр можно выработать правильное понимание, можно выработать неправильное, а можно и просто ничего не понять. Математик Ричард Хэмминг (своим вкладом в теорию информации он заработал право изрекать афоризмы) сформулировал "цель расчетов -- не числа, а понимание". Люди часто поддаются гипнозу цифр, а пониманием пренебрегают, потому что цифры уже получил кто-то другой, а над пониманием надо работать самому. При попытке перехода от цифр к пониманию могут возникнуть четыре качественно различные ситуации.


Четыре ситуации


Ситуация первая. Смысл цифр кажется нам понятным. Например, данные об отношении к чему-либо (например, к науке) всего населения и молодежи. Увидев разницу, мы понимаем, куда движется общество, хотя можем переоценивать тренд: молодежь немного изменится, когда станет старше, она частично повзрослеет. Но, скорее всего, переходя от таких цифр к пониманию, мы не сильно ошибаемся, ведь у нас есть многодесятилетний опыт общения с одними и теми же людьми, и мы интуитивно представляем себе возможный тренд.


Ситуация вторая. Цифры нам непонятны, но есть и другие. И возможно, эти могут быть поняты вместе с теми, то есть с какими-то другими, которые имеются в этом же или в другом источнике. Например, нам говорят, что число ученых в стране падает. Хорошо это или плохо? Если при этом сделанное ими падает еще быстрее, то это, наверное, очень плохо. Если медленнее, то не очень. А если не падает или, страшно сказать, растет? Тогда это, наверное, хорошо, ведь мы меньшими силами делаем больше.


Но тут возникает сложный вопрос: что такое "сделанное ими"? Если и фундаментальных результатов, и использования в промышленности, и подготовки новых кадров, всего этого делается больше, то вообще чудесно. А если чего-то из этого короткого списка больше, а чего-то меньше? Тогда надо уточнять задачу, в данном случае надо бы задуматься о сегодняшнем, завтрашнем и послезавтрашнем дне. Потому что для сегодняшнего важнее одно, а для завтрашнего, может быть, важнее другое.


Вот еще пример. Мы видим, что число публикаций растет, более того, растет доля в общемировом вале научных статей. Вроде бы это хорошо. Но если большая часть публикаций в низкорейтинговых журналах? И если на эти статьи никто не ссылается? И если у них чем дальше, тем больше авторов? Не следствие ли все это новомодного метода оценивать работу ученых количеством публикаций? Метода, разрушающего науку, но зато удобного для тех, кто хочет оценивать то, в чем ничего не понимает?


Ситуация третья. Цифры выглядят случайными. То есть велик "уровень шума", влияют какие-то случайности или факторы, которые вообще "не из этой оперы". Например, так часто бывает при сопоставлении социологических данных, относящихся к разным странам. Люди любят сравнивать ситуации в разных странах; психология, которая за этим стоит, очевидна. Однако мнения людей сильно зависят от того, как именно сформулирован вопрос, а как перевести вопрос на другой язык так, чтобы он означал точно то же? И вообще, что это такое -- "точно то же"? Возможно, что это картина активности нейронов, и нейросоциология решит этот вопрос, но явно не завтра, я узнавал.


Кстати, вот идея для социологов -- задавать вопросы не словами, а картинками. Язык изобразительного искусства более универсален. Говорят, что наш мозг мыслит образами, может, ему так будет удобнее? Психологи, кстати, иногда так и делают -- просят испытуемого интерпретировать картинку.


Более того, не только "одинаковые" ответы людей могут иметь сильно различающийся смысл (это вам скажет любой добросовестный социолог); хуже то, что и экономические данные (например, о произошедшем или прогнозируемом изменении доходов) могут иметь разный смысл по разные стороны моря и океана. Хотя бы потому, что восприятие изменений зависит от чаяний и надежд. И в обществе, где доминирует надежда на чудо, результатом будет постоянное разочарование. Правда, можно опрашивать пожилых, которые уже ни на что не надеются. Но у них будет разочарование от другого.


При сравнении разных стран постоянно делается нечто странное -- наверное, это глупость, но, может быть, и жульничество. Надо или не надо учитывать разницу в величине населения? Валовый национальный продукт (ВНП) иногда делят на население, иногда не делят, количество дивизий не делят, потребление алкоголя делят, а при сравнении успехов на олимпиадах опять не делят. Понятно, как можно воспользоваться делением и не делением для задуривания мозгов читателю и особенно -- зрителю, но как надо действовать на самом деле? Если в каком-то смысле страна выступает "как целое", например, собирается напасть на другую страну, то делить не надо. А если нас интересует, как живут люди, то надо.


Сравнение успехов в спорте или на олимпиадах школьников без учета населения -- не слишком показательно. Набрать сильную команду в стране с населением в миллиард, легче, чем в стране с населением в сто миллионов. А при населении в десять миллионов -- в десять раз труднее. Это не означает, что на всех олимпиадах должны побеждать китайцы и индусы, но понимать этот факт надо.


Ситуация четвертая. Цифры, которые лишь выглядят понятными. Однако это обычное понимание неправильно, а может быть, и чревато какими-то проблемами для общества. Например, нам показывают цифры о росте баллов ЕГЭ абитуриентов и явно считают, что это хорошо, да и мы с этим, кажется, согласны. Но при этом прежде всего игнорируется изменение самого ЕГЭ -- и, собственно, экзамена, и системы оценивания, и влияние всего издательского и репетиторского бизнеса, возникшего благодаря ЕГЭ. Но важнее всего результат, а он таков: преподаватели вузов жалуются, что этих "стобалльников" ничему не удается научить. Они натасканы на определенные классы задач и вообще не понимают, что такое "искать решение". Они горды своими баллами, иногда заработанными тяжелым трудом, и немалыми деньгами родителей, но либо они "сразу знают", как решать конкретную задачу, либо не знают и тогда не понимают, что с ней делать. Дело доходит до возмущения -- зачем ее вообще им дали! Разумеется, это не означает, что все многобалльники таковы, но вопрос явно сложнее, чем кажется.


Состояние науки


С учетом всего этого посмотрим, что знает статистика о положении в российской науке. Основой для анализа будет аналитический отчет "Наука в цифрах", выпущенный в 2018 году НИУ ВШЭ. Он есть в Интернете https://issek.hse.ru/news/214886298.html, и мы используем лишь часть приведенных там данных. Для начала посмотрим на данные о публикациях. Обратите внимание -- на левом рисунке для обоих графиков "ноль" сдвинут сильно вниз, за пределы рисунка, в этом случае все изменения визуально воспринимаются как более сильные.


А вообще-то 14-е место -- это много или мало? По ВНП Россия занимает примерно такое же 12-е место, а по ВНП на душу населения -- от 55-го до 64-го по разным источникам. Первое выглядит вполне естественно, поскольку наука в России финансируется в основном государством.


Теперь посмотрим на правую часть рисунка. Эффект от упомянутого выше убийственного для науки способа оценки "высоколобых" налицо. Первое место в мире по количеству авторов на статью, причем это "в эквиваленте полной занятости", то есть с учетом множественных аффилиаций. А если просто считать по количеству авторов, то цифра, наверное, будет еще больше. Этому, как мне кажется, две причины. Во-первых, низкая производительность труда, когда человек, работающий в науке, занимается не только наукой. Во-вторых, распространение оценки людей, работающих в науке, формальным методом -- по количеству публикаций.


Теперь посмотрим на международную кооперацию.


На левой части рисунка ноль смещен для черных графиков и не смещен для синих, поэтому визуальный эффект на черных преувеличен. Тем не менее влияние политики на научное сотрудничество очевидно, и трех, а тем более шести процентов тоже жалко. Однако представил бы интерес более детальный анализ. В частности, интересно, что имеется в виду под "зарубежными учеными" -- исходно зарубежные, временно работающие в РФ, или "целиком зарубежные", или исходно российские, временно или постоянно работающие за рубежом? Суждение о принадлежности конкретного ученого к той или иной группе могло выноситься строго формально, по указанной в статье аффилиации, но если указано несколько разных? Что касается всего рисунка, то не могут ли эксперты что-то сказать о роли, которую играют российские и зарубежные ученые в контактах, одинаково ли распределение ролей при контактах с учеными из разных стран?


Один из "выходов" науки -- это инженерия, производство, но по дороге к нему -- патентование. Причем патентовать имеет смысл то, что может быть коммерциализировано, то есть то, что может быть использовано при производстве чего-то, что может быть успешно на рынке. Иначе лицензию никто не купит, деньги и силы, потраченные на патентование, будут потрачены зря. В СССР наука была в основном отделена от экономики -- даже от той, которая существовала, -- отделена и организационно, и психологически. Отраслевые НИИ существовали, но реальные доходы конкретного ученого от его работы зависели слабо. Патентов в реальной жизни не существовало, за авторские свидетельства автор получал гроши, хотя удовольствие это доставляло, и немаленькое (сужу по себе и своим коллегам).


Поэтому низкая патентная активность российских ученых (левая часть рисунка) понятна -- наследие доперестроечных времен, следствие сложившейся культуры, когда собственником является государство. Поэтому, собственно, и название было не "патент", а авторское свидетельство. Один из первых читателей этого текста заметил:


"Это была подработка типа реферирования статей в реферативных журналах. Никому в голову не приходило, что в будущем он разбогатеет на этом патенте. Мы писали эти бумаги, чтобы получить деньги сейчас. Здесь дело в другом. Патентование чего бы то ни было, это вообще-то культурная и историческая традиция. Американцы патентуют все, начиная от толщины зубочистки, в надежде случайно разбогатеть на каком-нибудь патенте, что, кстати, и случалось. Ими движет американская мечта. Они всегда были в лидерах по части патентов и всегда будут. Соревноваться с ними бессмысленно. Японцы и корейцы заваливают мир патентами уже более полувека благодаря тому, что у них огромное количество высокотехнологичных компаний и торговля со всем миром. В Швейцарии это государственная политика. Мы не жили в условиях капитализма почти сто лет, и у нас никогда не было мечты разбогатеть на патентах, особенно - сейчас. Сегодня оформлять патенты в России - это все равно что выбрасывать деньги. Поэтому сегодня вы никого в России не заставите оформлять патенты, если только на этом не построен ваш бизнес".


К этому я могу кое-что добавить. Получать денежку за реферирование в отраслевом журнале можно было и не имея ученой степени, а вот в журналах ВИНИТИ -- только при ее наличии. Деньги и там, и там я получал вполне скромные, цель была наполовину в другом -- я получал самые свежие зарубежные журналы. Кроме того, чисто личный кайф -- редактором отдела в РЖ ВИНИТИ "Электроника", то есть моим начальником, была Нина Соболева, и в среде специалистов я при возможности всегда упоминал, что работаю именно с ней. Что касается денег за авторские, то они могли быть и побольше -- если были большое "внедрение" и большая польза (например, экономия). Но бумаги утверждало начальство, и тут многое зависело не только от существа дела, но и от того, в какой клеточке поставлена галочка.


Соотношение патентования внутри страны и за рубежом требует отдельного разбора -- патентование за рубежом на порядок дороже, но ведь и потенциальная прибыль больше. Правая часть интересна, но ее расширение было бы еще интереснее -- важно ведь не только, кто патентует, но и где патентует, то есть экономики каких стран являются предположительными потребителями нового (на самом деле на первом месте США, вдвое меньше -- Китай, еще в два-три раза меньше -- Япония, Южная Корея). Представление данных в расчете на экономически активное население, в отличие от данных по статьям, понятно -- патенты ближе к экономике. Но было бы еще интересно представление данных в расчете на количество именно ученых и инженеров -- это указало бы на степень их активности в экономике.


И в заключение -- насчет эпиграфа. Соплеменник мнимого автора, сенатор Генри Клей, как-то сказал: "Статистика не может служить заменой мышления". Формулировка выглядит тривиальной и скучной, но ее стоит иметь в виду, когда мы радостно смотрим на цифры, трудолюбиво собранные для нас статистиками.