microbik.ru
1

О РОССИЙСКОМ ИНДЕКСЕ ЦИТИРОВАНИЯ

Каленов Н.Е., Селюцкая О.В. (БЕН РАН)
В последнее время руководство России уделяет большое внимание проблеме сравнительной оценки деятельности научно-исследовательских организаций. В Постановлении Правительства Российской Федерации от 8 апреля 2009 г. N 312 "Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения" на Министерство образования и науки РФ была возложена задача разработки соответствующей типовой методики. Эта задача была к октябрю 2009 г. была решена, и 14.10.2009 г. Министерство выпустило приказ № 406 от об утверждении  «Типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и Типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения».

«Типовая методика…» включает около 40 количественных показателей, характеризующих различные стороны деятельности научной организации, одной из которых является публикационная активность ее сотрудников. Для ее оценки Методика требует обращения к Российскому индексу цитирования (РИНЦ). Члены комиссии, согласно первым двум пунктам Методики, должны оценивать:

1. Число публикаций работников научной организации в Российском индексе научного цитирования, отнесенное к численности исследователей (за каждый год из последних пяти лет, начиная с года, предшествующего текущему).

2. Цитируемость работников научной организации в РИНЦ (общее число ссылок на публикации работников научной организации в РИНЦ (за каждый год из последних пяти лет, начиная с года, предшествующего текущему), отнесенное к численности исследователей научной организации в году, предшествующем текущему).

Что же представляет собой РИНЦ, данные из которого являются одной из основ для серьезных выводов о деятельности научной организации?

РИНЦ разрабатывается с 2005 года ООО «Научная электронная библиотека» (НЭБ), выигравшим конкурс, объявленный Министерством образования и науки.

Официальной информации о РИНЦ, за исключением представленной на сайте разработчика (http://elibrary.ru/project_risc.asp), нам найти не удалось. «Скромное» описание РИНЦ здесь представлено следующим образом:

«Российский индекс научного цитирования (РИНЦ) - это национальная информационно-аналитическая система, аккумулирующая более 2 миллионов публикаций российских авторов, а также информацию о цитировании этих публикаций из более 2000 российских журналов. Она предназначена не только для оперативного обеспечения научных исследований актуальной справочно-библиографической информацией, но является также и мощным инструментом, позволяющим осуществлять оценку результативности и эффективности деятельности научно-исследовательских организаций, ученых, уровень научных журналов и т.д.»

Что же представляет собой на самом деле РИНЦ, данные из которого являются одной из основ для серьезных выводов о деятельности научной организации?

Несколько лет назад РИНЦ был «выложен» на сайт разработчика, и в настоящее время каждый пользователь может получить на сайте то, что называется рейтинговым списком отечественных журналов, оценить публикационную активность своей организации и себя лично и т.п.

Готовя данный материал, имея целью оценить полноту и достоверность результатов, представленных в РИНЦ, мы попытались найти официальные данные о наполнении РИНЦ.

В ноябре 2008 года на сайте polit.ru под заголовком «Индексы раздора» были опубликованы материалы «Открытого семинара» [1], посвященные вопросам разработки РИНЦ. В семинаре принимали участие разработчики РИНЦ и ученые. В материалах, в частности, содержатся данные о наполнении РИНЦ, приведенные разработчиками:

«На данный момент (за неполных три года работы) обработано и включено в базу данных примерно 500 тыс. статей: 200 тыс. статей за год в 1500 журналах. А всего в России издается примерно 4,5 тыс. журналов, которые можно отнести к категории научных».

26 января 2009 г. на сайте polit.ru под заголовком «Российский индекс научного цитирования: успехи и проблемы; проект глазами его разработчиков» представлено достаточно подробное интервью с разработчиками РИНЦ Г.О.Еременко и П.Г.Арефьевым [2]. Интервью несколько проясняет ситуацию с количеством журналов, обрабатываемых в РИНЦ:

^ Вопрос: Расскажите, пожалуйста, как вы добавляете в базу новый журнал?

ПА: В России издается около 3600-3700 периодических журналов, которые можно отнести к разряду научных изданий. Из этой массы изданий цитируются хотя бы с некоторой частотностью только 1500. Это означает, что 2000 изданий либо вообще не цитируются, либо цитируются крайне редко.

^ Вопрос: Сколько цитирований должно быть у журнала, чтобы он попал в ваш рейтинг?

ГЕ: У нас нет как такового порога, у нас есть задание, которое мы выполняем в рамках государственного контракта. В 2009 г. РИНЦ должен включать не менее 1500 журналов. Поэтому мы отобрали 1500 лучших журналов по показателю цитируемости и обрабатываем их.

^ Вопрос: А откуда взялась эта цифра - 1500?

ГЕ: Такое задание поставлено Федеральным агентством по науке и инновациям, с которым у нас заключен контракт. В принципе, мы считаем, что вполне достаточно обрабатывать не более 1000 самых цитируемых журналов, а те, что располагаются в рейтинге цитирования за этим порогом, откровенно говоря, слабые.

Сравнение двух высказываний разработчиков «Национальной системы», касающихся количества научных журналов, выходящих в стране, сделанных с интервалом менее 3-х месяцев, вызывает удивление - так сколько же научных журналов издается в стране - 4500 или 3700? Если же добавить к этому статистические данные, приведенные на сайте http://elibrary.ru, согласно которым по состоянию на июль 2010 года в НЭБ включено 6145 российских журналов, то возникают большие сомнения в том, что авторы вообще серьезно интересовались этим вопросом. Число 1500 (количество журналов, обрабатываемых в РИНЦ) фигурирует и в докладе О.Г.Еременко на конференции «Science online 2010», презентация которого опубликована на сайте elibrary.ru [3] (рис. 1)

 

^ Web of Science

Scopus

РИНЦ

Число журналов

11000

17000

1500

Среднее число статей в журнале за год

123

123

123

Число статей за год

1353000

2091000

184500

Среднее число ссылок в статье

23

23

9

Рис. 1

В любом случае 1500 журналов составляют менее 40% от издаваемых (а если верить статистике сайта http://elibrary.ru, менее 20% от представленных в НЭБ), и судить по РИНЦ о количестве публикаций сотрудников научных организаций некорректно. Тезис же о том, что отобраны «1500 лучших журналов» остается на совести авторов, поскольку ни методика анализа журналов, ни методика определения числа 1500, фигурирующего в государственном контракте, нигде не публиковались и не обсуждались. Как распределяются журналы по тематическим разделам, также остается «за кадром».

Тем не менее, предположим, что отобраны действительно самые лучшие журналы и проанализируем, что же нам дает РИНЦ.

На сайте РИНЦ пользователю предлагаются различные сервисы – поиск и анализ журналов, поиск авторов и анализ их публикаций, поиск организаций и анализ публикаций их сотрудников и т.д. Система выстраивает рейтинги журналов и организаций, выдает «время полужизни статей» и т.п. Но все это формируется по ей одной (системе) известным алгоритмам. Пользователь не найдет внутри системы ни одного определения, ни одного описания алгоритма расчетов, однако ему с легкостью демонстрируют рейтинг журналов (как мы понимаем, некоторая упорядоченная характеристика степени их научной ценности с точки зрения разработчиков РИНЦ). Зайдя на сайт РИНЦ 20.07.2010, мы обнаружили в новостях активную ссылку:

21.05

Опубликованы импакт-факторы российских журналов в РИНЦ за 2009 год



Рис. 2

Перейдя по этой ссылке, мы получили на экране «Рейтинг отечественных журналов за 2009 год» (рис. 2) (вероятно, сформированный сотрудниками РИНЦ 21-го мая 2010 года). Первое место в рейтинге занимает журнал «Вопросы экономики» с «показателем», равным 2,385, второе место занимает журнал «Экономическое возрождение России» с «показателем» 1,308. Не уходя с сайта, мы воспользовались ссылкой «Сравнение библиометрических показателей журналов» и получили другой «Рейтинг отечественных журналов за 2009 год» (рис. 3). Здесь уже первое место занимает журнал «Успехи физических наук» с «показателем» 1,56 (в предыдущем списке он находился на 4-м месте с «показателем» 1,214), «Вопросы экономики» занимают второе место с «показателем» 1,24, а «Экономическое возрождение России» находится на 89-м месте с «показателем» 0,32!

89

^ Экономическое возрождение России

0,32



Рис. 3

Получив последний рейтинговый список, мы случайно выбрали журнал «Мир России: социология, этнология», делящий 10-11-е места в рейтинге (этот журнал не попал в первую сотню из «майского» списка), и решили ознакомиться с его характеристиками. Перейдя по активной ссылке от названия, мы, получив список показателей журнала (рис. 4), обнаружили, что число статей в журнале в 2009 году равняется нулю, иными словами, в РИНЦ не обработано ни одного выпуска этого журнала за 2009 год. Возможно, журнал прекратил свое существование? Оказалось, что он благополучно продолжает выходить, и на его сайте представлено оглавление номера 4 за 2009 год . Таким образом, к середине 2010 года по непонятным причинам журнал в РИНЦ не обрабатывался. Это – яркая характеристика полноты отражения информации в РИНЦ. Но возникает и другой вопрос: каким образом журнал, ни одна статья которого не содержит пристатейной библиографии попал в верхнюю часть рейтингового списка (т.е. списка, отражающего научное качество журнала)?

^ МИР РОССИИ: СОЦИОЛОГИЯ, ЭТНОЛОГИЯ
Государственный университет - Высшая школа экономики (Москва)




Общие показатели:







Общее число статей из журнала в РИНЦ

118

Общее число выпусков журнала в РИНЦ

12

Среднее число статей в выпуске

10

Среднее число выпусков в год

4

Среднее число статей в год

40

Среднее число ссылок в списке цитируемой литературы

-

Суммарное число цитирований журнала в РИНЦ

759

Число цитирований журнала в 2009 году

161

Число цитирований журнала в 2008 году

170

Число статей в журнале в 2009 году

0

Импакт-фактор РИНЦ 2008

1,171

Импакт-фактор РИНЦ 2009

-

Трехлетний импакт-фактор РИНЦ 2009

0,632

Коэффициент самоцитируемости, %

0

Время полужизни статей из журнала, процитированных в 2009 году

6,2

Время полужизни статей, процитированных в журнале в 2009 году

-

Место в рейтинге РИНЦ 2009

11




Рис. 4

Наряду с «рейтингом» качество журнала, вероятно, должен характеризовать такой параметр, как импакт-фактор журнала, который рассчитывает система и демонстрирует пользователю. Этот показатель также неустойчив, как и «место в рейтинге». В начале июня 2010 года обладателем самого высокого импакт-фактора за 2009 года был «Сибирский педагогический журнал» (ИФ=2,986). К концу июня импакт-фактор этого журнала за 2009 год упал до 0,235, и журнал «опустился» более чем на 350 позиций в рейтинге. Почему это произошло, хорошо это или плохо, решить невозможно, поскольку, как определяется рейтинг журналов, от каких показателей зависит, остается тайной.

Странность, присущая РИНЦ, проявляется при получении, практически, любой информации, выбираемой наугад. На рис. 5 представлены данные РИНЦ о трех близких по тематике журналах: НТИ, серия 1, НТИ, серия 2 и ИРР. У второго больше всего цитирований, меньше всего статей, но импакт-фактор РИНЦ отсутствует, хотя и у первого, и у третьего он имеется. Объяснения этому феномену найти не удается.

Журнал

Выпусков

Статей

Цитирований

ИФ РИНЦ




Научно-техническая информация. Серия 1: Организация и методика информационной работы
Всероссийский институт научной и технической информации РАН

53

339

627

0,320




Научно-техническая информация. Серия 2: Информационные процессы и системы
Всероссийский институт научной и технической информации РАН

48

240



658

-




Информационные ресурсы России
Федеральное государственное учреждение "Российское энергетическое агентство" Министерства энергетики Российской Федерации

30

329

255

0,144

Рис. 5

Подход разработчиков к наполнению информационной базы РИНЦ вызывает удивление и даже растерянность. В списке журналов, выданных по ключевому слову «информация», из 64-х выданных системой, по 46 (!!!) журналам не обработано ни одной статьи!

Среди 600585 персоналий, введенных в систему, если исходить из данных, представленных на рис. 6, более 50% не имеют ни одной публикации, введенной в РИНЦ, и, естественно ни одного цитирования. Зачем эту информацию включать в РИНЦ (равно как и демонстрировать пользователю)? Замусоренность информационной базы замедляет работу системы и создает условия для возникновения дополнительного количества ошибок!

При анализе информации о журналах система выдает противоречивые данные. Так, обобщенная статистика по журналу «НТИ, сер. 1» нам сообщает, что в 2009 году в журнале было опубликовано 74 статьи, а статистика распределения количества публикаций по годам утверждает, что их было 80. Что интересно – суммарное количество статей по всем годам совпадает с общим количеством, приведенным в «Общих показателях» (339)! С журналом «Информационные ресурсы России» (ИРР) дело обстоит иначе - в «Общих показателях» приведено число статей 329, суммирование по годам дает 348; в 2009 году в «Общих показателях» числится 45 статей, а в распределении по годам – 54!

Рис. 6

В списках параметров, характеризующих любой журнал в РИНЦ (см. рис. 4), присутствуют такие показатели, как «коэффициент самоцитируемости» и «время полужизни статей».

Смысл этих показателей понятен лишь разработчикам и узкому кругу специалистов в некоторой узкой области наукометрии. На сайте РИНЦ никакого упоминания о них найти не удается. В [4] для этих понятий приводятся следующие определения.

Коэффициент самоцитируемости «равен отношению числа ссылок в публикациях журнала J на тот же самый журнал J к общему числу цитирований, полученных журналом».

«Время полужизни» цитирования/цитируемости (citing/cited half-life) или, как более корректно называть этот параметр, медиана хронологического распределения ссылок. Определение медианы формулируется для набора библиографических ссылок следующим образом: это такой момент времени, что половина рассматриваемых ссылок относятся к статьям, опубликованным позднее медианы, половина — к более древним, чем медиана, статьям. В случае отсутствия целого значения медианы делаются соответствующие пропорциональные поправки и вычисляется дробное значение».

Неизвестно, следуют ли разработчики РИНЦ этим определениям или используют свои наработки (отнести эти термины к общеупотребительным и устоявшимся в России нельзя - поисковые машины русскоязычного Интернет выдают лишь два источника их употребления – [9] и elibrary.ru),. Что характеризуют эти показатели? Качество журнала, качество статьи, специфику научного направления? Зачем приводить эти данные на сайте, ориентированном на широкий круг пользователей, которые не знают их смысла. Эти характеристики (равно, как и индекс Хирша, о котором пойдет речь ниже) – предмет научных изысканий, которые должны обсуждаться в кругу специалистов. Если же разработчики РИНЦ хотят донести свои результаты до научной общественности, то их надо публиковать в специальной печати. Они только перегружают систему и вызывают недоуменные вопросы у пользователей.

Еще одно «научное» достижение РИНЦ – расчет индекса Хирша организации. По определению и́ндекс Хи́рша (h-и́ндекс) — наукометрический показатель, предложенный американским физиком Хорхе Хиршем, является количественной характеристикой продуктивности учёного, связывающий количество его публикаций с количеством цитирований этих публикаций. Он вычисляется на основе распределения цитирований работ данного исследователя: Учёный имеет индекс h, если h из его N статей цитируются как минимум h раз каждая, в то время как оставшиеся (N — h) статей цитируются менее, чем h раз каждая. (Иными словами, учёный с индексом h опубликовал h статей, на каждую из которых сослались как минимум h раз).

РИНЦ выдает «странные» индексы Хирша. Институт механики МГУ имеет индекс Хирша. равный 12, не имея при этом ни одной статьи с цитированием больше 8. Мы выбрали произвольно еще две организации: Объединенный институт ядерных исследований (Дубна) и Институт теоретической и экспериментальной физики. У первого h-индекс равен 71, а самый высокий индекс цитирования – 23; у второго h-индекс – 69, а индекс цитирования – 17. То ли этот результат – ошибки алгоритма расчета, то ли ошибки программного обеспечения РИНЦ, то ли под этим индексом понимается что-то свое.

Рассмотренные нами «чудеса», хотя и вызывают вопросы, к практической стороне дела, связанной с оценкой деятельности организаций и отдельных ученых имеют косвенное отношение. То, что будет показано ниже, является более серьезными ошибками, принципиально влияющими на эту оценку.

Рассмотрим журнал «Прикладная механика и математика» (ПММ) т.74, вып.1. за 2010 год. В нем содержится 12 статей. Этот номер проиндексирован в РИНЦ и в нем в списке статей присутствует статья академика Валерия Васильевича Козлова «Замечания о степени неустойчивости». Посмотрим авторский профиль В.В.Козлова за 2010 год. Авторство В.В.Козлова установлено для трех статей. Статьи из журнала ПММ, т.74, вып.1 в нем нет (рис. 7).



Рис. 7

Аналогично проанализируем все статьи этого номера. Оказывается, что найти статьи по автору не всегда возможно. У 6 авторов (всего их 14) этого сборника статей из ПММ.2010.Т.74.Вып.1 в авторском профиле нет.

Рассмотрим работы главного научного сотрудника Научно-исследовательского института механики МГУ (НИИ механики МГУ) д.ф.-.м.н., профессора Самсонова Виталия Александровича. В его авторском профиле содержатся данные о 22 публикациях за период с 2005 по 2009 годы.



Рис. 8. Статья Самсонова В.А. из Россельхозакадемии

приписана Самсонову В.А. из НИИ механики МГУ

Анализ этого списка показывает, что 7 статей (более 30%!), напечатанных в журнале «Тракторы и сельскохозяйственные машины», включены в него ошибочно (рис. 8, 9).



Рис. 9.

Обратим внимание, что в данном случае очевидны алгоритмические ошибки (информация о правильном авторстве в системе есть!).

После исключения ошибочного авторства, в системе РИНЦ у В.А.Самсонова с 2005 по 2009 годы остается 15 статей. Посмотрим, включены ли эти статьи в список публикаций НИИ механики МГУ (рис. 10). Оказывается – не все, а только 8 (т.е. чуть больше половины).



Рис. 10

Таким образом, мы наблюдаем феномен, когда половина статей, относящихся к сотруднику института, не попадает в список работ института.

Но не составляет труда получить обратную картину. «Навскидку» взятый пример: среди авторов статьи «Первые детальные, датированные записи изменения растительности и климата Северного Прибайкалья в среднем-позднем голоцене». Доклады академии наук. 2006. Т.411. №2. С.254-259. нет сотрудников Института географии РАН (рис. 11), но статья попала в список статей Института географии РАН (рис. 12).



Рис. 11.



Рис.12.

Примеры неверной работы, противоречивой информации, выдаваемой системой можно приводить «до бесконечности». Нет практически ни одного варианта перекрестной проверки данных, который бы не содержал противоречий, несоответствий и ошибок.

Ниже мы приводим примеры ошибок РИНЦ разного рода.

Повторный учет статьи (рис. 13):



Рис. 13.

Ошибки расчетов, когда количество публикаций организации во всех российских журналах оказывается меньше количества публикаций в российских журналах из перечня ВАК (рис. 14):



Рис. 14

Несоответствие данных, относящихся к одному автору: за Г.А.Месяцем числится в 2008 году 31 статья, а при поиске выдаются только 27, аналогичные расхождения и по другим годам и авторам.

В заключение приведем еще один пример, демонстрирующий принципиальную ошибку системы, свидетельствующий о ее неработоспособности. Рассмотрим организации, сотрудники которых публиковали в журнале ИРР свои работы. РИНЦ выдает нам список организаций, упорядоченный в порядке убывания количества публикаций (рис. 15). Мы видим, что в числе 8-ми организаций, опубликовавших не менее 4-х работ отсутствует БЕН РАН.

^ ОРГАНИЗАЦИИ, В КОТОРЫХ ВЫПОЛНЯЛИСЬ РАБОТЫ
ИНФОРМАЦИОННЫЕ РЕСУРСЫ РОССИИ
Федеральное государственное учреждение "Российское энергетическое агентство" Министерства энергетики Российской Федерации (Москва)



Название организации

Статей

1

^ Институт государства и права РАН

20




2

Всероссийский институт научной и технической информации РАН

9




3

^ Институт информатики и математического моделирования технологических процессов Кольского НЦ РАН

9




4

^ Московский государственный университет культуры и искусств

7




5

Российский химико-технологический университет им. Д.И. Менделеева

7




6

^ Санкт-Петербургский государственный университет

6




7

Центральный экономико-математический институт РАН

5




8

^ Научно-технический центр "Информрегистр"

4




Рис. 15

Рассмотрим авторский список публикаций журнала ИРР. РИНЦ выдает список 10-ти авторов, опубликовавших не менее 4-х статей (рис. 16). Под номером 8 числится Каленов Н.Е., опубликовавший 5 статей, обработанных в РИНЦ.

^ АВТОРЫ ПУБЛИКАЦИЙ

ИНФОРМАЦИОННЫЕ РЕСУРСЫ РОССИИ
Федеральное государственное учреждение "Российское энергетическое агентство" Министерства энергетики Российской Федерации (Москва)



Автор

Статей

1

Антопольский А Б

11




2

Бачило И Л

8




3

Бекетов Н В

8




4

Поляк Ю Е

7




5

Арешев А Г

6




6

Кристальный Б В

6




7

Цветкова В А

6




8

Каленов Н Е

5




9

Полунина Т К

5




10

Олейник А Г

4




Рис. 16

Посмотрим, сколько различных Каленовых Н.Е. имеется в БД. Выдача РИНЦ (рис. 6) показывает, что такой автор в системе – один, и отнесен он самим же РИНЦ к единственной организации – БЕН РАН. То, что одна из его публикаций не попала в список, отнесенный к данной организации, не может быть объяснено ничем иным, кроме внутренней ошибки системы. Уже одна эта ошибка свидетельствует о том, что РИНЦ в современном состоянии не является работоспособной системой.

Наряду с алгоритмическими ошибками, в РИНЦ не решены такие принципиальные проблемы, как соответствие публикаций организации и ее подразделений (например, в системе отдельно существуют публикации, отнесенные к МГУ в целом и к отдельным его факультетам); учет/неучет статей, опубликованных в переведенных на иностранные языки журналах. Спорным представляется включение в БД около 30 тысяч зарубежных журналов и, соответственно, более 10 миллионов статей, не имеющих отношения к российским ученым. Это существенно замедляет работу РИНЦ. В текущей версии РИНЦ не учитываются ни статьи из сборников, ни ссылки на них, а также ссылки на монографии, что по многим направлениям науки приводит к существенной потере информации и, как следствие, к абсолютно неверным выводам о вкладе ученых в развитие науки.

Подводя итоги проведенного нами беглого тестирования РИНЦ, можно сформулировать следующее.

Суммы работ и цитирований отдельных авторов организации не совпадают с суммарным числом публикаций и цитированием работ организации, как в целом, так и по отдельным журналам. Имеют место частые ошибки с авторством статей, повторное включение статей по ссылкам. Неустойчивость показателей, рассчитываемых в РИНЦ (за месяц журнал или организация могут переместиться в рейтинговых списках с на 100 и более позиций), свидетельствует об их научной несостоятельности и невозможности использования для оценки чего-либо. Обращаясь к данным, невозможно понять, что именно они характеризуют, по каким принципам и для чего рассчитываются. Полное отсутствие каких-либо комментариев и пояснений о понятиях и методах, применяющихся в системе, непрозрачность алгоритмов расчетов, противоречивость выдаваемой информации и, как следствие невозможность для представителя организации проверить и убедиться в правильности расчетов, полностью дискредитируют РИНЦ как аналитическую систему.

Данные проведенного анализа приводят к единственно возможному выводу: в настоящее время использовать РИНЦ для серьезного библиометрического анализа, а тем более для оценки качества работы отдельных ученых и научных организаций, нельзя.

^ Литература и сетевые ресурсы

1. Индексы раздора: материалы «Открытого семинара» polit.ru. - http://www.polit.ru/author/2008/11/07/seminar.html

2. Российский индекс научного цитирования: успехи и проблемы; проект глазами его разработчиков. - http://www.polit.ru/science/2009/01/26/rints.html)

3. Еременко О.Г. Российский индекс научного цитирования в вопросах и ответах. Презентация доклада на конференции «Science online 2010» (Марокко, Агадир, май 2010). - http://elibrary.ru/projects/conference/morocco2010/seminar_10_1_program.asp.

4. Писляков В.В. Методы оценки научного знания по показателям цитирования // Социологический журнал. - 2007. - N 1. - С. 128-140.