Слышали про студента, написавшего диплом с помощью ChatGPT? Есть история помощнее Уважаемый испанский химик публиковал по научной статье каждые 37 часов. Догадайтесь, как он это делал…
Испанский Университет Кордовы недавно уволил одного из самых плодотворных и цитируемых своих сотрудников, специалиста по катализу и коллоидной химии Рафаэля Луке. Он проработал в университете почти 15 лет и за это время опубликовал более 700 научных статей. Только в этом году его имя появилось в списке авторов 58 работ — по подсчетам издания El Pais, новые открытия Луке совершал в среднем каждые 37 часов. Нетрудно догадаться, что резко возросшая научная эффективность оказалась связана с появлением бота ChatGPТ, который ученый, по собственному признанию, использовал «для улучшения качества текстов». Впрочем, нейросети не создали, а лишь углубили проблему публикации так называемого научного мусора, указывают энтузиасты, занимающиеся наукометрикой. Теперь, с появлением ChatGPT, производить такой «мусор» нечистоплотным ученым стало существенно проще, а распознавать его — напротив, существенно сложнее.
Цитируемость статей — это основной показатель для оценки успеха ученого в современной наукометрической системе. Он показывает, как часто коллеги ссылаются на работы конкретного исследователя. Для того чтобы цитируемость повысить, ученые должны, во-первых, публиковать статьи часто, а во-вторых, делать это в какой-нибудь очень популярной области, которая активно развивается (в случае Рафаэля Луке это, например, «зеленая химия»). Индекс цитируемости исследователя влияет не только на его личную репутацию и шансы получить финансирование на свои исследования, но и на престиж всего учреждения, где он работает. Чем больше плодотворных цитируемых ученых работает в университете, тем выше его позиции во всевозможных рейтингах.
Так, благодаря Рафаэлю Луке (как утверждает он сам), Университет Кордовы поднялся в престижном Шанхайском рейтинге — мировом академическом рейтинге университетов. Тем не менее руководство института отстранило ученого от работы с запретом на трудоустройство в течение 13 лет. Это может казаться частной историей одного человека, но на самом деле история показывает, насколько проблема гонки за цитированием в академическом мире обострилась в последнее время.
Понятно, что опубликовать хорошую статью не так просто. Иногда на исследование уходят годы. Однако современная система оценки эффективности в науке устроена так, что регулярно публиковаться просто необходимо — иначе останешься без денег и лабораторию закроют (отсюда популярная в академии поговорка publish or perish — «публикуйся или умри»). Поэтому многие ученые повышают свои шансы на публикации тем, что помогают коллегам с исследованиями — и за это получают авторство в их статьях. Ничего зазорного в этом нет, пока у тебя есть время. Однако это ограниченный ресурс, которого вечно не хватает.
В итоге гонка за публикациями привела к расцвету бизнесов по торговле авторством — за некоторую плату авторы уже готовой статьи могут включить тебя в свою компанию перед тем, как подать работу в журнал. При этом покупать можно не только авторство, но и ссылки на свои работы. Как утверждают «охотники за привидениями» в области наукометрии Ник Уайз и Александр Магазинов, статьи для таких «коммерческих» публикаций в основном производятся путем копирования фрагментов из уже опубликованных работ либо при помощи генераторов текста с использованием искусственного интеллекта.
С появлением ChatGPT последняя задача стала особенно легкой: программу можно просто попросить написать статью по ключевым словам. И Луке признает, что начиная с декабря 2022 года активно использовал инструмент «для улучшения качества текстов». При этом Магазинов не в первый раз пытается поймать его за руку и доказать, что испанский химик слишком увлекся «улучшением».
ChatGPT не первый, хотя и максимально продвинутый генератор текстов, который можно использовать для написания статей
Автоматические системы генерации текстов появились задолго до выхода ChatGTP и даже до появления архитектуры трансформеров, которая позволила делать это максимально эффективно. Еще в 2015 году в небольшой статье в собственном блоге специалист по машинному обучению Андрей Карпати убедительно показал, что с помощью даже весьма простых нейросетей можно быстро генерировать довольно убедительные тексты в разных жанрах, в том числе походящие на настоящие научные работы. До широкого распространения нейросетей аналогичные методы генерации «псевдонаучного бреда» использовали энтузиасты, которые как раз использовали их в качестве инструмента для вскрытия хищнической природы мусорных журналов и мусорных статей. Один из самых известных примеров таких научных провокаций связан со статьей «Корчеватель: Алгоритм типичной унификации точек доступа и избыточности». Еще в 2005 году эта бессмысленная статья была сгенерирована алгоритмом SCIgen (без использования каких-либо нейросетей) и принята в качестве доклада на научной конференции, а затем ее автоматический перевод был опубликован Михаилом Гельфандом в российском «Журнале научных публикаций аспирантов и докторантов».
С появлением же современных языковых моделей ситуация обернулась своей противоположностью. Теперь сгенерированные тексты стали настолько внешне похожи на настоящие работы, что их можно, по крайней мере теоретически, использовать не для провокации мусорных журналов, а для обмана журналов с относительно хорошей репутацией. Для отлавливания сгенерированных работ Александр Магазинов с единомышленниками предложили набор критериев.
- Первым показателем сгенерированного текста можно считать наличие «вымученных» фраз — когда какое-то распространенное явление программа называет другими словами, чтобы избежать прямого заимствования (ведь программы при составлении новых текстов используют корпус уже существующих). Самый яркий пример такой фразы — это counterfeit consciousness вместо общеупотребительного artificial intelligence, буквально «поддельное сознание» вместо «искусственного интеллекта».
- Второй критерий — наличие в статье неуместных, а то и просто несуществующих цитат на другие работы.
- Последний критерий — использование рисунков, которые уже появлялись в других работах, с небольшими изменениями.
И все эти критерии Магазинов обнаружил в статьях Рафаэля Луке. В одной из его статей 2022 года, опубликованной с коллегами из Ирана, собралось бинго из несуществующей «вегетативной электронной микроскопии» и кучи нерелевантных ссылок, к примеру, ведущих на статью о доставке генов в клетки, хотя предложение со ссылкой описывает антибактериальную активность наночастиц. В свежем обзоре, который был опубликован в апреле, одна из картинок взята из более старой статьи других авторов, в слегка измененном виде, однако вместе с ней из источника перекочевала и подпись — уже в неизменном виде. Неизвестно, кто из девяти соавторов, работающих в восьми разных организациях, допустил такую оплошность. Ник Уайз утверждает, что видел по крайней мере одну из статей Луке в телеграм-канале, предлагающем авторство за деньги.
В последних статьях Луке уже не указывает Университет Кордовы в качестве места работы, однако университетов, желающих приютить высокорейтингового ученого, все еще достаточно. Чем больше цитируемых специалистов работает в организации, тем выше рейтинг у нее самой. Именно поэтому университеты Саудовской Аравии, желая попасть в мировой топ, готовы платить зарплату ведущим западным ученым, чтобы те хотя бы ненадолго появлялись в кампусе, но, главное, указывали местные университеты в своих статьях.
Собственно, за подобное сотрудничество с Университетом короля Сауда в Эр-Рияде и одновременно сотрудничество с московским Университетом дружбы народов Рафаэль Луке формально и был отстранен. А еще за одновременную работу в России: параллельно с испанским и аравийским институтами ученый числился профессором в Российском университете дружбы народов. Руководство Университета Кордовы не поверило, что ученый изобрел «маховик времени», который позволял ему плодотворно работать с коллегами из Саудовской Аравии и России, помимо полной ставки в Испании.
Луке не отчаивается — и после своего увольнения числится российско-эквадорским профессором: помимо того, что он остается сотрудником не столь требовательного РУДН, ученый еще и нашел себе новую должность в Университете ECOTEC в эквадорском Гуаякиле.
«Медуза»