Когда метод «просто погугли» не работает. Нишевые open source-инструменты для работы с научной и технической литературой

Общемировой объем научных статей, книг и профильной документации растет с каждым днем. Чтобы ориентироваться в интересующем корпусе знаний, находить инсайты и ответы на прикладные вопросы, специалисты все чаще используют ИИ-помощников. Мы в Beeline Cloud ^[1] решили взглянуть на нишевые open source-проекты в данной области.

Гонка за публикациями

На фоне общего роста числа научных публикаций в мире у исследователей все чаще возникает запрос на подготовку обзорных статей. Во-первых, такие публикации помогают самим ученым лучше разобраться в теме: оценить, какие работы уже представлены в интересующей области, кто, когда и что конкретно исследовал, какие выводы были сделаны. Анализируя подобные материалы, ученые могут оценить — есть ли в их собственном проекте научная новизна, или идея уже реализована коллегами.

Во-вторых, обзорные научные статьи помогают структурировать знания для научного сообщества и обозначить пробелы. Так, другие ученые получают возможность скорректировать фокус собственных изысканий. Например, интерес для исследователей представляют так называемые систематические обзоры ^[2] научной литературы. Их авторы используют строгую методологию для поиска, оценки и синтеза релевантных работ, отвечающих на конкретный исследовательский вопрос.

И таких публикаций становится все больше. Специалисты из Университета штата Огайо (США) и Мангеймского университета (Германия) в своей работе «Лучшие практики проведения систематических обзоров» отмечают ^[3]: 2002 году на платформе Scopus можно было найти всего 13 систематических обзоров в области педагогики, а к 2022 году их число доросло до 750.

Аналогичная тенденция наблюдается и в других дисциплинах. Группа немецких исследователей, проанализировав базу PubMed, отобрала больше тысячи публикаций по теме эпидемиологии на английском языке за 2000–2019 годы. Вывод, к которому пришли специалисты ^[4], впечатляет: «Мы зафиксировали более чем двадцатикратный рост числа систематических обзоров за последние 20 лет — в 2019 году выходило порядка 80 таких публикаций в день».

При этом подготовка систематического исследования или обзора иного типа — задача не из легких. Нужно собрать и проанализировать существенный объем релевантных материалов. Еще в 2021 году эксперты отмечали ^[5], что стратегия just google it давно перестала работать в данной области: за последние двадцать лет в профильные базы данных было добавлено столько же статей, сколько за предыдущие сто. И ситуация становится еще более динамичной — количество публикаций только увеличивается.

Дело в том, что существующая уже некоторое время тенденция «публикуйся или погибни ^[6]» также продолжает набирать обороты в мире. Ученые вынуждены выпускать научные публикации в рецензируемых журналах как можно чаще. Поскольку количество статей, опубликованных в научных журналах, сегодня является одним из основных показателей оценки продуктивности исследователей. Неудивительно, что в такой напряженной среде исследователи все чаще обращаются за помощью к системам ИИ.

Решения вроде EPPI Reviewer и Rayyan уже используются ^[3] для кластеризации и классификации научных трудов, проведения углубленного поиска и построения структуры обзоров. Как отмечает ^[7] группа испанских исследователей, ИИ-инструменты уже применяются для ряда задач при подготовке систематических обзоров. И все чаще звучит мнение ^[8], что в будущем именно системы ИИ станут основным интерфейсом для взаимодействия с научной литературой.

Быстрые ответы на рабочие вопросы

В сфере ИТ складывается во многом похожая ситуация. На Stack Overflow ежегодно проводится опрос среди специалистов, чтобы выявить тренды индустрии. В 2022 году в исследовании приняли участие порядка 73 тыс. человек из 180 стран — 62% из них признались ^[9], что тратят более 30 минут в день на поиск решений технических проблем [причем в эту категорию вошли и те, кто проводил за поиском час или два].

Тенденция подтвердилась ^[10] и в прошлогоднем опросе, что в целом ожидаемо, поскольку разработчикам приходится иметь дело с постоянно расширяющимся массивом документации. Неудивительно, что в сфере разработки программного обеспечения растет спрос на ИИ-помощников, которые позволяют быстрее находить ответы на базовые вопросы, упрощают работу с рутиной. Причем некоторые эксперты уже напрямую связывают ^[11] релиз современных языковых моделей с постепенным снижением числа пользовательских вопросов на Stack Overflow.

Проприетарных решений, способных помочь в поиске ответов на профессиональные вопросы, сегодня немало. В частности, появляются специализированные ИИ-системы для чтения документации и технических мануалов — особенно востребованные в промышленности. Примером может быть разработка компании AVEVA, которую использует ^[12] Schneider Electric для управления ветряными турбинами. Однако помимо коммерческих систем, для задач науки и ИТ также существуют открытые решения. Мы подготовили компактную подборку нишевых инструментов, упрощающих работу с технической и научной литературой, а также документацией.

1. Решение для работы с научной литературой

Это — система ^[13] для поиска и аннотирования исследовательских документов, которая распространяется по лицензии AGPL 3.0. Разработчик Open Paper — Саба Имран, соучредитель стартапа Khoj, развивающего открытую альтернативу для ChatGPT. Изначально инструмент был попыткой ^[14] упростить изучение сложных материалов. Теперь он также помогает ученым экономить время на поиске релевантных статей и их анализе. Специалисты могут задавать вопросы по документам и получать на них ответы на естественном языке, делать «заметки». Система обеспечивает навигацию как внутри документа, так и по всей коллекции PDF-файлов пользователя.

Поскольку галлюцинации нейросетей особенно критичны в научной работе, в Open Paper реализован специальный подход к цитированию. В частности, каждое утверждение системы ИИ снабжено ^[15] кликабельной ссылкой на источник, чтобы исследователь мог проверить достоверность тезиса.

2. Машинное обучение для метаанализа

Поскольку исследователям приходится изучать сотни научных работ в ходе подготовки обзоров, команда Утрехтского университета в Нидерландах решила ^[16] упростить этот процесс и представила ASReview LAB ^[17] под лицензией Apache 2.0. Платформа позволяет проводить интерактивный анализ больших массивов текста, маркировать данные, проверять аннотации. Пользователям доступны ^[18] популярные исследовательские датасеты, включая SYNERGY ^[19] [коллекция из 170 тысяч статей].

В основе проекта лежат специализированные модели ELAS, каждая для своей задачи: например, семантического поиска или многоязычных массивов. Экосистему дополняют плагины, например, для предварительной обработки данных ^[20] или «горячей» замены ML-моделей. Познакомиться с инструментом поближе можно с помощью демо на сайте проекта ^[21]. В документации есть справочник ^[22] по API, руководство ^[23] по подготовке расширений, шаблон ^[24] для интеграции инструментов.

3. Интерактивное чтение

Это — решение ^[25] для чтения электронных книг в формате EPUB со встроенным ИИ-помощником, который помогает разбираться в тексте. Проект является доработанным форком Flow ^[26] и распространяется по лицензии AGPL 3.0. Автор BookWith — японский разработчик Шуто Отаки, который стремился решить знакомую многим проблему, когда при чтении сложных текстов приходится вручную искать непонятные термины, гуглить контекст и как-то систематизировать заметки.

Изначально BookWith создавался для художественной литературы, однако сам автор отмечает, что инструмент подходит для научных или технических текстов. Все пользовательские заметки объединяются в личную базу знаний. В то же время система получает возможность отвечать на вопросы с учетом предыдущих диалогов. Также доступна функция озвучивания текста (TTS), позволяющая прослушивать весь документ, но пока только на английском или японском языках.

4. Для работы с литературой

Еще одно решение ^[27] для чтения книг с ассистентом, которое работает с большим числом форматов: EPUB, MOBI, AZW3, FB2, TXT. Приложение кроссплатформенное — доступно для Android, Windows, macOS и iOS — и распространяется по лицензии MIT. В качестве ИИ-помощника можно выбрать популярные нейронки. Ассистент умеет делать саммари, переводить и пояснять термины, строить диаграммы связей и категоризировать документы. И в целом подходит для работы с научной и технической литературой.

Дополнительно инструмент собирает статистику: можно просматривать отчеты за разные периоды или визуализировать активность с помощью тепловой карты по изученным материалам. Все заметки пользователя хранятся в единой базе и могут быть экспортированы в TXT, Markdown, CSV или сохранены в виде карточек.

5. Для организации личных документов

Это приложение ^[28] немного отличается от предыдущих в подборке, поскольку в первую очередь предназначено для работы с заметками. Inkdown сочетает в себе WYSIWYG-редактор и LLM-чат. Его представил фронтенд-разработчик из Китая и выложил под лицензией AGPL 3.0. Inkdown может редактировать и отображать блочные и встроенные формулы KaTeX, работать с диаграммами Mermaid и таблицами.

Ключевая особенность — режим параллельного чтения: слева заметка, справа — чат с ИИ. Поддерживаются популярные нейронки, доступно распознавание изображений, а также содержимого файлов Excel, PDF и Word. Ответы на вопросы можно экспортировать как отдельный документ. Inkdown будет полезен исследователям и разработчикам для систематизации заметок и ведения личной базы знаний. Инструмент интуитивно понятен, автор даже не считает обязательным изучение документации ^[29] перед началом работы. Однако она оформлена лаконично: в ней описаны основные функции и некоторые технические детали реализации.

6. Для arXiv-статей

Решение ^[30] предназначено для того, чтобы системы ИИ могли искать и загружать необходимые статьи из исследовательского репозитория arXiv. Этот инструмент выпустил под лицензией Apache 2.0 старший дата-сайентист из Amazon (проект уже собрал почти две тысячи звезд на GitHub). Решение может пригодиться в случаях, когда необходимо быстро найти статьи по конкретным темам.

ArXiv MCP Server предоставляет несколько инструментов для работы с документами. Например, один позволяет проводить расширенный поиск статей, другой — скачивать материал по его идентификатору на arXiv. Подходящую статью можно загрузить в PDF-формате, получить метаданные. В дополнение к этому ArXiv MCP Server имеет готовые промпты, упрощающие анализ научных публикаций. Пользователь может запросить пересказ материала, практические и теоретические выводы, результаты исследования.

P.S. Системы ИИ формируют новые стандарты работы с научной и технической литературой. Они становятся частью привычных приложений для чтения и ведения заметок. Вполне возможно, что через несколько лет наличие встроенного ИИ-ассистента станет обычным делом для любого профильного инструмента.

Beeline Cloud ^[1] — secure cloud provider. Разрабатываем облачные решения, чтобы вы предоставляли клиентам лучшие сервисы.

О чем еще мы пишем в нашем блоге:

• Feature creep — как «расширение функциональности» вредит проектам ^[31]

• Первые шаги open source-контрибьютора — лучшие практики ^[32]