Анализ Корана при помощи AI

Прошу прощение за возможно «желтый» заголовок, потому срау перехожу к сути. В ходе работы потребовалось протестировать систему осуществляющую качественный анализ текста по различным классификаторам, таким как пол, сентимент (настроение), возраст и прочее. В качестве одного из тестируемых образцов решил взять суру из корана, а потом проанализировал весь текст манускрипта.

Watson

Изначально возникло желание «пропустить» Коран через небезызвестный Watson ^[1], тем более, что сервис позволяет анализировать текст на арабском языке. Первая сура Watson'ом была отвергнута, т.к. содержала совсем мало текста, поэтому решено было использовать вторую ^[2]. Результаты оказались информативными, но не совсем то, что требовалось, поскольку Watson не дает оценки по сентименту, полу и возрасту.

Обработав суру Al Baqarah, Watson представил числовые значения основных характеристик автора текста, которые можно посмотреть в JSON формате.

Абсолютный интроверт (практически замкнутый), с узким эмоцианальный диапазоном, выраженной импульсивностью. Готов пробывать что-то новое. Дисциплинированный и обязательный. Альтруизм, скромность, сочувствие и доброта не обнаружены. Высокая степень доверчивости. Выражает острую потребность в любви, гармонии, близости и организованности распорядка. Придает значение традициям и достижениям в рамках общепринятых социальных стандартов. Не заинтересован в помощи другим и получении наслаждения от жизни.

Любопытно то, что практически все характеристики предоставленные «Ватсоном» возведены в абсолют, что редко встречалось при анализе других текстов, иначе говоря, Watson редко демонстрирует такую высокую степень уверенности в полученных результатах.

Помимо числовых значений, Watson еще предоставляет и небольшое текстовое описание полученных результатов, в так называемом «human readable format». Сам факт наличия такого описания удобен, но мало интересен, а вот процесс его генерации немного неожиданный. Код отвечающий за создание текста реализован на стороне клиента, на JavaScript — Выделяются наиболее яркие черты, ранжируются и каждой присваевается идентификатор. Потом сторятся предложения вида:

switch (intervalFor(valuesList[0].percentage)) {
    case 0:
        sentence = format(tphrase('You are relatively unconcerned with both %s and %s'), term1, term2) + '.';
    break;
    case 1:
        sentence = format(tphrase("You don't find either %s or %s to be particularly motivating for you"), term1, term2) + '.';
    break;
}

uClassify

Очередной условно бесплатный сервис ^[4], использующий технологии машинного обучения для анализа текста по выбранным классификаторам. Выбор пал на него по двум причинам — высокие результаты на тестовых выборках и наличие требуемых классификаторов. Более того, отсутствие ограничения на минимальное количество слов для анализа, что позволяет проанализировать каждую отдельно взятую суру.

К сожалению uClassify работает только с текстом написанном на Английском языке, поэтому анализу подвергся текст корана в Английском переводе. Опираясь на информацию из разных источников, я выбрал наиболее точный, широко признанный и часто используемый вариант перевода ^[5].

Начал с классификатора сентимент, который демонстрирует общее настроение повествования — негативное или позитивное.

На графике ниже отчетливо заметно, что текст Корана начинается крайне позитивно, а потом интенсивно устремляется в негатив, причем негативные настроения сохраняются на протяжении всего текста, лишь незначительно ослабевая ближе к окончанию, когда настроение повествования приближается к нейтральному (негатив 54%).

Вполне закономерно и то, что негативное настроение превалирует на протяжении всего текста, тем более если учесть тот факт, что первая сура несоизмеримо мала по обьему, в сравнении с каждой последующей.

Если предположить, что текст Корана писался не одним человеком, а несколькими и проанализировать гендерный классификатор, то получается не менее интересная «картина»:

Корреляция между двумя массивами данных отчетливо заметна даже визуально, а именно 0.7839422223, что говорит о прямой связи между классификаторами пола и настроенем текста.

Эпилог

Конечно это всего лишь цифры, графики и формулы.

Автор: ipo

Источник ^[6]