Создана нейросеть с «человеческим» зрением, превосходящая стандартные модели по энергоэффективности

Исследователи представили новую нейронную сеть All-Topographic Neural Network (All-TNN), которая демонстрирует более человекоподобное восприятие изображений по сравнению с широко распространёнными свёрточными нейронными сетями (CNN).

Ключевое отличие All-TNN от CNN заключается в архитектуре. CNN используют механизм «обмена весами» (weight sharing), который повторяет идентичные детекторы признаков по множеству пространственных положений. All-TNN имеет принципиально иную структуру: её пространственные связи организованы наподобие топографической карты холмистой местности или изображения микроорганизмов под микроскопом. Как пояснил один из руководителей исследования, профессор Тим К. Китцманн из Института когнитивной науки в Оснабрюке (Германия), «обмен весами» в CNN — это инженерный обходной путь, тогда как человеческий мозг ^[1] физически не способен копировать знания из одной области в другую.

^[2]

All-TNN избегает этого ограничения благодаря уникальной архитектуре и методу обучения. Каждый пространственный участок этой сети обладает собственным набором обучаемых параметров. Во время обучения применяется «ограничение гладкости» (smoothness constraint), побуждающее соседние нейроны обучаться схожим, но не идентичным признакам. В тесте на распознавание объектов, кратковременно появляющихся в разных частях экрана, All-TNN показала в три раза более сильную корреляцию с человеческим восприятием, чем CNN.

Хотя по точности классификации изображений All-TNN (34,5% – 36%) пока уступает CNN (43,2%), она демонстрирует значительное превосходство в энергоэффективности. Несмотря на то, что All-TNN примерно в 13 раз больше по размеру (около 107 миллионов параметров против 8 миллионов у CNN), она потребляет более чем в 10 раз меньше энергии. Этот результат достигается за счёт способности сети концентрировать ресурсы на наиболее информативных частях изображения, а не обрабатывать его равномерно по всей площади.

Авторы подчёркивают, что энергоэффективность не была их основной целью. Главный интерес заключался в создании архитектуры, которая приближает к пониманию принципов работы как искусственного, так и человеческого интеллекта. Профессор Китцманн отметил, что бесконечное увеличение объёма данных и параметров модели (погоня за масштабом) может быть не самым эффективным путём, особенно с учётом ограниченности ресурсов реального мозга ^[1]. Альтернативой может стать создание сетей, имитирующих человеко-подобное поведение. Разработка All-TNN рассматривается учёными как важный шаг в этом направлении.

Источник ^[3]