Специалисты Digital Reasoning создали самую большую в мире нейронную сеть со 160 млрд параметров

На завершающейся сегодня в Лилле 32-й международной конференции по машинному обучению компания Digital Reasoning объявила о создании самой большой в мире нейронной сети. Сеть включает 160 млрд параметров. Для сравнения: сеть, созданная два года назад в Стэнфордском университете ^[1], характеризовалась 11,2 млрд параметров, а созданная недавно в Ливероморской лаборатории — 15 млрд.

Нейронные сети строятся по тем же принципам, что и сети, образуемые нервными клетками живого организма. Они включают связанные между собой процессоры и обладают способностью к обучению. Увеличивая размеры сети, и обучая ее, можно решать все более сложные практические задачи, включая прогнозирование, распознавание образов, принятие решений. В процессе обучения нейронная сеть обретает способность выявлять сложные зависимости между входными и выходными данными, и выполнять обобщение.

Сравнить способности новой сети с ее предшественницами позволяет тест на словообразование по аналогии. Например, если из слова «король» вычесть слово «мужчина» и добавить к нему слово «женщина», получим слово «королева». Работая со стандартной для отрасли базой из примерно 20 000 аналогий, вышеупомянутая сеть из Стэнфорда продемонстрировала точность словообразования 75%, тогда как результат сети Digital Reasoning — 85,8%.

Источник: Digital Reasoning ^[2]

Источник ^[3]