В классическом self-attention каждый токен смотрит на другие токены, чтобы понять, что важно в данный момент.
Внимание распределяется мгновенно:
Именно этот механизм сделал трансформеры тем, чем они стали.
Но вот в чём проблема - внимание не имеет памяти.
Читать полностью »
Прошлым летом в свет вышла новая архитектура нейронных сетей под названием Kolmogorov-Arnold Networks (KAN). Основная статья есть в открытом доступе на архиве по следующей ссылке. На момент выхода статьи эта новость произвела фурор в мире машинного обучение, так как KAN показывали существенный прирост в качестве аппроксимации различных сложных функций. На фото ниже видно, что ошибка новых сетей падает значительно быстрее при увеличении числа параметров.
12 февраля 2002 года министр обороны США Дональд Рамсфелд произнёс ставшую знаменитой фразу о том, что «есть известные известные, известные неизвестные и неизвестные неизвестные». Пресса тогда разделилась: одни называли это бессмысленным словоблудием, другие — неожиданной философией.
Всем привет!
Меня зовут Александр, я COO в SaaS-платформе аналитики данных. Последний год активно изучаю внедрение AI-решений в кросс-функциональные процессы. Делюсь полезными материалами, которые считаю стоят внимания. В основном про AI, изменение процессов, тренды и продуктовое видение.
У себя в телеграм-канале делюсь сжатыми и структурированными саммери статей.
- Введение – что такое персонализированное обучение и почему это важно?
- Современное состояние – как сегодня школы, вузы и компании внедряют персонализированные методы.
- Перспективы развития – какие технологии изменят образование в ближайшие 10-20 лет?
- Методы персонализацииЧитать полностью »
В статье рассматривается, как современные языковые модели (LLM), такие как GPT, могут влиять на умственные способности человека в ближайшие 10 лет. Обсуждаются два сценария:
ПозитивныйЧитать полностью »
Всем привет!
Хочу рассказать о самом большом и долгом для нас исследований, которое мы провели в 2024 году по новой HR программе — Бадди для новых сотрудников.
Меня зовут Таня, я аналитик‑исследователь в отделе HR исследований и автоматизации в ГК ANCOR. Занимаюсь исследованиями два года, активно изучаю UX и стараюсь внедрять исследовательскую культуру в наши процессы и многочисленные HR продукты. Участвую в разработке продуктов и одновременно с этим провожу исследования на разных этапах. Статья затронет и разработку новой программы, и само исследование.
Всем привет! В этом посте я хочу рассказать про некоторые возможности автоматизации задач, с которыми сталкивается программист-исследователь.
В моей работе часто возникает потребность изучать научные статьи. Это помогает быть в курсе событий, а также исследовать новые методы и области.
