Рубрика «machine learning»

1. Введение

Модели семейства RWKV с линейной по длине последовательности рекуррентной структурой привлекательны для локального запуска, но инструментов квантования для них заметно меньше, чем для трансформеров. В этой работе я описываю инструмент rwkv-quant, сжимающий RWKV-7 двумя готовыми пресетами, и систематически разбираю, где именно при квантовании теряется качество и как это зависит от размера модели.

Читать полностью »

Конец 1950-х, Гарвард, лаборатория Дэвида Хьюбела и Торстена Визеля. Кошке под наркозом через слайд-проектор показывают полоски света, а электрод фиксирует, как на это откликается отдельный нейрон зрительной коры. Никаких компьютеров, только аналоговые инструменты. Но из этого вырос один из главных результатов в истории нейробиологии: открытие нейронов зрительной коры, избирательно реагирующих на ориентацию. За него Хьюбел и Визель позже получили Нобелевскую премию.

Читать полностью »

Эмбеддинг простыми словами — это всего лишь сопоставление некоторого объекта, с которым должна работать нейронная сеть, и набора чисел — вектора. Количество кооридинат вектора и является мерностью n пространства, в котором задан данный вектор (эмбеддинг). Более подробно про эмбеддинги можно почитать в этой статье для начинающих.

Читать полностью »

Иногда самое опасное в исследовании — получить слишком красивый результат.

Мы собрали training-free детектор галлюцинаций для RAG, получили хорошие метрики и наткнулись на группу примеров, где все шесть LLM единогласно спорили с эталонной разметкой. Сначала мы решили, что нашли общую слепую зону LLM-as-a-Judge — переносимый, заголовочный результат. Потом открыли первоисточник. И оказалось, что ошибались вовсе не модели.

Дальше — история о том, почему несущим здесь оказалась не находка и не детектор, а процедура проверки, которая поймала нас самих.

Что работает — и это мы не отзываем

Читать полностью »

В статье подробно рассматриваются принципы работы больших языковых моделей (large language model, LLM). Поскольку в основе большинства современных LLM лежит архитектура трансформера (transformer), ее понимание дает представление о ключевых механизмах, обеспечивающих работу таких моделей.

В этой статье мы разберем ключевые принципы работы современных LLM, построенных на архитектуре трансформера. Я постараюсь объяснить основные идеи без погружения в сложную математику. Конечно, для глубокого понимания темы математическая база важна, но для первого знакомства этого материала должно быть достаточно.

Читать полностью »

Почему ИИ-индустрия платит «налог на Python» — и как быстрые компилируемые языки, в частности, Swift, открывают ей новые горизонты

Андрей Сапунов

Дисклеймер: это мнение автора. Автор — заинтересованная сторона: он ведёт открытый проект языковых моделей на Swift/MLX (swift-language-models) и написал книгу, весь код которой — на Swift. Читайте с поправкой на этот конфликт интересов. В качестве противовеса каждое число в статье снабжено ссылкой на первоисточник, а сильнейшим контраргументам отведён отдельный раздел 8.

Аннотация.Читать полностью »

Всем привет, это моя первая статья на Хабре и я решил посвятить ее своему недавнему мини‑проекту, сутью которого является обучение небольшого перцептрона 2-5-1 с помощью Python без сторонних библиотек (типа NumPy), и его последующий инференс на непрограммируемом инженерном калькуляторе Casio‑Fx-82-Es Plus (2nd edition).

В качестве задачи для перцептрона я выбрал определение того, находится ли точка в пределах графика следующей лемнискаты Бернулли: (x² + y²)² — 2a²(x² — y²) = 0 (с a = sqrt(0.5), то есть вообще без коэффициента 2a²), с минимально приемлемой вероятностью (70–85%)

Читать полностью »

Крипто-ассистент — самописный аналитический сервис под биржи (spot + USDT-perpetual, то есть и обычная торговля, и бессрочные фьючерсы).

Мой большой  проект, над которым очень долго работал, — 7 месяцев трудов. Статья будет очень большой, и это тоже моя первая статья на Хабре. Итак, вернёмся к сути.

Читать полностью »

Линейная регрессия на стероидах: Double Machine Learning для устранения смещений в данных - 1

Любой аналитик знает, что самым надёжным способом проверки гипотез являются рандомизированные контролируемые эксперименты (RCT), или, как их называют в народе — Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js