Последние пару лет я много экспериментировал с LLM на разных железках от GPU-кластеров в облаке до маленьких Raspberry Pi. И вот одна из любимых задачек-провокаций: «А можно ли запустить модель на Pi 4, 5?» Если коротко: можно попробовать, но физика тут сильнее хайпа. У платы есть 8-16 ГБ памяти, у модели десятки гигабайт даже в самых «жестких» квантовках. В лоб это не работает, но зато эксперимент дает интересный результат: мы понимаем, где проходят границы устройства и какие архитектурные схемы реально полезны.
Рубрика «llm» - 42
Как я запустил локальную LLM на Raspberry Pi 5
2025-11-09 в 17:32, admin, рубрики: AI, llm, llm-модели, mlХайп vs реальность: что tech-медиа пишут об ИИ и кто реально лучший в 2025?
2025-11-09 в 15:16, admin, рубрики: Anthropic, chatgpt, claude, gemini, llm, OpenAI, большие языковые модели, искусственный интеллект, машинное обучение, нейросетиЗа последний месяц я детально отслеживал каждую статью об искусственном интеллекте в ведущих западных tech-изданиях. 200 статей из TechCrunch, VentureBeat и MIT Technology Review за 26 дней — в среднем почти 8 новостей об ИИ каждый день. Цель эксперимента была проста: понять, совпадает ли то, о чём громче всего кричат медиа, с реальными возможностями ИИ-моделей.
Спойлер: не совпадает. И разрыв между медийным шумом и реальностью оказался весьма значительным.
Методология исследования
Я мониторил три ключевых источника tech-новостей:
-
TechCrunch — крупнейшее издание о стартапах и технологиях
-
VentureBeatЧитать полностью »
Как мы адаптировали LLM для русского языка
2025-11-09 в 13:55, admin, рубрики: deeplearning, llm, machinelearning, mawo, nlp, ProductionML, pytorch, RussianNLP, tokenizationИстория про токенизацию, научные статьи и production reality
Как мы потратили 2 месяца на адаптацию Qwen3-0.6B для русского языка. Написали систему с нуля на основе 8 научных статей из arXiv. Исправили 6 критических багов (от NaN в fp16 до архитектурных проблем). Получили +35% training speed и +60% inference speed. В этой статье - честный рассказ о том, что не работает из коробки, какие грабли ждут в production, и как мы их обошли.
Мы - это я и мой друг =)
Как всё началось
Август 2025. Мы работаем над MAWO - системой fine-tuning для русскоязычных LLM. У нас есть модель Qwen3-0.6B. Почему именно 0.6B, а не 8B или 70B?
RedCodeAgent: автоматическая платформа для red-teaming и оценки безопасности code agents
2025-11-09 в 11:01, admin, рубрики: jailbreak, llm, OpenAI, python, RedCodeAgent, redteaming, безопасность, ИИ, исследование, кодовые агентыКоманда AI for Devs подготовила перевод статьи о RedCodeAgent — первой полностью автоматизированной системе red-teaming для проверки безопасности кодовых агентов. Исследователи из Чикаго, Оксфорда, Беркли и Microsoft Research показали: даже самые продвинутые LLM-агенты могут генерировать и выполнять уязвимый код. RedCodeAgent не просто тестирует ответы — он атакует, анализирует поведение и находит уязвимости, которые пропускают все остальные методы.
Скилы системного аналитика для разработки LLM-агентов
2025-11-07 в 12:05, admin, рубрики: llm, Агент, проектирование, системный аналитикНа сентябрьском Flow 2025 проводилось огромное количество активностей вне докладов. Одной из таких активностей была coffee tables: в промежутке между докладами можно было обсудить горячую тему.
Скилы — вечно горячая тема. LLM-агенты — горячая тема в моменте (впрочем, возможно тоже надолго). В результате организовался стол, на котором кофе был самым холодным предметом.
Мы старались не спорить, что нужно, а что нет, но просто собрать все идеи.
Читать полностью »
Как некачественные данные подтачивают способности нейросетей и что с этим делать
2025-11-06 в 13:00, admin, рубрики: llm, языковые моделиЯзыковые модели помогают кодить, писать тексты, отвечают на вопросы и даже подсказывают идеи. Но все, чему они учатся, берется из интернета, а там хватает и полезного, и откровенного мусора. Ученые из Texas A&M и Purdue University выяснили, что если в обучающие наборы попадает слишком много поверхностного или ошибочного контента, модели начинают работать хуже. Этот эффект исследователи описали как «размягчение мозга» (brain rot) — по аналогии с тем, как у человека притупляется внимание после длительного погружения в поток однотипной информации.
Маршрутизация LLM: оптимизация путей обработки языка
2025-11-06 в 11:30, admin, рубрики: AI, artificial intelligence, data augmentation, latency, llm, llm-модели, MTBench, маршрутизация запросовПовышение эффективности и производительности через инновационные стратегии маршрутизации.
Что такое LLM Routing?
-
В стремительно развивающемся мире искусственного интеллекта большие языковые модели (LLM)Читать полностью »
Нейро-дайджест: ключевые события мира AI за 1-ю неделю ноября 2025
2025-11-06 в 11:05, admin, рубрики: AI-инструменты, llm, timeweb_дайджест, генеративные модели, дайджест, искусственный интеллект, машинное обучение, нейро-дайджест, нейросети, роботы
Привет! Это новый выпуск «Нейро-дайджеста» — коротких и полезных обзоров ключевых событий в мире искусственного интеллекта и технологий.
Меня зовут ВандерЧитать полностью »
