В начале сентября Сбер неожиданно выложил открытые веса своей модели GigaChat 3.5 432B. Таким образом, любая компания в России может развернуть эту модель на своем сервере(при наличии мощного железа). И казалось бы, это может в корне переломить ситуацию с суверенными моделями в России, так как эта модель думающая. И у меня возник вопрос: а возможно ли использовать эту модель для создания ИИ‑агентов?
Приготовьтесь, в статье будет много скриншотов по нашим результатам на боевом сервере.
Цены пошли на спад. 22 сентября Anthropic и OpenAI с разницей примерно в полтора часа выпустили модели дешевле своих предшественников, а DeepSeek отдала кэшированный вход по 0,003$ за миллион токенов.
Репозиторий проекта: https://github.com/ExVRAM/exvram‑lab
ExVRAM Lab — открытый исследовательский проект, посвящённый запуску больших локальных LLM на потребительских видеокартах с небольшим объёмом VRAM. Мы исследуем, насколько далеко можно зайти, если не писать собственный inference engine с нуля, а системно использовать существующие open‑source технологии: ultra‑low‑bit quantization, полное размещение весов на GPU, оптимизацию KV cache и современные CUDA‑backends.
Привет! В эфире руководитель проектов компьютерной редакции издательства «БХВ» @Holmogorov и сегодня я хотел бы поговорить о будущем, вернее о том, какие направления стоило бы изучать современным молодым специалистам.
Мы посадили модели Claude играть друг против друга в пошаговую стратегию, где нужно строить экономику, воевать, договариваться с соседями и решать, когда договор пора нарушить. Хотели понять две вещи: как топовые языковые модели справляются с такой игрой и совпадёт ли расстановка сил за игровым столом с той, что показывают общепризнанные бенчмарки.
Я разработчик «Стратегикона», пошаговой онлайн‑стратегии на гексах. С конца августа по начало октября мы провели серию партий LLM‑агентов между собойЧитать полностью »
5 октября американские исследователи Вирджиния Василевска‑Уильямс, известная своими быстрыми (и безумно сложными) алгоритмами перемножения матриц за Читать полностью »
Всех приветствую. Это моя первая статья на всеми нами любимом Хабре, поэтому буду благодарен вам, если вы поддержите меня. Эту статью я решил написать потому, что сам в какой‑то момент своего становления как ИИ‑инженера задавался вопросами по поводу того, как правильно делать автоматизации, как строить архитектуру для своих проектов и так далее. И вот я решил поделиться с вами теми знаниями и опытом, как сделать ваши автоматизации и внедрение ИИ качественным и надёжным.
Дорогой читатель лови привет.
Меня зовут Станислав и я не продажник, не разработчик, не учёный, не писатель и тем более не матёрый исследователь. Наверное, по частичке каждого навыка имеется, как и у многих, и мы не будем вдаваться в процентное соотношение каждого — сейчас это не важно. Моё основное направление деятельности — это функциональная архитектура систем и в большей степени PLM. Подходы, которые в ней применяются, можно перенимать, трансформировать и применять в других системах, как и наоборот. Но сейчас речь тоже не об этом, а то мы погрязнем в очередном холиваре и упустим главное.
Читать полностью »
