Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑модели нормально шли на обычном домашнем ящике, где видеокарта на 6 ГБ, 24 ГБ памяти и SATA‑диск. Полигоном была gpt‑oss-20b. Итог пока обидный: выиграл штатный флаг ‑fit, на длинном запросе он в 2,44 раза быстрее привычного ‑ngl 99, а мои ускорения поверх него не дали ничего. Зато по дороге я собрал неплохую коллекцию способов, которыми замер скорости врет, и пару настроек, которые пригодятся любому владельцу небольшой видеокарты.
Рубрика «gpt-oss»
Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp
2026-10-09 в 11:30, admin, рубрики: gpt-oss, KV-кэш, llama.cpp, бенчмарки, видеопамять, локальные моделиТест Jev в качестве реранкера против LLM на классификации товаров по справочнику из 78 тысяч кодов
2026-09-21 в 11:45, admin, рубрики: gemini, gpt-oss, llm, TypeSafe Jev, госзакупки, классификация товаров, кросс-энкодер, ОКТРУ
Публичные тарифы, токены фактические (у Gemini учтены токены мышления). Поиск без реранка даёт Acc@1 0.487 — ниже нижней границы графика.
Миф о «равных весах»: что на самом деле скрывается внутри малых моделей
2026-06-04 в 8:00, admin, рубрики: AI, ai-агенты, deepseek, gpt-oss, llm-модели, mistral, mlops, phi-4, qwen, selectel
От GPT-2 к gpt-oss: анализ достижений архитектуры
2025-10-05 в 7:41, admin, рубрики: architecture, gpt-oss, llm, OpenAI, qwen3И как они выглядят на фоне Qwen 3
📌 Telegram @TheWeeklyBrief — краткие обзоры и подкасты
📌 GitHub Pages — углублённые разборы статей
5 августа, 2025 года OpenAI выпустила новые модели LLM с открытым весом: gpt-oss-120b и gpt-oss-20b — первые полностью открытые модели с момента выхода GPT-2 в 2019 году. И да, благодаря некоторым умным оптимизациям, их можно запускать локально (но об этом чуть позже).
Джейлбрейк новой бесплатной модели OpenAI, GPT-OSS
2025-08-06 в 15:40, admin, рубрики: gpt, gpt-oss, jailbreak, OpenAI, ossМодели часто отказывают вам в вещах, ответы на которые считают опасными. Свежая GPT-OSS — не исключение. Эта модель — первый опенсорс OpenAI за долгое время, и было бы обидно не попробовать работу полноценной, разблокированной от ограничений модели.
Итак, вам наверняка интересна методика взлома свежего GPT-OSS.
Она супер простая - проще, чем у многих других собратьев.
Она состоит из двух частей: системный промт и юзерский промт. Необходимо заполнить и то, и другое. По отдельности они не работают.