Рубрика «llm» - 79

В этой статье мы рассмотрим как на оборудовании стоимостью от 1000$, с полностью локальными LLM и VLM на основе скриншотов и коротких пояснений генерировать грамотно написанные отчеты об уязвимостях самого широкого спектра, начиная от Web/мобилок, заканчивая инфрастурктурными уязвимостями Active Directory, k8s и так далее. Заглянем под капот VLM (Vision Language Model) и рассмотрим различные подходы к описанию уязвимостей.

Читать полностью »

OpenAI выпустила GPT-OSS модели (https://huggingface.co/openai/gpt-oss-20b и https://huggingface.co/openai/gpt-oss-120b) , и сообщество немедленно начало экспериментировать. Но реальные бенчмарки производительности найти сложно. В этой статье представлены результаты нашего практического тестирования на арендованном железе через RunPod с использованием Ollama.

Ремарка: Тесты проводились на Ollama для быстрого деплоя. Если будете использовать vLLM, то производительность будет примерно +30%, но он слабо адаптирован под консьюмерские GPU, за исключением RTX 5090.

Что тестировалось:Читать полностью »

Зачем

Использование ИИ проникло уже во все возможные сферы в ИТ. Мы применяем LLM модели как через Web так и подключая через специальный API в программном коде. Запускаем агентов кодогенерации и реализации других практических задач через специальные плагины или отдельные приложения. Рассмотрим ещё один интерфейс работы с GenAI — командную строку. Сразу предупрежу, мы не будем рассматривать код-агенты вроде Claude Code или AI-терминалы вроде Warp.

Читать полностью »

Введение

Данная статья была написана для крупнейшего сообщества цифровых управленцев я-ИТ-ы. Ее основная цель — дать тем, на чьих плечах сейчас лежит ответственность за выстраивание ИТ-инфраструктуры компаний, понимание технологического «сегодня» в сфере искусственного интеллекта (ИИ), решений, технологий, которые применяются и уже дают результат. И, что самое важное, обозначить вектор развития для понимания технологического «завтра», чтобы инфраструктура и процессы строились с учетом всех изменений, происходящих в этой весьма динамичной сфере.

Читать полностью »

Эней в поисках смысла - 1

Исследователю-эпиграфисту не всегда достаётся идеальная каменная табличка с целой надписью. Чаще всего это фрагмент с выбитыми кусками, затёртыми словами и отсутствующими датами, из которого нужно не только восстановить текст, но и понять, кто его оставил, где, когда и зачем.

Читать полностью »

Привет! Распознаванием речи (ASR) уже никого не удивишь, но качественное распознавание на разговорном русском языке, а особенно в телефонии — очень сложная штука: люди редко говорят как профессиональные дикторы, часто бывает плохое качество звука с постоянными шумами на фоне и в целом есть миллиарды прочих нюансов. Наша компания занимается голосом больше 8 лет, есть собственные классные модели синтеза, распознавания и продукты на их основе, поэтому экспериментов мы проводим очень много и за появлением новых голосовых моделей следим очень внимательно. 

Читать полностью »

Реальный эффект применения LLM в программировании противоречит прогнозу разработчиков (диаграмма из исследования METR)

Реальный эффект применения LLM в программировании противоречит прогнозу разработчиков (диаграмма из исследования METR)

На фоне общего хайпа вокруг ИИ холодным душем стали июльские Читать полностью »

В этом посте я покажу, как использовать Continue Plugin вместо GitHub Copilot, подключив к нему собственную локальную модель LLM без доступа к интернету. Такой подход обеспечивает максимальную конфиденциальность: ни IDE, ни LM Studio не имеют возможности передавать ваши файлы в облако.

Никакой сети – всё работает только в вашем компьютере.

Что такое Continue и зачем он нужен

Плагин

Функции

Как работает

Continue

Генерация кода, исправление ошибок, чат‑режим по коду

Читать полностью »

Прочитал с утра очередной пост на Хабре, как можно неправильно использовать LLM. Я отношусь к Моделям достаточно утилитарно - как к инструменту. Я не пытаюсь найти в них сознание, так как довольно хорошо представляю устройство вычислительной техники и то, как она выполняет программы. Поэтому каждая публикация с посылом "смотрите, Модель делает чушь" для меня сродни откровениям человека, попытавшегося вырезать ровный круг из оконного стекла при помощи молотка и получившего груду осколков в результате.

Это очень короткая статья про то, чем отличаются молотки от LLM.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js