Когда в системе есть узел между LLM и пользователем его скорость также важна, как и скорость самой LLM. Когда этот узел сам является моделью (и иногда даже — тоже LLM) — задача ускорения становится совсем веселой и её нужно уметь решать разными способами. В этой работе я опишу процесс ускорения guardrail‑модели — узла, которые проверяет — нет ли на входе или выходе опасного контента.
Рубрика «tensorrt»
Ускорение инференса энкодерной guard‑модели: TensorRT, Triton, vLLM, Ray Serve
2026-08-05 в 11:26, admin, рубрики: gliner guard, gliner2, guardrails, Nvidia, tensorrt, triton-inference-server, vllm, инференс нейросетейКак троттлинг процессора ломает видеокарту через PCIe: хроники абсурда в сервисном центре DNS
2026-07-05 в 10:53, admin, рубрики: ComfyUI, DNS, pcie, rtx 4090, tensorrt, WHEA-Logger, гарантийный ремонт, деградация GPU, зозпп, троттлингДисклеймер: все события основаны на реальном кейсе борьбы за гарантийный ремонт топового железа в СЦ DNS. Диалоги воспроизведены по памяти, максимально близко к оригиналу, технический абсурд передан без приукрашиваний. Авторское настроение: «мне нихуя, блять, не смешно».
Нейросетевой апскейлинг: как собрать все грабли и почему очевидные настройки всё портят
2026-05-29 в 6:01, admin, рубрики: ffmpeg, tensorrt, апскейлинг, нейросети, цветовое пространство
В своих прошлых статьях «Три пути к 4K» и Читать полностью »
Эффективный инференс множества LoRA адаптеров
2025-06-27 в 8:19, admin, рубрики: async inference, benchmark, inference, lora, multilora, offline inference, PEFT, tensorrt, TensorRT-LLM, vllmLoRA — популярный метод дообучения больших моделей на небольших датасетах, однако на этапе инференса низкоранговые адаптеры работают неэффективно, а их объединение с весами требует хранения отдельной полной копии модели для каждого адаптера.
MultiLoRA решает эту проблему, позволяя одновременно выполнять инференс с несколькими адаптерами на основе одной базовой модели.
В статье мы сравним производительность MultiLoRA-инференса в двух популярных фреймворках — vLLM и TensorRT-LLMЧитать полностью »
Neural Network Optimization: океан в капле
2023-03-16 в 14:51, admin, рубрики: cезон machine learning, neural networks, OpenVINO, tensorrt, Блог компании Doubletapp, дистилляция, искусственный интеллект, квантование, кластеризация, машинное обучение, нейронные сети, обработка изображений, Серверная оптимизацияВсех приветствую, меня зовут Антон Рябых, работаю в Doubletapp. Вместе с коллегой Данилом Гальпериным мы написали статью про важный этап в процессе обучения нейронных сетей и получения необходимых нам результатов — оптимизацию модели. Зачем нужно оптимизировать модель, если и так все работает? Но как только вы начнете разворачивать модель на устройстве, которое будет ее обрабатывать, перед вами встанет множество проблем.
Как запихать нейронку в кофеварку
2020-10-27 в 6:34, admin, рубрики: devops, Edge TPU, Google Edge, Google TPU, gyrfalcon, inference, MNN, myriad, ncnn, ONNX, ONNX runtime, ONNX.js, opencv, OpenVINO, pytorch, Pytorch mobile, Tencent cnn, TensorFlow, Tensorflow lite, tensorrt, TorchScript, triton, Анализ и проектирование систем, Блог компании Recognitor, Компьютерное железо, машинное обучениеМир машинного обучения продолжает стремительно развиваться. Всего за год технология может стать мейнстримом, и разительно измениться, придя в повседневность.
За прошедший год-полтора, одной из таких технологий, стали фреймворки выполнения моделей машинного обучения. Не то, что их не было. Но, за этот год, те которые были — стали сильно проще, удобнее, мощнее.
В статье я попробую осветить всё что повылезало за последнее время. Чтобы вы, решив использовать нейронную сеть в очередном калькуляторе, знали куда смотреть.
Читать полностью »
Self-driving ГАЗ66 Monster Truck 1-16
2020-02-19 в 11:28, admin, рубрики: DIY, diy или сделай сам, Jetson Nano, opencv, RC cars, TensorFlow, tensorrt, машинное обучениеХочу рассказать вам о том, как я делал и сделал самоуправляему машинку :)
Я мог бы рассказать сразу, как делать, сухо прикрепив схемы и bash команды, но так будет скучно. Предлагаю вам интересную (я надеюсь) историю о том, как лично я прошел этот путь, и куда пришел.
Те места, где было что фоткать, с фотками. Там, где про софт — скорее всего без фото.
Это будет действительно история в формате повествования, как я рассказывал бы вам за чашкой кофе. Это не про bash команды, python скрипты, и вот это вот всё.
Начнём с фотки и видео того, что получилось, и дальше вся история под катом.
TensorRT 6.x.x.x — высокопроизводительный инференс для моделей глубокого обучения (Object Detection и Segmentation)
2020-01-20 в 12:17, admin, рубрики: aurorai.ru, devops, docker, machine learning, object detection, ods.ai, python, pytorch, segmentation, tensorrt, Блог компании Open Data Science, машинное обучение, обработка изображений
Больно только в первый раз!
Всем привет! Дорогие друзья, в этой статье я хочу поделиться своим опытом использования TensorRT, RetinaNet на базе репозитория github.com/aidonchuk/retinanet-examples (это форк официальной репы от nvidia, который позволит начать использовать в продакшен оптимизированные модели в кратчайшие сроки). Пролистывая сообщения в каналах сообщества ods.ai, я сталкиваюсь с вопросами по использованию TensorRT, и в основном вопросы повторяются, поэтому я решил написать как можно более полное руководство по использованию быстрого инференса на основе TensorRT, RetinaNet, Unet и docker.
Читать полностью »
Джедайская техника уменьшения сверточных сетей — pruning
2019-12-27 в 7:10, admin, рубрики: cnn, convolutional neural network, CUDA, deep learning, eco, gpu, keras, machine learning, neural networks, Nvidia, optimization, pruning, python, speedup, TensorFlow, tensorrt, yolo, высокая производительность, искусственный интеллект, Исследования и прогнозы в IT, машинное обучение
Перед тобой снова задача детектирования объектов. Приоритет — скорость работы при приемлемой точности. Берешь архитектуру YOLOv3 и дообучаешь. Точность(mAp75) больше 0.95. Но скорость прогона всё еще низкая. Черт.
Сегодня обойдём стороной квантизацию. А под катом рассмотрим Model Pruning — обрезание избыточных частей сети для ускорения Inference без потери точности. Наглядно — откуда, сколько и как можно вырезать. Разберем, как сделать это вручную и где можно автоматизировать. В конце — репозиторий на keras.
Ультимативное сравнение embedded платформ для AI
2019-09-23 в 16:22, admin, рубрики: 2801, 2803, coral, embedded, GAP8, google coral, Grove AI, gyrfalcon, intel, intel ncs2, Intel NUC, Jetson AGX, Jetson Nano, jetson tx1, mobilnet, movidius, myriad, neural network, open vino, Raspberry Pi4, Rockchip, RPi4, Snapdragon, ssd, TensorFlow, tensorrt, tftrt, Анализ и проектирование систем, Блог компании Recognitor, искусственный интеллект, машинное обучение, обработка изображенийНейронные сеточки захватывают мир. Они считают посетителей, контролируют качество, ведут статистику и оценивают безопасность. Куча стартапов, использование в промышленности.
Замечательные фреймворки. Что PyTorch, что второй TensorFlow. Всё становиться удобнее и удобнее, проще и проще…
Но есть одна тёмная сторона. Про неё стараются молчать. Там нет ничего радостного, только тьма и отчаяние. Каждый раз когда видишь позитивную статью — грустно вздыхаешь, так как понимаешь что просто человек что-то не понял. Или скрыл.
Давайте поговорим про продакшн на embeded-устройствах.
Читать полностью »