Рубрика «llama.cpp»
Вайб-кодинг с доставкой на дом
2025-08-19 в 10:05, admin, рубрики: kubernetes, llama.cpp, Ollama, вайб-кодингНейросети простым языком
2025-08-12 в 5:15, admin, рубрики: AI, chatgpt, gemini, grok, llama.cpp, llm, TransformersПривет!
В интернете можно найти разные объяснения того, как работают нейросети, но те, что мне попадались, были либо слишком специфичны и ориентированы на специалистов, либо слишком упрощены.
Постарался написать свои объяснения, которые были бы не было слишком упрощены, но при этом по возможности понятны.
Статья на 10 процентов скомпилирована из других статей, на 30 процентов скомпилирована из множества диалогов с разными LLM и на 60 процентов “написана от руки” на основании статей и ответов.
Оглавление
Георгий Герганов, автор llama.cpp и звукового кейлогера
2025-07-07 в 9:01, admin, рубрики: Georgi Gerganov, ggml, LiteLLM, llama, llama.cpp, llm, LM Studio, Ollama, Георгий Герганов, тензорная алгебра
Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg, которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу OllamaЧитать полностью »
Видеокарты для нейросетей: две RTX 5060 Ti 16GB или одна RTX 3090 24GB? Тест LLM‑инференса
2025-06-18 в 8:00, admin, рубрики: exllamav3, llama.cpp, qwen3, rtx 3090 24gb, rtx 5060 ti 16gb, tabbyapi, видеокарты для нейросетей, Железо, инференс, тест ии-моделей
Мечтаете запустить нейросеть на компьютере и анализировать целые книги или сложные документы? Тогда объём VRAM и поддержка длинных контекстов — ваши главные приоритеты.
Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости
2025-06-18 в 7:44, admin, рубрики: AI, deepseek, DeepSeek R1, deepseek r1-0528, gguf, llama.cpp, llm, llm-модели, local ai, кодогенерацияВведение
После сборки домашнего сервера для работы с LLM DeepSeek-R1 подробно о нём можно прочитать в статье Локальный DeepSeek-R1-0528. Когда скорость улитки – не приговор, а точка старта возникла потребность сравнить разные квантизации для оптимизации скорости/качества работы. Запуская работу с разными моделями, я заметил что квантизация зачастую приводит к ускорению генерации токенов.
Читать полностью »
Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта
2025-06-09 в 14:21, admin, рубрики: AI, deepseek, DeepSeek R1, deepseek v3, EPYC, gguf, huggingface, llama.cpp, llm, local aiЗачем?
У меня возникло желание запустить локальную версию DeepSeek R1 и V3. Это связано с необходимостью избежать рисков связанных с блокировками доступа и утечкой данных. Ещё добавилось желание протестировать разнообразные настройки LLM. До этого момента я пробовал запускать разные небольшие модели исключительно на cpu. А вот опыта с большими моделями не было.
Где?
Тестирование производительности видеокарт на примере больших языковых моделей с использованием Llama.cpp
2025-06-09 в 9:56, admin, рубрики: llama.cpp, llm, бенчмарки, Видеокарты, нагрузочное тестированиеВ последнее время большие языковые модели (LLM) становятся все более популярными, но для их эффективного запуска требуется значительная вычислительная мощность. Один из способов запуска LLM локально - использование библиотеки Llama.cpp. В этой статье мы рассмотрим, как тестировать производительность видеокарт для LLM с использованием инструмента llama-bench, входящего в состав Llama.cpp.
Дисклеймер: Почему Llama.cpp, а не Ollama?
Как запустить локально LLM, если ее веса не помещаются в [видео]память
2025-04-26 в 15:59, admin, рубрики: apple, inference, llama.cpp, llmНекоторые люди предпочитают пользоваться не только облачными сервисами, но и запускать LLM у себя дома. Например, так можно запустить дообученные модели без цензуры, или не посылать в облако свои личные документы. А то и запускать бесчеловечные эксперименты над LLM так, чтобы superintelligence/skynet потом это не припомнил.
![Как запустить локально LLM, если ее веса не помещаются в [видео]память - 1](https://www.pvsm.ru/images/2025/04/26/kak-zapustit-lokalno-LLM-esli-ee-vesa-ne-pomeshayutsya-v-video-pamyat.jpg "Как запустить локально LLM, если ее веса не помещаются в [видео]память - 1")
Есть много моделей, оптимизированых для быстрой работы на устройствах с небольшой памятью. Но к сожалению, веса самых продвинутых моделей, которые играют в одной лиге с лучшими онлайн моделями, занимают сотни гигабайт. Например, 8-битные веса Deepseek R1-671B занимают 700 гигабайт, квантованые q4 — 350 гигов. Можно квантовать и в 1 бит, размер тогда будет около 90 гигов, но такая модель почти бесполезна. Еще есть много качественных finetunes на основе Mistral-Large-instruct-130B, Qwen2.5-72B, llama3.3-70B, веса которых также не помещаются в память старших моделей видеокарт.