Еще в 2008 году, посмотрев фильм "Железный человек", я понял, что хочу сделать себе такого же виртуального помощника, как у главного героя был Джарвис — искуственный интеллект, с которым Тони Старк общался в формате обычной речи, а тот понимал его команды и послушно исполнял.
Ollama — это инструмент, который позволяет запускать локальные LLM (как LLaMA, Mistral, Gemma и другие)
LLaMA (Large Language Model Meta AI) — это серия открытых языковых моделей, разработанных компанией Meta
OpenWebUI — это веб-интерфейс для Ollama, похожий на ChatGPT, но работающий с локальными моделями
Memory 8+ GB
CPU 4+ (лучше GPU)
HDD 25+ GB
https://docs.docker.com/engine/install/ubuntu
Читать полностью »Друзья, приветствую! Надеюсь, успели соскучиться.
Последние пару месяцев я с головой ушёл в исследование интеграции ИИ-агентов в собственные Python-проекты. В процессе накопилось немало практических знаний и наблюдений, которыми просто грех не поделиться. Поэтому сегодня я возвращаюсь на Хабр — с новой темой, свежим взглядом и с намерением писать чаще.
На повестке дня — LangGraph и MCP: инструменты, с помощью которых можно создавать действительно полезных ИИ-агентов.
Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg, которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу OllamaЧитать полностью »
Всем привет! С вами Кирилл Филипенко, сисадмин из Selectel, и сегодня мы погрузимся в тему LLM-агентов. Сейчас об этих самых «агентах» кричат буквально из каждого утюга, поэтому пришло время наконец-то разобраться, что это такое, как они работают и с чем их, собственно, едят. Прыгайте под кат, будет интересно!Читать полностью »
Всем привет! Меня зовут Николай Луняка, и я, как и многие из вас, ежедневно утопаю в потоке информации. Количество аудиоконтента растёт в геометрической прогрессии, при этом его нужно ещё «переварить» и зафиксировать.
Интереснейшие лекции хочется сохранить не только в памяти, но и в виде тезисов, а ещё есть подкасты, интервью, да и банальные голосовые заметки, надиктованные на бегу. Знакомая картина?
На помощь приходят облачные сервисы: транскрибация, Читать полностью »
Решил установить и протестировать возможности DeepSeek 1.5B — компактной языковой модели, которая работает без тяжёлого железа и запускается даже на домашнем сервере.
В этой статье покажу и расскажу:
Справедливое желание автоматизировать всё подряд заставляет чуть иначе взглянуть на использование языковых моделей для написания кода.
В этой статье мы напишем ИИ-агент на основе Gradle и Ollama. Этот ИИ-агент должен будет генерировать работающий программный код, основываясь только на промптах и написанном ранее коде. В конце статьи мы немного поэкспериментируем с написанием промптов для создания простейшего приложения, и, ретроспективно взглянув на проделанную работу, сделаем вывод, что писать легче — код или промпты.
Некоторое время назад я был в восторге от Ollama: простое скачивание моделей одной консольной командой, наличие SDK для NodeJS и Python, OpenAI-подобное API. Однако, так как отрасль рынка активно развивается, инструмент с каждым днем становится менее конкурентноспособным
Пункты ниже заставят вас задуматься рассмотреть другой инструмент запуска GGUF, например: LMStudio, LocalAI, KoboldCPP, vLLM или llama-server
Модели-шизофреники c тысячами загрузок
