Привет, с вами снова ServerFlow. И да, мы потратили 320 тысяч рублей, чтобы проверить, есть ли какой-то толк от Nvlink при развертывания нейросетей? Тесты мы провели на двух видеокартах Nvidia A5000 24GB, сначала объединённые NVLink, а после без него. Для наглядности теста нами была выбрана последняя языковая модель LLaMA 3.2 на 90 миллиардов параметров. Что у нас в итоге вышло – сможете узнать ниже в посте.
Рубрика «машинное обучение» - 29
Мы потратили 320 тысяч рублей ради Nvlink для нейросетей. Но был ли в этом смысл?
2024-11-25 в 10:53, admin, рубрики: A5000, llama, Nvidia, NVLink, ServerFlow, Видеокарты, ИИ, искуственный интеллект, машинное обучение, Серверное администрированиеПроблемы при поддержке IT-продуктов на базе AI и варианты их решения
2024-11-22 в 6:12, admin, рубрики: AI, ep-101, machine learning, искусственный интеллект, машинное обучение, планирование бюджета, поддержка проекта, управление командой, Управление продуктом, управление проектамиДобрый день! Меня зовут Саша Беляев и сейчас я лидирую несколько направлений разработки вокруг аналитики, AI/ML, AB-test, внутри Х5 в продукте CVM. Подробнее о моём опыте можно посмотреть тут. Сегодня я хочу поделиться своими мыслями о проблемах, которые возникают при передаче в промышленную эксплуатацию решений на базе AI, а также попробую сформировать некоторый набор рекомендаций, которые смогут кому-нибудь облегчить жизнь в будущем.
Рубрика: VPS на пределе возможностей. LLM на CPU с 12Gb RAM
2024-11-12 в 9:01, admin, рубрики: llama, Ollama, ruvds_статьи, vps, ИИ, искуственный интеллект, машинное обучение, нейронные сети, облако, сервер
По работе я привык, что если какая-то нейронка не влезает на GPU-сервер, то первое моё действие — проверить, нет ли модели с квантизацией побольше, либо запросить ещё больше VRAM. Однако не все работают на облачных провайдерах, кто-то у нас ещё и заказывает услуги. А тарифы на GPU-серверы порой заставляют серьёзно задуматься о том, так ли они нужны, особенно когда нет потребности в нейронках на сотни миллиардов параметров. Что, если попробовать делать всё на обычном VPS-тарифе с бюджетом в 5000 рублей в месяц? Да и зачем ограничиваться одними лишь нейронками?
Путь разметки данных для NER: от Open Source до Prodigy
2024-11-09 в 20:15, admin, рубрики: annotation processing, artificial intelligence, named entity recognition, natural language processing, prodigy, spacy, искусственный интеллект, машинное обучениеРаспознавание именованных сущностей (Named Entity Recognition, NER) — это одна из самых востребованных задач в обработке естественного языка (NLP). Чтобы создать качественную модель для NER, требуется тщательно размеченная обучающая выборка, а процесс её создания может занять много времени и ресурсов. В этой статье я расскажу о своём пути разметки данных, начиная с использования Open Source инструментов и переходя к Prodigy, профессиональному инструменту для создания обучающих наборов данных.
Почему мы выбрали NER
Сверточные нейронные сети. Создание нейросети для распознавания цифр на языке программирования Python
2024-11-06 в 9:15, admin, рубрики: keras, python, TensorFlow, алгоритмы свертки, машинное обучение, нейросеть, обработка изображений, распознование текста, рукописные числа, сверточные нейронные сетиВ современном мире искусственный интеллект и машинное обучение стремительно развиваются, меняя нашу повседневную жизнь и открывая новые горизонты в различных областях. Одной из ключевых технологий, лежащих в основе этих достижений, являются сверточные нейронные сети (Convolutional Neural Networks, CNN). Эти мощные алгоритмы позволяют эффективно обрабатывать и анализировать изображения, что находит применение в самых разных сферах: от медицинской диагностики до систем безопасности.
CNN подходит для классификации изображений, что делает её отличным выбором для задачи распознавания рукописных цифр.
CNN состоит из:
Бесплатные боты, чтобы раздеть девушку по фото в 2024
2024-11-02 в 11:10, admin, рубрики: AI, искусственный интеллект, машинное обучение
Учитывая то, что после уволнения из последней работы у меня появилась куча свободного времени, я решил провести глубокий ресерч данной сферы и найти бесплатные и рабочие сервисы.
Спойлер: бесплатный бот делающий качественно я нашел только один: https://t.me/fastnudifybot
Читать полностью »
GigaChat MAX — новая, сильная модель GigaChat
2024-11-02 в 10:28, admin, рубрики: chatgpt, GigaChat, gpt-4, llm, машинное обучениеСалют! Прошедший сезон оказался богат на релизы: ровно год назад мы делились новостями о GigaChat Pro, затем весной рассказали об увеличении контекста и улучшении возможностей модели, а совсем недавно завершили обучение GigaChat Vision: мы научили GigaChat понимать картинки и уже пишем про это статью.
Спойлеры к GigaChat Vision
Краткий свод концепций Tensor Flow
2024-11-01 в 14:37, admin, рубрики: TensorFlow, гайд, машинное обучение, нейросети, Питон, фреймворкиTensorFlow — один из самых мощных и популярных фреймворков для машинного обучения, разработанный компанией Google Brain в 2015 году.
Изначально фреймворк создавали как платформу для внутреннего использования в Google, заменив предшествующую библиотеку DistBelief, которая была ограничена возможностями только для небольших исследований.
TensorFlow, в отличие от DistBelief, задумывался как кросс-платформенное решение с возможностью гибкой и масштабируемой настройки.