Рубрика «mlops»

Почему пользовать MLOps CI/CD компонентом круто

Почему пользовать MLOps CI/CD компонентом круто

В последнее время я часто работал с разными ML-проектами в GitLab. В каждом был свой .gitlab-ci.ymlЧитать полностью »

1. Проблема

Когда мы обучаем модели машинного обучения, почти всегда возникает один и тот же вопрос:

Что именно происходит во время обучения?

Обычно мы смотрим на графики метрик и пытаемся вручную интерпретировать происходящее:

  • Модель недообучена

  • Модель переобучена

  • Имбаланс датасета.

  • Сильно шумные данные.

Можно посмотреть на learning curves и понять, что происходит:

Читать полностью »
TL;DR

Мы пытались запустить LLM inference на старой AMD RX580 (8 VRAM) через ROCm в Kubernetes. GPU корректно определялся, VRAM использовалась, но inference падал с ошибками вида:

hipMemGetInfo(free, total) CUDA error: invalid argument

После серии экспериментов с ROCm userspace, Docker‑образами и Kubernetes deployment выяснилось, что проблема лежит на границе:

kernel → ROCm runtime → ggml backend

Финальное решение включало:

  • переход на kernel 6.8

  • стабилизацию ROCm runtime

  • использование llama.cpp + ROCm

  • grammar‑constrained decoding для strict sanity prompts

В итоге мы получили стабильный GPU inference:

literally me

literally me

Один ML-проект в проде вам или два другому? Внедрение машинного обучения в производственную среду остаётся одной из главных проблем индустрии. По статистике, 80% ML-проектовЧитать полностью »

Машинное обучение сейчас используется практически везде, по крайней мере если верить рекламе. И хотя для многих областей это скорее хайп, чем реальное использование, стоит признать, что ML сейчас действительно широко распространено. И, как у любого другого направления в ИТ, у машинного обучения также есть проблемы с безопасностью и в этой статье мы рассмотрим десять наиболее распространенных рисков ИБ.

Этот рейтингЧитать полностью »

XTX Markets — это ведущая компания в области алгоритмической торговли. Они ежедневно обрабатываем огромные объёмы данных, которые являются основой для наших исследований в области машинного обучения и количественного анализа. Для эффективной работы нашим исследователям нужна быстрая, надёжная и удобная система хранения данных.

Представьте себе кластер из тысяч серверов, которые одновременно обращаются к одному и тому же набору данных. Именно в таких условиях работает наша инфраструктура. Поэтому производительность файловой системы становится критически важным фактором.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js