Рубрика «data science»
Кластеризация в ML: от теоретических основ популярных алгоритмов к их реализации с нуля на Python
2024-03-08 в 19:01, admin, рубрики: affinity propagation, data science, dbscan, k-means, python, агломеративная кластеризация, алгоритмы машинного обучения, глубокое обучение, кластеризация, машинное обучениеКак я случайно сэкономил компании полмиллиона долларов
2024-01-04 в 11:00, admin, рубрики: data science, зарубежный опыт, мойофис, оптимизация расходов, перевод, экономияРазработчик под ником Ludic*, автор технического блога Ludicity, сэкономил своей компании полмиллиона долларов за пять минут. Это больше, чем он заработал для работодателей за всю его карьеру, поскольку сфера деятельности, о которой далее пойдёт речь, — обман. Он всего лишь нажал на пять кнопок.
Отчёт о KuberConf’ 2023
2023-07-05 в 14:13, admin, рубрики: cilium, data science, devops, k8s, KuberConf, kubernetes, Yandex.Cloud, конференции, яндексИнформационная служба Хабра посетила конференцию KuberConf’ 2023, посвящённую Kubernetes® от компании Yandex Cloud. Эта конференция — узкоспециализированное мероприятие для людей, работающих с Kubernetes®, имеющих отношение к созданию сервисов и решению бизнес-задач с его помощью в финтехе, e-commerce, HoReCa и так далее. Интересно, что сначала билеты на это мероприятие раздавали в telegram-группе Kubernetes®-сообщества и только потом была открыта регистрация на него, офлайн и онлайн. Я вскочил в последний вагон уходящего поезда.
Решение задачи определения RUL трансформаторов с помощью машинного обучения на python
2023-06-24 в 17:24, admin, рубрики: data science, machinelearning, python, Анализ и проектирование систем, диагностика, искусственный интеллект, машинное обучение, остаточный ресурс, промышленностьДисклеймер:Читать полностью »
«Midjourney на коленке». Как развернуть нейросеть в облаке за 5 минут, или начало работы с Diffusers
2023-03-24 в 13:01, admin, рубрики: dalle, data engineering, data science, jupiter, machine learning, midjourney, selectel, stable diffusion, Блог компании Selectel, будущее здесь, искусственный интеллект, машинное обучение
Построить свою конвейерную ленту по разработке нейронок не так сложно. Нужен «всего лишь» сервер с GPU и настроенное окружение с библиотекой Diffusers. Если вам интересно, что это такое, как создать свою «Midjourney на коленке» и генерировать вайф в режиме 24/7, добро пожаловать под кат!
Читать полностью »
Полезные материалы по Data Science и машинному обучению, которые помогут пройти сквозь джунгли из терминов
2023-03-21 в 14:21, admin, рубрики: data engineering, data science, selectel, аналитика данных, Блог компании Selectel, искусственный интеллект, математика, машинное обучение, подборкаПривет! Меня зовут Ефим, я MLOps-инженер в Selectel. В прошлом был автоматизатором, ML-инженером, дата-аналитиком и дата-инженером — и уже несколько лет падаю в пропасть машинного обучения и Data Science. Это буквально необъятная сфера, в которой почти нет ориентиров. Основная проблема в том, что разделов математики довольно много и все они, на первый взгляд, нужны в том же машинном обучении.
В этой статье делюсь полезными материалами, которые помогут найти и заполнить теоретические и практические проблемы и основательно подойти к своему профессиональному развитию. Добро пожаловать под кат!
Читать полностью »
ML-задача на 30 минут: гадаем по cookie
2023-01-17 в 6:00, admin, рубрики: big data, data science, machinelearning, Блог компании МТС, данные, Занимательные задачки, машинное обучение, соревнование, хакатон, Хакатоны«Я тебя по IP вычислю!» – помните такую угрозу из интернета времен нулевых годов? Мы в Big Data МТС решили выяснить, можно ли составить хотя бы приблизительное представление о человеке, обладая информацией о сайтах, которые он посещает. Для этого мы сгенерировали полусинтетические данные, чтобы понять, насколько смелыми можно быть в этих ваших интернетах.
ChatGPT пройдёт собеседование по Data Science вместо вас
2022-12-14 в 9:00, admin, рубрики: big data, chatgpt, data science, OpenAI, python, ruvds_статьи, Алгоритмы, Блог компании RUVDS.com, машинное обучение, нейросетиПривет, чемпион!
Возможно, ты сейчас готовишься к собеседованию в какую-нибудь IT-компанию. Скорее всего, тебе будут задавать технические вопросы, поэтому тебе приходится готовиться. Но, возможно, ты всё равно не сможешь ответить на все вопросы правильно. Как быть?!
А слышал ли ты про новую умную chatGPT? А что, если я тебе скажу, что больше готовиться к собеседованиям так усердно не нужно! Что?! Задаваемые тебе вопросы можно делегировать chatGPT.
В общем, нет времени объяснять, давай устроим собес для chatGPT по Data Science и узнаем, сможет ли сетка его пройти?! Всё по классике — спрашиваем вопросы по 4 секциям:
- Программирование — Python и алгоритмы,
- Написание SQL-запросов,
- Data Science и статистика,
- ML System Design.
Прощай, Data Science
2022-12-14 в 5:15, admin, рубрики: data engineering, data science, дата-инженер, Карьера в IT-индустрии, карьера ИТ-специалиста, математикаЭто по большей мере личный пост, а не какое-то глубокое исследование. Если вам нужны какие-то выводы, то здесь вы их не найдёте. Откровенно говоря, я даже не знаю, кто его целевая аудитория (возможно «дата-саентисты, которые себя ненавидят»?).
Последние несколько лет я был дата-саентистом, но в 2022 году получил новую должность дата-инженера, и пока я ею вполне доволен.
Я по-прежнему работаю вместе с «дата-саентистами» и немного продолжаю заниматься этой сферой, но вся моя работа по «data science» заключается в руководстве и консультировании по чужой работе. Я в большей степени занимаюсь реализацией data science (MLOps) и дата-инжинирингом.
Основная причина разочарования в data science заключалась в том, что работа казалась несущественной, во многих смыслах этого слова «неважной»:
- Работа — это непрекращающийся поток разработки, продукта и офисной политики, поэтому часто так бывает, что работа хороша настолько, насколько хорошо самое слабое звено в цепи.
- Никто не знал, в чём заключается разница между плохой и хорошей работой в data science, да никого это и не волновало. Это значит, что вы можете быть абсолютным неудачником или гением в ней, но в любом случае получите примерно одинаковое признание.
- Работа часто приносила очень малую пользу бизнесу (часто компенсируя некомпетентность выше по цепочке управления).
- Когда польза от работы превышала затраты на оплату труда, часто это не давало внутренней отдачи (например, настройка параметра, чтобы бизнес зарабатывал больше денег).