Рубрика «data engineering» - 6
Как классифицировать данные без разметки
2021-09-07 в 11:30, admin, рубрики: data engineering, data science, machine learning, python, Блог компании FunCorp, классификатор данных, классификация изображений, машинное обучение, нейросети, обработка данных, обработка изображений, сверточные нейросети
Пользователи iFunny ежедневно загружают в приложение около 100 000 единиц контента, среди которого не только мемы, но и расизм, насилие, порнография и другие недопустимые вещи.
Рецепт обучения нейросетей
2021-02-05 в 21:26, admin, рубрики: AI, data engineering, neural networks, python, TensorFlow, искусственный интеллект, машинное обучение, нейросети, нейросеть, переобучение нейросети, рекуррентная нейросеть, свёрточные сети, статистикаПеревод статьи A Recipe for Training Neural Networks от имени автора (Andrej Karpathy). С некоторыми дополнительными ссылками.
Также доступна версия на украинском языке в личном блоге: Рецепт навчання нейрнонних мереж.
Несколько недель назад я опубликовалЧитать полностью »
Как быть билингвом в Data Science
2021-01-09 в 16:19, admin, рубрики: big data, data engineering, data mining, data science, python, skillfactory, Блог компании SkillFactoryВ этой статье я хочу продемонстрировать R Markdown — удобную надстройку для программирования вашего проекта как на R, так и на Python, позволяющую программировать некоторые элементы вашего проекта на двух языках и управлять объектами, созданными на одном языке, с помощью другого языка. Это может быть полезно потому, что:
- Позволяет писать код на привычном языке, но при этом использовать функции, существующие только в другом языке.
- Позволяет напрямую сотрудничать с коллегой, который программирует на другом языке.
- Даёт возможность работать с двумя языками и со временем научиться свободно владеть ими.
4 месяца борьбы за место DS джуна (перекатиться в 37 лет)
2021-01-03 в 16:39, admin, рубрики: big data, Data Analyst, data engineering, data science, Карьера в IT-индустрии, смена профессии, собеседованияДелюсь собственным опытом, т.к., наверняка, это будет интересно таким же как я, но может и не только. Заранее предупрежу, многие термины и сокращения будут понятны только тем, кто имеет базовые знания и какой-то опыт в Data Science и Машинном обучении.
Итак, в наличии на август 2020:
-
8-летний бэкграунд в интернет-торговле и таргетированной рекламе
-
4 курса известной в ds-тусовке Machine Learning специализации Яндекса на курсере
-
пара курсов по нейронным сетям на "стэпике"
-
слегка взъерошенный в памяти вышмат
-
пара сертификатов по питону
Анонс: как дата-саентисты в ВК делают рекламу эффективной
2020-12-27 в 9:43, admin, рубрики: big data, data engineering, machine learning, ml, ruvds_прямые эфиры, Блог компании RUVDS.com, машинное обучение, реклама в вк, рекламный аукционЗавтра, 28 декабря в 20:00 у нас выступает Артем Попов — тимлид команды VK Performance Advertising.
Артем руководит командой, которая занимается задачами, связанными с Data Science в рекламе. Их задача делать рекламу в ВК эффективнее и выгодней.
Все члены команды, занимающиеся машинным обучением погружены как в инженерную часть, так и в продукт – культура разработки в ВК исторически развивалась таким образом, что разработчики занимаются продуктом от начала до конца, начиная постановкой задачи, заканчивая всем этапа разработки и жизни продукта в продакшене.
Артем расскажет про интересные задачи для дата-саентистов в мире рекламы.
Заметки Датасатаниста: реляционные vs связанные данные
2020-12-16 в 9:00, admin, рубрики: big data, data engineering, data science, ruvds_статьи, Блог компании RUVDS.com, данные, машинное обучение, реляционные данные, связанные данные
Сегодня мы поговорим о простой, казалось бы, теме, как реляционные и связанные данные.
Несмотря на всю ее простоту, замечаю, что иногда люди действительно путаются в них — я решил это исправить, написав краткое и неформальное объяснение, чем они являются и зачем нужны.
Мы обсудим, что такое реляционная модель и связанные с ней SQL и реляционная алгебра. Потом перейдем к примерам связанных данных из Викидата, а далее RDF, SPARQL и чутка поговорим про Datalog и логическое представление данных. В конце выводы — когда применять реляционную модель, а когда связно-логическую.
Основная цель заметки — это описать, когда что имеет смысл применять и почему. Так как тут немало непростых концепций сошлись в одном месте, то конечно же можно было бы по каждой написать книгу — но наша задача сегодня дать представление о теме и мы будем разбирать неформально на простых примерах.
Если у вас есть сомнения, чем одно отличается от второго и зачем вообще нужны связанные данные (LinkedData), то добро пожаловать под кат.
Читать полностью »
Главные тренды Data Science 2020 года, которые будут актуальны в 2021-м
2020-12-11 в 12:35, admin, рубрики: big data, data analysis, data engineering, data mining, data science, data scientist, skillfactory, Блог компании SkillFactory, Читальный залПривет! Сегодня я расскажу, как развивается сфера Data Science. 2020 год стал переломным не только для мира в целом, сфера данных активно совершенствуется и сегодня можно уже подводить итоги года. Встречайте тренды DS в 2020-2021 году.
Как бы я изучал Data Science, если бы начал пару лет назад, или Руководство по эффективному изучению науки о данных
2020-12-09 в 13:52, admin, рубрики: data engineering, data science, skillfactory, Алгоритмы, Блог компании SkillFactory, карьера, Карьера в IT-индустрии, математика, машинное обучение, образованиеКогда я только начал своё путешествие к науке о данных, я потратил много времени на то, чтобы понять, с чего начать, что я должен узнать в первую очередь и какие ресурсы должен использовать. За последние два года я узнал несколько вещей, о которых хотел знать раньше, например о том, стоит ли сначала сосредоточиться на программировании или статистике, какие ресурсы я должен использовать для изучения новых навыков, как я должен подходить к изучению этих навыков и так далее. Таким образом, эта статья написана, чтобы дать направления и идеи для тех, кто изучает Data Science.
