Рубрика «big data» - 79

в 10:46, , рубрики: artificial intelligence, big data, data mining, data science, FlyElephant, R, Блог компании FlyElephant, Большие данные, искусственный интеллект, конференция, машинное обучение, наука о данных

Приглашаем на IV конференцию по практическому применению науки о данных DataScience Lab 13 мая - 1

Команда FlyElephant приглашает всех 13 мая в Одессу на IV конференцию по практическому применению науки о данных Data Science Lab (exAI&BigDataLab).

Data Science Lab — это ежегодная техническая конференция, которая объединяет исследователей, инженеров и разработчиков, связанных с Data Science для обмена опытом и обсуждения актуальных тем в области машинного обучения, обработки естественного языка, распознавания образов и других аспектов анализа данных. Темы докладов раскрывают вопросы от практического внедрения результатов исследований до самых последних теоретических разработок.
Читать полностью »

в 11:49, , рубрики: big data, data mining, machine learning, mail.ru, ML Boot Camp, Алгоритмы, Блог компании Mail.Ru Group, машинное обучение, Спортивное программирование

image

21 апреля мы открываем четвертое по счету соревнование по машинному обучению на платформе ML Boot Camp. Сегодня мы расскажем о новой задаче, обновлениях на сайте и других полезных ништяках. А если вы вдруг впервые слышите, что такое ML Boot Camp, заходите под спойлер, и мы все расскажем.

О платформе ML Boot Camp

ML Boot Camp — площадка для решения задач по машинному обучению. Периодически мы выкладываем на ней новые задачи и запускаем контест. Участники должны решить нашу задачу в течение месяца и прислать решение. Авторы лучших решений получат призы. В прошлом чемпионате мы дарили MacBook Air за первое место, iPad — за второе и третье и iPod nano — за 4-6 места.

На старте участники получают условия задачи, словесное описание доступных данных — обучающую выборку. Выборка состоит из размеченных примеров — векторов описаний каждого объекта с известным ответом. Участники с помощью известных им методов машинного обучения тренируют компьютер. Обученную систему они используют на новых объектах (тестовой выборке), пытаясь определить ответ для них.

Тестовая выборка случайно поделена на две части: рейтинговую и финальную. Общий результат на рейтинговых данных вычисляется системой и публикуется сразу, но победителем становится тот, кто получит наилучшие результаты на финальных данных. Результаты остаются скрытыми для участников до самого конца соревнования.

В последний день чемпионата участник может выбрать два решения, которые будут представлять его в финале. Лучшее из них пойдет в зачет на таблице лидеров.

Читать полностью »

в 16:20, , рубрики: big data, data science, Блог компании Университет ИТМО, Университет ИТМО

Сегодня мы подготовили для вас дайджест, в котором постарались собрать самые интересные литературные источники, статьи, видеокурсы и лекции (в том числе подготовленные силами преподавателей, студентов и сотрудников Университета ИТМО), которые позволят познакомиться с Data Science.

Эти материалы затрагивают как теоретические аспекты работы с данными, так и практические — направленные на создание алгоритмов и написание программ.

Дайджест Университета ИТМО: материалы для тех, кто хочет влиться в Data Science - 1Читать полностью »

в 14:30, , рубрики: big data, data mining, machine learning, mail.ru, ML Boot Camp, Алгоритмы, Блог компании Mail.Ru Group, машинное обучение

image

19 марта закончился третий чемпионат по машинному обучению на платформе ML Boot Camp. 614 человек прислали решения и поборолись за главный приз ー MacBook Air. Для нас это важный проект: мы хотим расширить сообщество ML-специалистов России. Поэтому в наших задачах сможет разобраться даже новичок. Теоретически… Профи же соревнуются благодаря сложности метрик и большому ряду параметров задачи.

Со второго контеста многое изменилось. Мы увеличили количество участников вдвое, прикрутили к серверу новую метрику, пофиксили баги и создали ML-комьюнити в Телеграме. Рассказываем, как проводили третий контест.

Читать полностью »

в 7:57, , рубрики: big data, maps, Parallels, автомобили, Блог компании Parallels, геопозиционирование, ит, картогарфия, карты, параллели, Разработка робототехники, Разработка систем передачи данных, Разработка систем связи, роботы, транспорт

Самые подробные карты мира будут нужны автомобилям, а не людям - 1

Сегодня целый ряд компаний, среди которых Here, Civil Maps и даже Nvidia, работают над новым видом картографии. Будущая значимость автомобильной и высокотехнологичной промышленности зависит от успехов беспилотных автомобилей. В течение следующих пяти лет на наших дорогах могут появиться машины с «ограниченной автономностью», способные обходиться без человека лишь при определённых условиях или только в определённых географических точках. Но полностью автономный автомобиль, способный самостоятельно ездить где угодно и в любое время, когда роль человека ограничена лишь указанием пункта назначения, всё ещё остается отдалённой целью. Чтобы это стало реальностью, автомобили должны точно знать, где они находятся. И для этого понадобится гораздо большая точность позиционирования, чем сегодня обеспечивают GPS или ГЛОНАСС. Значит, нужны будут гораздо более точные карты, нежели те, что установлены в вашем навигаторе. Но фокус в том, что ни один человек не будет способен их прочитать! (с)Читать полностью »

в 15:06, , рубрики: big data, big data analytics, machine learning, microsoft, Блог компании Microsoft, машинное обучение

Мы не так часто рассказываем здесь про мероприятия, но про это было сложно промолчать. Если вы фанатеете от космоса и NASA, хотите защитить нашу планету и её жителей, любите работать с данными и совершать новые открытия на их основе, вам точно захочется поучаствовать в International Space Apps Challenge. По катом вы узнаете про 5 основных задач, которые вам предстоит решить.

International Space Apps Challenge: хакатон от NASA - 1
Читать полностью »

в 9:13, , рубрики: big data, ангстрем, рвк, Ростелеком, Руссофт, Текучка, метки: , , , , ,

Федеральное агентство по техническому регулированию и метрологии (Росстандарт) создаст комитет для разработки стандартов в сфере «больших данных», «интернета вещей» и «умных городов», пишет газета «Известия» со ссылкой на приказ ведомства. Среди организаций, чьи представители войдут в комитет — «Ростелеком», «Газпром нефть», «Ангстрем-Т», а также некоммерческие партнерства Читать полностью »

в 9:53, , рубрики: big data, data mining, data science, machine learning, python, машинное обучение

Обычно модели машинного обучения строят в jupyter-ноутбуках, код которых выглядит, мягко говоря, не очень — длинные простыни из лапши выражений и вызовов "на коленке" написанных функций. Понятно, что такой код почти невозможно поддерживать, поэтому каждый проект переписывается чуть ли не с нуля. А о внедрении этого кода в production даже подумать страшно.

Поэтому сегодня представляем на ваш строгий суд превью библиотеки по работе с датасетами и data science моделями. С ее помощью ваш код может выглядеть так:

my_dataset.
    load('/some/path').
    normalize().
    resize(shape=(256, 256, 256)).
    random_rotate(angle=(-30, 30))
    random_crop(shape=(64, 64, 64))

for i in range(MAX_ITER):
    batch = my_dataset.next_batch(BATCH_SIZE, shuffle=True)
    # обучаем модель, подавая ей батчи с данными

В этой статье вы узнаете об основных классах и методах, которые помогут сделать ваш код простым, понятным и удобным.

Читать полностью »

в 13:05, , рубрики: big data, data mining, R, высокая производительность, производительность

Недавно мы писали приложение на Shiny, где нужно было использовать очень большой блок данных (dataframe). Это непосредственно влияло на время запуска приложения, поэтому пришлось рассмотреть ряд способов чтения данных из файлов в R (в нашем случае это были csv-файлы, предоставленные заказчиком) и определить лучший.

Цель этой заметки — сравнить:

  1. read.csv из utils — стандартный способ чтения csv-файлов в R
  2. read_csv из readr, который в RStudio заменил предыдущий метод
  3. load и readRDS из base, и
  4. read_feather из feather и fread из data.table.

Читать полностью »

в 11:45, , рубрики: big data, Закон о персональных данных россиян, кейсы, мгтс, Роскомнадзор, суд, метки: , , , , ,

Руководитель Центра компетенций по импортозамещению в сфере информационно-коммуникационных технологий Илья Массух обратил в своем Facebook внимание на решение Арбитражного суда Москвы по делу против МГТС. Провайдер заключил с рядом компаний договор по продаже им истории посещений сайтов браузеров пользователей. В частности такие соглашения были заключены с дочкой крупнейшего сейлс-хауса «Видео Интернешнл» ООО «Читать полностью »

1...1020...787980...90100...147
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js