Рубрика «big data» - 23

в 13:59, , рубрики: big data, coursera, Блог компании Яндекс, высшая школа экономики, вышка, магистратура, машинное обучение, Учебный процесс в IT

Недавно Высшая школа экономики совместно с Яндексом открыла на платформе Coursera набор в англоязычную онлайн-магистратуру по data science. Помимо курсов и домашних заданий, студентов ждет работа над проектами и общение с представителями науки и индустрии. Сегодня академические руководители программы Евгений Соколов и Владимир Подольский рассказывают читателям Хабра о том, чего ждать от новой магистратуры и с какими вызовами они столкнулись во время разработки программы.

Вышка и Яндекс открыли онлайн-магистратуру по анализу данных на Coursera - 1

Как устроены онлайн-магистратуры

Онлайн-магистратуры — популярное направление в современном образовании. За последние годы этот формат стал очень востребован. Он решает ряд проблем, которые возникают у онлайн-курсов. Студенты активно вовлекаются в научную и проектную деятельность, а не предоставлены сами себе. Это полноценная учебная программа со множеством дисциплин, общением с преподавателями и дипломом международного образца.

Наша главная задача — организовать учебный процесс так, чтобы студенты чувствовали, что они учатся в университете, а не просто заплатили за курсы на Coursera и слушают их холодными зимними вечерами.
Читать полностью »

в 14:49, , рубрики: big data, data mining, data science, python, визуализация данных, комментарии, машинное обучение, нейросети

Привет!

Часто ли вы видите токсичные комментарии в соцсетях? Наверное, это зависит от контента, за которым наблюдаешь. Предлагаю немного поэкспериментировать на эту тему и научить нейросеть определять хейтерские комментарии.

Итак, наша глобальная цель — определить является ли комментарий агрессивным, то есть имеем дело с бинарной классификацией. Мы напишем простую нейросеть, обучим ее на датасете комментариев из разных соцсетей, а потом сделаем простой анализ с визуализацией.

Для работы я буду использовать Google Colab. Этот сервис позволяет запускать Jupyter Notebook'и, имея доступ к GPU (NVidia Tesla K80) бесплатно, что ускорит обучение. Мне понадобится backend TensorFlow, дефолтная версия в Colab 1.15.0, поэтому просто обновим до 2.0.0.

Импортируем модуль и обновляем.

Читать полностью »

в 10:21, , рубрики: big data, dating, Блог компании ua-hosting.company, будущее здесь, знакомства, социальные сети, Социальные сети и сообщества, Статистика в IT

Основатель Tazeros Global Systems Артур Хачуян рассказал о сборе данных в социальных сетях и как правильно составлять анкету в профиле, чтобы познакомиться в них с миллиардерами? Студия, где записывалось интервью, находится на высоте 332 метра. Вообще, в «Башне Федерация» находятся самые высокие апартаменты в Европе. Высота башни – 374 метра, 97 этажей.

Интервью с Артуром Хачуяном: как вычислить миллиардера в социальных сетях? - 1

Disclaimer. Эта статья — расшифровка интервью Артура Хачуяна на канале Forbes. Есть люди, которые экономят время и любят текст, есть те, кто не может на работе или в дороге смотреть видео, но с радостью читает Хабр, есть слабослышащие, для которых звуковая дорожка недоступна или сложна для восприятия. Мы решили для всех них и вас расшифровать отличный контент. Кто всё же предпочитает видео — ссылка в конце.

Интервьюер (далее – И): – Для того, чтобы разобраться в цифрах сайтов знакомств России, мы пригласили к нам одного из главных экспертов в России по «биг дате», основателя «Тазерос Глобал Системс» Артура Хачуяна.Читать полностью »

в 16:40, , рубрики: big data, colab, sockeye, transfer learning, Алгоритмы, машинное обучение, нейронные сети, нейронный перевод, чувашский язык

Нейронный машинные перевод (НМП, англ. Neural Machine Translation, NMT) развивается очень быстро. Сегодня, чтобы собрать свой переводчик, не нужно иметь два высших образования. Но чтобы обучить модель, нужен большой параллельный корпус (корпус, в котором предложению на исходном языке сопоставлен его перевод). На практике речь идет хотя бы об одном миллионе пар предложений. Есть даже отдельная большая область НМП, исследующая методы обучения языковых пар с малым количеством данных в электронном виде (англ. Low Resource NMT).

Мы собираем чувашско-русский корпус и параллельно смотрим, что можно сделать с имеющимся объемом данных. В этом примере использовали корпус из 90 000 пар предложений. Самый хороший результат на данный момент дал метод передачи знания (англ. Transfer Learning), о нем и пойдет речь в статье. Цель статьи — дать практический пример реализации, который легко можно было бы воспроизвести.Читать полностью »

в 15:37, , рубрики: big data, data, data lake, data mesh, DDD, Dodo Pizza Engineering, domain-driven design, Блог компании Dodo Pizza Engineering, данные, хранение данных

Привет! Мы в Dodo Pizza Engineering очень любим данные (а кто их сейчас не любит?). Сейчас будет история о том, как накопить все данные мира Dodo Pizza и дать любому сотруднику компании удобный доступ к этому массиву данных. Задача под звёздочкой: сохранить нервы команды Data Engineering.

Data Mesh: как работать с данными без монолита - 1Читать полностью »

в 14:36, , рубрики: big data, Госвеб, госзакупки, Железо, импортозамещение, инвестиции, искусственный интеллект, Константин Носков, Минкомсвязи, наука, роботы, Россия, Текучка, телеком, метки: , , , , , , , , , , , , ,

Министерство связи выпустила 3 приказа-пояснения, о том, как и кто может получить господдержку внедрения российских «сквозных цифровых технологий» в субъектах РФ. Максимальный размер гранта для проектов начатых в 2019, по решению министерства, может составлять до 1 миллиарда рублей. Проекты-соискатели обязаны показать свою значимость для региона, Читать полностью »

в 11:55, , рубрики: big data, Алгоритмы, Андрей Себрант, Блог компании ua-hosting.company, будущее здесь, матрикснет, машинное обучение, яндекс

Сейчас все говорят о новой революции, которую несет искусственный интеллект и машинное обучение. Умные алгоритмы проникают во все сферы жизни: от поисков бозона Хиггса, до выбора фильма на вечер. Самые передовые компании уже активно внедряют эти технологии в свои продукты и маркетинг. Персонализированные рекомендации, реклама, интерфейс сайта — все это не какая-то черная магия, а уже доступные технологии.

На отечественном рынке, без сомнения, самой передовой компанией, использующей мощь машин, является Яндекс. В своем докладе на #amoCONF директор по маркетингу сервисов Яндекс, Андрей Себрант, рассказал о наступившем будущем и возможностях, открывающихся каждой компании. Оптимизируйте ваш бизнес под тенденции будущего!

Disclaimer. Эта статья — расшифровка выступления Андрея Себранта. Есть люди, которые экономят время и любят текст, есть те, кто не может на работе или в дороге смотреть видео, но с радостью читает Хабр, есть слабослышащие, для которых звуковая дорожка недоступна или сложна для восприятия. Мы решили для всех них и вас расшифровать отличный контент. Кто всё же предпочитает видео — ссылка в конце.

Читать полностью »

в 9:26, , рубрики: big data, data mining, Блог компании Mail.Ru Group, будущее, дайджест, данные, искусственный интеллект, машинное обучение, Новости

Привет! Отфильтровав для вас большое количество источников и подписок, собрал все наиболее значимые новости из мира машинного обучения и искусственного интеллекта за октябрь. Не забудьте поделиться с коллегами или просто с теми, кому интересны такие новости.

Для тех, кто не читал дайджест за сентябрь, можете прочесть его здесь.

Итак, а теперь дайджест за октябрь:

1. Фотореалистичная 3D-модель человека выступила на TED. Нейросеть динамически восстанавливает 3D-модель человека на основе распознавания движения лицевых мышц. С помощью данных с камеры нейросеть распознает и восстанавливает эмоции и действия человека.

Читать полностью »

в 20:50, , рубрики: big data, data mining, data science, geopandas, pandas, python, анализ данных, визуализация данных, выборы, Геоинформационные сервисы

Привет!

В сентябре этого (2019) года прошли выборы Губернатора Санкт-Петербурга. Все данные о голосовании находятся в открытом доступе на сайте избирательной комиссии, мы не будем ничего ломать, а просто визуализируем информацию с этого сайта www.st-petersburg.vybory.izbirkom.ru в нужном для нас виде, проведем совсем несложный анализ и определим некоторые «волшебные» закономерности.

Обычно для подобных задач я использую Google Colab. Это сервис, который позволяет запускать Jupyter Notebook'и, имея доступ к GPU (NVidia Tesla K80) бесплатно, это заметно ускорит пирсинг данных и их дальнейшую обработку. Мне понадобились некоторые подготовительные работы перед импортом.

%%time 
!apt update
!apt upgrade
!apt install gdal-bin python-gdal python3-gdal 
# Install rtree - Geopandas requirment
!apt install python3-rtree 
# Install Geopandas
!pip install git+git://github.com/geopandas/geopandas.git
# Install descartes - Geopandas requirment
!pip install descartes

Далее импорты.

import requests 
from bs4 import BeautifulSoup 
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import geopandas as gpd
import xlrd

Описание используемых библиотек

  • requests — модуль для запроса на подключение к сайту

  • BeautifulSoup — модуль для парсинга html и xml документов; позволяет получить доступ напрямую к содержимому любых тегов в html

  • numpy — математический модуль с базовым и необходимым набором математических функций

  • pandas — библиотека для анализа данных

  • matplotlib.pyplot — модуль-набор методов построения

  • geopandas — модуль для построения карты выборов

  • xlrd — модуль для чтения табличных файлов

Настал момент собирать сами данные, парсим. Избирком позаботился о нашем времени и предоставил отчетность в таблицах, это удобно.
Читать полностью »

в 8:59, , рубрики: big data, анализ данных, Блог компании ua-hosting.company, будущее здесь, информационная безопасность, отслеживание пользователей, приватность, Социальные сети и сообщества

Disclaimer. Специалист по Big Data, Артур Хачуян, рассказал, как соцсети могут читать наши сообщения, как наш телефон нас подслушивает, и кому все это нужно. Эта статья — расшифровка большого интервью. Есть люди, которые экономят время и любят текст, есть те, кто не может на работе или в дороге смотреть видео, но с радостью читает Хабр, есть слабослышащие, для которых звуковая дорожка недоступна или сложна для восприятия. Мы решили для всех них и вас расшифровать отличный контент. Кто всё же предпочитает видео — ссылка в конце.

Большое интервью про Big Data: зачем за нами следят в соцсетях и кто продает наши данные? - 1

Каждый день мы что-то пишем, разыскиваем и выкладываем в интернете, и каждый день кто-то следит за нами по ту сторону экрана. Специальные программы сканируют фото, лайки и тексты, чтобы продать наши данные рекламным компаниям или полиции. Можно назвать это паранойей или научной фантастикой, но телефон, круг общения, переписка или ориентация — больше не секрет.Читать полностью »

1...1020...222324...3040...147
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js