Если прошлая статья была скорее для затравки, то теперь пришло время проверить способности Джулии в распараллеливании на своей машине.
Рубрика «Большие данные» - 3
Распределенные вычисления в Julia
2019-06-14 в 4:43, admin, рубрики: CUDA, Julia, mpi, opencl, Большие данные, высокая производительность, параллельное программирование, Программирование, распределённые вычисленияУчитель физики покоряет Big Data в Шотландии
2019-05-26 в 14:52, admin, рубрики: big data, Большие данные, великобритания, магистратура за рубежом, образование за рубежом, студентыБлагодаря возможностям и проблемам которые Big Data способна решить и создать, вокруг этой области сейчас много разговоров и предположений. Но в одном все источники солидарны: специалист по большим данным — это профессия будущего. Лиза, студентка шотландского вуза University of the West of Scotland, поделилась своей историей: как она пришла в эту сферу, что изучает в рамках своей программы магистратуры и чем интересно обучение в Шотландии.
Города и их «большие данные»
2018-10-30 в 9:39, admin, рубрики: big data, Блог компании Smile-Expo, Большие данные, визуализация данных, городская среда, смайл экспо, УрбанизмО чем рассказывают «большие данные» города? Как представить их наглядно и — что важнее — как с их помощью сделать жизнь горожан лучше?
Об этом мы поговорили с Андреем Кармацким, гендиректором компании Urbica. Компания специализируется на визуализации городских данных. Среди ее проектов — редизайн карты для MAPS.ME, интерактивная визуализация статистики поездок для «Велобайка» и визуализация для запуска системы наземного городского транспорта «Магистраль».
Велосипедный трафик между районами в центре Москвы. Источник изображений — блог «Урбики» на Medium
Бизнес на персональных данных: как добиться успеха и не преступить закон?
2018-10-22 в 10:29, admin, рубрики: big data, бизнес, бизнес-модели, Блог компании Digital Rights Center, Большие данные, большие пользовательские данные, данные, Законодательство в IT, персональные данные, хранение данных, хранилища данных, центр цифровых прав
«Данные – нефть цифровой экономики» — выражение, которое уже стало афоризмом. Действительно, в современном мире пользовательские данные превратились в один из наиболее ценных и востребованных ресурсов. Так, по данным компании PwC, в 2018 году мировая выручка от использования пользовательских данных достигнет $300 млрд. Что касается России, то по данным журнала РБК в 2017 году оборот рынка продажи и покупки персональных данных в России составил не менее 3,3 млрд рублей. Более того, эксперты прогнозируют дальнейший интенсивный рост этого рынка.
Тем не менее, использование персональных данных в бизнесе пока не имеет должного правового регулирования. Текущее законодательство оставляет открытым вопрос об оборотоспособности данных и возможности их монетизации. Также в судебной практике пока не сформированы универсальные критерии, позволяющие найти баланс между необходимостью защиты частной жизни пользователей и потребностями бизнес-сообщества в условиях цифровой экономики.
Мониторинг кластера Kubernetes при помощи Prometheus
2018-08-24 в 14:03, admin, рубрики: big data, devops, kubernetes, prometheus, Блог компании Издательский дом «Питер», Большие данные, контейнеры, распределенные системы, системное администрированиеЗдравствуйте, коллеги.
Мы только что отдали в перевод интересную книгу Брендана Бёрнса, рассказывающую о паттернах проектирования для распределенных систем
Кроме того, у нас уже полным ходом идет перевод книги "Mastering Kubernetes" (2-е издание) и готовится к выходу в сентябре авторская книга о Docker, о которой обязательно будет отдельный пост.
Полагаем, что следующая остановка на этом пути — книга о Prometheus, поэтому сегодня предлагаем вашему вниманию перевод небольшой статьи Бьёрна Венцеля о тесном взаимодействии Prometheus и Kubernetes. Не забудьте пожалуйста поучаствовать в опросе.
Читать полностью »
Памятки по искусственному интеллекту, машинному обучению, глубокому обучению и большим данным
2018-07-24 в 8:06, admin, рубрики: big data, Блог компании NIX Solutions, Большие данные, искусственный интеллект, машинное обучение, нейросеть, памятка, подсказка
В течение нескольких месяцев мы собирали памятки по искусственному интеллекту, которыми периодически делились с друзьями и коллегами. В последнее время сложилась целая коллекция, и мы добавили к памяткам описания и/или цитаты, чтобы было интереснее читать. А в конце вас ждёт подборка по сложности «О большое» (Big-O). Наслаждайтесь.
Читать полностью »
Как мы в хакатоне AI.HACK победили, или Когда нужно выключить искусственный интеллект и включить естественный
2018-06-26 в 7:06, admin, рубрики: ai.hack, Алгоритмы, Блог компании Инфосистемы Джет, Большие данные, машинное обучение, хакатон
В марте команда наших разработчиков с гордым названием «Руки-Ауки» двое суток неусыпно сражалась на цифровых полях хакатона AI.HACK. Всего было предложено пять задач от разных компаний. Мы сосредоточились на задаче «Газпромнефти»: прогнозирование спроса на топливо со стороны В2В-клиентов. Нужно было по обезличенным данным — регион приобретения топлива, номер заправки, вид топлива, цена, дата и ID-клиента — научиться прогнозировать, сколько в будущем купит тот или иной клиент. Забегая вперёд — наша команда решила эту задачу с наивысшей точностью. Клиенты были разбиты на три сегмента: крупные, средние и мелкие. И помимо основной задачи мы также построили прогноз суммарного потребления по каждому из сегментов.
Читать полностью »
Как машины анализируют большие данные: введение в алгоритмы кластеризации
2018-06-05 в 7:41, admin, рубрики: big data, Алгоритмы, Блог компании NIX Solutions, Большие данные, машинное обучение
Перевод How Machines Make Sense of Big Data: an Introduction to Clustering Algorithms.
Взгляните на картинку ниже. Это коллекция насекомых (улитки не насекомые, но не будем придираться) разных форм и размеров. А теперь разделите их на несколько групп по степени похожести. Никакого подвоха. Начните с группирования пауков.
Метод фрактального многообразия в задачах Data Science
2018-05-04 в 11:46, admin, рубрики: big data, BigData, анализ данных, Большие данные, математика, топология, фрактал, фракталы1. Постановка задачи
Наборы числовых упорядоченных данных можно разделить на две группы: гауссовы и странные (негауссовы). Если к гауссовым данным можно применять количественное сравнение, то к странным данным такой подход неприменим ввиду их относительности и отсутствия стандарта, что оставляет возможным лишь качественный анализ, который во многих случаях является неоднозначным и трудоемким. При этом такие данные широко распространены, а задача их анализа является актуальной для многих областей науки.
Далее будет представлен вычислительный метод, преобразующий исходные негауссовы данные в гауссовы, что позволяет в дальнейшем сравнивать количественно структурные характеристики больших наборов данных.
Олимпиада школьников: меч джедая, реактивный ранец и телепорт к 2035
2018-03-19 в 12:42, admin, рубрики: diy или сделай сам, атс, Биотехнологии, Большие данные, будущее здесь, олимпиада, привет Земцов, привет Рогачев, рвк, реактивный ранец, транспорт будущего
Что школьники говорят про олимпиаду:
- «Это похоже на олимпиаду, которую пишут в школе, только раз в пять сложнее.»
- «Космос — это здорово, но металл лучше. Немножечко.»
- «Ищу команду. 11 класс. На С++ с рождения.»
- «Хотел бы воплотить в жизнь портал-пушку из Рика и Морти.»
Что происходило на самом деле:
- Семиклассники ловят мюоны.
- От школьников сбежала рыба.
- В бассейне поселилась выдра.
- Школьник взломал зачетный этап по ИК-каналу.
- 7-ми и 9-ти классницы победили 11-ти классников.
- Команда написала алгоритм предсказаний, который предсказал, что с этим алгоритмом они проиграют.
Для начала — пару задачек, чтоб всё с самого начала было ясно. А потом — подробности.
Читать полностью »