Рубрика «big data» - 132

в 9:34, , рубрики: big data, data mining, digest, анализ данных, дайджест, метки: , , , ,

Дайджест статей по анализу данных и big data Частенько читаю Хабр и заметил что в последнее время появились Дайджесты новостей по многим тематикам, таким как веб-разработка на php, разработка на Python, мобильные приложения, но не встретил ни одного подборки по популярному сейчас направлению, а именно анализу данных и big data.

Ниже я решил собрать небольшую подборку материалов по данной теме. Т.к. на русском материалов не так много, в данный дайджест попали в основном англоязычные статьи.

Кого заинтересовала данная тема прошу подкат. А также жду замечаний, пожеланий и дополнений, буду очень рад обратной связи.

Читать полностью »

в 9:52, , рубрики: big data

Предпосылки возникновения технологии.

Майер Амшель, основатель известной династии Ротшильдов, в кодексе для своих потомков упомянул, что тот кто владеет информацией, владеет миром. Столь важную для любой компании информацию мы черпаем из данных, которые сами по себе, находясь внутри БД не несут нам никакой пользы. Для этого данные нужно обработать, то есть предоставить приложению, например, из области бизнес-аналитики (BusinessIntelligence). В предыдущие десятилетия, когда объём данных, частота их изменений и количество обращений к ним оставались достаточно низкими, мы могли позволить себе хранить их на медленных носителях и волновались в основном за стоимость единицы хранения (доллар за мегабайт, гигабайт и так далее). Сегодня, в эпоху BigData, когда успешными становятся те компании, которые быстрее других реагируют на рыночные изменения, важным становится не стоимость за гигабайт, а стоимость за быструю транзакцию или за потребителя этих быстрых транзакций.
Читать полностью »

в 17:48, , рубрики: big data, game development, minecraft, Геоинформационные сервисы, дания, открытые данные, метки: , ,

Датское агентство по геоданным запустило на своих серверах полномасштабную модель Дании. Модель очень подробная и сгенерирована на основе реальных географических данных — она включает не только рельеф, но и здания, растительность, парки и достопримечательности. Не соответствует действительности разве что расположение пород и полезных ископаемых в недрах земли и цвета фасадов зданий, сгенерированные случайным образом. Модель не помещается на один сервер целиком, поэтому её разбили на три части.


Читать полностью »

в 12:35, , рубрики: azure, big data, cloud, Hadoop, hdinsight, Hekaton, Блог компании Microsoft, информационная безопасность, ит-инфраструктура, метки: , , , ,

Microsoft представляет SQL Server 2014 в России!

Привет!

24 апреля 2014 года состоится ключевое события года в мире серверных и облачный решений – конференция Data Platform Day.

In-Memory OLTP (Hekaton), BIG DATA, Power BI, Microsoft Azure HDInsight и другие новейшие технологии работы с данными в трех треках за один день от ведущих экспертов Microsoft, компаний-партнеров и крупнейших российских заказчиков. Всё это будет идти под флагом глобальной стратегии развития Microsoft Cloud OS и универсальной Платформы SQL Server 2014.

Читать полностью »

в 5:25, , рубрики: big data, highload, java, аналитика, Блог компании ВымпелКом (Билайн), реляционные базы данных, телефония, метки: , , , ,

Мифы и легенды про Big Data
Один из наших кластеров для пилотных задач (Data node: 18 servers /2 CPUs, 12 Cores, 64GB RAM/, 12 Disks, 3 TB, SATA — HP DL380g)

— Что такое Big Data вообще?
Все знают, что это обработка огромных массивов данных. Но, например, работа с Oracle-базой на 20 Гигабайт или 4 Петабайта — это ещё не Big Data, это просто highload-БД.

— Так в чём ключевое отличие Big Data от «обычных» highload-систем?
В возможности строить гибкие запросы. Реляционная база данных, в силу своей архитектуры, предназначена для коротких быстрых запросов, идущих однотипным потоком. Если вы вдруг решите выйти за пределы таких запросов и собрать новый сложный, то базу придётся переписывать – или же она умрёт под нагрузкой.

— Откуда берётся эта новая нагрузка?
Если чуть углубиться в архитектуру, то можно увидеть, что традиционные базы данных хранят информацию очень дисперсионно. Например, у нас номер абонента может быть на одном сервере в одной таблице, а его баланс — в другой таблице. Быстродействие требует максимального разбиения данных. Как только мы начинаем делать сложные join'ы, производительность резко падает. Читать полностью »

в 18:07, , рубрики: big data, mongodb, mongodb sharding, nosql, метки: , ,

     Доброго времени суток, уважаемые читатели. В этом посте я хотел бы описать несколько примеров развертки mongoDB, отличия между ними, принципы их работы. Однако больше всего хотелось бы поделиться с вами практическом опытом шардирования mongoDB. Если бы этот пост имел план, он бы выглядел скорее всего так:

  1. Вступление. Кратко о масштабировании
  2. Некоторые примеры развертки mongoDB и их описание
  3. Шардинг mongoDB

    Пункты 1 и 2 — теоретические, а номер 3 претендует на практическое руководство по поднятию кластера mongoDB и больше всего подойдет тем, кто столкнулся с этим в первый раз.
Читать полностью »

в 15:45, , рубрики: big data, bigquery, devops, google app engine, iaas, paas, Блог компании Google, Облачные вычисления

Сегодня мы представляем сразу несколько новостей, касающихся сервисов Cloud Platform. Вас ждут сниженные и упрощенные тарифы, облачные инструменты DevOps, управляемые виртуальные машины (VM) для App Engine, аналитика Big Data в режиме реального времени с использованием Google BigQuery, и многое другое.

Цены, которым нет равных

Облачные платформы предлагают очень простую формулу: вы пользуетесь виртуальной инфраструктурой и платите только за текущую нагрузку. Это выгоднее по сравнению с приобретением собственного оборудования. Кроме того, вам не нужно платить крупные предварительные взносы. Однако цена облачных платформ противоречит закону Мура: за последние 5 лет она падала всего на 8% в год, хотя за это же время стоимость оборудования снижалась на 20–30%.

Мы решили восстановить равновесие, упростив тарифы и снизив стоимость различных услуг «по требованию» на 30–85%:

  1. Виртуальные машины Compute Engine стали дешевле минимум на 32% независимо от размера, региона и класса.
  2. Тарифы App Engine стали более прозрачными; существенно снизились цены на фронтальные виртуальные машины и операции с базами данных.
  3. Cloud Storage теперь стоит 2,6 цента (0,026$) за 1 ГБ (в среднем на 68% ниже для большинства клиентов).
  4. Тариф BigQuery «по требованию» подешевел на 85%.

Читать полностью »

в 7:13, , рубрики: big data, ecommerce, mailchimp, sale, url, Блог компании Witget, витжеты, всплывающее окно, интернет-магазин, конверсия, маркетинг, покупки, попап, посещаемость, Разработка под e-commerce, сайт, метки: , , , , , , , , , , , ,

С 13 марта 2014 года более чем 150 клиентов получили доступ к сервису Witget. За 2 недели использования сервиса витжеты были показаны суммарно 80 000 посетителей сайтов, где был установлен скрипт Witget.

О сервисе
Сервис Witget помогает владельцам интернет-ресурсов повысить конверсию на сайте, разместив на нем специальные инструменты – витжеты. Они представляют собой всплывающие окна, кнопки социальных сетей, топперы, флоры и др. Удобство Witget в том, что можно тонко настроить показ витжетов для определенных когорт посетителей сайта. Более того, для размещения витжетов на своем сайте не нужно владеть навыками дизайна или программирования, так как необходимые инструменты уже созданы в сервисе. Клиент может выбрать из сотен готовых шаблонов, произведя необходимые настройки в личном кабинете у нас на сайте.

Результаты
Первыми доступ к сервису получили те, кто с декабря 2013 года оставлял предзаявку на тестирование Witget. Большинство из них – маркетологи (46%) и владельцы небольших интернет-магазинов (53%) с посещаемостью в среднем до 1000 человек в сутки (цифра получена в ходе анкетирования).
Читать полностью »

в 9:19, , рубрики: 2014, big data, cloud, forrester, аналитика, облака, Облачные вычисления, метки: , , , ,

Вышел новый отчет Forrester “A Better But Still Subpar Global Tech Market In 2014 and 2015”. В нем аналитики спешат сообщить что рынок облачных вычислений в 2014 с трудом вырастет на 6%.

Читать полностью »

в 7:46, , рубрики: big data, mail.ru, Блог компании Mail.Ru Group, Блог компании Одноклассники, одноклассники, метки: , ,

Перед всеми веб-разработчиками встает задача индивидуальной выборки контента для пользователей. С ростом объема данных и увеличением их разнообразия обеспечение точности выборки становится все более важной задачей, оказывающей существенное влияние на привлекательность проекта в глазах пользователей. Если вышеописанное входит в сферу ваших интересов, то, возможно, данный пост натолкнет на какие-то новые идеи.

В каждой эпохе развития IT-индустрии существовали свои buzzwords — слова, которые у всех были на слуху, каждый знал, что за ними будущее, но лишь немногие знали, что действительно стоит за этим словом и как им правильно воспользоваться. В своем время баззвордами были и «водопад», и «XML», и «Scrum», и «веб-сервисы». Сегодня одним из основных претендентов на звание баззворда №1 является «big data». С помощью больших данных британские ученые диагностируют беременность по чеку из супермакета с точностью, близкой к ХГЧ-тесту. Крупные вендоры создают платформы для анализа больших данных, стоимость которых зашкаливает за миллионы долларов, и нет сомнений, что каждый пиксель в любом уважающем себя интернет-проекте будет строиться с учетом больших данных не позднее, чем к 2020 году.
Читать полностью »

1...1020...131132133...140...147
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js