Мы хотим оповестить экспертное сообщество Хабра о публичном этапе проекта по созданию сервиса, включающего, помимо возможностей почившего гугл-ридера, множество новых фич, функций и пряников!
И, поскольку мы делаем проект для нас с вами, наших коллег, обычных гиков и продвинутых юзеров, то надеемся на ваши комментарии, критику, замечания, предложения — всё, что поможет на выходе получить продукт, которым нам всем было удобно пользоваться. Хотите с нами? Welcome!
Рубрика «big data» - 137
Больше, чем GoogleReader: давайте сделаем это вместе!
2013-07-19 в 9:37, admin, рубрики: big data, google reader, Блог компании PalitrumLab, мобильные приложения, разработка, социальные сети, метки: google reader, мобильные приложения, социальные сети
ETegro Hyperion RS430 G4 – к Big Data готовы!
2013-07-18 в 12:34, admin, рубрики: big data, etegro, Блог компании «ETegro Tecnologies», сервер, метки: big data, etegro, серверПомимо вездесущих «облаков», одной из самых популярных и обсуждаемых тем в серверном мире сейчас является концепция работы с Большими Данными (Big Data) – очень большими объемами слабоструктурированных данных самого разнообразного вида. Мы не будем касаться вопросов программной обработки данных, а покажем ту платформу, на которой, по нашему мнению, это стоит делать: наш новый сервер ETegro Hyperion RS430 G4.
Простая методика построения фильтров товаров с помощью MongoDb и MapReduce
2013-07-14 в 11:06, admin, рубрики: big data, map reduce, mongodb, nosql, Веб-разработка, метки: big data, map reduce, mongodb, nosql, Веб-разработкаВпервые столкнувшись с MapReduce, я продолжительное время искал реальные примеры применения. Пресловутый поиск слов в тексте, встречающийся в каждой второй статье о MapReduce, искомым примером считать не будем. Наконец, на двух курсах по Big Data на Coursera, я нашёл не только живые примеры, но теоретическую подоплёку для более глубокого понимания происходящего. Возможность применить полученный багаж знаний не заставила себя долго ждать.
В этой небольшой статье я хочу поделиться опытом реализации классической для большинства Интернет-магазинов системы фильтров товаров по критериям применительно к туристическому порталу, где появилась задача поиска и фильтрации по базе в десятки тысяч отелей, каждый из которых описывается рядом параметров и наличием нескольких десятков предоставляемых сервисов из сотен возможных.
Читать полностью »
Можно ли уйти от HDD в хостинговых серверах?
2013-07-10 в 9:14, admin, рубрики: big data, LSI, ит-инфраструктура, кэширование, сервер, хостинг, метки: LSI, кэширование, сервер, хостинг 
Тот факт, что хостинг является весьма затратным с точки зрения дискового пространства, пожалуй, ни для кого не является сюрпризом. Так же как и тот факт, что используемые для хранения данных решения в этом случае должны быть как можно быстрее. Поэтому, в идеале, для таких хранилищ хорошо было бы использовать только SSD, но в очень многих случаях это — недостижимый идеал, в первую очередь, из-за высокой (хотя и снижающейся) цены. Особенно жестко вопрос цены стоит для больших ЦОДов.
Помочь в этой ситуации могут гибридные решения, сочетающие традиционные HDD и flash-накопители для кэширования.
Читать полностью »
Мега-ЦОДы — пионеры инноваций. Часть 2
2013-06-24 в 10:02, admin, рубрики: big data, LSI, lsi nytro, высокая производительность, дата-центры, Железо, производительность, метки: LSI, lsi nytro, дата-центры, производительность 
Мы продолжаем знакомство с современными сверхбольшими дата-центрами, начатое прошлой статьей, и сегодня поговорим о том, как решается одна из наиболее важных проблем — хранение данных. Кроме того, мы немного поговорим о ближайшем будущем таких мега-ЦОД.
Читать полностью »
Map-Reduce на примере MongoDB
2013-06-21 в 10:43, admin, рубрики: big data, mongodb, nosql, метки: big data, map reduce, mongodb, nosqlВ последнее время набирает популярность семейство подходов и методологий обработки данных, объединенных общими названиями Big Data и NoSQL. Одной из моделей вычислений, применяемых к большим объемам данных, является технология Map-Reduce, разработанная в недрах компании Google. В этом посте я постараюсь рассказать о том, как эта модель реализована в нереляционной СУБД MongoDB.
Что касается будущего нереляционных баз вообще и технологии Map-Reduce в частности, то на эту тему можно спорить до бесконечности, и пост совершенно не об этом. В любом случае, знакомство с альтернативными традиционным СУБД способами обработки данных является полезным для общего развития любого программиста, так же как, к примеру, знакомство с функциональными языками программирования может оказаться полезным и для программистов, работающих исключительно с императивными языками.
Нереляционная СУБД MongoDB хранит данные в виде коллекций из документов в формате JSON и предоставляет разные способы обработки этих данных. В том числе, присутствует собственная реализация модели Map-Reduce. О том, насколько целесообразно применять именно эту реализацию в практических целях, будет сказано ниже, а пока ограничимся тем, что для ознакомления с самой парадигмой Map-Reduce эта реализация подходит как нельзя лучше.
Итак, что же такого особенного в Map-Reduce?
Читать полностью »
Улучшения XQuery в MarkLogic Server
2013-06-11 в 14:45, admin, рубрики: application server, big data, data mining, xquery, базы данных, Песочница, метки: application server, xquery, базы данныхВ MarkLogic Server реализован собственный диалект XQuery, который называется XQuery 1.0-ml. Не трудно догадаться, что это — тот самый XQuery 1.0 с некоторыми дополнениями от MarkLogic, призванными сделать жизнь разработчика лучше. Читать полностью »
Hadoop vs Dryad (или ничего личного)
2013-06-10 в 22:59, admin, рубрики: .net, big data, dryad, Hadoop, microsoft research, высокая производительность, метки: big data, dryad, Hadoop, microsoft researchНа прошлой неделе на Хабре появилось 2 поста о фреймворке распределенных вычислений от Microsoft Research – Dryad. В частности, подробно были описаны концепции и архитектура ключевых компонентов Dryad – среды исполнения Dryad и языка запросов DryadLINQ.
Логическим завершением цикла статей о Dryad видится сравнение фреймворка Dryad с другими, знакомыми разработчикам MPP-приложений, инструментами: реляционными СУБД (в т.ч. параллельными), GPU-вычислениями и платформой Hadoop.
.png "Hadoop vs Dryad (или ничего личного)")
DryadLINQ. Распределенный LINQ от Microsoft Research
2013-06-06 в 6:28, admin, рубрики: .net, big data, dryad, microsoft, microsoft research, распределённые вычисления, метки: .net, big data, dryad, microsoft research, распределённые вычисленияПредметом внимания вчерашнего поста на Хабре стал фреймворк распределенных вычислений от Microsoft Research — Dryad.
В основе фреймворка лежит представление задания, как направленного ациклического графа, где вершины графа представляют собой программы, а ребра — каналы, по которым данные передаются. Также обзорно была рассмотрена экосистема фреймворка Dryad и сделан подробный обзор архитектуры одного из центральных компонентов экосистемы фреймворка – среды исполнения распределенных приложений Dryad.
В этой статье обсудим компонент верхнего уровня программного стэка фреймворка Dryad – язык запросов к распределенному хранилищу DryadLINQ.
Dryad. Фреймворк распределенных вычислений
2013-06-05 в 6:33, admin, рубрики: big data, computer science, высокая производительность, высокопроизводительные вычисления, параллельное программирование, параллельные вычисления, метки: big data, computer science, высокопроизводительные вычисления, параллельные вычисленияПредставьте себе фреймворк общего назначения для распределенного исполнения приложений со следующими статистическими показателями*:
* Статистические данные за 2011 год.
А теперь представьте, что это не Hadoop.
О том, что это за фреймворк, о идеях и концепциях, заложенных в его основу и о том, почему этот фреймворк даже более инновационный (субъективно), чем Hadoop, речь пойдет ниже.
Читать полностью »