Привет! Меня зовут Сергей, я работаю главным инженером в Сбертехе. В ИТ-сфере я примерно 10 лет, из которых 6 занимаюсь базами данных, ETL-процессами, DWH и всем, что связано с данными. В этом материале я расскажу о Vertica — аналитической и по-настоящему колоночной СУБД, которая эффективно сжимает, хранит, быстро отдает данные и отлично подходит в качестве big data решения.
Рубрика «хранилища данных» - 19
А нам все «вертикально» — СУБД Vertica
2018-06-25 в 6:48, admin, рубрики: big data, Vertica, Администрирование баз данных, Блог компании Сбербанк, СУБД, хранение данных, хранилища данных
Tarantool Conference 21 июня – не только про Tarantool, а вообще про in-memory computing
2018-06-20 в 6:07, admin, рубрики: in-memory database, tarantool, Блог компании Конференции Олега Бунина (Онтико), конференции, конференция, хранилища данныхА вы слышали про Tarantool Conference или коротко — T+ Conf? Что такое Tarantool наверняка все знают, а про конференцию мы вам сейчас все расскажем.
T+ Conf — конференция не только про сам Tarantool, а вообще про использование in-memory computing, Tarantool / Redis / Memcached, кооперативной многозадачности и Lua для разработки высоконагруженных отказоустойчивых сервисов.
Когда и где?
Совсем скоро, 21 июня 2018 года в офисе Mail.ru Group (Ленинградский проспект 39, стр. 79).
Это будет полный рабочий день — доклады начнутся в 10:00, а закончатся в 19:00. Мы выделили два потока, один из них полностью посвящен enterprise-архитектуре, а во втором объединены выступления, связанные с экосистемой вокруг Tarantool, в том числе, в формате туториалов. А следовательно, будут интересны не только опытным разработчикам, но и, с одной стороны, начинающим, а с другой — архитекторам в корпоративном секторе.
Расписание можно изучить по ссылке, а ниже краткие описания всех докладов — их не так много, можем позволить, никого не упустить.
Читать полностью »
Продолжая покорять дно морское. Microsoft и его проект подводного ЦОД Natick 2
2018-06-15 в 5:29, admin, рубрики: microsoft, Natick, Блог компании ua-hosting.company, хранение данных, хранилища данныхКак экономить на охлаждении серверных мощностей? Не понаслышке знает мировой гигант компания Microsoft. Еще в конце лета 2015 года компания погрузила под воду экспериментальный прототип нового подводного дата центра. Так родился прототип ЦОД под кодовым названием Leona Philpot соответственно проекту Natick. Серверы были помещены во внутрь небольшого контейнера габаритами 3 на 2 метра, а управление велось в удаленном режиме. 105 дней мини ЦОД пребывал под водой, после поднятия на сушу был проведен анализ испытания. Что сказать, эксперимент оказался достаточно успешным, сбоев в работе оборудования не наблюдалось, к тому же была достигнута высокая энергоэффективность за счет системы охлаждения. Компания приняла решение и далее активно развивать концепцию погружения дата центров под воду. Появилась идея окунуть серверную ферму в подводное царство «более» глубже и в «более» холодную воду. Следует напомнить, что изначально прототип был погружен на 10 метров в километре от тихоокеанского побережья США.
NewSQL: SQL никуда не уходит
2018-06-08 в 8:07, admin, рубрики: mongodb, NewSQL, nosql, sql, tarantool, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, хранилища данныхTренду NoSQL уже почти 10 лет, и можно смело делать какие-то выводы и обобщения. Этим и займемся, поговорим про развитие NoSQL.
Вспомним, как родился NoSQL. Посмотрим, что в нем хорошо, а что плохо, и что выдержало испытание временем. Разберем возможности, которые уже есть в SQL, и которые теперь появляются в NoSQL СУБД. Выделим уникальные ценности NoSQL, и заглянем чуть-чуть вперед в то, что на рынке будет завтра.
А поможет нам в этом Константин Осипов (@kostja) — разработчик и архитектор СУБД Tarantool, который в своем докладе на РИТ++ 2017 говорил про тренды NewSQL, ведь архитектору полагается понимать, что происходит в мире баз данных, чтобы, как минимум, не изобретать велосипед.
О спикере: Сейчас Константин Осипов работает над Tarantool, но ранее участвовал в разработке MySQL, и, когда Константин начинал работу над новой базой данных, его очень смущало, зачем это делать вообще, зачем нужна очередная база данных. В частности, отношение к NoSQL было очень скептическим, как к «недоSQL».
Однако, развитие продолжается, некоторые изначальные принципы отмирают, и, в то же время, NoSQL базы перенимают возможности от классического SQL. На основании результатов этих нескольких лет бурной трансформации вполне можно подвести промежуточные итоги и позволить себе сделать несколько предсказаний на будущее.
Читать полностью »
Optane DC Persistent Memory — Optane в формате DIMM
2018-06-05 в 8:31, admin, рубрики: Optane, Optane DC Persistent Memory, Блог компании Intel, Компьютерное железо, хранилища данных
На минувшей неделе на конференции Intel Data Center Tech Summit компания официально представила память Optane на базе модулей 3D XPoint в формате DIMM, которая получила название Optane DC Persistent Memory (просьба не путать с Intel Optane Memory — потребительской линейкой кэширующих накопителей).
Планки памяти имеют объем 128, 256 или 512 Гб, распиновка соответствует стандарту DIMM, однако, естественно, аппаратная часть должна поддерживать данный вид памяти — такая поддержка появится в следующем поколении серверных платформ Intel Xeon. Что же касается программной поддержки продукта, то уже довольно длительное время существует Open Source проект Intel Persistent Memory Development Kit (PMDK, до конца прошлого года — NVML).
Читать полностью »
Распределенное хранилище данных в концепции Data Lake: с чего начать
2018-06-04 в 8:26, admin, рубрики: big data, cloudera, Hadoop, администрирование, Блог компании Неофлекс, хранилища данныхВ мире энтерпрайза наступило пресыщение фронтовыми системами, шинами данных и прочими классическими системами, которые внедряли все кому не лень последние 10-15 лет. Но есть один сегмент, который до недавнего времени был в статусе «все хотят, но никто не знает, что это». И это Big Data. Красиво звучит, продвигается топовыми западными компаниями – как не стать лакомым кусочком?
Но пока большинство только смотрит и приценивается, некоторые компании начали активно внедрять решения на базе этого технологического стека в свой IT ландшафт. Важную роль в этом сыграло появление коммерческих дистрибутивов Apache Hadoop, разработчики которых обеспечивают своим клиентам техническую поддержку. Ощутив необходимость в подобном решении, один из наших клиентов принял решение об организации распределенного хранилища данных в концепции Data Lake на базе Apache Hadoop.
Читать полностью »
Sheepdog
2018-05-31 в 10:52, admin, рубрики: nbd, qemu, sheepdog, блочные устройства, виртуализация, кластеризация, кластерные файловые системы, Облачные вычисления, облачные технологии, распределенные файловые системы, файловые системы, хранение данных, хранилища данных
Sheepdog — масштабируемая система, которая предоставляет виртуальным машинам распределенные блочные устройства. Его развитие началось в 2009 году разработчиками из японских компаний Nippon Telegraph и Telephone Corporation. Sheepdog — это приложение с открытым исходным кодом под лицензией GPL2. Последняя версия 0.9.3, выпущенная в ноябре 2015 года станет наследиком версии 1.0, пригодной для коммерческого испрользования1. (уже стала — прим.пер.)
Чисто ради интереса, первая версия (0.1.0), была выпущена разработчиками в августе 2010 года — и в то же время поддержка sheepdog была включена в основную ветку разработки QEMU. Первые испытания над sheepdog я провел в ноябре 2011 года2 и результаты были неплохими для операций ввода-вывода. Однако тогда еще система Sheepdog имела проблемы с восстановлением упавшей ноды. Вероятно эта проблема вскоре была устранена, так как разработка приложения довольно живая, но на тот момент я использовал другое решение.
Читать полностью »
Волшебство на грани экстрима: бесстрашная 7-ка дата центров
2018-05-30 в 21:03, admin, рубрики: Arctic World Archive, Green Mountain, Ice Cube, microsoft, Yahoo, Блог компании ua-hosting.company, хранение данных, хранилища данных, цод, экстремальные серверные
Совсем недавно был опубликован список претендентов на звание «самый красивый дата центр» мира. Пришла очередь совместить красоту с экстримом. Вот так у ComTec появился перечень из 7 самых экстремальных серверных ферм. Будь то глубокая пещера на Южном полюсе или глубокие воды у тихоокеанского побережья США, данные надежно хранятся в экстремальных местах по всему миру.
Читать полностью »
Мушкетёры уже не те, или Ждали Атоса, а приехал Портос
2018-05-30 в 8:58, admin, рубрики: atos, BullSequana S800, Блог компании Инфосистемы Джет, Серверное администрирование, хранилища данных
Компания Atos, бизнес которой связан в том числе с производством Enterpise-серверов под брендом Bull, пока мало известна на российском рынке. Однако она активно старается отвоевать себе место под нашим солнцем. Мы одними из первых в России смогли посмотреть и даже потрогать сервер BullSequana S800. Делимся с вами фотографиями с анпакинга этого внушительного девайса.
Читать полностью »
Семинар: «Объектное хранилище DataLine: выбор оборудования, возможности и сценарии использования», 31 мая, Москва
2018-05-28 в 9:19, admin, рубрики: dataline, s3, Блог компании DataLine, виртуализация, виртуальная инфраструктура, даталайн, ит-инфраструктура, облака, облачные сервисы, объектное хранилище, семинары, университеты dataline, хранение данных, хранилища данных, хранилище данных
Привет! Давно мы не проводили семинары — исправляемся.
31 мая совместно с Lenovo мы расскажем о новом сервисе DataLine — объектном хранилище. Поговорим о том, как мы выбирали решение и с чем столкнулись в процессе создания сервиса. Рассмотрим основные сценарии использования объектного хранилища и о цифрах не забудем.
Осталось всего несколько мест, регистрация обязательна!
Читать полностью »