Рубрика «хранилища данных» - 30

Google запустила бета-версию Cloud Spanner — СУБД поколения NewSQL - 1

Google открыла для всех бета-версию сервиса Cloud Spanner, глобально распределённой высокомасштабируемой мультиверсионной NewSQL БД с поддержкой распределённых транзакций.

Несколько лет Google использовала этот сервис исключительно для внутренних нужд. На нём работают ключевые системы Google, в том числе AdWords и Google Play. Spanner — эволюционное развитие NoSQL-предшественника Google Bigtable. Сам же c Spanner относят к семейству NewSQL-решений, то есть оно сочетает в себе преимущества реляционных и нереляционных СУБД. Это ACID-транзакции и SQL-синтаксис традиционных СУБД без ущерба для горизонтального масштабирования и высокой доступности, присущих NoSQL.

Исходя из опыта работы системы внутри компании, Google предлагает клиентам аптайм 99,9999% (шесть девяток, то есть максимум 31,5 секунды простоя в год), клиентские библиотеки с поддержкой Java, Go, Python, Node.js и др.
Читать полностью »

По данным исследования ESG, 70% компаний из сегмента ИТ в ближайшие пару лет планируют выделить средства на гиперконвергентные системы. И это не случайно. Гибкие и масштабируемые гиперконвергентные инфраструктуры позволяют развернуть частное облако и воспользоваться преимуществами облачных сервисов.

Гиперконвергентные устройства VxRail - 1


В феврале 2016 года появилась система VxRail — инфраструктурное решение для сред VMware, в котором объединены средства виртуализации, вычислительные ресурсы, хранилище и система защиты данных. Компактное шасси VxRail высотой 2U содержит четыре сервера (то есть четыре узла) и 24 накопителя HDD или SSD. В ее состав также входит программно-определяемое хранилище данных Virtual SAN.
Читать полностью »

HTTPS становится всё более сильным трендом современного интернета. И это хорошо, особенно, когда клиенты, взаимодействуя с серверами, обмениваются с ними конфиденциальными данными. Для того, чтобы пользоваться HTTPS, нужен SSL-сертификат, который применяется для проверки подлинности сервера. Проект Let’s Encrypt значительно упростил процесс получения SSL-сертификатов. До его появления всё было гораздо сложнее.

image


Let’s Encrypt использует Certbot от Electronic Frontier Foundation для автоматизации процесса получения SSL-сертификата. Поддерживаются разные типы веб-серверов (Apache, nginx, и другие), которые работают на Unix-подобных ОС. Если ваш сервер соответствует системным требованиям Let’s Encrypt, это значит, что вы сможете получить сертификат в практически полностью автоматическом режиме. К сожалению, связку Node.js/Express.js Let’s Encrypt не поддерживает. То есть, в данном случае автоматически получить сертификат от Certbot не получится. Однако, не всё потеряно. Используя Let’s Encrypt и Certbot, сертификат не так уж и сложно получить вручную.
Читать полностью »

image

Я присоединился к команде Facebook в 2011 году в качестве инженера бизнес-аналитика. К моменту, когда я покинул команду в 2013 году я уже был дата-инженером.

Меня не продвигали или назначали на эту новую позицию. Фактически, Facebook пришла к выводу, что выполняемая нами работа является классической бизнес-аналитикой. Роль, которую в итоге мы для себя создали, была полностью новой дисциплиной, а я и моя команда находились на острие этой трансформации. Мы разрабатывали новые подходы, способы решения задач и инструменты. При этом, чаще всего, мы игнорировали традиционные методы. Мы были пионерами. Мы были дата-инженерами!

Дата-инжиниринг?

Наука о данных как самостоятельная дисциплина переживает период отроческого самоутверждения и определения себя. В тоже время дата-инжиниринг можно было назвать ее «младшим братом», который тоже проходил через нечто подобное. Дата-инжиниринг принимал от своего «старшего родственника» сигналы, искал свое место и собственную идентичность. Как и ученые, занимающиеся обработкой данных, дата-инженеры тоже пишут код. Он является высокоаналитическим, с большой долей визуализации.

Но в отличие от ученых, работающих с данными и вдохновленными более зрелым прародителем сферы — программированием — дата-инженеры создают собственные инструменты, инфраструктуру, фреймворки и сервисы. На самом деле, мы намного ближе к программированию, чем к науке о данных.
Читать полностью »

Это история из серии «Записки сервисного инженера». На вопрос ответим чуть позже, а сначала небольшой сказ об одном МАССИВном падении. Недавно в наш Сервисный центр обратился клиент, который решил самостоятельно проапгрейдить массив HDS AMS2000: заменить часть старых дисков на новые большего размера. Со слов заказчика, он вставил новый диск – и один контроллер сломался; вытащил новый диск – и второй контроллер тоже включил аварийную индикацию, а со всех систем пропал доступ к массиву.

Чем СХД отличается от курицы? - 1

Читать полностью »

Выбрать хороший и надежный кабель — дело, конечно, непростое, но не менее важно уметь правильно организовать все эти провода: чтобы было не только функционально и удобно, но ещё и красиво. Причем некоторые умельцы настолько заморочились, что даже придумали для этого специальный термин — cable porn «кабель-менеджмент». На правах пятницы предлагаем посмотреть, как выглядит не просто хороший кабель-менеджмент, а настоящий кабельный перфекционизм.

Рай перфекциониста или каким должен быть кабель-менеджмент - 1


Читать полностью »

Закрытое бета-тестирование горячего хранилища в Облаке Mail.Ru - 1

Привет! У нас хорошая новость: мы начинаем закрытое бета-тестирование «горячего хранилища» (Hotbox) на базе Облака Mail.Ru для бизнеса и приглашаем к участию всех желающих. В первую очередь сервис Hotbox будет интересен владельцам медиасервисов с высокой посещаемостью, онлайн-СМИ и ресурсов с UGC-контентом и разработчикам мобильных приложений. В общем, хранилище предназначено для тех, кому нужно хранить и часто раздавать много файлов.
Читать полностью »

Что такое SLD и зачем оно нужно?

Одна из важнейших задач IT-подразделения предприятия – защита данных от воздействия различных внешних факторов, как то: пожар, землятрясение, наводнение и прочие катастрофы. Традиционно для этого используются различные технологии репликации данных. Однако обычно репликация позволяет синхронизовать (с тем или иным значением RPO) один и тот же набор данных только между двумя дата-центрами. И для многих заказчиков этого вполне достаточно. Для многих, но не для всех. Если заказчику требуется нулевое RPO, значит, необходимо использовать синхронную репликацию. Однако синхронная репликация позволяет размещать дата-центры на расстоянии порядка 100к м друг от друга. В случае серьезной катастрофы, или просто если два дата-центра расположены слишком близко друг от друга, оба ДЦ могут пострадать одновременно – и данные будут потеряны.

Как добиться репликации с нулевым RPO на большие расстояния - 1

Читать полностью »

Использование под дата-центры бывших бомбоубежищ, бункеров и командных пунктов, становится популярным в мире. Тем самым данные объекты обретают вторую жизнь. Недавно мы рассказывали про мирную профессию бомбоубежища, в этой статье речь пойдет о бывшем командном центре ВВС Швейцарии (НАТО), который теперь используется как международный дата-центр, в том числе и российскими провайдерами.

Как бывший командный пункт становится дата-центром - 1


Расположенный глубоко в горах Швейцарии дата-центр Deltalis оснащен многоуровневой системой защиты при этом предоставляет клиентам широкий спектр гибких и масштабируемых услуг – от простого размещения оборудования до полных управляемых сервисов. Этот ЦОД в швейцарском Аттингхаузене занимает сотни квадратных метров и отвечает самым строгим стандартам, в нем применяются решения ведущих вендоров, возможно размещение мощного высокоплотного оборудования.
Читать полностью »

Система NetApp AFF A300 была презентована в конце сентября 2016 года на ежегодной конференции NetApp Insight и пришла на смену решениям AFF8040 и AFF8060. Пара контроллеров A300 находится в одном корпусе и занимает всего 3U, что вдвое меньше, чем у AFF8040. Максимальное расширение системы составляет 384 SSD-диска. Учитывая доступность к заказу SSD-дисков объемом 15 ТБ, этого более чем достаточно.

Одна из таких систем попала к нам, компании «ИТ-ГРАД», крупнейшему поставщику IaaS в России, в руки. Недавно мы получили поставку, в которой содержались пара контроллеров NetApp A300 в одном шасси и дисковая полка DS224C c набором из 24 SSD-дисков по 3,8 ТБ каждый. В этой статье мы расскажем о преимуществах этого решения и проведем анбоксинг, разумеется, поделившись самыми любопытными фотографиями (суммарный вес изображений 6 мегабайт).

Кому интересно — просим под кат.

Unboxing: Что внутри у системы хранения данных NetApp AFF A300 - 1Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js