Рубрика «хранение данных»

В конце весны в ЕС вступил в силу регламент GDPR. А месяц назад в США подписали законопроект, обязывающий компании сообщать клиентам и властям об «утечках» данных не позже чем через месяц с момента возникновения инцидента.

В этом году новые законопроекты, связанные с ПД, также появились и в Беларуси. Сперва в апреле этого года парламентарии приняли поправки к закону о СМИ, обязывающие пользователей проходить идентификацию, прежде чем оставлять комментарии на форумах. А теперь власти представили проект закона «О персональных данных».

Под катом рассказываем о его сути и реакции сообщества.

В Беларуси представлен законопроект о защите персональных данных — что у него «внутри» - 1Читать полностью »

С учетом роста данных в наше время все чаще говорится о программно-определяемых и распределенных хранилищах данных, причем немало внимания традиционно уделяется открытой платформе Сeph. Сегодня мы хотим рассказать о тех выводах, к которым мы пришли в процессе реализации проекта по хранению данных для одного крупного российского ведомства.
Читать полностью »

Место, где начинался российский интернет - 1

С недавних пор компания RUVDS предлагает своим клиентам виртуальные серверы (VPS/VDS), размещенные в дата-центре на базе одного из крупнейших узлов связи — ММТС-9. Мы заключили договор на размещение серверного и телекоммуникационного оборудования на площадке ММТС-9 (М9) «Ростелекома» — хороший повод, чтобы немного рассказать вам об этой легендарной площадке, история которой неразрывно связана с историей российского интернета. В настоящее время на ней базируется уже порядка 200 VPS, развёрнутых клиентами RUVDS для решения самых разных задач.
Читать полностью »

Гластер в России мало у кого есть, и любой опыт интересен. У нас он большой и промышленный и, судя по дискуссии в прошлом посте, востребованный. Я рассказывал о самом начале опыта переноса бекапов с Enterprise хранилища на Glusterfs.

Это недостаточно хардкорно. Мы не остановились и решили собрать что-то более серьёзное. Поэтому здесь речь пойдёт о таких вещах, как erasure coding, шардинг, ребалансировка и её троттлинг, нагрузочное тестирование и так далее.

Glusterfs + erasure coding: когда надо много, дешево и надежно - 1

  • Больше теории волюмы/сабволюмы
  • hot spare
  • heal / heal full / rebalance
  • Выводы после ребута 3 нод (никогда так не делайте)
  • Как влияет на нагрузку сабволюма запись с разной скоростью от разных ВМ и shard on/off
  • rebalance после вылета диска
  • fast rebalance

Читать полностью »

— А у нас есть какой-нибудь снимок за январь, ближе к февралю?
— Сейчас посмотрим… Да, есть! Сейчас откроем.

Бывает так, что есть среднее время жизни тестовой базы, есть согласованное всеми заинтересованными время жизни снэпшотов, но какая-то из сред слишком долго «засиживается» на своём снимке, который никак не удаляется… а потом он оказывается полезен коллегам. И минус на минус даёт плюс.

Обычно для любых систем, в которых может что-то происходить, требуется формировать бэкапы. А если она ещё и развивается и дорабатывается, то где-то также разворачивать среды разработки и тестирования. Причём для бэкапов и сред тестирования, которые работают, по сути, с теми же данными, нужно немало места. А ещё эти среды надо как-то приводить к актуальному состоянию. И всё это требует аппаратных и временных ресурсов.

В нашем случае, эти потребности покрыли Oracle ZFS Storage Appliance и серверы Oracle / Sun, которые фактически слились в одну экосистему с Exadata, появившейся незадолго до них.
Читать полностью »

Появляется всё больше решений, которые уходят от традиционного подхода унифицированных хранилищ. Это специализированные хранилища, которые заточены под задачи определённого направления бизнеса. Ранее я уже рассказывал о системе Infinidat InfiniBox F2230. Сегодня в центре моего обзора SolidFire.

SolidFire — СХД для тех, who **cking hate storage - 1

«Who f*cking hate storage» @ Дэйв Хитс, основатель компании NetApp
Читать полностью »

Не так давно мы уже писали о преимуществах размещения виртуальных серверов в зарубежных ЦОД и побуждающих к этому причинах. Сегодня речь пойдет о британской площадке компании RUVDS — дата-центре Equinix LD8 в Лондоне.

Дата-центр за рубежом: Equinix LD8 - 1

ЦОД Equinix LD8 полностью отвечает требованиям TIER III (99,98%). Вся инфраструктура дата-центра зарезервирована по схеме N+1. Кроме соответствующего сертификата Uptime Institute этот ЦОД обладает сертификатом PCI-DSS, который необходим для размещения платежных сервисов, а также сертификатами информационной безопасности ISO 27001, управления энергосистемами ISO 50001, стандарта качества ISO 9000, стандарта экологического управления ISO 1400 и промышленного управления OHSAS 18001.

Это не первая, но очень важная зарубежная площадка RUVDS. Почему? Об этом – ниже.
Читать полностью »

Российская распределенная СХД. Как все устроено - 1

Этой весной команда «Рэйдикс» подготовила и выпустила первую версию ПО для создания распределенной блочной СХД, работающей на серверных платформах «Эльбрус-4.4» на базе микропроцессоров «Эльбрус-4С».

Полезность такого симбиоза видна невооруженным взглядом — сборка СХД на базе отечественного железа и отечественной операционной системы становится вполне привлекательным продуктом внутреннего рынка, в частности для заказчиков, имеющих фокус на импортозамещение.
Читать полностью »

Заметил за собой, что постоянно записываю всякие мелочи, полезную информацию, просто что-то из буфера обмена прямо в текстовом редакторе. Всегда где-то на фоне висит открытый Sublime Text с кучей вкладок.
И ещё я заметил, что мне удобнее всего структурировать информацию в одном файле используя синтаксис Markdown — приятнее именно исходный текст, а не результат, отображаемый на том же гитхабе.
Со временем я заметил, что таких сохраненных файлов накопилось немало, да и незакрытые вкладки убавляться не собираются. А ведь одно неосторожное движение и вся не сохранённая накопленная информация канет в небытие, да и с других устройств не посмотришь, и раскидывать по папочкам тоже не очень удобно.
Всё это привело меня к мысли написать что-то вроде своего движка для хранения всей информации в одном месте и в удобном виде. Да-да, есть куча всяких Evernote, каких-нибудь заметок, встроенных в MacOS/iOS и так далее, которые и синхронизируются, и фичи полезные имеют — но, как говорится, хочешь сделать что-то хорошо (для себя), сделай это сам. Да и, как почти любой программист, в любой непонятной ситуации я беру и пишу всё сам. Так вышло и в этот раз.

Markdown база знаний (или блог, или документация проекта) - 1

Читать полностью »

В последние 10 лет ВТБ переживает мощный рост вычислительной нагрузки. Каждый год она увеличивалась в полтора раза, а объем учетных данных — в два. Службы поддержки очень старались, но угнаться за этими темпами было непросто: планы запросов отъезжали, дисковое пространство заканчивалось, обновления прикладного кода съедали все ресурсы. В этом посте мы расскажем, как решили проблему без больших трат на еще один IBM System p.

Как мы спасали карточный процессинг с помощью Exadata - 1
Читать полностью »