Рубрика «s3»

В процессе настройки нового кластера на Ceph Luminous появилась задача разнести разные S3 бакеты по разным устройствам хранения (в моем случае SSD и HDD). В интернете много инструкций как это сделать в Ceph Jewel, но в случае с Luminous процесс претерпел большие изменения и старые инструкции больше не работают. Вместе с тем, что в офф документации этот сценарий не описан, процесс настройки становится не слишком тривиальным.
Читать полностью »

Программно-определяемый подход к хранению данных

Veritas Access 7.3: плюсы, минусы, подводные камни - 1

В этой статье мы рассмотрим и протестируем новую версию программно-определяемой системы хранения данных (Software-Defined Storage, SDS) Veritas Access 7.3 — многоцелевого масштабируемого хранилища данных на базе обычных серверов архитектуры x86 с поддержкой файлового, блочного и объектного доступа. Наша основная задача — познакомиться с продуктом, c его функционалом и возможностями.

Компания Veritas — это синоним надежности и опыта в сфере управления информацией, владеющая многолетней традицией лидерства на рынке резервного копирования, производящая решения для анализа информации и обеспечения ее высокой доступности. В Software-Defined Storage решении Veritas Access мы видим будущее и уверены, что через некоторое время продукт обретет популярность и займёт одну из ключевых позиций на рынке SDS решений.
В качестве платформы, на которой был создан Access, выступил продукт с давней историей InfoScale (Veritas Storage Foundation), который во времена отсутствия виртуализации был на пике популярности в Highly Аvailable (HA) решениях. И от младшего брата Veritas Access мы ожидаем продолжение истории успеха НА в виде Software-Defined Storage.

Один из плюсов Veritas Access — это цена. Продукт лицензируется по числу активных ядер (примерно 1000$/1 CORE в GPL (global price list)), стоимость совершенно не зависит от количества дисков и общего объема системы хранения. За узлы разумно использовать малоядерные высокопроизводительные однопроцессорные сервера. Грубо говоря, лицензия Access на 4х узловой кластер будет стоить $20 000–$30 000, что на фоне других SDS решений, где стоимость начинается от 1500 долларов за терабайт сырого места в GPL, выглядит очень привлекательно.
Читать полностью »

В мире современных веб-технологий все стремительно развивается и меняется. Пару лет назад совершенно нормальным было по запросу клиента рендерить DOM структуру на сервере (например, при помощи PHP) и отдавать уже полностью сформированную страницу. Сейчас все чаще появляются сайты c полным отделением фронтенда (Angular, React, Vue.js...) от бэкенда (некие API эндпоинты), где на фронтенде почти весь контент формируется посредством скриптов, а сервер отдает только данные по запросу. Тут можно было бы упомянуть SSR (Server Side Rendering), но не об этом данное произведение.

В любые времена перед разработчиками и владельцами сайтов стояла непростая задача: доставить контент как можно быстрее, как можно большему количеству клиентов. Одно из самых правильных решений — использовать CDN (Content Delivery Network) для раздачи статичных файлов. В случае с динамическим рендером страниц на сервере мы должны были ограничиваться небольшим списком объектов, которые можно было разместить в CDN: таблицы стилей, файлы скриптов, изображения. Однако, фронтенд, написанный на Angular (React, Vue.js...), статичен целиком, включая индексную страницу. Вот тут и возникает мысль: а почему бы не организовать раздачу через CDN всего фронтенда?

В данной статье пойдет речь о настройке комплексного решения для разработки, контроля версий, автоматической сборки и доставки статического сайта с использованием Gitlab CI, Amazon S3 и Amazon CloudFront. Также речь пойдет о настройке сопутствующих вещей: git, безопасное соединение по протоколу HTTPS, доменная почта, DNS хостинг, бэкенд сервер…

Если вас заинтересовала эта тема, добро пожаловать под кат.
Осторожно! Много скриншотов.
Читать полностью »

Рад объявить о первом крупном обновлении глобальной тепловой карты в Strava Labs c 2015 года. Это обновление включает в себя в шесть раз больше данных, чем раньше —  в сумме 1 миллиард активностей со всей базы Strava по сентябрь 2017 года.

Наша глобальная теплокарта — самая крупная и подробная, и это самый прекрасный в мире набор данных такого рода. Это прямая визуализация активностей глобальной сети атлетов Strava. Чтобы дать представление о масштабе, то новая теплокарта включает в себя:

  • 1 миллиард активностей
  • 3 триллиона точек долготы/широты
  • 13 триллионов пикселей после растрирования
  • 10 терабайт исходных данных
  • Общая дистанция маршрутов: 27 миллиардов километров
  • Запись общего времени активности: 200 тысяч лет
  • 5% земной суши покрыто тайлами

Глобальная теплокарта Strava: теперь в 6 раз горячее - 1
Тепловая карта Москвы демонстрирует функцию поворота/наклона в Mapbox GL
Читать полностью »

Есть мнение, что Swift — особенно благодаря развитию в опенсорсе — уже сейчас применим за рамками софта для платформ Apple. Наши коллеги из «Рамблера», включая разработчика Самвела Меджлумяна, даже пробуют этот язык в качестве серверного решения. На встрече сообщества CocoaHeads Самвел перечислил готовые продукты для построения сервера на Swift, сравнил их между собой и показал короткое демо.

Читать полностью »

Оптимизация расходов на AWS в SaaS-бизнесе - 1
Расходы Cronitor на AWS за последние 12 месяцев

В первые 30 дней после перевода Cronitor на AWS в январе 2015 года мы собрали платежей на $535 и заплатили $64,47 за хостинг, передачу данных и доменное имя. С тех пор мы наращивали потребление услуг, апгрейдили инстансы, добавляли сервисы. Несмотря на репутацию AWS как дорогого пистолета, чтобы выстрелить себе в ногу, наши счета сохранялись на уровне 12,5% от дохода. Смотрите сами.
Читать полностью »

Amazon S3 около трех-четырех часов работал с перебоями, Medium, Slack, Coursera, Trello лежали - 1 Примерно с 9 вечера до часу ночи по Московскому времени были перебои с работой облачного хранилища Amazon S3.

Началось это с сообщения в твиттер «S3 is experiencing high error rates. We are working hard on recovering», хотя мир узнал об этом раньше: перестали работать (полностью или частично) сайты Medium, Slack, Coursera, Trello, Adobe и еще куча.

При этом некоторое время не работала страница со статусами status.aws.amazon.com. Ну как не работала — она работала, но показывала, что все хорошо, в Богдаде всё спокойно, «Service is operating normally».

Дополнение от ValdikSS: пользователи мышек фирмы Razer не могли изменить DPI, т.к. для этого нужно, вероятно, соединение с Amazon.
Читать полностью »

Закрытое бета-тестирование горячего хранилища в Облаке Mail.Ru - 1

Привет! У нас хорошая новость: мы начинаем закрытое бета-тестирование «горячего хранилища» (Hotbox) на базе Облака Mail.Ru для бизнеса и приглашаем к участию всех желающих. В первую очередь сервис Hotbox будет интересен владельцам медиасервисов с высокой посещаемостью, онлайн-СМИ и ресурсов с UGC-контентом и разработчикам мобильных приложений. В общем, хранилище предназначено для тех, кому нужно хранить и часто раздавать много файлов.
Читать полностью »

Доброго времени суток. Речь пойдёт об инструменте тестирования производительности СХД, изначально разработанного в недрах компании EMC для внутренних нужд, но имеющем свойство плавно разрастаться. Кстати, буквально «вчера» мангуст получил статус OpenSource проекта. А это значит, что пришло время немножко рассказать о нём. Итак, что же это за зверь?

image
Читать полностью »

В этой статье я отклонюсь от традиционной для меня темы систем хранения FAS и подниму тему объектного хранения данных в системах NetApp StorageGrid WebScale. Если кратко, то объектное хранение — это третий тип хранения наряду с NAS и SAN. Представьте себе, что каждый файл состоит из данных и метаинформации (владелец, права, время модификации и т.д.), так вот объектное хранение позволяет разъединить эти части и хранить их в виде «ключ/значение». Такой подход хранения информации открывает возможности децентрализованного, распределённого хранения данных огромных масштабов с прозрачной миграцией данных, репликацией и прозрачным переключением конечных потребителей между нодами объектного кластера. В широком смысле объектное хранилище может быть реализовано как на уровне устройства (жесткого диска), при помощи специализированных SCSI команд (Object-based Storage Device Commands), так и на уровне протокола доступа к системе хранения, которая состоит из нескольких дисков (которые, в свою очередь, вовсе не обязаны быть объектными). В обоих случаях используется Ethernet для подключения и IP протокол для передачи данных. Примером реализации объектного хранилища на уровне устройства являются жесткие диски линейки Seagate Kinetic Open Storage platform. Примером систем хранения данных в облаке может быть Microsoft Azure BLOB, Amazon S3. В этой статье я остановлюсь на объектных СХД, которые можно развернуть у себя на сайте и при необходимости подключить к облаку.
Объектное хранилище NetApp StorageGrid - 1
Читать полностью »