Рубрика «s3»

Итак, как наверняка все знают, совсем недавно 1-2 октября в Москве в “Инфопространстве” прошёл DevOpsConfRussia2018. Для тех кто не вкурсе, DevOpsConf — профессиональная конференция по интеграции процессов разработки, тестирования и эксплуатации.

Наша компания также приняла участие в этой конференции. Мы являлись её партнерами, представляя компанию на нашем стенде, а также провели небольшой митап. К слову это было первое наше участие в подобном роде деятельности. Первая конференция, первый митап, первый опыт.

О чём мы рассказывали? Митап был на тему “Бэкапы в Kubernetes”.

Скорее всего услышав это название, многие скажут: “А зачем бэкапить в Kubernetes? Его не нужно бэкапить, он же Stateless”.

Бэкапы Stateful в Kubernetes - 1

Читать полностью »

Казалось бы, задача реализации фронтенда для AWS на nginx звучит как типовой кейс для StackOverflow — ведь проблем с проксированием файлов из S3 быть не может? На деле выяснилось, что готовое решение не так-то просто найти, и данная статья должна исправить эту ситуацию.

Проксируем файлы из AWS S3 средствами nginx - 1

Зачем это вообще может понадобиться?

  1. Контроль доступа к файлам средствами nginx — актуально для концепции IaC (инфраструктура как код). Все изменения, связанные с доступом, будут вноситься только в конфигах, которые лежат в проекте.
  2. Если отдавать файлы через свой nginx, появляется возможность их кэшировать и сэкономить тем самым на запросах к S3.
  3. Подобный прокси поможет абстрагироваться от типа хранилища файлов для разных инсталляций приложения (ведь помимо S3 существуют и другие решения).

Читать полностью »

А вот вы говорите Ceph… а так ли он хорош? - 1

Я люблю Ceph. Я работаю с ним уже 4 года (0.80.x — 12.2.6, 12.2.5). Порой я так увлечен им, что провожу вечера и ночи в его компании, а не со своей девушкой.
 Я сталкивался с различными проблемами в этом продукте, а с некоторыми продолжаю жить и по сей день. Порой я радовался легким решениям, а иногда мечтал о встрече с разработчиками, чтобы выразить свое негодование. Но Ceph по-прежнему используется в нашем проекте и не исключено, что будет использоваться в новых задачах, по крайней мере мной. В этом рассказе я поделюсь нашим опытом эксплуатации Ceph, в некотором роде выскажусь на тему того, что мне не нравится в этом решении и может быть помогу тем, кто только присматривается к нему. К написанию этой статьи меня подтолкнули события, которые начались примерно год назад, когда в наш проект завезли Dell EMC ScaleIO, ныне известный как Dell EMC VxFlex OS.

Это ни в коем случае не реклама Dell EMC или их продукта! Лично я не очень хорошо отношусь к большим корпорациям, и черным ящикам вроде VxFlex OS. Но как известно, всë в мире относительно и на примере VxFlex OS очень удобно показать каков Ceph с точки зрения эксплуатации, и я попробую это сделать. Читать полностью »

Мы хотим заменить девопсов скриптом (на самом деле нет): разработчики, нужно ваше мнение - 1
Мы делаем проект облака для разработки — платформу, способную максимально упросить жизнь девопсам, разработчикам, тестировщикам, тимлидам и другим вовлеченным в процесс разработки специалистам. Это продукт не для сейчас и не для завтра, и потребность в нём только-только формируется.

Основанная идея — вы можете разворачивать конвейер с уже преднастроенными инструментами, но при этом с возможностью внесения целого ряда настроек, и вам останется только деплоить код.
Читать полностью »

Это вторая лекция с Я.Субботника по базам данных — первую мы опубликовали пару недель назад.

Руководитель группы СУБД общего назначения Дмитрий Сарафанников рассказал об эволюции хранилища данных в Яндексе: о том, как мы решили делать S3-совместимый интерфейс, почему выбрали PostgreSQL, на какие грабли наступили и как с ними справились.

— Всем привет! Меня зовут Дима, в Яндексе я занимаюсь базами данных.Читать полностью »

image

Привет! Мы закрываем сезон Университетов DataLine семинаром в Санкт-Петербурге.

28 июня ждем вас на семинар «Виртуальная инфраструктура для разработчиков: возможности, приложения и сервисы». Поговорим о том, как облачная инфраструктура и сервисы могут быть полезны разработчикам. Рассмотрим примеры развертывания тестовых сред и работу с контейнерами и приложениями.

Осталось всего несколько мест, регистрация обязательна!
Читать полностью »

image

Привет! Давно мы не проводили семинары — исправляемся.

31 мая совместно с Lenovo мы расскажем о новом сервисе DataLine — объектном хранилище. Поговорим о том, как мы выбирали решение и с чем столкнулись в процессе создания сервиса. Рассмотрим основные сценарии использования объектного хранилища и о цифрах не забудем.

Осталось всего несколько мест, регистрация обязательна!
Читать полностью »

Как мы организовали хранилище данных дешевле Amazon Simple Storage Service на 35% - 1

У нас есть набор систем хранения как традиционных, так и программно определяемых. Они используются в формате блочных хранилищ для хранения виртуальных машин, баз данных и других ресурсов.

На втором этапе мы стали использовать объектное хранение, то есть хранение без иерархии каталогов. Все данные лежат на одном уровне, и каждый файл может быть доступен по своему ключу. Метаданные хранятся рядом с файлом. Для доступа используются простые команды уровня PUT — GET — MODIFY, есть возможность обратиться к каждому файлу по собственному URI, обеспечены лёгкость управления правами и лёгкость размещения самых разных данных и доступа к ним.

Минус данных решений — невозможность обращения к части (сегменту) файла, поэтому для приложений вроде баз данных такие хранилища не используются. Оптимальное применение — сложить туда картинки веб-сайта, файловую помойку, архивы или бэкап данных. На базе объектного хранилища мы построили свой S3 — систему хранения не очень часто изменяемых данных. С прямой совместимостью с Amazon S3.

А ещё классические протоколы доступа, использующиеся внутри компаний для файлового доступа (CIFS или NFS), не предназначены для обмена большими данными через сеть Интернет. Это ещё одна из причин, почему и зачем мы создали своё объектное хранилище.

Стояла задача сделать его не просто работающим отовсюду, но и дешёвым.
Читать полностью »

В процессе настройки нового кластера на Ceph Luminous появилась задача разнести разные S3 бакеты по разным устройствам хранения (в моем случае SSD и HDD). В интернете много инструкций как это сделать в Ceph Jewel, но в случае с Luminous процесс претерпел большие изменения и старые инструкции больше не работают. Вместе с тем, что в офф документации этот сценарий не описан, процесс настройки становится не слишком тривиальным.
Читать полностью »

Программно-определяемый подход к хранению данных

Veritas Access 7.3: плюсы, минусы, подводные камни - 1

В этой статье мы рассмотрим и протестируем новую версию программно-определяемой системы хранения данных (Software-Defined Storage, SDS) Veritas Access 7.3 — многоцелевого масштабируемого хранилища данных на базе обычных серверов архитектуры x86 с поддержкой файлового, блочного и объектного доступа. Наша основная задача — познакомиться с продуктом, c его функционалом и возможностями.

Компания Veritas — это синоним надежности и опыта в сфере управления информацией, владеющая многолетней традицией лидерства на рынке резервного копирования, производящая решения для анализа информации и обеспечения ее высокой доступности. В Software-Defined Storage решении Veritas Access мы видим будущее и уверены, что через некоторое время продукт обретет популярность и займёт одну из ключевых позиций на рынке SDS решений.
В качестве платформы, на которой был создан Access, выступил продукт с давней историей InfoScale (Veritas Storage Foundation), который во времена отсутствия виртуализации был на пике популярности в Highly Аvailable (HA) решениях. И от младшего брата Veritas Access мы ожидаем продолжение истории успеха НА в виде Software-Defined Storage.

Один из плюсов Veritas Access — это цена. Продукт лицензируется по числу активных ядер (примерно 1000$/1 CORE в GPL (global price list)), стоимость совершенно не зависит от количества дисков и общего объема системы хранения. За узлы разумно использовать малоядерные высокопроизводительные однопроцессорные сервера. Грубо говоря, лицензия Access на 4х узловой кластер будет стоить $20 000–$30 000, что на фоне других SDS решений, где стоимость начинается от 1500 долларов за терабайт сырого места в GPL, выглядит очень привлекательно.
Читать полностью »