- PVSM.RU - https://www.pvsm.ru -
Источник [1]
Друзья, всех с прошедшим вчера Днем программиста! Жизни без багов и красивейшего кода!)
Мы продолжаем разбор облачных сервисов Техносерв Cloud и сегодня детально разложим, из чего состоит наша облачная база данных. Если заглянуть в результаты исследования [2], проведенного IDG Connect по заказу Oracle, увидим, что DBaaS скоро будет самым востребованным сервисом частного облака. Растет и число публичных сервисов DBaaS.
Снижение затрат за счет консолидации ресурсов, масштабирование по мере необходимости, контроль расходов, доступ к данным из любого места – всё это факторы, влияющие на выбор в пользу облачной базы данных. На рынке облачных услуг свои базы данных предлагают его ведущие игроки – Amazon Web Services, IBM, Microsoft и Oracle. Но есть одна проблема — все они разворачивают БД за пределами России, более того, далеко не все из них предлагают сервис – администрирование, управление производительностью, круглосуточную техническую поддержку (желательно на русском языке), – а только платформу.
Чтобы ответить на этот запрос рынка, мы запустили свой сервис [3] и стали единственным российским облачный провайдером, работающим с четырьмя основными базами данных под ФЗ-152 и ФЗ-242.
Вначале коротко о рынке. Если вы уже знакомы с этой информацией, переходите сразу к блоку "Четыре в одном", но нам показалось, эти данные довольно интересны.
По прогнозу Technavio, в ближайшие годы мировой рынок DBaaS будет демонстрировать экспоненциальный рост — более чем на 65% ежегодно. Вместо того, чтобы вкладывать большие средства в аппаратные платформы, многие компании склонны инвестировать средства в услуги с еженедельной, ежеквартальной или ежегодной оплатой по подписке.
Объем работ по поддержке собственных многочисленных баз данных и серверов может быть весьма серьезным. Стандартизация, когда все в одной среде, переводит процесс на уровень выше и упрощает работу с БД. Тут ключевое слово – «упрощает», отмечают аналитики IDC.
Судя по результатам опросов, реляционные облачные СУБД – в числе самых популярных сервисов публичных облаков. Их используют 35% респондентов, экспериментируют -14%, планируют внедрение – 12% (источник – RightScale [4]).
Более того, переход на облачные вычисления снижает затраты за счет консолидации ресурсов, повышая эффективность ИТ-инфраструктуры. Благодаря консолидации ресурсов можно также предоставить заказчикам дополнительную производительность и повысить управляемость.
По данным Forrester [5], AWS – лидер рынка DBaaS. Amazon Relational Database Service позволяет работать с БД Oracle, Microsoft SQL Server, MySQL, MariaDB и PostgreSQL в среде EC2. Из 100 тыс. исследованных 2ndWatch экземпляров БД [6] 67% представляли Amazon RDS.
Рост оборота мирового рынка DBaaS в млн. долларов (по данным 451 Research).
Облачные вычисления не только позволяют компаниям масштабироваться по мере необходимости, но также помогают им управлять расходами на обслуживание. Растущая популярность мобильных приложений также побуждает компании использовать DBaaS: доступ к данным можно получить из любого места. Все эти факторы способствуют росту рынка DBaaS.
Рост сервиса Oracle DBaaS в мире.
Аналитики Markets&Markets прогнозируют, что рынок облачных СУБД/DBaaS вырастет с 1,07 млрд. долларов в 2014 году до 14,05 млрд. долларов к 2019 году при ежегодных темпах роста (CAGR) в 46%.
Облачная база данных или DBaaS (Database as a Service) – это любая СУБД, предоставляемая по подписке как облачный сервис в рамках платформенной модели обслуживания. То есть DBaaS – один из сервисов PaaS. В случае PaaS, «платформы как сервис», заказчик получает уже установленное и настроенное программное обеспечение для разработки и тестирования или развертывания приложений. Для заказчика создается БД нужной конфигурации в одном из следующих вариантов:
• БД без виртуализации (на физической машине)
• БД на виртуальной машине
• БД в виде контейнера в многоарендной базе данных
Например, развертывание баз данных в отдельных виртуальных машинах на общей серверной платформе упрощает миграцию в облако, но приводит к дополнительным издержкам, усложняет поддержку версий СУБД и т.д. Если СУБД работают на пуле физических серверов с единой ОС, то можно унифицировать версии, упростить управление, эффективнее использовать оборудование, считают в Oracle.
Отдельные базы данных консолидируются на физических серверах и группируются в облачных пулах. Любой сервер из пула может размещать один или несколько экземпляров баз данных (источник – Oracle).
Используя DBaaS, заказчик может получить доступ к базе данных того или иного типа по запросу, быстро развернуть БД на требуемой аппаратной и программной платформе (операционной системе). В данной модели оплата может взиматься в зависимости от емкости и других потребляемых ИТ-ресурсов, а также от функций и средств администрирования базы данных. Отметим, что все функции баз данных, доступные локально, реализованы и в облаке.
DBaaS позволяет, например, оперативно развертывать базы данных или серверы приложений, использовать быстрое клонирование БД большого объема для разработки или тестирования. Базы данных клонируются буквально за секунды с помощью моментальных снимков. После входа в панель технической поддержки дальше все происходит автоматически.
Консолидация ресурсов в ЦОД поставщика услуг повышает эффективность ИТ, а применение стандартных, протестированных конфигураций увеличивает надежность. Можно также заказать конфигурации высокой доступности или катастрофоустойчивые, задействовать гибридную модель при эпизодическом увеличении нагрузки. DBaaS снимает с заказчика проблему развертывания и сопровождения СУБД. Кроме того, с облачной БД можно работать в любое время, из любой точки мира и из любого приложения.
Создание конфигураций баз данных на основе стандартных шаблонов дает возможность применить модель самообслуживания. Это освобождает администраторов от ручной настройки баз данных в ответ на каждый индивидуальный запрос. Когда среда DBaaS готова к использованию, заказчики смогут простыми операциями подготовить базы без привлечения администраторов БД по параметрам выделения ресурсов, установки ограничений доступа и выполнения других обычных задач.
Как показывает практика, многие заказчики DBaaS отмечают:
• Снижение общих расходов.
• Большую независимость бизнес-пользователей от ИТ-подразделений.
• Снижение рисков в сценариях ИТ-планирования.
• Большую предсказуемость и гибкость.
• Разработчики приложений достаточную степень свободы для творчества и инноваций.
• DBaaS улучшает работу администраторов БД. Они больше концентрируются на задачах бизнеса и меньше — на рутинных операциях.
Отличия DBaaS от традиционного подхода (источник – Oracle).
Основные преимущества облачной БД
Начнем с того, что не каждая компания может выделить отдельного сотрудника для мониторинга и управления своей СУБД. Результат — высокие риски остановки бизнес-процессов, прерывание производственных процессов, потеря данных и прочие неприятности. С сервисом «Облачная база данных» все эти заботы мы берем на себя. Преимущества DBaaS:
• высокая масштабируемость,
• снижение затрат,
• быстрое предоставление услуг,
• повышение надежности и безопасности.
Переходим к описанию нашего сервиса «Облачная база данных [7]». Как мы уже сказали, эта услуга может работать с четырьмя основными базами данных: мы предоставляем готовые к работе базы данных Microsoft SQL (лицензии MS по модели SPLA), PostgreSQL и MySQL, а также
Тарифный план предусматривает более 80 вариантов оказания услуги под различные классы экземпляров баз данных.
Клиентам доступны следующие версии и редакции СУБД:
Особенности услуги «Облачная база данных»
• Высокая производительность.
• Оптимизированные в соответствии с рекомендациями разработчиков и лучшими практиками конфигурации ОС и СУБД.
• Профессиональная техническая поддержка, в которой работают специалисты интегратора по базам данных.
• Услуга создавалась с учетом ФЗ-149, ФЗ-152 и ФЗ-242.
• Ценовое предложение в среднем на 35-40% выгоднее западных облачных платформ (с учетом затрат на работы по администрированию баз данных и операционных систем которые по умолчанию включены в состав услуги).
Согласно законодательству РФ, основными документами, определяющими требования к защите информации, являются:
• Закон ФЗ-149 [9] «Об информации, информационных технологиях и о защите информации».
• Закон ФЗ-152 [10] «О персональных данных».
• Приказы ФСТЭК России №17 [11] и №21 [12].
• Закон ФЗ-242 [13], который уточняет ФЗ-152 и обязывает операторов персональных данных обрабатывать и хранить персональные данные россиян с использованием баз данных, размещенных на территории РФ.
По умолчанию наш сервис предоставляется клиентам в соответствии с 3-й и 4-й категориями защищенности ПДн (о безопасности данных [14]), а по запросу – в аттестованном сегменте [15]* платформы, согласно всем требованиям защиты информации, установленным ФСТЭК России.
*Аттестат соответствия требованиям по безопасности информации
Данный аттестат подтверждает безопасность использования нашего облака для размещения ИС государственных и коммерческих организаций, предъявляющих жесткие требования в части защиты информации. Речь идет о российских заказчиках, специализирующихся на обработке ПДн: операторы ГИС, систем ПДн с высоким уровнем защищенности, например, медицинские и страховые компании.
Этот аттестат также исключает этап аттестации ИТ-инфраструктуры заказчика, тем самым до 50% снижает объем требуемых временных трудозатрат, значительно снижает размер инвестиций и существенно облегчает процесс аттестации ИС. Это позволяет оптимизировать финансовые и временные затраты организации, сократив издержки на создание и обслуживание своей ИТ-инфраструктуры, построение и поддержку внутренней системы защиты информации.
Санкции также подталкивают наших потенциальных заказчиков на поиск альтернативных решений на российском рынке. На фоне высокого курса валют и сложной политической ситуации они ищут возможные пути минимизации рисков, и «Облачная база данных», как российский сервис, предлагаемый на территории России по рублевым ценам, заслуживает пристального внимания. Облачные сервисы могут выступить в качестве альтернативы покупке ИТ-оборудования западных вендоров, а открытое ПО, на основе которого сервис функционирует, отвечает курсу на импортозамещение. Open Source платформы, такие как OpenStack, — одна из ключевых альтернатив проприетарным решениям.
Наш сервис включает все опции, обеспечивающие доступность базы данных:
• динамически расширяемые вычислительные ресурсы;
• администрирование ОС и СУБД силами провайдера;
• мониторинг СУБД;
• резервное копирование данных.
И предлагает следующие варианты подключения к БД:
• сети общего пользования (публичный интернет).
• защищенное VPN-подключение поверх интернета (IPSec VPN).
• защищенный L2 VPN-канал связи.
• сеть IP VPN.
• через внутреннюю сеть, при условии размещения серверов приложений в облачной платформе Техносерв Cloud (скорость 10 Гбит/с).
Администрирование БД включает в себя выполнение следующих операций:
• решение инцидентов в работе БД;
• установка и настройка клиента и ПО БД;
• управление доступом к БД;
• резервное копирование БД;
• обновление ПО БД;
• мониторинг доступности БД;
• мониторинг состояния БД и резервных копий, периодическое тестирование резервных копий (1 раз в месяц);
• управление пространством;
• анализ журналов и файлов трассировки;
• восстановление БД из резервных копий в случае сбоя*.
*Если необходимость восстановления базы данных из резервной копии была вызвана некорректными действиями пользователя, то такие работы считаются дополнительными и тарифицируются отдельно.
Администрирование операционных систем включает в себя выполнение следующих операций:
• инсталляция и базовая настройка серверной операционной системы;
• профилактическое обслуживание серверной операционной системы;
• настройка операционной системы (во время эксплуатации);
• решение инцидентов, возникающих в работе систем, в т. ч. восстановление; работоспособности после сбоя;
• обновление системы;
• резервное копирование системных данных;
• мониторинг доступности.
Для реализации сервиса мы используем в своей облачной платформе сегмент OpenStack со следующими возможностями:
• среда виртуализации OpenStack/KVM;
• обмен данными между ВМ — до 10 Гбитс;
• система управления OpenStack (основана на релизе Mitaka);
• использование модуля виртуализации сети Neutron позволяет реализовывать функции NAT, VPNaaS, FWaaS, LBaaS, маршрутизации;
• программно-определяемое хранилище (SDS) — тройное резервирование обеспечивает не только сохранность данных при выходе из строя любого диска, узла или группы узлов, но и автоматизированное восстановление копий на других узлах.
Ресурсы у сегмента OpenStack (с учетом резервирования):
• vCPU – 1000 ядер.
• vRam – 1400 Гбайт.
• vHDD – 24000 Гбайт.
Наша услуга сокращает эксплуатационные затраты, в которые среди прочего входят зарплаты администраторов БД (например, в Московском регионе зарплата Oracle DBA в месяц может доходить до 200 т.р.), а также снижает риски, связанные с инфраструктурой, на которой развернуты БД. Ее можно использовать для запуска новых или обновления существующих бизнес-приложений, таких как корпоративная система электронной почты, системы CRM и HRM, бухгалтерское, складское, финансовое и аналитическое ПО.
Она сводит к минимуму риск недоступности бизнес-приложений из-за ошибок в работе баз данных, снижает вероятность потери данных из-за несвоевременного резервного копирования, дает возможность обеспечить высокую доступность БД в условиях отсутствия или недостаточности собственных ресурсов/экспертизы. Кроме того, можно повысить отказоустойчивость критичных бизнес-систем за счет использования технологии кластеризации баз данных, получить достаточную производительность при нехватке вычислительных ресурсов и пропускной способности собственного оборудования или реализовать план аварийного восстановления (DRP). Сервис удобно также применять для резервного копирования и проверки консистентности резервных копий данных.
Для разных приложений у нас типовые конфигурации:
Распространенные варианты использования DBaaS — создание тестовых сред для функционального и нагрузочного тестирования, разовые проекты со сжатыми сроками, решение проблемы эпизодических «пиковых нагрузок», например, формирование аналитической или финансовой отчетности.
Это базовый вариант сервиса для БД Oracle, MS SQL Server (2012/2014/2016 Standard Edition), MySQL и PostgreSQL, при котором заказчику предоставляется система с необходимыми характеристиками. Экземпляр базы данных располагается на виртуальной машине.
Системой резервного копирования Commvault резервируются файлы базы данных и журналы транзакций. Они хранятся семь дней. В течение этого периода можно восстановить БД по состоянию на момент последнего резервирования журнальных файлов (с интервалом в час).
По умолчанию резервное копирование выполняется по следующему сценарию:
• Один раз в неделю — полное резервирование.
• Каждый день сохраняется дифференциальная резервная копия.
• Каждый час сохраняется журнал транзакций.
Целевой срок восстановления (RTO) – до нескольких часов (в зависимости от объёма базы данных), целевая точка восстановления (RPO) – до 1 часа. Время восстановления сервиса в случае потери базы данных зависит от объема БД и интенсивности ее использования. В случае аппаратного сбоя система автоматически заменяется в течение нескольких минут.
Архитектура: Одиночная база данных
Одиночная база данных — время восстановления и потенциальная потеря данных:
БД повышенной защищенности
Конфигурация зависит от типа БД:
SQL Server 2012/2014/2016 Standard Edition
Database Mirroring: предоставляются две системы с необходимыми характеристиками. На одной из машин располагается основной экземпляр, на второй — резервный. Используется зеркальное отображение базы данных (Database Mirroring), которое обладает следующими преимуществами:
PostgreSQL и MySQL
База данных повышенной защищённости: предоставляется две системы с необходимыми характеристиками. На одной из виртуальных машин располагается основной экземпляр, на второй — резервный. В случае выхода из строя основной базы данных происходит переключение на резервную. Время восстановления сервиса в случае потери базы данных не превышает 15 минут. Резервное копирование выполняется системой Commvault.
Архитектура: База данных повышенной защищенности
Доступность сервиса — 99,95%. RTO – от нескольких минут до 1 часа, RPO – близко или равна нулю.
БД высокой доступности и защищенности
SQL Server 2012/2014/2016 Enterprise Edition
Используются группы высокой доступности (Always On Availability Groups), которые предоставляют широкий набор параметров, позволяющих повысить уровень доступности баз данных и улучшить использование ресурсов, а также обладают следующими преимуществами:
В случае выхода из строя основной базы данных происходит переключение на резервную базу данных, при этом время простоя обычно составляет меньше минуты.
Каждая реплика группы доступности размещается на отдельном узле отказоустойчивого кластера Windows Server (WSFC). Развертывание WSFC требует, чтобы серверы, участвующие в WSFC (также называются узлами), были присоединены к одному и тому же домену.
В качестве последней линии защиты данных используется резервное копирование, которое выполняется системой Commvault.
Архитектура: База данных высокой доступности и защищенности (1)
БД высокой доступности и защищенности. RTO – от нескольких секунд до 1 часа, RPO – близка или равна нулю.
(1) — Данная опция в разработке. Плановый срок ноябрь 2017г.
«Облачная база данных» (TS-Cloud.DBaaS) включает в себя:
• Подсистему оркестрации, обеспечивающую управление сервисом и инфраструктурой. Она взаимодействует с порталом самообслуживания и использует ресурсы облака TS-Cloud для размещения ВМ.
• Портал самообслуживания.
• Подсистему резервного копирования на базе сервиса TS-Cloud.BaaS CommVault Simpana.
• Облачную платформу TS-Cloud (OpenStack).
• Подсистему мониторинга на базе Zabbix.
• Cистему доменных имен (DNS)
Модуль оркестрации Heat, являющийся частью платформы OpenStack, дает дополнительный уровень абстракции при работе с облаком и избавляет обслуживающий персонал от множества рутинных действий. Он выделяет и конфигурирует вычислительные ресурсы для сервиса DBaaS при запросе клиентом услуги через портал самообслуживания.
Схема TS-Cloud.DBaaS.
После запроса услуги клиентом портал запускает шаблон стека, соответствующий выбранной клиентом СУБД, и передает в Heat необходимые параметры сервиса (имя узла, размер дисков для размещения БД и транзакционных логов и т.д.). Heat запрашивает ресурсы для сервиса у компонентов платформы виртуализации, создает ВМ из образа, подключает к ней необходимые дополнительные диски и сети, запускает ВМ. Далее ВМ инициализируется при помощи Cloud-init. Метаданные ВМ сервиса (внутренний и внешний сетевые адреса, id стека и т.д.) передаются в портал. Портал самообслуживания взаимодействует с Heat через программный интерфейс Heat-API.
Подсистема оркестрации Ansible и обеспечивает настройку и управление сервиса DBaaS и инфраструктуры, необходимой для работы сервиса. Она управляется порталом самообслуживания и использует ресурсы облака TS-Cloud для размещения ВМ.
Портал самообслуживания взаимодействует с подсистемой оркестрации на базе Ansible через REST API, реализованный при помощи открытого продукта Flansible. Данный интерфейс позволяет исполнять сценарии Ansible (скрипты), отслеживать статус и результат их исполнения.
После запуска ВМ и получения порталом самообслуживания сетевых реквизитов сервиса запускается Ansible-скрипт конфигурирования сервиса — портал через REST-API передает необходимые параметры (внешний и внутренний адрес ВМ сервиса, имя БД, кодировка, имя пользователя БД, пароли и т.д.) и запускает скрипт. В процессе работы скрипта портал отслеживает статус выполнения.
Портал самообслуживания Техносерв Cloud — это интерфейс управления пользователем доступными услугами. В рамках сервиса DBaaS пользователю также предоставляется возможность создания, удаления и открытия заявок по услуге.
Портал взаимодействует с подсистемами автоматизации Heat и Ansible для создания экземпляров БД по запросу пользователя. В разделе «Каталог Услуг» пользователь может выбрать параметры конфигурацию и заказать одну или несколько услуг DBaaS.
После получения параметров заказа портал вызывает API Heat для выделения ресурсов OpenStack, получает от Heat IP-адреса созданных виртуальных машин и передает их по в Ansible для установки выбранной пользователем СУБД.
Процедуры в Heat и Ansible выполняются асинхронно, портал производит мониторинг выполнения этих процедур и сохраняет логи. Система мониторинга Zabbix призвана отслеживать состояние разнообразных сервисов сети, серверов и сетевого оборудования, а также оповещать персонал в случае внештатных и аварийных ситуаций.
Часто возникает вопрос, как перенести БД в облако. Мы разработали сценарии миграции данных на облачную инфраструктуру с использованием технологий Microsoft Mirroring и Always On Availability Groups, Oracle Data Guard, Oracle Golden Gate, Oracle Dbvision. Миграция включает в себя:
• Анализ с выбором методов решения задачи.
• Исследование на готовность системы.
• Рекомендации по подготовки системы.
• Составление детального плана.
• Тестирование процедуры миграции.
• Актуализацию результатов.
• Тестирование перед запуском в эксплуатацию.
• Финальную миграцию.
• Сопровождение постмиграционного периода.
• Решение проблемных вопросов.
• Контроль качества на всех этапах работ.
• Учет всех требований по простою системы, методик и оформления миграционных процедур.
Сколько это стоит?
Закономерный вопрос. Давайте посчитаем. Ежемесячная стоимость сервиса формируется, исходя из конфигурации сервера и размера размещенных на нем баз данных. Активно развивая пул облачных услуг, сегодня мы предлагаем сервисы дешевле, чем зарубежные игроки, а стабильные рублевые цены гарантируют независимость от колебания курса валют. Вот примеры конфигураций сервиса.
Вариант 1. Функциональное тестирование на СУБД PostgreSQL для разработчиков конфигурации «1С: Зарплата и кадры», эксплуатируемой в сети автосервисов.
Вариант 2. Пример расчета стоимости сервиса БД MS SQL для ERP MS Axapta эксплуатируемой в сети магазинов детских игрушек.
Вариант 3. Пример расчета стоимости сервиса БД Oracle для системы поддержки туристического бизнеса используемой туристическим оператором и его агентствами.
У нас на сайте можно рассчитать стоимость услуги с помощью онлайн-калькулятора [16].
Поскольку услуга новая, то будет много акций и прочих промо. А пока для первых 10 заказчиков, заявивших, что они пришли с Хабра, мы проводим миграцию данных бесплатно.
Автор: Техносерв Cloud
Источник [17]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/mysql/263806
Ссылки в тексте:
[1] Источник: https://xkcd.ru/327/
[2] исследования: https://www.oracle.com/ru/corporate/pressrelease/hybrid-pulls-ahead-idg-study-20150115.html
[3] мы запустили свой сервис: https://ts-cloud.ru/about-company/news/1162/?utm_source=habr&utm_medium=cpm&utm_term=DBaaS&utm_campaign=DBaaS_habr
[4] RightScale: http://marketrealist.com/2017/07/oracles-dbaas-cloud-revenues-rose-62-drove-database-segment/
[5] По данным Forrester: http://marketrealist.com/2017/07/what-made-amazon-a-leader-in-the-dbaas-space/
[6] Из 100 тыс. исследованных 2ndWatch экземпляров БД: https://www.informationweek.com/cloud/infrastructure-as-a-service/aws-s3-data-transfer-among-its-most-popular-services-report-/d/d-id/1326180
[7] Облачная база данных: https://ts-cloud.ru/service/oblachnaya-baza-dannykh/?utm_source=habr&utm_medium=cpm&utm_term=DBaaS&utm_campaign=DBaaS_habr
[8] хостинг: https://www.reg.ru/?rlink=reflink-717
[9] ФЗ-149: http://docs.cntd.ru/document/901990051
[10] ФЗ-152: http://docs.cntd.ru/document/901990046
[11] №17: http://fstec.ru/normotvorcheskaya/akty/53-prikazy/702-prikaz-fstek-rossii-ot-11-fevralya-2013-g-n-17
[12] №21: http://fstec.ru/normotvorcheskaya/akty/53-prikazy/691-prikaz-fstek-rossii-ot-18-fevralya-2013-g-n-21
[13] ФЗ-242: http://docs.cntd.ru/document/420208796
[14] о безопасности данных: https://ts-cloud.ru/advantages/security/?utm_source=habr&utm_medium=cpm&utm_term=razbor_servisa_DBaaS&utm_content=habrahabr&utm_campaign=DBaaS_habr
[15] аттестованном сегменте: https://ts-cloud.ru/service/virtualnyi-data-centr-VDC-VMware/?utm_source=habr&utm_medium=cpm&utm_term=DBaaS&utm_content=habrahabr&utm_campaign=DBaaS_habr_security
[16] онлайн-калькулятора: https://ts-cloud.ru/service/oblachnaya-baza-dannykh/?utm_source=habr&utm_medium=cpm&utm_term=DBaaS&utm_campaign=DBaaS_habr#tabs-3
[17] Источник: https://habrahabr.ru/post/337860/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best
Нажмите здесь для печати.