Рубрика «хранение данных» - 71

Всем привет! Очень радует, что первая публикация от том как мы создавали наш хостинг пришлась многим по душе. Спасибо за ваше мнение и комментарии и учитывая ваши пожелания, продолжим. В сегодняшнем материале будут небольшие отступления, они и как раз послужат ответами на некоторые вопросы, которые мне задавали.

Предыдущая публикация

Напомню, что в прошлый раз мы остановились на приобретении и монтаже дизель генератора, в дальнейшем ДГУ. А в целях противопожарной безопасности к нему прилагался модуль порошкового пожаротушения отечественного производства. Такие модули широко используются во многих сферах деятельности, благодаря удобному расположению, так как он монтируется на потолок, эстетичному внешнему виду, а также возможностью запуска как принудительного, так и самостоятельного в режиме срабатывания во время пожара. Нам к великому счастью применить его не удалось. Опять же никаких инструкций не прилагалось, разбирались сами, но там достаточно всё просто. Монтируется по типу люстры, срабатывает от повышения температуры. Ну а для принудительного приведение в действие от него идут контакты, на которые необходимо подать напряжение в 12 В. Вот его фото.

image
Читать полностью »

image

Введение

Информационная система с точки зрения пользователя хорошо определяется в ГОСТ РВ 51987 — «автоматизированная система, результатом функционирования которой является представление выходной информации для последующего использования». Если рассматривать внутреннюю структуру, то по сути любая ИС является системой реализованных в коде взаимосвязанных алгоритмов. В широком понимании тезиса Тьюринга-Черча алгоритм (а сл-но ИС) осуществляет трансформацию множества входных данных в множество выходных данных.
Можно даже сказать, что в трансформации входных данных и есть смысл существования информационной системы. Соответственно ценность ИС и всего комплекса ИС определяется через ценность входных и выходных данных.
Исходя из этого проектирование должно начинаться и брать за основу данные, подстраивая архитектуру и методы под структуру и значимость данных.

Хранимые данные
Ключевым этапом подготовки к проектированию является получение характеристик всех наборов данных, планируемых к обработке и хранению. Эти характеристики включают в себя:
— Объем данных;
— Информация о жизненном цикле данных (прирост новых данных, срок жизни, обработка устаревших данных);
— Классификация данных с т.з. влияния на основной бизнес компании (то триаде конфиденциальность, целостность, доступность) вместе с финансовыми показателями (напр. стоимость утери данных за последний час);
— География обработки данных (физическое расположение систем обработки);
— Требования регуляторов по каждому классу данных (напр. ФЗ-152, PCI DSS).

Читать полностью »

image

Я присоединился к команде Facebook в 2011 году в качестве инженера бизнес-аналитика. К моменту, когда я покинул команду в 2013 году я уже был дата-инженером.

Меня не продвигали или назначали на эту новую позицию. Фактически, Facebook пришла к выводу, что выполняемая нами работа является классической бизнес-аналитикой. Роль, которую в итоге мы для себя создали, была полностью новой дисциплиной, а я и моя команда находились на острие этой трансформации. Мы разрабатывали новые подходы, способы решения задач и инструменты. При этом, чаще всего, мы игнорировали традиционные методы. Мы были пионерами. Мы были дата-инженерами!

Дата-инжиниринг?

Наука о данных как самостоятельная дисциплина переживает период отроческого самоутверждения и определения себя. В тоже время дата-инжиниринг можно было назвать ее «младшим братом», который тоже проходил через нечто подобное. Дата-инжиниринг принимал от своего «старшего родственника» сигналы, искал свое место и собственную идентичность. Как и ученые, занимающиеся обработкой данных, дата-инженеры тоже пишут код. Он является высокоаналитическим, с большой долей визуализации.

Но в отличие от ученых, работающих с данными и вдохновленными более зрелым прародителем сферы — программированием — дата-инженеры создают собственные инструменты, инфраструктуру, фреймворки и сервисы. На самом деле, мы намного ближе к программированию, чем к науке о данных.
Читать полностью »

image
Министр связи Николай Никифоров

Минкомсвязи не может смягчить принятый летом 2016 года пакет антитеррористических законов Яровой-Озерова используя только подзаконные акты. Об этом сообщил министр связи Николай Никифоров в беседе с представителями «Интерфакса», пишут «Ведомости».

"… пока мы не видим возможности, как это сделать на уровне подзаконных актов", — сказал министр.

Ранее ведомство не поддержало петицию об отмене пакета законов Яровой-Озерова.
Читать полностью »

Как мы Redis Cluster готовили - 1

В мире опен сорс есть огромное количество технологий, подходов, паттернов, тулзов и аппов, которые юзает очень много компаний. Как превратить используемое ПО или технологию в конкурентное преимущество? Предлагаю рассмотреть на примере Redis Cluster — как мы прокладывали наш путь.
Читать полностью »

Появление так называемых «облачных платформ» повлияло на целый ряд отраслей, и Web-хостинг – не исключение. Но что такое облачный хостинг, чем он отличается от VPS (Virtual Private Server)? VPS-хостинг и облачный хостинг — два похожих вида хостинга, но все же между ними есть различия, от которых зависит выбор того или иного вида хостинга в конкретных обстоятельствах. Мы уже рассказывали о разных видах хостинга – от виртуального до физического. Теперь же рассмотрим подробнее эти два.
VPS-хостинг и облачный хостинг: что выбрать и в чем разница? - 1
Читать полностью »

Цифровая трансформация, ее влияние на работу ИТ-подразделений и бизнес в целом — популярная сегодня тема дискуссий. Цифровая трансформация предполагает использование современных технологий для кардинального повышения производительности, эффективности работы и «ценности» предприятий. Компании в различных отраслях пытаются активнее внедрять в свою практику аналитику, мобильные и облачные технологии, социальные сети, интернет вещей. Достижения цифровой эпохи они стараются задействовать для создания новых сервисов и продуктов, изменения взаимоотношений с клиентами, оптимизации внутренних процессов, выхода на новые рынки и усиления конкурентных позиций. Основные тенденции, трансформирующие рынки и бизнес, обсуждались и на Dell EMC Forum 2016.

Dell EMC: конвергенция для трансформации - 1
Читать полностью »

Это история из серии «Записки сервисного инженера». На вопрос ответим чуть позже, а сначала небольшой сказ об одном МАССИВном падении. Недавно в наш Сервисный центр обратился клиент, который решил самостоятельно проапгрейдить массив HDS AMS2000: заменить часть старых дисков на новые большего размера. Со слов заказчика, он вставил новый диск – и один контроллер сломался; вытащил новый диск – и второй контроллер тоже включил аварийную индикацию, а со всех систем пропал доступ к массиву.

Чем СХД отличается от курицы? - 1

Читать полностью »

Закрытое бета-тестирование горячего хранилища в Облаке Mail.Ru - 1

Привет! У нас хорошая новость: мы начинаем закрытое бета-тестирование «горячего хранилища» (Hotbox) на базе Облака Mail.Ru для бизнеса и приглашаем к участию всех желающих. В первую очередь сервис Hotbox будет интересен владельцам медиасервисов с высокой посещаемостью, онлайн-СМИ и ресурсов с UGC-контентом и разработчикам мобильных приложений. В общем, хранилище предназначено для тех, кому нужно хранить и часто раздавать много файлов.
Читать полностью »

Что такое SLD и зачем оно нужно?

Одна из важнейших задач IT-подразделения предприятия – защита данных от воздействия различных внешних факторов, как то: пожар, землятрясение, наводнение и прочие катастрофы. Традиционно для этого используются различные технологии репликации данных. Однако обычно репликация позволяет синхронизовать (с тем или иным значением RPO) один и тот же набор данных только между двумя дата-центрами. И для многих заказчиков этого вполне достаточно. Для многих, но не для всех. Если заказчику требуется нулевое RPO, значит, необходимо использовать синхронную репликацию. Однако синхронная репликация позволяет размещать дата-центры на расстоянии порядка 100к м друг от друга. В случае серьезной катастрофы, или просто если два дата-центра расположены слишком близко друг от друга, оба ДЦ могут пострадать одновременно – и данные будут потеряны.

Как добиться репликации с нулевым RPO на большие расстояния - 1

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js