Рубрика «хранилища данных» - 31

в 9:00, , рубрики: ruvds, Блог компании RUVDS.com, ИБП, источник бесперебойного питания, ит-инфраструктура, хостинг, хранение данных, хранилища данных, цод

С увеличением зависимости бизнеса от ИТ и повышением требований информационных систем к электропитанию необходимость в системах бесперебойного питания становится все очевиднее.

Электропитание без перебоев - 1

Для защиты ИТ-оборудования от перебоев в электросети и некачественного электропитания широко применяются источники бесперебойного питания (Uninterruptible Power Supply, UPS) — ИБП. Это дополнительное оборудование, предназначенное для электропитания ИТ-систем или других устройств при кратковременном (до нескольких десятков минут) отключении основного электропитания, а также для защиты от помех и бросков в электросети и поддержания параметров питания в допустимых пределах. То есть ИБП также могут использоваться для улучшения качества электропитания.
Читать полностью »

в 19:23, , рубрики: BPG, flickr, jpg, WebP, дедупликация, освобождение места, перцептивное сжатие, размер фотографий, резервное копирование, Серверная оптимизация, сжатие данных, сжатие фотографий, уменьшенные копии, хранение данных, хранилища данных, экономия дискового пространства, метки:

Год без единого байта - 1Об авторе. Арчи Рассел (Archie Russell) — инженер бэкенда во Flickr

Одна из самых затратных статей в работе сервиса вроде Flickr — это хранение. За последние годы мы описывали различные техники для снижения стоимости: использование COS, динамическое изменение размера на GPU и перцептивное сжатие. Эти проекты были очень успешны, но мы продолжали терять много денег на хранении данных.

В начале 2016 года мы поставили перед собой задачу выйти на новый уровень — продержаться целый год вообще не закупая новые носители информации. Используя различные техники, нам это удалось.

История затрат

Небольшие арифметические расчёты на салфетке показывают, что затраты на хранение представляют собой предмет реального беспокойства. В день с высокой посещаемостью пользователи Flickr загружают до 25 млн фотографий. Каждая из них требует в среднем 3,25 МБ, что в сумме составляет 80 ТБ. Наивно размещая их на облачном хостинге вроде S3 фотографии одного дня потянут на $30 тыс. в год и продолжат генерировать затраты каждый последующий год.
Читать полностью »

в 8:06, , рубрики: ssd диск, Блог компании Сервер Молл, Серверная оптимизация, системное администрирование, системы хранения данных, ускорение системы хранения, хранение данных, хранилища данных

image alt text

В статьях про СХД из "конспекта админа" практически не рассматривались технологии софтовой организации дискового массива. Кроме того, за кадром остался целый пласт относительно дешевых сценариев ускорения хранилищ с помощью твердотельных дисков.

Поэтому в этой статье рассмотрю три неплохих варианта использования SSD-дисков для ускорения подсистемы хранения.Читать полностью »

в 7:56, , рубрики: SAFEDATA, бекапы, Блог компании SAFEDATA, потеря данных, резервное копирование, системное администрирование, факапы, хранение данных, хранилища данных

От факапа до бэкапа: истории ИТ-компаний, потерявших данные - 1
 
Большинство компаний понимают важность создания бэкапов. Но вот беда — представление о том, что должна собой представлять стратегия резервирования данных, имеет не так много компаний. В результате они теряют информацию, клиентов, а значит, и деньги. Еще в 2014 году эксперты информировали о том, что бизнес теряет около $1.7 триллиона долларов в год из-за безвозвратных потерь ценнейших данных, которые почему-то не резервировались. Сейчас этот показатель вырос, поскольку часовой вынужденный простой дата-центра обходится оператору в $50 000 — $80 000. Два года назад часовой простой влек за собой убытки в $40 000 — $60 000.
 Читать полностью »

в 11:13, , рубрики: docker, docker-compose, linux, mediaserver, plex, torrent, Ubuntu, хранение данных, хранилища данных

Добрый день Хабр. На написание этой статьи меня сподвигло закрытие довольно известных в UA-IX ресурсов ex.ua и fs.to. Поскольку доблестные правоохранители не озаботились предоставлением какой-либо достойной альтернативы, было принято решение взять процесс в свои руки, к тому же давно хотелось организовать домашнее хранилище/файлопомойку не зависящее от внешних провайдеров. В процессе реализации было перепробовано довольно много разных систем, но в итоге все выстроилось именно так, а не иначе. Мнение субъективное, реализация доступная. Сама статья рассчитана на новичков которым необходимо просто работающее решение, или на тех кто задумался о своем медиасервере, но еще не определился с реализацией.

Итак решение принято, начнем.
Читать полностью »

в 8:53, , рубрики: ceph, linux, proxmox, zfs, виртуализация, ит-инфраструктура, Серверное администрирование, хранилища данных

В своей работе (системный администратор) приходится всегда искать вещи и знания, уникальные для своего региона. Одной из таких вещей в нашей конторе является ProxMox, поставленный на файловой системе ZFS, позволяющей использовать неплохой raid массив без использования железных контроллеров. Однажды, думая, чем можно еще удивить и порадовать клиентов, мы решили всё это водрузить на распределенную файловую систему Ceph. Не знаю уж, насколько было такое решение адекватным, но я решил воплотить желание в жизнь. И тут понеслась… Я перелопатил горы статей и форумов, но так и не нашел одного адекватного мануала, описывающего в подробностях что и как делать, поэтому, справившись со всем, родилась эта статья, кому интересно, добро пожаловать под кат.

image

Читать полностью »

в 14:50, , рубрики: BigData, Vertica, Администрирование баз данных, хранилища данных

Типовой сценарий работы «just in time» хранилища данных выглядит так: десятки (ETL) сессий почти непрерывно захватывают с источников данные и вставляют их в хранилище. Параллельно множество других (ELT) сессий отслеживают поступление данных, заполняют консолидированный слой и ведут расчет агрегатов и витрин. Одновременно с этим, на поступающих первичных и рассчитанных данных, выполняют запросы пользователи, BI и другие системы. Вся эта каша должна ладно вариться в рамках сервера хранилищ данных, без тормозов и затыков, какими бы не были пиковые нагрузки.

В HPE Vertica для планирования работы сервера под нагрузками разработан специальный механизм, под названием «ресурсные пулы». Идея его в том, что каждый пользователь сервера работает в рамках выделенного ресурсного пула, который регулирует приоритетность доступа к ресурсам кластера, ограничивает конкурентность выполнения запросов и описывает правила резервирования и работы с памятью сервера.

По умолчанию после установки сервера Vertica на созданной базе данных это выглядит примерно так:

Боремся с нагрузками в HPE Vertica - 1

Читать полностью »

в 8:28, , рубрики: Блог компании ИТ-ГРАД, ит-инфраструктура, системное администрирование, хранение данных, хранилища данных

Hyperwall НАСА — это видеостена, состоящая из огромного массива мониторов и способная отображать множество изображений в высоком качестве одновременно. Эта установка нужна агентству для визуализации феноменов, идей и изменений, происходящих в мире и имеющих отношение к астрофизике, гелиофизике и планетоведению. Для этого используются данные, получаемые НАСА с телескопов и спутников.

Вычислительная ферма НАСА располагается в Исследовательском центре Эймса. Там ведутся работы над проектом HECC, который позволяет ученым и инженерам проводить симуляции, моделирование и аналитические работы в крупных масштабах для расчетов всех миссий Космического агентства.

Система Hyperwall от НАСА теперь использует СХД vFlash - 1Читать полностью »

в 9:04, , рубрики: SAFEDATA, Блог компании SAFEDATA, История ИТ, Облачные вычисления, резервное копирование, серверы, хранение данных, хранилища данных

Наше время часто называют информационным веком. Однако информация была критически важна для рода человеческого на протяжении всего его существования. Человек никогда не был самым быстрым, самым сильным и выносливым животным. Своим положением в пищевой цепи мы обязаны двум вещам: социальности и способности передавать информацию более чем через одно поколение.

Обработка и хранение данных: от древности до ЦОДов - 1


То, как информация хранилась и распространялась сквозь века, продолжает оставаться буквально вопросом жизни и смерти: от выживания племени и сохранения рецептов традиционной медицины до выживания вида и обработки сложных климатических моделей.
Читать полностью »

в 15:31, , рубрики: devops, elastic, elasticsearch, monitoring, troubleshooting, Блог компании okmeter.io, Серверная оптимизация, Серверное администрирование, системное администрирование, хранилища данных

Мониторинг Elasticsearch через боль и страдания - 1

Мы наконец допинали функционал мониторинга elasticsearch до публичного релиза. Суммарно мы переделывали его три раза, так как результат нас не устраивал и не показывал проблемы, которые мы огребали на нашем кластере ES.

Под катом история про наш production кластер, наши проблемы и наш новый мониторинг ES.

Читать полностью »

1...1020...303132...37
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js