Рубрика «хранение данных» - 111

У меня дома, как и большинства тут присутствующих, валяется куча CD и DVD дисков. Этакий чемодан без ручки – и хранить без толку, и выбросить жалко. Какие-то бекапы, загрузочные и live СD, старые игрушки (в которые собираюсь лет десять как поиграть, только разгребусь с делами), пара десятков музыкальных альбомов (давно обосновавшихся в плеере). В общем, не мне вам рассказывать.

Вся эта гадость, мало того, что занимает место, так еще и пыль собирает. Но выбросить, повторюсь, руки не поднимаются. Поэтому, когда на горизонте замаячило восьмое марта, я решил совместить приятное с полезным – сделать жене необычный подарок, и освободить немного места от залежей CD.

Итак, идея. Моя жена по утрам делает зарядку. Во время занятий она использует небольшие гантели по 2-3 кг каждая (уж не знаю почему, но в женском фитнесе используются малые веса). В общем, я подумал, почему бы не подвесить на гантели банки с дисками? Весят они подходяще. Пусть уж пользу приносят, чем без дела пылиться. Да и просто, должно получится смешно.

UPD: хабрасоседи, если вы минусуете, то можно хотя бы объяснить почему? Это же шутка, неужели непонятно?

DIY: гантели как способ хранения DVD дисковЧитать полностью »

Во время разработки одного проекта возникла необходимость хранить множество файлов (более 4 млн. штук). И их количество продолжало расти. Когда файлов стало более 6 млн., работать с ними стало затруднительно. Даже если разложить их по каталогам и создать разветвлённое дерево, обход даже части этих каталогов занимал часы. Разумеется, вначале никто не задумывался над тем, как все это хранить, и мы использовали обычный винт и ext4. В какой-то момент скорость чтения с этого раздела снизилась до 9MB/sec. Это слишком медленно. Экспериментальный переход на btrfs поднял скорость до 13MB, но такие показатели тоже не впечатляют. SSD для этого никто не собирался использовать да и объём уже перевалил за 1TB. Т.е. всё шло к использованию RAID'ов. Поскольку коммерческий успех проекта был под сомнением, то стоимость нужно было свести к минимуму. Следовательно, реализация должна была быть программной.

Итак, нужно небольшое хранилище — на одном сервере или компьютере, т.е. не более четырех дисков. Хранить нужно небольшие файлы — по 1-3Mb каждый.
Читать полностью »

image
Возникла необходимость быстро и как можно проще организовать репликацию данных с сервера БД на резервный сервер. Простой и понятный способ на просторах Сети так и не нашелся, по этому пришлось по частям собрать информацию, которая и стала этой статьёй.

Решаемая задача. Исходные данные

Итак, имеем сервер БД, с которым работают клиенты, и резервный сервер, на который надо настроить репликацию с основной базы данных.
В моём случае используется PostgreSQL 9.2.1, который установлен на обоих серверах и поддерживает потоковую репликацию. Предположим что база данных на основном сервере развернута и работает, на резервном только установлен, но не настроен PostgreSQL. Для примера возьмем IP-адрес 192.168.1.1 за адрес основного сервера, IP-адрес 192.168.1.2 — за адрес резервного.
Читать полностью »

Системы хранения данных: как медленно, но верно они отвязываются от железа
Авария в первом дата-центре и автоматический перезапуск сервисов в другом

Виртуализация — одна из моих любимых тем. Дело в том, что сейчас можно практически полностью забыть про используемое железо и организовать, например, систему хранения данных в виде «логического» юнита, который умеет взаимодействовать с информацией по простым правилам. При этом все процессы между виртуальным юнитом и реальным железом в разных ЦОДах лежат на системе виртуализации и не видны приложениям.

Это даёт кучу преимуществ, но и ставит ряд новых проблем: например, есть вопрос обеспечения консистентности данных при синхронной репликации, которая накладывает ограничения на расстояния между узлами.

К примеру — скорость света становится реальным физическим барьером, который не даёт заказчику поставить второй ЦОД дальше 40-50, а то и меньше, километров от первого.

Но давайте начнём с самого начала — как работает виртуализация систем хранения, зачем оно всё надо, и какие задачи решаются. И главное — где конкретно вы сможете выиграть и как.Читать полностью »

HP StoreEasy – легкое хранение неструктурированных данных

HP в декабре обновила свою линейку NAS-систем младшего класса, и на смену ранее выпускавшимся NAS серии X (X1000, X3000 и X5000) пришли HP StoreEasy1000, 3000 и 5000. Разумеется, изменения по сравнению с предшественниками, не ограничиваются только новым брендом. Прежде всего — аппаратной основой новых систем стали выпущенные нынешней весной серверы HP ProLiant Gen8.
Читать полностью »

В предыдущей части мы начали знакомство с новой технологией Fluid Data, предназначенной для улучшения жизни тем, кто имеет дело с действительно большими данными. Также были разобраны некоторые, но не все, преимущества этого решения на примере СХД Dell Compellent. Что ж, не откладывая в долгий ящик, предлагаем продолжить знакомство.Читать полностью »

Поразительное количество открытий людям помогает делать природа. Полёт стрекозы вдохновил авиаконструкторов, кроны лиственных деревьев — создателей солнечных элементов. А вода — это уникальное вещество — вдохновила инженеров компании Dell на создание принципиально новой технологии для систем хранения данных Dell Compellent, получившей название Fluid Data.

Главная проблема большинства систем хранения не нова — управление данными на уровне томов. Такой подход изначально ограничивает не только гибкость, но и производительность комплекса. Сразу оговоримся, что хоть проблема и главная, но отнюдь не единственная. Однако обо всём по порядку.Читать полностью »

Сегодня начал работу новый проект Amazon Glacier: долговременное хранилище в облаке по невысокой цене $0,01 за 1 ГБ в месяц. Идеально подходит для хранения бэкапов и больших архивов, к которым не нужен частый доступ. Извлечение данных из Glacier занимает от 3,5 до 4,5 часов.

Как везде в AWS, пользователь оплачивает только тот объём ресурсов, которые реально использует, никакой абонентской платы и прочих хитростей. Загрузка и извлечение архивов, мониторинг статуса возможны через Amazon Glacier APIs. Все файлы автоматически шифруются AES 256 и дублируются в разных дата-центрах, прежде чем APIs возвращают ответ SUCCESS.
Читать полностью »

Флеш-память уже производит в ЦОДах революцию: перенос данных на flash — следующий шаг в развитии многих централизованных ИТ-систем. Да, она довольно дорогая, обладает своими особенностями — и все же сегодня вопрос для администраторов ЦОДов уже не в том, использовать флеш-память или нет, а в том, как и когда это делать.

Тихая революция: флеш память в дата центрах

Вот в этом топике уже давалась вводная информация, показывающие, что накопители нового типа заметно быстрее и надежнее для «молотилок», на которых крутятся тяжелые базы данных. Если есть возможность загрузить флеш-хранилище работой (то есть обеспечить постоянные операции чтения-записи), его содержание обходится заметно дешевле содержания массива HDD, плюс вы получаете кучу дополнительных бонусов.

Ниже – советы, как определить, пора ли переходить на эту технологию или еще нет. Читать полностью »

Некоторое время назад мы открыли API Яндекс.Диска. Сегодня документация пополнилась двумя новыми методами: публикация файлов, размещённых на Диске, и получение оповещений об изменениях.
На базе доступной документации теперь можно создавать программы и приложения не только для хранения и синхронизации данных, но и для их публикации. С помощью API можно сгенерировать публичную ссылку на любой файл, загруженный на Яндекс.Диск, или вернуть ему статус личного.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js