Рубрика «хранилища данных»

Мёртв ли последовательный ввод-вывод в эпоху накопителей NVMe? - 1


Две системы, которые я хорошо знаю (Apache BookKeeper и Apache Kafka) проектировались в эпоху дисковых накопителей: жёстких дисков, или HDD. Жёсткие диски хорошо справляются с последовательным вводом-выводом, но не очень хороши в произвольном вводе-выводе из-за относительно большого времени поиска. Неудивительно, что и Kafka, и BookKeeper проектировались с расчётом на последовательный ввод-вывод.

И Kafka, и BookKeeper — это распределённые системы логирования, поэтому можно представить, что последовательный ввод-вывод будет стандартным режимом для системы хранения логов с возможностью только дополнения. Но последовательный и произвольный ввод-вывод находятся в спектре, где на одном краю расположен чисто последовательный, а на другом — чисто произвольный ввод-вывод. Если у вас есть пять тысяч файлов, которые вы дописываете небольшими циклическими операциями записи, и выполняете fsync, то это не такой уж последовательный паттерн доступа, он находится ближе к произвольному вводу-выводу. То есть если вы только дополняете логи, это не означает автоматически, что вы получаете последовательный ввод-вывод.
Читать полностью »

Что надёжнее, SSD или HDD? Холивар продолжается… - 1

Почти семь лет назад (13 августа 2015 года) компания Samsung представила первый в мире SSD на 16 ТБ, но после этого бурное развитие как будто застопорилось. Где супердешёвые SSD на десятки терабайт, почему мы их не видим во всех компьютерах вокруг? Неужели до сих пор живы мифы о ненадёжности SSD?

Попробуем разобраться.
Читать полностью »

Собственно первый прототип моего домашнего сервачка..

Собственно первый прототип моего домашнего сервачка..

Достаточно много читаю статей на Хабре, но сам никогда не писал... Буду стараться заполнить этот пробел и сегодня хочу представить статью на тему "Домашний NAS сервер"

Немного о себе...

Должность занимаю Инженер-программист ПЛИС, основные мои задачи:

Про такое обычно не пишут посты и вообще всеми силами стараются аккуратно спрятать под ковёр. Но вы нас уже раза три спросили, почему мы подняли цены на тарифы.

Отвечаю: потому что мы очень жадные!

Почему мы стали дороже в этом году - 1


Настолько жадные, что учли инфляцию, колебания курса, повышение стоимости лицензий Microsoft (а мы всё ещё не пиратим), допиздержки на серый импорт железа, повышение цен на IP-адреса и глобальное потепление. Повысили цены и всё равно остались примерно в 2–4 раза дешевле облака одного очень российского поисковика.

В общем, такие времена. Кто-то разливает молоко в пакет по 0,9 литра, а кто-то покупает в VDS-хостинг десктопное железо. Но мы уже выросли достаточно, чтобы понимать, что такое планирование вдолгую, и знаем, что важно нашим клиентам.

А нашим клиентам важно, чтобы всё шло без сюрпризов. Последние три года и так выдались удивительные, и какие-нибудь новости от хостинга — это не то, что они хотели бы.
Читать полностью »

Ещё эпические фейлы при открытии в Казахстане (почему мы так задержались) - 1

ЦОД в Астане, где мы встали

В прошлый раз я рассказал про то, как «учёный изнасиловал журналиста». Кратко: мы выпустили релиз, что встаём в ЦОДы «Транстелекома», «Форбс Казахстан» написал, что мы совместно открываем два ЦОДа, дальше наши «новообретённые» партнёры узнали много нового о себе и своих стратегических партнёрствах и очень удивились. Про эти приключения в прошлом посте.

Это не первый опыт наших эпик фейлов в Казахстане.

Оставалось купить железо, настроить оплаты и заехать в ЦОДы.

Естественно, кое-что пошло не так.
Читать полностью »

Как работают объектные хранилища: OpenStack Swift - 1

Неожиданный мартовский мороз ласкает щеки городских жителей, спешно марширующих вдоль проспектов по направлению к своим рабочим местам. В их головах широким спектром разливается сладкая истома — предвкушение отдыха.

Раз меньше времени работе, то больше — знаниям. Меня зовут Рома, и я работаю в объектном хранилище — самой высоконагруженной услуге Selectel. Здесь мы непрерывно трудимся над улучшением и развитием архитектуры, удовлетворяя спрос на пропускную способность, функциональность и надежность.

В первой части я поделился сложностями, которые возникают при попытке построить распределенное и отказоустойчивое хранилище для объектов. Та система, которую мы позволили себе нафантазировать, очень похожа на OpenStack Swift. С него начиналась история нашего продукта, так что мы можем не только разобрать принцип его работы «на пальцах», но и погрузиться в скрытые особенности OpenSource, которые проявляются лишь в больших масштабах.
Читать полностью »

Сборка любого железа само по себе интересное занятие. Особенно, если что-то делается не совсем как у других и для души. Взять, например, NAS - процессор x86 или ARM, конструктив, количество и тип дисков и т.д., каждый выбирает тот путь, который ему ближе и понятней. Причем часто хочется сделать не только мощно, но и компактно, и тихо. Поэтому, любое дополнительное внешнее устройство может свести на нет все старания. Так и с UPS (ИБП - Источник Бесперебойного ПитанияЧитать полностью »

Автоматизируем домашний медиацентр на Synolgy NAS - 1

Приветствую читатели, в этой статье я бы хотел поделиться своим опытом организации домашнего медиацентра на Synology: Sonarr + Radarr + Jackett + qBittorrent

Долгое время мой путь к просмотру фильмов/сериалов выглядел следующим образом:

  1. Отслеживаем наличие контента

  2. Скачиваем на ПК

  3. Копируем на внешний hdd

  4. Подключаем внешний hdd к телевизору

  5. Читать полностью »

Сможет ли Event Sourcing перерасти базы данных? - 1


Event sourcing — не новый термин. Если вы работаете с технологиями, то должны были с ним сталкиваться. Это мощный инструмент, используемый многими крупными организациями в качестве архитектуры баз данных. Он имеет возможность масштабирования и отвечает потребностям современной отрасли обработки данных.

В этой статье мы глубже рассмотрим ES и расскажем о причинах его популярности. Также мы поразмыслим над популярным вопросом: перерастёт ли event sourcing базы данных?
Читать полностью »

Всем привет! Делюсь опытом сборки NAS сервера на базе очень интересной (на мой взгляд) материнской платы.

Введение

Гуляя по просторам алиэкспресса наткнулся на специфическую материнскую плату, специализированную под построение NAS сервера. Решено было приобрести и собрать решение на замену старому.

Собираем NAS на базе китайской материнской платы N5095 Nas Motherboard - 1

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js