Рубрика «хранение данных»

Исходные данные и результаты работы программ должны где-то храниться для дальнейшего использования. Их хранение нужно организовать так, чтобы мы могли быстро получить нужную информацию. За эту задачу отвечает Файловая система (FS): она предоставляет абстракцию для устройств, на которых физически хранятся данные.

В этом посте мы больше узнаем о концепциях, используемых файловыми системами, и о том, как, зная их, можно написать свою файловую систему на языке Rust.

Как написать собственную файловую систему на языке Rust - 1
Читать полностью »

Известная история. Как только появляются более мощные компьютеры, как только возрастает производительность процессоров и емкость носителей данных, и пользователь с облегчением вздыхает — «теперь мне всего и на всё хватит, не придется ужиматься и экономить», так почти сразу появляются новые потребности, отбирающие всё больше ресурсов, новое ПО, которое тоже «ни в чем себе не отказывает». Вечная проблема. Нескончаемый круговорот. И бесконечный поиск новых решений. Облачные хранилища, нейронные сети, искусственный интеллект — даже трудно себе представить, каких гигантских мощностей требую эти технологии. Но не будем расстраиваться, ведь для любой задачи рано или поздно находится решение.

Не только размер имеет значение или что нам принес новый протокол NVMe - 1

Одним из таких решений стал протокол NVM-express, который, как говорят специалисты, совершил революцию в использовании твердотельной энергонезависимой памяти. Что же такое NVMe и какие преимущества он принес с собой?
Читать полностью »

Пример event-driven приложения на основе вебхуков в объектном S3-хранилище Mail.ru Cloud Solutions - 1

Rube Goldberg coffee machine

Event-driven architecture повышает ценовую эффективность используемых ресурсов, потому что они задействуются только в тот момент, когда они нужны. Существует масса вариантов, как это реализовать и не создавать дополнительные облачные сущности в качестве worker-приложений. И сегодня я расскажу не про FaaS, а про вебхуки. Я покажу учебный пример обработки событий с помощью вебхуков объектного хранилища.
Читать полностью »

Western Digital начинает поставки корпоративных HDD объемом до 20 ТБ - 1

Компания Western Digital анонсировала выход сразу нескольких моделей емких HDD для корпоративного использования. Обновление получили линейки Gold и Ultrastar. В первом случае диски уже можно купить, во втором речь идет об анонсе новых моделей, которые станут доступны не ранее следующего квартала.

WD Gold — это носители для корпоративных систем хранения данных. Рядовой пользователь тоже может их приобрести, но позиционируются они как серверные. Линейка жестких дисков Gold поддерживает только интерфейс SATA. Производитель дает на них пятилетнюю гарантию.
Читать полностью »

Коды избыточности: простыми словами о том, как надёжно и дёшево хранить данные - 1

Так выглядит избыточность

Коды избыточности* широко применяются в компьютерных системах для увеличения надёжности хранения данных. В Яндексе их используют в очень многих проектах. Например, применение кодов избыточности вместо репликации в нашем внутреннем объектном хранилище экономит миллионы без снижения надёжности. Но несмотря на широкое распространение, понятное описание того, как работают коды избыточности, встречается очень редко. Желающие разобраться сталкиваются примерно со следующим (из Википедии):

Коды избыточности: простыми словами о том, как надёжно и дёшево хранить данные - 2

Меня зовут Вадим, в Яндексе я занимаюсь разработкой внутреннего объектного хранилища MDS. В этой статье я простыми словами опишу теоретические основы кодов избыточности (кодов Рида — Соломона и LRC). Расскажу, как это работает, без сложной математики и редких терминов. В конце приведу примеры использования кодов избыточности в Яндексе.

Ряд математических деталей я не буду рассматривать подробно, но дам ссылки для тех, кто хочет погрузиться глубже. Также замечу, что некоторые математические определения могут быть не строгими, так как статья рассчитана не на математиков, а на инженеров, желающих разобраться в сути вопроса.

* В англоязычной литературе коды избыточности часто называют erasure codes.

Читать полностью »

image
Photo by Victor Rodriguez on Unsplash

Часто мы получаем от клиентов (включая даже крупных) сообщения, в которых сквозит общий мотив: «У %provider_name% нам не хватало 192 ядер, а у вас и 120 достаточно. Почему так?». Причем в последнее время из-за пандемии таких запросов стало больше. То ли потому что клиенты вышли в онлайн и почувствовали нехватку ресурсов из-за ажиотажного спроса и у других клиентов тоже, то ли потому что некоторые провайдеры из-за все того же высокого спроса на услуги стали плотнее «упаковывать» в облаке заказчиков.

Вот эта переподписка, которая обострилась, судя по всему, из-за Covid-19, сейчас волнует очень многих облачных пользователей. Поэтому мы постараемся ответить на наиболее распространенные вопросы и рассказать про инструмент, который позволит проверить наличие переподписки у вашего провайдера.

Может показаться, что эта тема уже не раз поднималась на Хабре и за его пределами, а статья будет полезной только совсем зеленым новичкам. Но мы не писали бы этот материал, если бы предполагаемый уровень осведомленности клиентов об этом явлении совпадал с реальным.
Читать полностью »

Основы ZFS: система хранения и производительность - 1

Этой весной мы уже обсудили некоторые вводные темы, например, как проверить скорость ваших дисков и что такое RAID. Во второй из них мы даже пообещали продолжить изучение производительности различных многодисковых топологий в ZFS. Это файловая система следующего поколения, которая сейчас внедряется повсюду: от Apple до Ubuntu.
Читать полностью »

В кризис специалистам из самых разных сфер приходится адаптироваться к новым условиям. Сегодня мы поговорим про облако — о том, как держат удар IaaS-, PaaS- и SaaS-провайдеры.

Пристегните ремни: как изменится облачная индустрия - 1Читать полностью »

Как делается российское железо для СХД Аэродиск Восток на Эльбрусах - 1

Всем привет. Как мы и обещали, погружаем читателей Хабра в детали производства российских аппаратных платформ для СХД Аэродиск Восток на процессорах Эльбрус. В этой статье мы пошагово опишем производство платформы Яхонт-УВМ Э124, которая в 5 юнитах эффективно вмещает 124 диска, может работать при температуре +30 градусов по Цельсию и при этом не просто работает, а хорошо работает.

Также 05.06.2020 мы организовываем вебинар, где подробно расскажем о технических нюансах производства СХД Восток и ответим на любые вопросы. Зарегистрироваться на вебинар можно по ссылке: https://aerodisk.promo/webinarnorsi/

Читать полностью »

Сегодня мы хотим рассказать об одном из наших новых продуктов – SSD-накопителе Seagate FireCuda 520. Но не спешите листать ленту дальше с мыслями «ну вот, очередной хвалебный обзор гаджета от бренда» – материал мы постарались сделать полезным и интересным. Под катом мы прежде всего сфокусируемся не на самом устройстве, а на интерфейсе PCIe 4.0, который в нём используется. И расскажем, что от него ожидать, чем он хорош и кому может быть потенциально полезен.

Зачем нужен SSD с интерфейсом PCI Express 4.0? Объясняем на примере Seagate FireCuda 520 - 1
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js