В 2016-м я выступил на Highload с докладом про Vinyl, движок для хранения данных на диске в Tarantool. С тех пор мы добавили много новых возможностей, но хранение данных на диске — такая объемная тема, что основы, о которых идет речь в этой статье, совсем не изменились.
Содержание (чтобы удобно было ориентироваться):
Прим перев.: Автор оригинальной статьи — испанский Open Source-энтузиаст nachoparker, развивающий проект NextCloudPlus (ранее известен как NextCloudPi), — делится своими знаниями об устройстве дисковой подсистемы в Linux, делая важные уточнения в ответах на простые, казалось бы, вопросы…
Сколько пространства занимает этот файл на жёстком диске? Сколько свободного места у меня есть? Сколько ещё файлов я смогу вместить в оставшееся пространство?
Ответы на эти вопросы кажутся очевидными. У всех нас есть инстинктивное понимание работы файловых систем и зачастую мы представляем хранение файлов на диске аналогично заполнению корзины яблоками.
Однако в современных Linux-системах такая интуиция может вводить в заблуждение. Давайте разберёмся, почему.Читать полностью »
Как в блогах, так и в журналах есть множество статей о том, как собрать NAS своими руками.
И с первого взгляда кажется, что при наличии прямых рук, свой NAS по всем пунктам бьёт покупное решение.
"Фигак, фигак и в продакшн", — и вот уже быстро, дёшево и качественно реализованное хранилище радует вас высокой производительностью и надёжностью.
В последнее время российские законодатели принимают законы, которые плохо проработаны с точки зрения соблюдения прав человека. Самым громким из таких законодательных актов стал пакет «антитеррористических» законопроектов (ФЗ №374, ФЗ №375), принятый в июле 2016 года, который в народе прозвали “закон Яровой”. В ряд законов были внесены резонансные нормы, способные серьезно сказаться на жизни жителей России. В частности, были добавлены нормы о недоносительстве (несообщение о преступлении), о призывах к терроризму в соцсетях, о регулировании религиозно-миссионерской деятельности, о хранении операторами связи и организаторами распространения информации сообщений пользователей.
В настоящей статье речь пойдет о поправках, касающихся хранения данных пользователей, поскольку они угрожают праву на неприкосновенность частной жизни, не соответствуют Конституции РФ и ряду других нормативных правовых актов. Читать полностью »
Прим. переводчика. X-Pack — это проприетарное расширение для продуктов ELK.
От открытых комуникаций до свободного ПО, открытость всегда была в духе Elastic.
Поэтому мы открываем проприетарный код X-Pack. X-Pack включает в себя функционал, связанный с безопасностью, оповещениями, мониторингом, а также отчеты, аналитику и машинное обучение.
Изначально мы создали X-Pack как набор проприетарного функционала, расширяющего стек Elastic — Elasticsearch, Kibana, Beats и Logstash. Некоторые функции, например, мониторинг были бесплатными. Некоторые, например, безопасность и машинное обучение были платными.
Наша компания построена на сочетании открытого кода и коммерческой выгоды(подробнее в посте Shay). Открытие кода X-Pack должно ускорить разработку и увеличить вовлеченность сообщества. Каждый может контрибутить, комментировать и изучать код.
Новый JBOD Western Digital на 102 диска по 12ТБ получился мощным. При разработке этого JBOD были учтены предыдущий опыт с двумя поколениями 60-дисковых полок.
Data102 получился на редкость для таких гигантов сбалансированным по объему и производительности.
Зачем же нужны такие большие дисковые корзины, когда в мире растет популярность гиперконвергентных систем?
Читать полностью »
С незапамятных времен человек, обладающий некой информацией, старался ее сохранить. Причиной этого могло быть желание повторно эту информацию использовать или же желание передать ее следующим поколениям. В любом случае для сохранения информации необходим «контейнер», где она будет храниться. Первыми такими носителями информации были скалы, на которых древние люди изображали различные события из своей жизни (охота, быт, наблюдения окружающего мира и т.д.). Сейчас мы далеко вперед шагнули от рисунков на скалах. Оптические диски, HDD, SDD, флеш-память и другие носители стали для нас абсолютно обыденными вещами. Однако, что вы скажете про использование голографических технологий для хранения информации? Этот нестандартный способ не нов, однако лишь недавно ученым удалось решить фундаментальную проблему, которая мешала этой технологии перекочевать из теории в практику. Что это за проблема, как ее решили и стоит ли нам ждать революцию в сфере хранения данных? На эти и другие вопросы мы и попытаемся сегодня ответить. Поехали.
Читать полностью »
История началась год назад, когда к нам пришёл наш друг, коллега и большой эксперт по энтерпрайз стораджам со словами: «Парни, у меня тут завалялась шикарная хранилка со всеми модными фичами. 90Tb». Особой необходимости мы в ней не видели, но, естественно, отказываться не стали. Настроили туда пару бекапов и на какое-то время благополучно забыли.
Периодически возникали задачи типа переброса больших файлов между хостами, сборка WAL для реплик Postgre и т. д. Постепенно мы начали перекладывать в этот холодильник всё разбросанное добро, так или иначе связанное с нашим проектом. Настроили ротейт, оповещения об успешных и не очень попытках выполнения бекапа. За год эта хранилка стала одним из важных элементов нашей инфраструктуры в группе эксплуатации.
Всё было хорошо, пока к нам опять не пришёл наш эксперт и не сказал, что свой подарок он хочет забрать. И вернуть его надо срочно.
Выбор был небольшой — распихивать всё опять куда попало либо собирать свой собственный холодильник из блэкджека и палок. К этому моменту мы уже были наученные, насмотрелись на множество не совсем отказоустойчивых систем, и отказоустойчивость стала нашим вторым я.
Из множества вариантов наш взгляд особенно зацепил Глустер, Гластер. Всё равно, как называть. Лишь бы результат был. Поэтому мы начали над ним измываться.
Читать полностью »
Несколько лет назад, при выборе первого хранилища для дома, я смотрел в сторону «коробочных решений» по причине не особой осведомлённости в построении системы хранения на базе открытого ПО и обычного ПК. В тот раз выбор пал на 2-дисковую NAS — Shuttle KD20. Хранилище было компактным и тихим. RAID1 обеспечивал необходимую надёжность, а потребности в высокой производительности и расширенном функционале на тот момент не было. Этот NAS проработал почти 4 года, пока в один прекрасный момент не накрылась линия питания вентилятора. Диски раскалились до 60 градусов и чудом выжили. Я запаял вентилятор напрямую к материнке, но стал подбирать вариант на замену. В качестве второй NAS я выбрал 4-дисковую Synology. Задачи оставались те же, поэтому в функционал DiskStation Manager (DSM) я особо не вникал. Это продолжалось до тех пор, пока я не решил установить домашнее видеонаблюдение на несколько каналов. Не смотря на то, что Synology имеет собственный сервис видеонаблюдения, я остановился на Macroscop — была потребность в расширенном функционале и серьёзной аналитике. На своё счастье, я обнаружил в DSM новый пакет Virtual Machine Manager — гипервизор, с помощью которого я создал виртуальную машину и установил на неё Windows и Macroscop. На запись система работала нормально, встроенный Pentium 1,6 ГГц с трудом, но успевал отрабатывать задачи СХД и виртуальной машины. Но как только активировалась какая-либо аналитика — сервис отваливался по перегрузке процессора. В результате, я был вынужден начать поиски отдельного бюджетного Windows-девайcа с адекватной производительностью для реализации сервера видеонаблюдения, так как Synology необходимого уровня стоит недёшево. В тот самый момент я в очередной раз наткнулся в сети на статьи, посвящённые установке DSM на обычное железо и мой проект XPenology начался…
Читать полностью »
Будущее принадлежит флэш-накопителям (SSD): они способны обеспечить гораздо более высокие скорости передачи данных, чем традиционные жесткие диски (HDD), и при этом становятся сравнительно недорогими. Широкое внедрение SSD может привести к существенным изменениям в архитектуре ЦОД и вычислительных систем.
Серверы и системы хранения с флэш-накопителями SSD позволяют решать самые ресурсоемкие задачи, такие как поиск в крупных базах данных, оперативная обработка транзакций, бизнес-аналитика, обработка больших данных и крупномасштабная виртуализация. SSD имеют все шансы заметно потеснить HDD в серверах и системах хранения данных, становятся ключевым компонентом гиперконвергентных систем. К 2020 году может появиться флэш-накопитель емкостью 40 Тбайт, практически решена проблема долговечности SSD.
