Рубрика «хранилища данных»

Представленные на рынке системы хранения данных, в основной своей массе, мало чем отличаются друг от друга, ведь многие вендоры заказывают оборудование едва ли не у одних и тех же ODM-производителей. У нас же почти все свое, начиная от шасси и заканчивая контроллерами, технологиями типа RAID 2.0+ и софтом.

«Под капотом» СХД Huawei: фирменные технологии, и чего нет у других - 1

Под катом немного деталей про то, что такого необычного может быть в каждом из узлов системы хранения данных.
Читать полностью »

Последних лет двадцать дата-центры появляются как грибы после дождя, оно и понятно. Кроме количественных показателей развиваются и качественные — новые формы, новые подходы к построению среды. Одним из таких новшеств стали модульные ЦОДы. Эффективность решений на базе стандартизированного контейнера впервые смогли оценить военные, именно они стали пионерами в использовании дата-центров построенных по модульному принципу. Быстрое разворачивание вычислительных мощностей и возможность хранения данных в самых отдаленных уголках Земли стали для военных панацеей в мире с ежедневно нарастающим объемом генерируемой информации. Благодаря компании Sun Microsystems, уже в 2006 году модульные дата-центры стали доступными и для гражданских потребителей. Но казалось бы, кто их будет приобретать? В условиях жестокой борьбы участников ИТ-рынка за высокую производительность «железа» плюсы от модульности ЦОДов, в большинстве случаев гражданской жизни, нещадно перечеркиваются целым спектром минусов порождаемых этой самой модульностью. Но как показало время — не все так однозначно в этой теме и продукт нашел своего потребителя. Одним из таких потребителей, как бы это не было удивительно, стал CERN. Детище организации — большой адронный коллайдер, обрастет парой новых модульных дата-центров. Весьма странное решение? Об этом и не только пойдет далее речь.

Модульный ЦОД на службе у большого адронного коллайдера - 1
Читать полностью »

Появилась возможность превратить ваш GitHub аккаунт в Безлимитное Облачное Хранилище Данных. И это вовсе не миф.

Согласно с информацией, данной GitHub, каждый пользователь может создать бесконечное количество публичных и приватных репозиториев. Мы можем загружать до 1000 Мб в один репозиторий и каждый из файлов не должен превышать размера в 100 Мб. Тут попахивает возможностью создать бесплатное и безлимитное облачное хранилище, не так ли?

Я осознаю что на сегодняшний день уже существует множество вариантов хранения данных в облаке и такие лидирующие компании, как Dropbox, Google Drive или даже Amazon S3 предоставляют свои услуги по очень низким ценам, не уступая при этом и качеством. Но решение, основанное на GitHub CDN может быть крайне полезно если вам нужно максимально быстро и просто загрузить файлы в облако, и в то же время не беспокоится о надежности и доступности ваших валов в любое время. Даже через десятки лет.
Читать полностью »

Хранимые объекты без головной боли: простой пример работы с объектами Caché на языках ObjectScript и Python

Довериться Кодду или своим объектам? - 1
Замок Нойшванштайн

В июне 2020 года ровно 50 лет табличным хранилищам данных или говоря формально — реляционной модели данных. Вот официальный документ – та самая знаменитая статья. За что говорим огромное спасибо доктору Эдгару Фрэнку Кодду. И, между прочим, реляционная модель данных входит в список важнейших мировых инноваций последних 100 лет по версии Форбса.

С другой стороны, как ни странно, Кодд считал реляционные базы данных и язык SQL искаженной реализацией своей теории. В качестве ориентира, он даже разработал 12 правил, которым должна удовлетворять каждая система управления реляционными базами данных (на самом деле это 13 правил). И, по правде говоря, на сегодня, в мире не найти СУБД удовлетворяющих хотя бы «Правилу 0» Кодда и, следовательно, никто не может называть свою СУБД на 100% реляционной :) Может есть исключения, подскажите?
Читать полностью »

Минкомсвязи разработало поправки к правилам хранения данных по «закону Яровой», которые предусматривают использование только российского оборудования. Разумеется, правила не затрагивают комплектующие иностранного производства (HDD, процессоры и проч.). Но сборка должна осуществляться на российской территории.

Поправки опубликованы на портале нормативных правовых актов и по сути очень лаконичны: всего три абзаца текста (под катом).
Читать полностью »

Персональное облако - 1

Облачное хранилище позволяет не только хранить данные, но и обеспечивать совместную работу с ними в NAS.

Читать полностью »

GitLab в NAS - 1

При наличии работоспособного NAS с докером, установка Gitlab не представляет особых сложностей.

Читать полностью »

Введение

Всем привет! Это моя первая статья и пишу я ее от лица младшего инженера-разработчика на языке C#. Так что здесь не будет каких-то подробных сведений о SQL, лишь практические сведения и размышления по решению довольно не очевидной задачи, с которой мне пришлось столкнуться, для таких же новичков, как и я сам.

Сначала я опишу формулировку своей задачи в качестве примера, в котором возникает реальная необходимость переноса большой таблицы.

Итак, представим, что у вас есть web-сервис и SQL (MS-SQL) база данных с таблицей html-писем, которые ваш сервис рассылает пользователям. Письма хранятся за некоторое количество лет и удалить их нельзя, так как они нужны для сбора статистики и аналитики. Однако, с каждым годом количество писем растет, база разрастается, а места на SQL-сервере все меньше (в нашем случае еще одним фактором было восстановление базы на тестовую площадку, т.к. его время пропорционально росло) и с этим нужно что-то делать. Благо, в нашем случае есть свободный сервер с кучей свободного места (в реальности его может не быть и конечно это временное решение, но это выходит за рамки статьи). Так возникла задача по переносу большой таблицы (и говоря «большой», я имею в виду реально большую таблицу, все что я видел, пока искал похожие решения, было в районе 60-100Гб, в нашем случае таблица весила более 300 Гб).

Мы рассмотрим несколько способов решения этой задачи, но не все они будут относится к переносу вида сервер – сервер. Иногда может возникнуть необходимость переноса таблицы между базами в рамках одного сервера. Также, некоторые способы чисто теоретические, я не проверял их все на практике, однако они наверняка должны сработать.
Читать полностью »

На прошлой неделе один из разработчиков FreeBSD Matt Macy выдвинул предложение об использовании реализации ZFS от проекта ZFSonLinux. Таким образом все требуемые изменения для FreeBSD будут сразу интегрированы в кодовую базу ZFSonLinux. Предложением это не завершилось, уже создан форк, в котором производятся требуемые доработки, а также получено одобрение core разработчиков ZFSonLinux на включение доработок для FreeBSD в единую кодовую базу.

image

Положительная ли это новость? Конечно же да! Суть в концентрации всех причастных к проекту OpenZFS разработчиков в одном месте, в одной кодовой базе.

Читать полностью »

Серверы, захваченные хакерами для майнинга крипто-валюты, могут генерировать многотысячные счета за оплату облачного хостинга и потребленную электроэнергию.

Крипто-взлом — новый тип атак на ЦОД - 1

В феврале 2018 года известный производитель электромобилей Тесла подвергся крипто-взлому (cryptojacking). Неправильная настройка среды Amazon Web Services позволила хакерам проникнуть внутрь нее. Однако вместо установки обычных программ-вымогателей, вирусов или банальной кражи данных хакеры установили специализированное ПО, которое в фоновом режиме занялось майнингом крипто-валюты.

Такой тип атаки достаточно трудно обнаружить. В этом случае нет утечки или потери данных, все аккаунты остаются доступны их владельцам, и никто из них не подозревает о том, что кто-то посторонний заходил в систему. При этом ПО для майнинга работает в фоновом режиме, зарабатывая деньги для преступников, которые не вкладывают в этот процесс ни одной копейки.
Читать полностью »