Рубрика «хранение данных»

Apache Ignite – распределенная база данных в памяти, подобные БД получают распространение и хочется сравнить с тем что уже есть и зарекомендовало себя, например реляционная СУБД Oracle. Ignite имеет широкие возможности распределенных вычислений, также есть поддержка SQL на уровне ANSI-99, в производительности SQL и хочется сделать некоторое сравнение. Настройка БД будет в обоих случаях во многом по умолчанию, в случае Oracle это XE, а в случае Ignite это два узла(node) на одном компьютере. Компьютер i5 7400 (4-ядра) 3.5Ггц, 8Гб ОЗУ, SSD диск.
В качестве тестовых данных буду использовать данные КЛАДР (~223 тыс. записей) в качестве среды выполнения запросов DBeaver в котором настроены два подключения к Ignite и Oracle. И первое что сделаю импортирую данные в таблицы, Данные КЛАДР из DBF переведу в CSV, а затем средствами DBeaver выполню импорт в таблицы.
Читать полностью »

Redux — это интересный шаблон, и, по своей сути, он очень прост. Но почему его сложно понять? В этом материале мы рассмотрим базовые концепции Redux и разберёмся с внутренними механизмами хранилищ. Поняв эти механизмы, вы сможете освоиться со всем тем, что происходит, что называется, «под капотом» Redux, а именно — с тем, как работают хранилища, редьюсеры и действия. Это поможет вам вывести на новый уровень отладку приложений, поможет писать более качественный код. Вы будете точно знать, какие именно функции выполняет та или иная строка вашей программы. Мы будем идти к пониманию Redux через практический пример, который заключается в создании собственного хранилища с использованием TypeScript.

Этот материал основан на исходном коде хранилища Redux, написанном на чистом TypeScript. Автор предлагает всем желающим взглянуть на этот код и разобраться с ним. Однако, он указывает на то, что этот проект предназначен для учебных целей.
Читать полностью »

Компания Seagate представила новую технологию для жестких дисков Multi Actuator, которая удвоила скорость чтения/записи HDD. Для этого инженеры разделили актуатор, перемещающий магнитные головки, на два независимых блока.

Какими достоинствами обладает решение, расскажем далее.

Удвоена производительность жестких дисков: технология Multi Actuator - 1Читать полностью »

Мы уже рассказывали о том, почему секционирование баз данных очень важно для производительности DLP-системы и как мы реализовывали его в PostgreSQL. В этой статье речь пойдет об Oracle.

Специфика использования СУБД в DLP-решениях состоит в том, что объем данных прирастает очень быстро. Их невозможно держать в оперативном архиве, и долговременное хранение – это необходимость в компании численностью свыше хотя бы 50 человек. При этом оперативный архив наполняется так быстро, что отдавать информацию в долгосрочный архив приходится раз в 2 недели или чаще. Использование только встроенных средств СУБД требует знаний и опыта. Это главная сложность, и она, в общем-то, очевидна «на берегу».

Кроме того, возникают проблемы, не очевидные сразу. Как вернуть из долгосрочного архива партицию с данными более старой версии приложения и прицепить к более свежей? Что делать, если у них разных формат хранения данных? Что делать, если подключение секции было прервано, и она «зависла» между долговременным и оперативным архивом?

Как управлять секциями в БД Oracle и не сойти с ума - 1
Читать полностью »

Международный рынок гипермасштабируемых дата-центров растет с ежегодными темпами в 11%. Основные «драйверы» — предприятия, подключенные устройства и пользователи — они обеспечивают постоянное появление новых данных. Вместе с объемом рынка растут и требования к надежности хранения и уровню доступности данных.

Ключевой фактор, влияющий на оба критерия — системы хранения. Их классификация не ограничивается типами оборудования или брендами. В этой статье мы рассмотрим разновидности хранилищ — блочное, файловое и объектное — и определим, для каких целей подходит каждое из них.

Как устроены хранилища данных: обзор для новичков - 1 Читать полностью »

Современные жесткие диски являются сложнейшими высокотехнологичными приборами. Только представьте: размер пишущей части магнитной головки составляет всего 120 нанометров, а считывающей — лишь 70 нанометров. Чтобы вообразить подобный масштаб, достаточно посмотреть на то, как выглядит блок головок под 39-кратным увеличением на фоне монеты достоинством в 10 центов.

Эволюция жестких дисков: как изменились винчестеры за 60 лет существования? - 1
Сравнение размеров блока головок и монеты в 10 центов

При этом магнитные головки парят над пластинами на высоте около 12–15 нанометров, что достигается за счет экранного эффекта: под каждой из них, словно под крылом боинга на взлете, образуется воздушная (или гелиевая, если речь идет о решениях на платформе HelioSeal) подушка, обеспечивающая необходимую подъемную силу. С учетом столь мизерного расстояния, поверхность самих блинов должна быть идеально гладкой, ведь малейшая неровность приведет к необратимому повреждению компонентов устройства. Точность изготовления пластин легко оценить на следующем примере.

Если бы мы могли увеличить 2,5-дюймовый накопитель приблизительно в 13 миллионов раз так, чтобы зазор между пластиной и магнитной головкой достиг 1 метра, то последняя преодолевала бы путь, сопоставимый с расстоянием между Нью-Йорком и Сан-Франциско (> 4000 километров), причем перепад высот на всем его протяжении не превышал бы 4 сантиметров.

Эволюция жестких дисков: как изменились винчестеры за 60 лет существования? - 2
Точность исполнения современных HDD в масштабах реального мира

Тем удивительнее становится тот простой факт, что базовые принципы конструкции HDD не меняются на протяжении вот уже 60 лет! О том, какой тернистый путь преодолели винчестеры со времен монструозного RAMAC до настоящего времени, мы и расскажем в сегодняшней публикации.
Читать полностью »

Микромодульные центры обработки данных - 1

Заводские микромодульные дата центры объединяют информационные технологии и вспомогательную инфраструктуру в автономном блоке.

Мини-дата центры быстро развиваются в конечных сетевых подключениях – на заводах, контейнерных суднах, базовых станциях сотовой связи. Основанием для этого является тот факт, что все предприятия стараются внедрить вычислительные и накопительные мощности ближе к тому месту, где генерируются данные.
Читать полностью »

Около месяца назад мои коллеги из DBA-команды приняли участие в живом митапе на youtube-канале #RuPostgres Live, где отвечали на вопросы Николая Самохвалова и зрителей, которые присылали их в форму и подключились к трансляции. Получилась интересная и содержательная беседа про PostgreSQL, опыт работы с разными версиями и задачами. Поэтому мы решили сделать текстовую расшифровку этой встречи, обогатив её полезными ссылками. В комментариях задавайте вопросы, если они возникнут — постараемся на них ответить!

Живой митап #RuPostgres: вопросы и ответы с экспертами Avito. Расшифровка прямого эфира - 1

Читать полностью »

Программно-определяемый подход к хранению данных

Veritas Access 7.3: плюсы, минусы, подводные камни - 1

В этой статье мы рассмотрим и протестируем новую версию программно-определяемой системы хранения данных (Software-Defined Storage, SDS) Veritas Access 7.3 — многоцелевого масштабируемого хранилища данных на базе обычных серверов архитектуры x86 с поддержкой файлового, блочного и объектного доступа. Наша основная задача — познакомиться с продуктом, c его функционалом и возможностями.

Компания Veritas — это синоним надежности и опыта в сфере управления информацией, владеющая многолетней традицией лидерства на рынке резервного копирования, производящая решения для анализа информации и обеспечения ее высокой доступности. В Software-Defined Storage решении Veritas Access мы видим будущее и уверены, что через некоторое время продукт обретет популярность и займёт одну из ключевых позиций на рынке SDS решений.
В качестве платформы, на которой был создан Access, выступил продукт с давней историей InfoScale (Veritas Storage Foundation), который во времена отсутствия виртуализации был на пике популярности в Highly Аvailable (HA) решениях. И от младшего брата Veritas Access мы ожидаем продолжение истории успеха НА в виде Software-Defined Storage.

Один из плюсов Veritas Access — это цена. Продукт лицензируется по числу активных ядер (примерно 1000$/1 CORE в GPL (global price list)), стоимость совершенно не зависит от количества дисков и общего объема системы хранения. За узлы разумно использовать малоядерные высокопроизводительные однопроцессорные сервера. Грубо говоря, лицензия Access на 4х узловой кластер будет стоить $20 000–$30 000, что на фоне других SDS решений, где стоимость начинается от 1500 долларов за терабайт сырого места в GPL, выглядит очень привлекательно.
Читать полностью »

Основы информационной безопасности. Цена ошибки - 1

Пока подготавливается материал для следующих частей и ожидаем Ваши пожелания, по теме третьей части «основ информационной безопасности» оставленных в комментариях ко второй части «Основы информационной безопасности. Часть 2: Информация и средства ее защиты». Решили сделать небольшое, но тем не менее не мало важное отступление, рассмотрев на примерах цену ошибок в проектировании и в работе системы информационной безопасности.

Достаточно многие прекрасно понимают, что любые просчеты и ошибки влекут за собой последствия, которые могут обернуться более чем плачевно. При этом как было справедливо замечено в комментарии к первой статье «Основы информационной безопасности. Часть 1: Виды угроз» понятие информационной безопасности гораздо шире чем сфера IT-индустрии и просчеты и ошибки в обеспечении которой могут коснуться каждого не зависимо от сферы деятельности.

Начнем с самых обыденных но не менее болезненных до более интересных.
Читать полностью »