Рубрика «хранение данных» - 87

OpenStack обладает масштабируемостью, гибкостью и экономичностью, которые так необходимы центрам обработки данных.
Энни Лай (Anni Lai), департамент ИТ-продуктов (решения ЦОД), Huawei Technologies

Возможность виртуализации центров обработки данных (ЦОД) на базе ПО с открытым исходным кодом, а именно облачной платформы OpenStack, позволяет решать самые сложные на сегодняшний день ИТ-задачи — от обработки «Больших данных» (Big Data) до «Интернета вещей» (IoT, Internet of Things). Многие предприятия и поставщики услуг рассчитывают, что OpenStack поможет им преобразовать свои ЦОДы в масштабируемые автоматизированные матрицы физических ресурсов и виртуализированных услуг. Эти разнородные ЦОДы, управляемые с помощью интерфейсов автоматизации и прикладного программирования API, поддерживают применение модели DevOps при поставке ПО для инновационных приложений поддержки мобильности, социальных сетей и множества других типов приложений, основанных на виртуализации сетевых функций NFV (Network Function Virtualization).

Применение OpenStack в решениях Huawei помогает трансформировать центры обработки данных для экономичной поддержки растущей нагрузки — увеличения числа пользователей, прикладных служб, количества устройств и объёмов трафика.

OpenStack трансформирует центры обработки данных - 1
Читать полностью »

Минкомсвязи РФ: если принять закон о хранении данных пользователей в течение 3-х лет, тарифы «драматически» вырастут

Предложение депутатов хранить данные абонентов в течение 3-х лет может дорого обойтись самим абонентам - 1
Изображение: Роскомсвобода

Как уже сообщалось на Geektimes, 7 апреля в Госдуму внесен законопроект со сложным названием «О внесении изменений в отдельные законодательные акты Российской Федерации в части установления дополнительных мер противодействия терроризму и обеспечения общественной безопасности». Авторами законопроекта являются два человека — депутат Яровая и сенатор Озеров. Этот законопроект обязывает операторов связи РФ хранить в течение трех лет «информацию о фактах приёма, передачи, доставки и (или) обработки голосовой информации и текстовых сообщений, включая их содержание, а также изображения, звуки или иные сообщения пользователей услугами связи».

Российские операторы связи подсчитали, что исполнение требований закона обойдется телекоммуникационным компаниям примерно в $200 млрд. Придется создавать инфраструктуру, как у АНБ. Теперь к подсчетам присоединилось и Минкомсвязи, сообщает „Роскомсвобода“. Глава министерства Николай Никифоров заявил, что принятие указанных поправок приведет к „драматическому“ росту тарифов.
Читать полностью »

Привет! Мы продолжаем цикл статей, посвященный Apache Flume. В предыдущей части мы поверхностно рассмотрели этот инструмент, разобрались с тем, как его настраивать и запускать. В этот раз статья будет посвящена ключевым компонентам Flume, с помощью которых не страшно манипулировать уже настоящими данными.

Flume — управляем потоками данных. Часть 2 - 1

Читать полностью »

Сравнение производительности Hadoop на DAS и Isilon - 1

Я уже писал о том, с помощью Isilon можно создавать озёра данных, способные одновременно обслуживать по несколько кластеров с разными версиями Hadoop. В той публикации я упомянул, что во многих случаях системы на Isilon работают быстрее, чем традиционные кластеры, использующие DAS-хранилища. Позднее это подтвердили и в IDC, прогнав на соответствующих кластерах различные Hadoop-бенчмарки. И на этот раз я хочу рассмотреть причины более высокой производительности Isilon-кластеров, а также как она меняется в зависимости от распределения данных и балансировки внутри кластеров.
Читать полностью »

Обзор и тест СХД Fujitsu ETERNUS DX 100 S3 - 1

Сегодня мы расскажем о масштабируемой системе хранения данных начального уровня DX 100 S3 компании Fujitsu. Причем акцент на масштабируемость и унификацию делается неспроста. Дело в том, что данная система может расширяться до старших моделей путем простой замены контроллерных блоков и имеет возможность предоставлять как блочный (через Fibre Channel, FCoE, iSCSI, SAS и InfiniBand), так и файловый доступ к данным (NFS), причем без каких бы то ни было дополнительных устройств (файлеров). Хотя нужно отметить, что есть возможность сэкономить: если файловый доступ не требуется, можно приобрести версию, в заводской комплектации которой в контроллерном блоке будет отсутствовать плата, отвечающая за файловый доступ.
Читать полностью »

Операторам придётся строить инфраструктуру как у АНБ

Российские операторы подсчитали, сколько стоит хранение звонков всех абонентов на протяжении 3 лет - 1
Депутат Ирина Яровая. Фото: Рамиль Ситдиков / РИА Новости

Как известно, 7 апреля депутат Госдумы Ирина Яровая и член Совета Федерации Виктор Озеров предложили внести поправки в федеральное законодательство, в том числе одну поправку в закон «О связи», в п. 1 ст. 64: «Операторы связи обязаны хранить на территории Российской Федерации в течение трёх лет информацию о фактах приёма, передачи, доставки и (или) обработки голосовой информации и текстовых сообщений, включая их содержание, а также изображения, звуки или иные сообщения пользователей услугами связи».

Операторы связи огласили смету, в какую сумму им выльется хранение такого объёма данных. Выходит, что расходы на слежку за абонентами превысят годовую выручку операторов.
Читать полностью »

Общий объем сохраненной информации — 151 КБ

Ученым удалось успешно сохранить изображения в ДНК и считать их - 1
В пробе ДНК в пипетке (розовый след) можно хранить около 9 ТБ данных

Сотрудники исследовательского подразделения Microsoft и команда ученых из Вашингтонского университета смогли успешно сохранить в ДНК ряд изображений, а затем считать эту информацию без ошибок. Всего в работе использовалось четыре графических файла, размер которых составлял от 5 до 24 КБ. Предварительные результаты своей работы специалисты опубликовали в ASPLOS.

Почему в качестве носителя информации выбрали ДНК? Дело в том, что запись данных здесь можно вести с очень высокой плотностью. По предварительным подсчетам, эксабайт данных может быть сохранен в объеме кубического миллиметра. Кроме того, ДНК — «долгожитель» в мире носителей информации. Срок хранения данных на таком носителе составляет 500 лет и больше. Правда, процесс считывания и записи технически сложен и дорог, но с течением времени и эти две проблемы могут быть решены.
Читать полностью »

Суть и преимущества программно-определяемых систем хранения - 1

В условиях быстрого роста объемов и разнообразия создаваемых типов данных, программно-определяемые системы хранения дают компаниям возможность эффективно адаптироваться к резким темпам роста. В последнее время само понятие программно-определяемой СХД активно продвигается на рынке, и в результате далеко не все хорошо понимают, что же на самом деле обозначает этот термин. Давайте подробнее рассмотрим, что за ним кроется.
Читать полностью »

Речь идет о голосовых данных, текстовых сообщения, изображениях, звуках или прочих типах сообщений интернет-пользователей и абонентов мобильной связи

Новый законопроект обязывает операторов связи хранить все данные абонентов в течение 3-х лет - 1

7 апреля в Госдуму внесен законопроект со сложным названием «О внесении изменений в отдельные законодательные акты Российской Федерации в части установления дополнительных мер противодействия терроризму и обеспечения общественной безопасности». Авторами законопроекта являются два человека — депутат Яровая и сенатор Озеров, пишет «Роскомсвобода».

Сам документ вносит ряд значительных изменений в несколько законов. В частности, авторы документа предлагают добавить в закон «О связи» следующую формулировку пункта 1-го статьи 64: «Операторы связи обязаны хранить на территории Российской Федерации в течение трех лет информацию о фактах приема, передачи, доставки и (или) обработки голосовой информации и текстовых сообщений, включая их содержание, а также изображения, звуки или иные сообщения пользователей услугами связи...».
Читать полностью »

В этой статье я хочу рассказать про важную задачу, о которой нужно думать и нужно уметь решать, если в аналитической платформе для работы с данными появляется такой важный компонент как Hadoop — задача интеграции данных Hadoop и данных корпоративного DWH. В Data Lake в Тинькофф Банке мы научились эффективно решать эту задачу и дальше в статье я расскажу, как мы это сделали.

Data Lake – от теории к практике. Методы интеграции данных Hadoop и корпоративного DWH - 1

Данная статья является продолжением цикла статей про Data Lake в Тинькофф Банке (предыдущая статья Data Lake – от теории к практике. Сказ про то, как мы строим ETL на Hadoop).

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js