Рубрика «хранилища данных» - 4

в 9:34, , рубрики: factorio, HTTP-вызовы, miran, Блог компании Дата-центр «Миран», дата-центр Миран, закон убывающей отдачи, Игры и игровые консоли, конвейер, масштабирование, микросервисы, репликация, системное администрирование, хранилища данных
Недавно я как обычно играл в Factorio после рабочего дня — и вдруг меня поразила удивительная мысль. Как много здесь аналогий с Apache Kafka!

Объяснение Kafka на примерах из Factorio - 1
Если у вас мало свободного времени, не скачивайте Factorio

Для тех, кто в последние годы путешествовал за пределами цивилизации, на всякий случай поясню: Factorio — это стратегия реального времени с открытым миром, где вы строите и оптимизируете цепочки поставок, чтобы запустить спутник и восстановить связь с родной планетой, а Kafka — это распределённая платформа потоковой передачи событий, которая обрабатывает асинхронные коммуникации надёжным способом.

Если человек вообще никогда не работал с потоковой платформой, то ему станет всё понятно на примерах из игры. Что ж, давайте начнём с нуля, изучим основные концепции Kafka — и немного повеселимся.
Читать полностью »

в 9:20, , рубрики: CIFS, nfs, Veeam, veeam backup and replication, Блог компании Selectel, хранение данных, хранилища данных
Забэкапьте это немедленно: Veeam Backup & Replication 11 CE с файловым хранилищем Selectel - 1

Парадокс… о необходимости резервного копирования чаще всего задумываются тогда, когда данные уже потеряны и восстановлению не подлежат. После таких инцидентов бизнес готов выделять существенные средства, а перед системным администратором сразу же появляется пул задач по выбору программного обеспечения, созданию политик резервного копирования и организации дискового пространства для хранения бэкапов.

Покажем, как быстро и за адекватные деньги поднять систему резервного копирования при помощи бесплатной версии приложения от Veeam и файлового хранилища Selectel.
Читать полностью »

в 7:01, , рубрики: clickhouse, devops, Администрирование баз данных, базы данных, Блог компании Туту.ру, системное администрирование, хранилища данных, хранилище данных
Репликация ClickHouse без костылей: ожидание и реальность - 1

Про ClickHouse есть много разной информации, но мало про то, как готовить инфраструктуру с ним. Мы потратили примерно полгода вялого набивания шишек, чтобы это заработало именно так, как нас наконец-то устраивает. Нужно было найти конфигурацию эффективную и в плане денег, и в плане работы базы как таковой.

На момент написания статьи хранилищем и результатами его работы пользуются 16+ команд (11+ аналитиков и 2 data scientist, 70+ разработчиков, руководители и менеджерский состав).

Ежесуточно в хранилище поступает ~1,2 ТБ данных, пользователи и автоматика для построения отчётности генерируют ~35 000 запросов в сутки на выборки различной сложности. Подробнее про наше хранилище и то, какие задачи для бизнеса им решаем, можно почитать по ссылке.
Читать полностью »

в 10:27, , рубрики: NAS, western digital, Компьютерное железо, Накопители, хранение данных, хранилища данных

Во-первых: если у вас есть любой NAS от WD - то лучше всего немедленно отключить его от сети. Обновление окирпичивающее NAS и удаляющее все данные начало прилетать вчера, мне прилетело сегодня утром. Домашние NAS от WD продаются последние лет 10.
Точно зааффекчина вся live серия. Судя по комментам отдельные другие серии тоже пострадали.

*WD уверяет что это все хакерская атака. Но выглядит сомнительно. У многих людей NAS за фаерволом, отключен от внешних серверов WD, и т.д.

Читать полностью »

в 9:01, , рубрики: chia, NAS, rdp, ruvds_статьи, smb, Блог компании RUVDS.com, Компьютерное железо, Криптовалюты, майнинг, старое железо, хранилища данных, хранилище данных

Из хлама в NAS и немного темы майнинга - 1


Начну с того, что очень часто, рядом со мной аккумулируется разного рода железо (в простонародье хлам), а так как я по своей природе Плюшкин, в том плане, что я очень редко выкидываю технику, а если и случается предварительно вытаскиваю оттуда всё, что может хоть как-то пригодиться. И что бы ничего не выкидывать, периодически приходится находить применение всему этому железу, об этом сегодня и будет идти речь.

Итак мы имеем: ПК 11 летней давности в состоянии «трэш».
Если подробнее: у блока питания вздуты все конденсаторы на выходе, у жёсткого диска взорванный полимерный конденсатор на входе питания, видеокарта тоже не стартует. По моим догадкам, по 12в линии явно пошло сильно больше 12в. При этом материнка с процессором остались живы. Чудо!
Читать полностью »

в 13:10, , рубрики: ruvds, WBD, Блог компании RUVDS.com, день бэкапа, резервное копирование, хранение данных, хранилища данных

31 марта — это такой Хэллоуин безопасников: по легенде именно в этот день всякая нечисть вылезает из даркнета и бомбит атаками ИТ-инфраструктуру компаний. Кто-то нацеливается на компании покруче и ищет славы, кто-то тихо крысит коммерческую информацию, чтобы продать её подороже… И тут день бы выстоять да ночь продержаться. Но это, конечно, чистой воды сказка и миф: на самом деле угрозы информационной безопасности существуют не в последний день марта, а в режиме 24/7/365. Но многим почему-то пофиг: у них есть подушки безопасности в автомобиле, они пристёгивают ремень, надевают шлем на картинге, страхуют жилище, ставят сигнализацию на квартиру и автомобиль, надевают чехол на дорогой телефон, но на работе упорно пишут пароли на стикерах, жмотятся на средства безопасности и наивно полагают, что уж их компания-то точно никому не сдалась. 

Ребята, чьё второе имя риск и опасность, этот пост для вас.

С днём бэкапа! Но не бэкапом единым… - 1

Читать полностью »

в 9:22, , рубрики: dwdm, HAMR, hdd, Internet Archive, linux, Ubuntu, Wayback Machine, Архив Интернета, Блог компании VDSina.ru, Накопители, Серверное администрирование, термомагнитная запись, хранение данных, хранилища данных

На каких серверах держится Архив Интернета? - 1
Фото 1. Один из дата-центров Internet Archive в Сан-Франциско

Internet Archive — некоммерческая организация, которая с 1996 года сохраняет копии веб-страниц, графические материалы, видео- и аудиозаписи и программное обеспечение. Каждый может зайти в Wayback Machine и посмотреть, как выглядел Хабр в 2006 году или «Яндекс» в 1998 году, хотя загрузка архивных копий занимает около минуты (это не для реализма 90-х, а по техническим причинам, см. ниже).

Архив быстро растёт. Сейчас объём всех накопителей достиг 200 петабайт. Но Internet Archive принципиально не обращается к стороннему хостингу или облачному сервису вроде AWS. У некоммерческой организации собственные дата-центры, свои серверы и свои инженеры. Это гораздо дешевле, чем услуги AWS.
Читать полностью »

в 9:27, , рубрики: BaFe, github, HSDC, Hyperscale Data Center, SKA, SrFe, Блог компании VDSina.ru, большой адронный коллайдер, бэкапы, картридж, магнитная лента, периферия, плёнка, резервные хранилища, феррит бария, феррит стронция, хостинг, хранение данных, хранилища данных

Кто использует магнитную плёнку и почему за ней будущее - 1

В декабре 2020 года IBM Research и Fujifilm представили прототип картриджа LTO на 580 терабайт. Небольшая кассета с магнитной лентой вмещает информации как несколько десятков обычных HDD или 120 000 DVD.

Магнитные ленты появились почти сто лет назад, а компьютерные файлы на них записывают с 1952 года. Ещё наши мамы в советских НИИ меняли катушки на мейнфреймах. И в 2021 году плёнки остаются самым дешёвым накопителем со стоимостью хранения примерно в 6 раз ниже, чем на HDD. Поскольку плёнка практически исчезла с потребительского рынка, многие даже не знают, насколько бурно развивается эта технология.
Читать полностью »

в 12:10, , рубрики: data, pipelines, базы данных, Блог компании Badoo, данные, конвейер, Программирование, хранение данных, хранилища данных
К порядку: правила создания конвейеров обработки данных - 1

К 2020 году вы не могли не заметить, что миром правят данные. И, как только речь заходит о работе с ощутимыми объёмами, появляется необходимость в сложном многоэтапном конвейере обработки данных. 

Читать полностью »

в 15:03, , рубрики: dram, eeprom, FRAM, mram, PCM, sram, ssd, Накопители, Научно-популярное, память, Производство и разработка электроники, хранилища данных, Электроника для начинающих

Когда я писал в начале года статью “Кто есть кто в мировой микроэлектронике”, меня удивило, что в десятке самых больших полупроводниковых компаний пять занимаются производством памяти, в том числе две – только производством памяти. Общий объем мирового рынка полупроводниковой памяти оценивается в 110 миллиардов долларов и является постоянной головной болью участников и инвесторов, потому что, несмотря на долгосрочный рост вместе со всей индустрией микроэлектроники, локально рынок памяти очень сильно лихорадит – 130 миллиардов в 2017 году, 163 в 2018, 110 в 2019 и 110 же ожидается по итогам 2020 года. 

Читать полностью »
1...345...1020...37
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js