Рубрика «хранилища данных»

Наши пользователи пишут друг другу сообщения, не зная усталости.

Переписать базу сообщений ВКонтакте с нуля и выжить - 1

Это довольно много. Если бы Вы задались целью прочитать все сообщения всех пользователей, это бы заняло больше 150 тысяч лет. При условии, что Вы довольно прокачанный чтец и тратите на каждое сообщение не больше секунды.

При таком объёме данных критически важно, чтобы логика хранения и доступа к ним была построена оптимально. Иначе в один не такой уж и прекрасный момент может выясниться, что скоро всё пойдёт не так.

Для нас этот момент наступил полтора года назад. Как мы к этому пришли и что получилось в итоге — рассказываем по порядку.Читать полностью »

Топ-3 анонсов с NetApp Insight 2017 - 1

Привет! На этой неделе я в Берлине на конференции NetApp Insight и подготовил для вас репортаж о том, что успел увидеть и пощупать.

NetApp Insight традиционно проходит в Европе в середине ноября. Это большая конференция, на которой компания NetApp представляет свое видение технологий работы с данными и анонсирует обновления линеек продуктов. Каждый день проходят сотни (!) технологических сессий с детальной информацией из первых рук. Можно сравнить эту конференцию с VMWorld, а из проходящих в России – с Highload++.

В конференции принимают участие тысячи людей – покупатели, партнеры, сотрудники NetApp из разных стран. В этом году здесь представлено 80 стран.
Читать полностью »

Что нам стоит ЦОД построить - 1

Этой осенью мы передали заказчику спроектированный и построенный нами ЦОД площадью порядка 250 м2, вместивший около 50 высоконагруженных стоек. История у этого проекта непростая: сначала пришлось исправить кучу ошибок в проектной документации, сделанной другими подрядчиками (а фактически перепроектировать ЦОД), а потом несколько месяцев сражаться за заказ в тендере. Обо всех этих перипетиях наш рассказ под катом.
Читать полностью »

image

Всем привет!

За последние годы мы привыкли что можно и нужно все мониторить, множество инструментов начиная от простых логов, заканчивая Zabbix и все можно связать. Microsoft в свою очередь тоже дала нам отличный инструмент WinRM, с помощью которого мы можем отслеживать состояние операционных систем и не только. Но как всегда есть ложка дегтя, собственно об «обходе» этой ложки дегтя и пойдет речь.

Как выше было сказано, мы имеем все необходимые инструменты для мониторинга IT структуры, но так сложилось что мы не имеем «автоматизированный» инструмент для мониторинга состояния Intel raid массивов в Windows core. Обращаю Ваше внимание на то, что речь идет об обычном «желтом железе».
Читать полностью »

Архитектура хранения и отдачи фотографий в Badoo - 1

Артем Денисов ( bo0rsh201, Badoo)

Badoo — это крупнейший в мире сайт знакомств. На данный момент у нас зарегистрировано порядка 330 миллионов пользователей по всему миру. Но, что гораздо более важно в контексте нашего сегодняшнего разговора, — это то, что мы храним около 3 петабайт пользовательских фотографий. Каждый день наши пользователи заливают порядка 3,5 миллионов новых фотографий, и нагрузка на чтение составляет порядка 80 тысяч запросов в секунду. Это достаточно много для нашего бэкенда, и с этим иногда бывают трудности.

image

Я расскажу про дизайн этой системы, которая хранит и отдает фотки в целом, и приведу на нее взгляд с точки зрения разработчика. О том, как она развивалась, будет краткая ретроспектива, где я основные вехи обозначу, но уже более подробно буду говорить только о тех решениях, которые мы сейчас используем.
Читать полностью »

Всем привет. Недавно я задался вопросом как организовать обмен файлами между операционными системами. Предположим, я хочу установить сразу три основные ос на своём ноутбуке: линукс, виндовз и хакинтош. Каждая ос предназначается для своих задач: Линукс — для работы и программирования, винда — для игр и хак — просто для разных экспериментов.

Поскольку я создаю обучающие видео ролики о линуксе, мне удобнее работать именно на нём. Но монтировать хочется попробовать в «финальном вырезе». Уж очень мне приглянулась идея магнитной ленты времени.

Выбираем файловую систему независимую от ОС - 1

Так вот, задача стоит такая: нужен раздел на системном накопителе, причём с такой файловой системой, которая поддерживается на чтение и запись всеми перечисленными операционками. На этом разделе будут храниться скачанные из интернета файлы и меж-операционные проекты.
Читать полностью »

Мы в своей работе активно используем PostgreSQL, много участвуем в тематических конференциях, проводим соревнования и пишем про администрирование и разработку. И вот сегодня я хочу пригласить вас поучаствовать ещё в одной встрече, посвященной Postgres — живом митапе на канале #RuPostgres Live. В прямом эфире, который будет вести и модерировать Николай Postgresmen Самохвалов, я и мои коллеги ответим на ваши вопросы. Подробности под катом.

Живой митап #RuPostgres: вопросы и ответы с экспертами Avito - 1

Читать полностью »

5 октября в Москве прошел Dell EMC Forum, собравший более 800 представителей заказчиков и партнеров. В настоящее время в 180 странах работают 138 тыс. сотрудников Dell EMC, которые производят широкий спектр продуктов и решений.

Dell EMC SC и Unity: два сапога — пара - 1


Во время форума специалисты Dell EMC представили и продемонстрировали возможности обновленной линейки СХД среднего класса.

Как отмечают аналитики, Dell EMC сохранила первое место на рынке поставщиков конвергентных систем и интегрированных инфраструктур, и в течение 12 кварталов удерживает первое место на рынке флэш-массивов.
Читать полностью »

Помойка

Почти каждый из нас когда-либо работал в компании, где есть всеми ненавистная "файлопомойка" — шара с тысячами документов без какой-либо структуры. И наверняка у каждого был момент, когда ему нужно было что-то в этой помойке отыскать. "А Василич этот отчёт на шару кидал в прошлом месяце, глянь там" — слышали мы от коллеги, а тот самый Василич на вопрос "А в какой папке?" конечно же отвечал "А х… не помню, в общем, сам ищи". И мы погружались в многочасовой ад — бродили по папкам с документами из 90-х, фотографиями котов, договорами вперемешку с анекдотами и прочим шлаком в надежде найти заветный документ.

Читать полностью »

Год назад Amazon запустил в отдельных регионах свой новый облачный продукт — Elastic File System. Этим летом «новинка» наконец-то добралась до Европы и России. Зачем вообще понадобился этот сервис, в чем его фишки и для чего он категорически не подойдет, мы кратко расспросили эксперта по AWS Кори Куинна (Corey Quinn).

Amazon EFS работает быстрее, когда там много данных - 1
Читать полностью »