Facebook хранит данные в одном дата-центре и обрабатывает 500 Тб данных в день

Вице-президент по инфраструктуре крупнейшей социальной сети мира, которая переживает не лучшие дни на фондовой бирже, Джей Перикх (Jay Parikh) рассказал журналистам о некоторых статистических показателях работы своей компании, что позволяет оценить масштаб данных и число пользователей, активно работающих с Facebook.

Прежде всего оказалось, что в отличие от многих компаний, которые строят распределённую сеть дата-центров для облегчения доставки контента пользователям из различных регионов, Facebook хранит все данные в одном «кластере» объёмом более 100 Пб, что больше любого из кластера из дата-центров компаний, сравнимых по масштабам с Facebook. Это позволяет инженерам оперативно получать доступ к сети и контролировать её состояние.

Многие функции Facebook требуют оперативного сканирования данных пользователя — например, требуется крайне оперативно помещать обновления друзей «хроники» пользователей в ленту новостей или предлагать возможных друзей — для этого инфраструктура сети каждые полчаса обрабатывает 105 Тб контента, загружаемого пользователями.

В целом, главная статистика пользовательской базы выглядит следующим образом:

• Ежедневно фиксируются 2.5 млрд «лайков» как в самой сети, так в социальных плагинах на сторонних сайтах
• Также пользователи за стуки загружают 300 Тб фотографий, удалить которые до недавнего времени было не так-то просто
• Генерируется 70 000 запросов от людей и автоматизированных систем (70,000 queries executed by people and automated systems)
• Объём даных в сети каждый день увеличивается на 500 Тб

Само собой, что Перикх утверждает, что инженеры Facebook прилагают максимум усилий для наиболее быстрой работы сети и улучшения пользовательского опыта — обработка данных происходит «почти в режиме реального времени». «Мы не можем позволить, чтобы фото загружалось целую неделю» — говорит он.

[Источник ^[1]]

Автор: jeston