«Если вы можете кэшировать всё очень эффективным способом, то вы часто можете изменить правила игры»
Мы, разработчики программного обеспечения, часто сталкиваемся с проблемами, требующими распространения некоторого набора данных, который не соответствует названию «большие данные». Примерами проблем такого типа являются следующие:
- Метаданные продукта в интернет-магазине
- Метаданные документа в поисковой машине
- Метаданные фильмов и ТВ-шоу
Сталкиваясь с этим, мы обычно выбираем один из двух путей:
- Хранение этих данных в каком-то централизованном хранилище (например, реляционная СУБД, информационный склад NoSQL или кластер memcached) для удалённого доступа пользователей
- Сериализация (например, как json, XML и т.д.) и распространение среди потребителей, которые будут хранить локальную копию
Применение каждого из этих подходов имеет свои проблемы. Централизация данных может позволить вашему набору данных неограниченно расти, однако:
Читать полностью »