Есть проект клиента: сервер с двумя HDD в зеркале, 1,4 ТБ данных и около 24 миллионов файлов, в основном мелких, в раскладке вида ab1/c2d/<один файл>. Сайт пишет на этот же диск круглосуточно.
Я разрабатываю сервис резервного копирования: для него я написал агент, который снимает копии с машин клиентов в S3. Мне важно, чтобы повторный снимок укладывался в разумное время даже на тяжёлых машинах, где мало что меняется, а файлов очень много. Обычно проблемы с производительностью лежат в сети или в хранилище. Этот случай оказался другим.

