У меня есть большой удаленный каталог с 600 ГБ контента, который разделен на 6 миллионов файлов MP3, без каких-либо подкаталогов.
Может ли большое количество файлов в одном каталоге вызвать проблемы с производительностью SSHFS?
Будет ли лучше разбить файлы на несколько подкаталогов на основе первых двух символов имени файла, подобно тому, как git хранит объекты (имена файлов — это хэши MD5). Например,
098f6bcd4621d373cade4e832627b4f6.mp3будет переименован в09/8f6bcd4621d373cade4e832627b4f6.mp3Или это еще больше замедлит чтение файлов, поскольку SSHFS требует кругового обхода для каждого каталога.
Обновлять: Каталог будет использоваться в качестве кэша для сгенерированных аудиофайлов. Файлы будут записываться в каталог и считываться из него. Существует ежемесячное задание cron для удаления редко используемых файлов. Сканирования каталогов не будет. Доступ к файлам и их удаление будут осуществляться с использованием точного пути к файлу, который хранится в локальной базе данных.