☰

Хранилище для миллионов аудиофайлов с возможностью поиска (если возможно)

tag-icon • tag-icon linux storage proxmox nextcloud
Хранилище для миллионов аудиофайлов с возможностью поиска (если возможно)

Я искал решение проблемы, с которой столкнулся при хранении файлов объемом 7 ТБ. Все они представляют собой аудиофайлы. Эти файлы представляют собой записи сервера freepbx на базе Asterisk.

Сначала я установил Proxmox на сервер с SSD для более быстрого доступа, а затем Nextcloud для доступа к файлам через веб (этот сервер работает только в локальной сети, поэтому безопасность здесь не проблема). Поскольку я продолжал загружать файлы, я понял, что это плохая идея, так как поиск одного конкретного файла занимает много времени, а у меня занято всего 2 ТБ. Я некоторое время экспериментировал с Next Cloud и знаю, что могу искать через SSH или WebDAV, но это также занимает много времени, так как к этим файлам нужно регулярно обращаться нескольким пользователям.

поэтому я ищу решение этой проблемы, поскольку у меня все еще есть 5 ТБ данных, и я ищу либо веб-доступ, либо любой другой способ легкого поиска и извлечения данных из хранилища, либо совершенно новую ОС/веб-сервер, которые могут помочь в хранении и доступе к файлам.

У меня есть SSD для загрузки и 4 диска по 4 ТБ для хранения на RAID5 с 2-мя гигабитными сетевыми картами на этом сервере для доступа с установленным Proxmox и запущенными виртуальными машинами, данные структурированы как год>месяц>дата>тысячи файлов с номером телефона в имени для идентификации.

Спасибо, всего наилучшего,

решение1

Я также работаю с кучей аудиофайлов.

Лучший способ справиться с этой проблемой, который я нашел, это:

  • Используйте SSD-диски и зеркало RAID1 / ZFS для ускорения доступа.
  • Не работайте с файлами, а работайте над именем файла и метаданными: создайте простой и легкий индекс для поиска. База данных, ElasticSearch работает хорошо, но потребляет оперативную память, PostgreSQL с индексированными полями столбцов тоже может справиться с этой работой.
  • Просто используйте ссылку на путь к файлу при запуске доступа.

Мой рабочий процесс:

  1. Просмотр текстового дерева и имен файлов на простой веб-странице (самодельной)
  2. Нажмите, чтобы получить доступ к файлу
  3. Веб-страница извлекает файл по указанному пути и предоставляет его пользователю (по локальной сети или через Интернет).

Кстати, при таком объеме будет интересно взглянуть на инструменты, используемые накопителями данных, такие как

Связанный контент