☰

Armazenamento para milhões de arquivos de áudio com acessibilidade de pesquisa (se possível)

tag-icon • tag-icon linux storage proxmox nextcloud
Armazenamento para milhões de arquivos de áudio com acessibilidade de pesquisa (se possível)

Eu estava procurando uma solução para esse problema que tenho com o armazenamento de arquivos no valor de 7 TB, todos eles são arquivos de áudio, esses arquivos são gravações do servidor freepbx baseado em asterisco.

A princípio o que fiz foi instalar o proxmox no servidor com ssd para acesso mais rápido e depois o nextcloud para acesso a arquivos via web (este servidor só serve na rede local então a segurança não é o problema aqui) enquanto continuo enviando os arquivos percebi que isso é ruim ideia, pois leva muito tempo para procurar um arquivo específico e estou com apenas 2 TB de uso, estou brincando com a próxima nuvem há algum tempo e sei que posso pesquisar via ssh ou webdav, mas também leva muito tempo porque esses arquivos precisam ser acessados ​​regularmente por vários usuários.

então estou procurando uma solução para esse problema, pois ainda tenho 5 TB de dados e estou procurando acesso à Web ou qualquer outra maneira de encontrar e recuperar dados do armazenamento com facilidade ou um sistema operacional/servidor da Web totalmente novo que possa ajudar no armazenamento e acessando os arquivos.

o que eu tenho é ssd para inicialização e unidades de 4x4 TB para armazenamento em raid5 com placa LAN de 2x gigabit naquele servidor para acesso com proxmox instalado e executando algumas máquinas virtuais, os dados são estruturados como ano> mês> data> milhares de arquivos com número de telefone ativado há nome para identificação.

Obrigado Atenciosamente,

Responder1

Também estou trabalhando com vários arquivos de áudio.

A melhor maneira que encontrei para lidar com isso é:

  • Use discos SSD e espelho RAID1/ZFS para acelerar o acesso.
  • Não lide com arquivos, mas trabalhe no nome do arquivo e nos metadados: crie um índice pesquisável simples e leve. Um banco de dados, ElasticSearch, funciona bem, mas consome RAM, PostgreSQL com colunas de campos indexados também pode fazer o trabalho.
  • Basta usar um link para o caminho do arquivo quando o acesso for acionado.

Meu fluxo de trabalho é:

  1. Navegue por árvores e nomes de arquivos baseados em texto em uma página da web simples (caseira)
  2. Clique para acessar o arquivo
  3. A página da web recupera o arquivo com base no caminho e o envia ao usuário (na LAN ou pela Internet).

Aliás, com esse tipo de volume, será interessante dar uma olhada nas ferramentas utilizadas pelos datahoarders, como

informação relacionada