☰

검색 접근성을 갖춘 수백만 개의 오디오 파일 저장(가능한 경우)

tag-icon • tag-icon linux storage proxmox nextcloud
검색 접근성을 갖춘 수백만 개의 오디오 파일 저장(가능한 경우)

저는 7TB 상당의 파일을 저장하면서 발생하는 이 문제에 대한 해결책을 찾고 있었는데, 모두 오디오 파일이었습니다. 이 파일은 별표 기반 서버 freepbx의 녹음입니다.

처음에 내가 한 일은 더 빠른 액세스를 위해 SSD가 있는 서버에 proxmox를 설치한 다음 웹을 통한 파일 액세스를 위해 nextcloud를 설치하는 것이었습니다(이 서버는 로컬 네트워크에서만 서비스를 제공하므로 여기서 보안은 문제가 되지 않습니다). 파일을 계속 업로드하면서 이것이 나쁘다는 것을 깨달았습니다. 하나의 특정 파일을 검색하는 데 많은 시간이 걸리고 사용량이 2TB에 불과하기 때문에 한동안 다음 클라우드를 가지고 놀았고 ssh 또는 webdav를 통해 검색할 수 있다는 것을 알고 있지만 시간도 많이 걸립니다. 왜냐하면 이러한 파일은 여러 사용자가 정기적으로 액세스해야 하기 때문입니다.

그래서 저는 여전히 5TB 상당의 데이터를 가지고 있고 스토리지에서 데이터를 쉽게 찾고 검색할 수 있는 웹 액세스나 다른 방법을 찾고 있거나 저장 및 저장에 도움이 될 수 있는 완전히 새로운 OS/웹 서버를 찾고 있기 때문에 이 문제에 대한 해결책을 찾고 있습니다. 파일에 액세스하는 중입니다.

내가 가지고 있는 것은 부팅용 SSD와 proxmox가 설치되어 있고 일부 가상 머신을 실행하는 액세스를 위해 해당 서버에 2x 기가비트 LAN 카드가 있는 raid5에 저장하기 위한 4x4tb 드라이브입니다. 데이터는 전화 번호가 있는 연도>월>날짜>1000개의 파일로 구성됩니다. 식별을 위한 이름이 있습니다.

감사합니다. 항상 좋은 일만 있기를 바랍니다,

답변1

나는 또한 수많은 오디오 파일을 가지고 작업하고 있습니다.

이 문제를 처리하기 위해 내가 찾은 가장 좋은 방법은 다음과 같습니다.

  • SSD 디스크와 RAID1 / ZFS 미러를 사용하여 액세스 속도를 높이세요.
  • 파일을 다루지 말고 파일 이름과 메타데이터에 대해 작업하십시오. 간단하고 쉽게 검색 가능한 색인을 만드십시오. 데이터베이스인 ElasticSearch는 잘 작동하지만 RAM을 소모합니다. 인덱스 필드 열이 있는 PostgreSQL도 작업을 수행할 수 있습니다.
  • 액세스가 트리거되면 파일 경로에 대한 링크를 사용하십시오.

내 작업 흐름은 다음과 같습니다.

  1. 간단한 웹 페이지에서 텍스트 기반 트리 및 파일 이름 찾아보기(수제)
  2. 파일에 액세스하려면 클릭하세요.
  3. 웹 페이지는 경로를 기반으로 파일을 검색하고 이를 사용자에게 제공합니다(LAN에서 또는 인터넷을 통해).

그런데 이런 종류의 볼륨이 있으면 다음과 같이 데이터 호더가 사용하는 도구를 살펴보는 것이 흥미로울 것입니다.

관련 정보