캐시처럼 효과적으로 처리할 수 있는 대규모 임시 작업 영역을 생성하는 Jenkins 빌드 서버(Linux)와 에이전트(Windows)가 있습니다.
- 보관되면 좋을 것 같아요
- 분실 시 복원 가능
- 손실된 경우 데이터가 손상된 것이 아니라 누락되어야 합니다.
속도를 위해 데이터 지속성을 희생할 수 있고 재부팅 후에도 데이터를 유지할 수 있지만 비정상 종료의 영향을 받을 수 있는 데이터를 이상적으로는 "최상위 디렉터리"의 세분성을 통해 삭제할 수 있는 파일 시스템이 있습니까?
일반적인 시나리오는 작업 공간이 포함된 디렉터리에 마운트되어 각 작업이 최상위 디렉터리를 생성하는 것입니다. 작업이 실행되는 동안 계층 구조의 다양한 파일을 읽고 씁니다. 작업이 실행되는 동안 시스템이 충돌하고 파일이 일관되지 않은 상태에 있을 수 있는 경우 전체 작업 디렉터리는 쉽게 다시 생성될 수 있으므로 파일 시스템 검사 중에 제거해야 합니다.
답변1
파일 시스템에서 원하는 것을 찾을 수 있을 것이라고 생각하지 마십시오.
하지만 당신이 할 수 있는 일은 작업의 마지막 단계(캐시를 저장하려는 시점에서)로 일관된 이름을 가진 파일을 생성하는 것입니다 /storage/jobID/job_complete. 시작 시 해당 파일이 작업 디렉터리에 없으면 작업 디렉터리를 rm -r로 실행하세요. 그러면 "작업이 절반만 완료되었습니다" 문제가 해결됩니다.
다음으로 속도를 원합니다. SSD와 같은 새로운 하드웨어를 살펴보거나 RAID 0 구현을 고려할 시간입니다. 0은 드라이브 하나가 죽을 경우 복구할 수 있는 데이터의 양을 나타내지만 쓰기와 읽기 모두에서 속도가 크게 향상될 수 있습니다. (내가 지역 대학에서 지원한 미디어 센터는 결과 파일을 SAN 스토리지로 이동하기 전에 라이브 비디오 캡처를 위해 RAID-1을 사용합니다.)