많은 파일을 빠르게 쓰고 삭제하기
나는 지속적인 기간 동안 초당 많은 임시 파일을 쓸 것입니다. 각각은 몇 밀리초 후에 삭제됩니다.
초당 약 2000개의 고속 카메라에서 부분 프레임을 처리하는 이미지 처리 소프트웨어가 있다고 가정해 보겠습니다. 각각은 파일에 기록된 다음 동일한 몇 밀리초 안에 파일이 약간 변경되고 다시 읽혀지고 삭제됩니다.
이는 현재 tmpfs파일 시스템에서 실행되지만 실행할 수 없다고 가정해 보겠습니다.
그리고 아니, 난 못해"그냥 그렇게 고치면 돼", 일부 레거시 통합에 필요합니다.
파일 시스템은 어떻게 대처하고 있나요?
이것이 파일 시스템 옵션과 어떻게 상호 작용하는지 이해하고 싶습니다. 특히 파일 시스템 저널이 이것과 상호 작용하는 방식에 대해 머리를 감쌀 수 없습니다.
순진한 생각으로는 데이터가 디스크에 닿지 않고 메타데이터도 닿지 않기를 바랄 수도 있습니다. 파일을 생성한 후 삭제해도 데이터는 그대로 유지되죠? 그리고 디렉토리에 이름을 쓰고 삭제하면 디렉토리도 똑같죠?
놀라운 효과
아니, 틀렸어.
디렉터리는 한 위치를 재사용하여 새 파일 이름을 저장하거나 다른 위치를 재사용하는 등 다양한 방법으로 동일한 파일 이름을 나타낼 수 있습니다.
즉, 디스크 블록에 대한 쓰기 작업이 있을 때 파일 시스템 수준 변경 없이 변경되었을 수 있으므로 디스크에 기록해야 합니다.
하지만 네 가지 작업 각각에 대해 한 번만 작성되지 않도록 할 수 있나요? 그리고 저널은 어떻습니까? 내 임시 데이터가 저널에 남나요? 그걸 막을 수 있을까?
한 가지 질문으로, 그렇게 할 때 무엇을 주의하거나 염두에 두어야 합니까?
답변1
이론이 무엇인지 말씀드릴 수는 있지만 직접 경험해 볼 수는 없습니다. 파일은 몇 초마다 메모리에서 디스크로 푸시되며, 빠르게 제거된 파일은 디스크에 남지 않는다는 내용을 읽었습니다. 일지에도 없습니다.
파일이 푸시되기 위해 5초 동안 존재해야 하는지 아니면 5초마다 발생하는 체크포인트 순간에 파일이 존재해야 하는지 잘 모르겠습니다. 아마도 후자일 것입니다. 그렇다면 일부 파일이 디스크에 흡수됩니다. 이것은 짧은 순간 동안 정기적으로 발생합니다.
거의 없다마운트 옵션내가 조사해 볼 것을 제안하고 싶습니다. 간격을 늘려 체크포인트 순간을 임의로 드물게 만들 수 있지만 여전히 그런 일이 발생합니다. 또한 지연 할당에는 설명할 수 없는 이유로 인해 데이터가 디스크에 계속 푸시되는 부작용이 있습니다. 나는 그것에 대해 어디서 읽었는지 기억이 나지 않습니다.
- commit=nrsec(nrsec초마다 모든 데이터와 메타데이터를 동기화합니다. 기본값은 5초입니다. 0은 기본값을 의미합니다.) on Ext3
- Ext4의 delalloc(쓰기 시간까지 블록 할당 연기)
제안된 솔루션:메모리 내 파일 시스템을 사용하십시오. 이렇게 하면 디스크에 아무 것도 남지 않을 것이라고 확신할 수 있습니다. tmpfs 또는 ramfs는 스왑 가능 여부, 지정된 용량 이상으로 증가 여부와 같은 몇 가지 차이점이 있습니다. 나는 이것이 기본적으로 당신이 지금 사용하고 있는 것임을 알고 있습니다. /tmp일 필요는 없습니다. 모든 디렉토리에 대해 이러한 유형의 새 파일 시스템을 생성할 수 있습니다.
http://www.thegeekstuff.com/2008/11/overview-of-ramfs-and-tmpfs-on-linux/