臨時檔案系統

臨時檔案系統

我有一個 Jenkins 建置伺服器 (Linux) 和一個代理程式 (Windows),它們都建立大型臨時工作區,可以像快取一樣有效處理:

  • 如果保留它們就好了
  • 如果遺失可以恢復
  • 如果遺失,資料應該是遺失而不是損壞

是否有一個文件系統允許我為了速度而犧牲數據的持久性,仍然允許我在重新啟動後保留數據,但丟棄可能受不干淨的關閉影響的數據,理想情況下具有“頂級目錄”的粒度?

典型的情況是,這將安裝到包含工作空間的目錄,因此每個作業都會建立一個頂級目錄。當作業執行時,會讀取和寫入層次結構深處的各種檔案。如果機器在作業執行時崩潰,且檔案可能處於不一致狀態,則應在檔案系統檢查期間刪除整個作業目錄,因為它可以輕鬆地重新建立。

答案1

不要以為您會在檔案系統中找到您想要的東西。

不過,您可以做的是作為作業的最後一步(在您想要保存快取的時候)讓它創建一個具有一致名稱的檔案 -/storage/jobID/job_complete或其他內容。啟動時,如果作業目錄中不存在該文件,則 rm -r 作業目錄。這解決了您的“半成品”問題。

接下來,你想要速度。是時候考慮 SSD 等新硬體或考慮實施 RAID 0 了。 (我在當地大學支援的媒體中心使用 RAID-1 進行即時視訊捕獲,然後將生成的檔案移至 SAN 儲存)。

相關內容