從魷魚代理程式提取數據

Question

如標題所示，我想從我的代理中提取資料。

背景：
最近，我需要保存的資料量激增，而我現在運行的模組並沒有減少它*，它產生了一個充滿樣式和內容的 html 檔案（目前我開銷超過200%，當您有超過6 個月和30多個用戶的資料保留計劃時，這不是很有趣）。

問題：
我想從代理中提取盡可能多的資料並將其插入資料庫（以最小的開銷，。老實說，我不知道該怎麼做（從代理部分提取。我不需要programming 101 非常感謝）。

問題：
其中任何一個（無論哪個可能更合適）：

• 顯示的統計數據sarg來自哪裡（它顯示很多比日誌檔案中的內容更多）？

• /var/log/squid/access.log除了日誌檔案 ( | cache.log)之外，還有其他統計來源嗎？

* sarg

（如果您認為那裡更合適，請繼續將其標記為“移至SO”。我認為這個問題有點灰色，因此我將其放在這裡​​）

Answer 1

Sarg 從日誌檔案取得所有資料。

如果您想了解更多信息，請查看快取管理器。它有有關 Squid 的內部資訊。

Squid 可以設定為透過 UDP 發送日誌。我寫了一個腳本它會獲取資訊 UDP 並將其載入到資料庫中。它基於 Turbogears 2 項目，但可能對您入門有所幫助。