我們目前正在使用 EMR 來輕鬆提交 Spark 作業。最近，我發現了「FSx luster + S3」解決方案，該解決方案被宣傳為 HPC 情況的理想選擇。然而，據說 EMRFS 也針對這種特定場景進行了優化，使 S3 看起來像是本地 hadoop 檔案系統。
所以我想知道，為什麼有人會在成本和性能方面選擇這兩者之一？
這個問題可能是後續問題AWS EMR 使用 AWS S3 時的成本但不幸的是我沒有在那裡發表評論的聲譽。
先謝謝您的幫忙。
答案1
AS 您正在使用 EMR 進行運算操作，使用 S3 進行儲存..
當 FSX 與 s3 整合時，由於其高 IOPS，將為您的作業提供高吞吐量...這確實對您的執行時間表有幫助...但這又會帶來更高的成本。
https://www.youtube.com/watch?v=ZADHiZa3Hjo&list=WL&index=21&t=2752s
上面提到的是最好的 Reinvent 連結之一