AWS FSx para brillo con S3 frente a EMR (con EMRFS) para trabajos de chispa

Question

Actualmente utilizamos EMR para facilitar el envío de trabajos para nuestros trabajos Spark. Recientemente me encontré con la solución "FSx lustre + S3" que se anuncia como ideal para situaciones de HPC. Sin embargo, también se dice que EMRFS está optimizado para este escenario particular, haciendo que S3 parezca un sistema de archivos hadoop local.

Entonces me pregunto, ¿por qué alguien elegiría cualquiera de estos dos en términos de costo y rendimiento?

Esta pregunta podría ser una continuación deCostos de AWS S3 para cuando AWS EMR lo usepero lamentablemente no tengo la reputación para publicar un comentario allí.

Gracias de antemano por la ayuda.

Answer 1

AS Está utilizando EMR para sus operaciones informáticas y S3 para almacenamiento.

FSX, cuando se integra con s3, proporcionaría un alto rendimiento en sus trabajos debido a su alto IOPS... Esto de hecho sería útil para sus cronogramas de ejecución... Pero nuevamente, eso generaría un costo más alto.

https://www.youtube.com/watch?v=ZADHiZa3Hjo&list=WL&index=21&t=2752s

Mencionado anteriormente es uno de los mejores enlaces de Reinvent