張貼日期: Nov 6, 2019

現在,您可以使用 EMR 主控台直接登入叢集外的持續性 Spark History Server,偵測和監控 Apache Spark 任務。 

Spark History Server 是 Apache Spark Web 使用者界面 (UI) 的擴展。它提供了一個可視界面,其中包含有關叢集上已完成和正在執行的 Spark 任務的詳細資訊。您可以深入了解作業特定指標,以及有關排程器階段、任務和執行中執行程式的資訊。 

現在,Amazon EMR 可將 Spark History Server 以及事件和容器日誌持續儲存在叢集外部,並且不受叢集生命週期的影響。這可讓您針對已終止和執行中的群集等,來存取並使用 Spark History Server。此外,您可以直接從主控台存取 Spark History Server,而無須執行複雜的步驟,即可作為 Web 界面來檢視資訊

此功能適用於 EMR 版本 5.25 及更新版本,可在美國東部 (維吉尼亞北部和俄亥俄)、美國西部 (加州北部和奧勒岡)、加拿大 (中部)、歐洲 (法蘭克福、愛爾蘭和倫敦) 以及亞太區域 (孟買、首爾、新加坡、雪梨和東京) 等區域使用。