发布于: May 6, 2024
Amazon EMR Serverless 是 Amazon EMR 中的一个无服务器选项，让数据工程师和数据科学家能够轻松运行开源大数据分析框架，而无需配置、管理和扩展集群或服务器。今天，我们很高兴地推出利用 Amazon Managed Service for Prometheus 对 Apache Spark 任务进行详细性能监控这一功能，让您能够使用特定于任务的引擎指标以及有关 Spark 事件时间表、阶段、任务和执行程序的信息来分析、监控和优化任务。
Apache Spark 可以针对 JVM 堆内存、GC、乱序信息等任务的驱动程序和执行程序提供详细性能指标。这些指标可以用于性能故障排除和工作负载表征。Amazon Managed Service for Prometheus 是一项安全、无服务器并且完全托管的监控与警报服务。利用 EMR Serverless 与 Amazon Managed Service for Prometheus 的集成，您现在可以在单一视图中监控多个应用程序/任务的此类性能指标，从而让集中式团队更容易监控这些指标，以便确定性能瓶颈和历史趋势等。
这一功能已在 EMR 7.1.0 及更高版本以及以下 AWS 区域中推出：美国东部（弗吉尼亚北部、俄亥俄州）、美国西部（俄勒冈州）、欧洲地区（斯德哥尔摩、巴黎、法兰克福、爱尔兰、伦敦）、南美洲（圣保罗）和亚太地区（东京、首尔、新加坡、孟买、悉尼）。要开始使用，请查看《Amazon EMR Serverless 用户指南》中的使用 Amazon Managed Service for Prometheus 监控 Spark 指标页面。