什么是并行处理？

并行处理（也称为并行计算）会将计算任务分解成更小的部分，然后分别处理每个部分，最后将它们组合起来以得出最终结果。这种处理方式可以减少完成某些任务所需的时间，并更好地利用可用资源。并行处理在大数据分析中很常见，也是许多机器学习训练和推理过程的重要组成部分。

与传统的串行处理相比，并行处理具有一系列优势。

加快计算速度

串行计算采用顺序方法来解决问题，每次只在计算机上处理一条指令以执行任务。并行处理仍然执行这些相同的任务，但将其分解成更小的片段，并分配到多个处理器上。由于处理器可以并发运行，因此可以更快地完成计算任务，从而加快整体计算速度。

处理更大的数据量

通过并行架构处理数据，计算机系统可以处理更大的数据集。在处理海量数据时，并行处理可以将其拆分成更小的单元，在不超出每个节点内存限制的情况下进行处理。对于需要进行大量大数据分析或数据传输的系统，并行处理非常有用。

提高资源利用率

由于并行处理将计算任务拆分并分配到多个核心，因此可以确保在处理任务时整个系统都处于活动状态。与顺序计算仅使用部分可用 GPU 或 CPU 核心不同，并行计算可以将工作负载均衡分配到所有可用资源上。

支持实时分析

实时分析依赖于低延迟处理管道，这些管道能够在数据进入系统后立即进行摄取、传输和分析。生成实时见解依赖于能够快速处理数据的系统，通常使用并行处理来提供快速可靠的数据流。

以下是并行处理的四个主要阶段。

分解

分解是将计算任务拆分成许多更小的子小节的过程。这些较小分段的具体形式取决于当前的任务。例如，如果处理数据，系统可以使用数据并行来拆分数据集。或者，任务并行会将不同的计算操作进行分段，而流水线并行则会将任务分阶段进行。

无论系统使用哪种分解方式，其最终效果都是将一个大型计算任务拆分成许多较小的任务。

分发

分发是将拆分后的任务分配给系统中的各个单元的过程。同样，此阶段涉及的具体单元取决于计算机需要处理的任务类型。分发阶段会将任务分配给节点、CPU 或 GPU 上的核心，并根据当前的内存限制和硬件架构选择合适的目标。

分发的目标是在尽可能减少数据移动的同时，将任务分散到各个计算单元中。

处理

处理阶段是指每个接收到任务的节点开始并行处理其分配的任务的阶段。处理是并发的，采用共享内存架构或消息传递接口，使每个节点都能与其他节点通信。

聚合

每个节点完成任务后，在聚合阶段重新组合结果。不同的聚合系统使用不同的并行算法，这意味着该阶段可能需要合并数据分区、使用归约操作、检查点分布式状态或使用其他策略将各个组件重新组合在一起。

目前常用的并行计算架构有几种。

共享内存并行

共享内存是最常见的并行计算形式，广泛应用于手机和笔记本电脑等日常设备。共享内存允许节点之间相互通信，因为它们都连接到同一个内存资源，从而实现快速通信。

分布式内存并行

分布式并行是指节点拥有各自独立的内存存储。它们不使用共享内存系统进行通信，而是使用消息传递或其他高速互连方式。

图形处理器（GPU）并行

GPU 并行计算是指多个 GPU 并发运行进程。GPU 并行对于需要高计算能力的特定任务（例如机器学习）非常有效。GPU 并行的工作方式与 CPU 并行略有不同，需要不同的进程和机制。

尽管并行计算能够有效提升处理速度，但在部署高效的并行处理机制时，仍存在诸多挑战需要克服。

并行计算机间的同步

当工作分布在多个处理器上时，计算系统需要协调进度并共享更新。随着系统规模和复杂性的增加，节点间的同步变得越来越具有挑战性。通常，并行计算会使用算法或锁定机制来确保节点间的数据一致性。低效的同步会导致瓶颈，进而降低性能。因此，寻找有效的同步策略是并行处理过程中至关重要的一步。

网络开销

分布式系统使用各种路径在节点间进行通信，这需要网络基础设施。在节点间传输大量数据会造成延迟并消耗带宽，尤其是在传输效率低下的情况下。企业可以采取一些策略来减少通信需求和数据传输，从而降低网络开销，并帮助并行计算系统扩展。这包括位置、存储和网络策略。

负载均衡

当每个节点都能满负荷运行，避免节点空闲或处理过大的工作负载时，并行计算的效果最佳。目标是让所有节点几乎同时完成任务，从而在整个系统中均衡分配工作负载。有效的负载均衡和分配需要精心设计的数据分区和重新分配策略。

调试

在串行计算系统中，调试错误很容易，因为可以清楚地看到出错的具体步骤。而在并行计算中，确定哪些节点在何时完成哪些任务方面缺乏一致性。这使得重现错误变得困难，更不用说隔离错误并进行调试了。开发人员需要使用一系列特定的工具来调试并行处理环境。

以下是使用和维护并行计算系统的一些最佳实践。

尽量减少进程间通信

任务间通信过多会降低并行程序的性能，因为每个节点都在不断地向其他节点传输数据，消耗带宽并减慢其运行速度。避免在多个处理器或多核系统之间传输大量数据，专注于尽可能减少通信。

平衡系统间的工作负载

尤其是在任务并行中，均匀分配所有工作负载至关重要，这样才能确保所有节点都处于活动状态，并且不会出现单个节点因工作负载过载的情况。当使用具有大量可用节点的大规模并行处理器时，应重点分解并行编程系统同时执行的多个任务。

在优化前进行性能分析

对并行计算工作流程进行性能分析有助于确定潜在延迟或瓶颈的根源。您可以通过性能分析来检测问题是源于并行执行效率低下、任务在多个处理器之间的分配不均，还是底层串行计算问题。识别并修正这些问题有助于确保所有计算资源得到充分利用，并确保并行编程高效运行。

使用既有的多处理器框架

并行处理中的多处理器框架指的是诸如 Apache Spark、Hadoop 或 GPU 专用框架等，这些框架可以简化并行编程。这些框架可以处理调度、资源管理和跨多台计算机的内存访问等问题。使用既定框架有助于确保工作负载在本地、跨多核处理器以及云计算环境中高效运行。

尽管分布式计算和并行计算都能提高计算速度，但它们采用的架构截然不同。并行计算是指将串行计算系统接收到的相同指令分解成多个分段，每个分段在独立的硬件上运行，并发执行。并行计算可以在同一台计算机上、在同一个操作系统下进行，使用共享内存池在不同部分之间进行通信。

分布式计算是指将任务拆分到不同的计算机上，每台计算机都通过各自的内存池和硬件来处理问题的特定部分。分布式计算系统需要由集中式控制器进行协调。分布式计算更常用于云计算系统。

机器学习（ML）工作负载使用并行计算来处理海量数据，通常使用大量的 GPU。机器学习采用数据并行，多个处理单元使用同一个 ML 模型处理不同的数据子集。并行计算无需执行顺序程序，即可提供机器学习所需的速度和敏捷性。如果没有并行处理，处理相同数据的机器学习任务将无法以足够快的速度完成相同的操作，从而无法发挥作用。

AWS 提供一系列云处理服务和节能处理器，从设计之初就支持并行处理。您可以从以下服务中进行选择，以加快处理速度并满足时间敏感型需求：

• Amazon EMR 是一项大数据处理服务，可凭借无与伦比的灵活性和规模，加速分析工作负载。EMR 具有针对 Apache Spark、Trino、Apache Flink 和 Apache Hive 进行了性能优化的运行时，可削减成本与处理时长。
• AWS Batch 是一项完全托管式批量计算服务，可以在 Amazon ECS、Amazon EKS、AWS Fargate 以及竞价型实例或按需型实例等各种 AWS 计算产品中，规划、安排和运行您的容器化批处理机器学习、模拟和分析工作负载。
• Amazon SageMaker 让您能够统一访问所有数据，为您提供分析和人工智能集成体验。SageMaker 提供机器学习模型的分布式训练，并可帮助您在并行架构上进行部署。
• Amazon Redshift 是一个云数据仓库，其架构支持 SQL 查询并行处理，可用于跨海量数据集进行分析。

立即创建免费账户，开始在 AWS 上进行并行处理。