什么是并行计算？

要了解并行计算的工作原理，首先要认识到并非所有并行性看起来都一样。体系结构、软件以及工作分配方式都在决定系统如何有效地利用多个协同工作的处理器方面发挥作用。

在硬件层面，有三种主要的内存模型定义了并行系统中的处理器如何通信和共享信息：

• 共享内存系统让所有处理器都能访问公共内存池。这使得处理器之间的通信相对简单，但随着更多处理器竞争访问相同资源，也会产生潜在的瓶颈。
• 分布式内存系统为每个处理器分配自己的私有内存。处理器通过相互传递消息进行通信，这增加了复杂性，但对于更大的工作负载来说，扩展性要好得多。
• 混合模型结合了这两种方法，将共享内存的通信简单性与分布式内存的可伸缩性相结合。大多数现代高性能计算环境都依赖于这种混合体系结构的某种变体。

除了内存架构之外，并行计算在工作本身的划分方式上也存在差异。两种最常见的方法是任务并行性和数据并行性。 

• 任务并行性将不同的操作分配给不同的处理器，以便程序的不同部分同时运行。 例如，同时处理多个用户请求的 Web 服务器将每个请求作为独立任务处理。这样，任何请求都不必等待另一个请求完成。
• 数据并行性将相同的操作分布在大型数据集上，每个处理器同时处理数据的不同部分。在云环境中，这通常意味着将工作分布在虚拟机或容器上，每个虚拟机或容器独立处理其份额的工作负载。

IT 领导者和开发人员应牢记的一个重要事实是：软件不会自动从并行架构中获益。应用程序必须经过专门设计或调整，才能有效地将工作分配到多个处理器上。为顺序计算构建的传统系统通常需要大量的重新工程，才能充分利用并行基础结构。这一现实是任何现代化战略的重要考虑因素。

并行计算的技术机制，即工作在多个处理器之间分布和执行的方式，带来的优势远远超出了原始处理速度。

• 速度和性能：在顺序系统上需要数小时甚至数天才能完成的任务，可以在极短的时间内完成。对于依靠时效性见解建立竞争优势的组织来说，这是一个显著的差异化因素。
• 可伸缩性：并行系统可以随着你的工作负载而增长。无论你处理的是 10 笔交易还是 1000 万笔交易，并行体系结构都为你提供了根据需求纵向扩展或缩减资源的灵活性。
• 成本效益：更快的处理意味着消耗计算资源的时间更少。当工作负载针对并行执行进行优化时，组织通常会发现他们可以用更少的基础结构支出完成更多工作。
• 可靠性和容错性：将工作分布在多个处理器上意味着如果一个组件发生故障，系统的其余部分可以继续运行。这种弹性对于停机会带来真实业务后果的关键任务型工作负载特别有价值。

对于希望利用这些优势、又不想管理物理基础结构复杂性的组织，Microsoft Azure 等云平台提供并行计算功能（包括专为高性能计算和大规模批处理设计的解决方案），使企业级并行性变得易于访问，无需自行构建。

并行计算并不是只供政府研究实验室中的超级计算机使用的小众技术。如今，它为几乎每个主要行业中发生的一些最具影响力的工作提供助力。

AI 和机器学习模型训练

训练 AI 模型需要通过复杂的数学运算处理海量数据，通常一次涉及数十亿个参数。 并行计算通过将计算负载同时分布在许多处理器上，让数据科学家和工程师能够更快地迭代并构建更复杂的模型，从而使这一切成为可能。

金融服务

金融机构依靠并行计算来运行风险评估、欺诈检测算法和实时交易处理，其规模是顺序系统根本无法支持的。许多这类工作负载运行在专为结构化事务数据构建的关系数据库上。并行计算使它们能够满足企业级性能需求。当每一毫秒都至关重要时，并行体系结构往往是区分竞争性平台与过时平台的关键。

生命科学与医疗保健

基因组测序、药物发现和医学成像分析都会产生规模和复杂性惊人的数据集。 并行计算使研究人员和临床医生能够以以前不切实际的方式处理这些数据，加速从癌症研究到疫苗开发的一切进程。

气候与工程模拟

建模天气系统、模拟基础设施上的结构应力或预测复杂环境中流体动力学的行为，需要只有并行系统才能可靠提供的处理能力。这些模拟帮助科学家和工程师更有把握地做出更明智的决策。

大数据分析

各行各业的组织都掌握着大量数据。对于许多组织来说，这些数据存储在数据仓库中，这是一个专为大规模查询和分析构建的集中式存储库。 像数据库分片这样的策略将数据分布在多个节点上，与并行计算自然结合，即使数据量增长也能保持查询性能快速。 并行计算帮助分析平台以如此快的速度查询、处理和揭示来自该庞大数据存储库的见解，使实时商业智能成为切实可行的现实，而不是一个理想目标。

将所有这些用例联系在一起的是可访问性。云基础结构使各种规模的企业都能使用并行计算，消除了专用本地硬件的障碍，并使组织能够按需利用巨大的计算资源。

并行计算已经改变了现代企业的可能性，但该技术仍在迅速发展。几个新兴趋势有望在未来几年进一步推动其能力和业务相关性。

AI 加速计算

AI 与并行计算之间的关系正在加深。图形处理单元 (GPU) 和张量处理单元 (TPU) 等专用硬件专为处理 AI 训练和推理所需的大规模并行工作负载而设计。随着 AI 在企业中的采用率不断提高，能够高效且大规模支持它的并行基础结构的重要性也随之增加。

量子计算与并行性的关系

量子计算代表了一种根本不同的信息处理方法，它利用量子力学原理同时评估多种可能的解决方案。虽然量子计算作为一种技术仍在成熟中，但其补充和扩展并行计算能力的潜力对密码学、材料科学和复杂优化问题等领域具有重大影响。

边缘计算

随着越来越多的处理靠近数据生成的地方，并行计算原则也随之而来。边缘环境越来越依赖并行体系结构来处理实时处理需求，而无需将所有内容路由回集中式数据中心。这一趋势对于制造、物流和医疗保健等行业尤其相关，在这些行业中，边缘设备很常见，延迟是一个关键因素。

百亿亿次计算

百亿亿次计算系统每秒能够执行一百亿亿次计算。这些系统代表了并行计算的前沿，并为科学研究、国家安全和大规模模拟开辟了新的领域。随着百亿亿次能力最终进入商业云环境，企业工作负载的性能上限将大幅提高。

云服务提供商正在大力投资支持这些下一代并行计算能力所需的基础结构，使得企业无需自行构建或维护即可访问尖端计算能力变得越来越切实可行。 随着这些能力的成熟，它们也在重塑组织处理数据集成的方式，使得实时整合和处理整个企业的数据变得更加容易。例如，Microsoft Azure 继续扩展其高性能计算项目组合，以满足 AI 支持、数据密集型世界的需求。