平行运算 又名 并行计算（Parallel Computing）

并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程。为执行并行计算，计算资源应包括一台配有多处理机（并行处理）的计算机、一个与网络相连的计算机专有编号，或者两者结合使用。并行计算的主要目的是快速解决大型且复杂的计算问题。此外还包括：利用非本地资源，节约成本 ― 使用多个“廉价”计算资源取代大型计算机，同时克服单个计算机上存在的存储器限制。

传统地，串行计算是指在单个计算机（具有单个中央处理单元）上执行软件写操作。CPU 逐个使用一系列指令解决问题，但其中只有一种指令可提供随时并及时的使用。并行计算是在串行计算的基础上演变而来，它努力仿真自然世界中的事务状态：一个序列中众多同时发生的、复杂且相关的事件。

为利用并行计算，通常计算问题表现为以下特征：

将工作分离成离散部分，有助于同时解决；

随时并及时地执行多个程序指令；

多计算资源下解决问题的耗时要少于单个计算资源下的耗时。

下面的矩阵列出了计算结构的4种可能性分类：

S I S D S I M D M I S D M I M D

单指令流单数据流 单指令流多数据流 多指令流单数据流 多指令流多数据流

在下面的站点上有相关的图片和示意图