流水线（pipeline）技术是指在程序执行时多条指令重叠进行操作的一种准并行处理实现技术。流水线是Intel首次在486芯片中开始使用的。流水线的工作方式就象工业生产上的装配流水线。在CPU中由5—6个不同功能的电路单元组成一条指令处理流水线，然后将一条X86指令分成5—6步后再由这些电路单元分别执行，这样就能实现在一个CPU时钟周期完成一条指令，因此提高CPU的运算速度。经典奔腾每条整数流水线都分为四级流水，即指令预取、译码、执行、写回结果，浮点流水又分为八级流水。

产生背景

具体分类

性能指标(吞吐率 加速比 效率)

影响因素

技术规范(超级流水线 超标量 超长指令字 向量机 SIMD技术)

产生背景

借鉴了工业流水线制造的思想，现代CPU也采用了流水线设计。在工业制造中采用流水线可以提高单位时间的生产量；同样在CPU中采用流水线设计也有助于提高CPU的频率。先以汽车装配为例来解释流水线的工作方式。假设装配一辆汽车需要4个步骤：1.冲压：制作车身外壳和底盘等部件，2.焊接：将冲压成形后的各部件焊接成车身，3.涂装：将车身等主要部件清洗、化学处理、打磨、喷漆和烘干，4.总装：将各部件（包括发动机和向外采购的零部件）组装成车；同时对应地需要冲压、焊接、涂装和总装四个工人。采用流水线的制造方式，同一时刻四辆汽车在装配。如果不采用流水线，那么第一辆汽车依次经过上述四个步骤装配完成之后，下一辆汽车才开始进行装配，最早期的工业制造就是采用的这种原始的方式。未采用流水线的原始制造方式，同一时刻只有一辆汽车在装配。

不久之后就发现，某个时段中一辆汽车在进行装配时，其它三个工人处于闲置状态，显然这是对资源的极大浪费！于是开始思考能有效利用资源的方法：在第一辆汽车经过冲压进入焊接工序的时候，立刻开始进行第二辆汽车的冲压，而不是等到第一辆汽车经过全部四个工序后才开始。之后的每一辆汽车都是在前一辆冲压完毕后立刻进入冲压工序，这样在后续生产中就能够保证四个工人一直处于运行状态，不会造成人员的闲置。这样的生产方式就好似流水川流不息，因此被称为流水线。

CPU的工作也可以大致分为指令的获取、解码、运算和结果的写入四个步骤，采用流水线设计之后，指令（好比待装配的汽车）就可以连续不断地进行处理。在同一个较长的时间段内，显然拥有流水线设计的CPU能够处理更多的指令。

具体分类

流水线功能繁杂，种类也非常多；如果按照处理级别来分类，流水线可以有操作部件级、指令级和处理机级；如果按照流水线可以完成的动作的数量来分类，又可以分为单功能和多功能流水线；如果按照流水线内部的功能部件的连接方式来分类，则有线性流水线和非线性流水线；按照可处理对象来分类，还可以有标量流水线和向量流水线。流水线的分类：

1、按处理级别分：

功能部件级：在实现较为复杂的运算时采用

指令级：将一条指令执行过程分为多个阶段

处理器间级：每个处理器完成其专门的任务。

2、按完成的功能分类：

单功能流水线：只完成一种如乘法或浮点运算等，多用于数字信号处理器（DSP），各处理器可并行完成各自的功能，加快整机处理速度。

多功能流水线：在不同情况下可完成不同功能3、按连接的方式分类：

静态流水线：同一时间内，多功能结构只能按一种功能的连接方式工作。

动态流水线：同一时间内，可以有多种功能的连接方式同时工作。

4、按处理的数据类型分类：

标量流水线：一般数据

向量流水线：矢量数据。X+Y=Z每一个代表一维数据。

5、流水线结构上分类：

线性流水线：指各功能模块顺序串行连接，无反馈回路，如前面介绍的。

非线性流水线：带有反馈回路的流水线。

性能指标

衡量一种流水线处理方式的性能高低的书面数据主要由吞吐率、效率和加速比这三个参数来决定。

吞吐率

指的是计算机中的流水线在特定的时间内可以处理的任务或输出数据的结果的数量。流水线的吞吐率可以进一步分为最大吞吐率和实际吞吐率。它们主要和流水段的处理时间、缓存寄存器的延迟时间有关，流水段的处理时间越长，缓存寄存器的延迟时间越大，那么，这条流水线的吞吐量就越小。因为，在线性流水线中，最大吞吐率Tpmax=流水线时钟周期△T/1=max（T1,...Ti,..Tm）+T1/1，而其中，m是流水线的段数，i是特定过程段执行时间。如果，一条流水线的段数越多，过程执行时间越长，那么，这条流水线的理论吞吐率就越小。

由此，要对于流水线的瓶颈部分的处理主要在于减少流水段的处理时间。实现的方法一般有两种：

1、把瓶颈部分的流水线分拆，以便任务可以充分流水处理。流水段的处理时间过长，一般是由于任务堵塞造成的，而任务的堵塞会导致流水线不能在同一个时钟周期内启动另一个操作，可以把流水段划分，在各小流水段中间设置缓存寄存器，缓冲上一个流水段的任务，使流水线充分流水。假如X流水段的处理时间为3T，可以把X流水段再细分成3小段，这样，每小段的功能相同，但是处理时间已经变成3T/3=T了。

2、在瓶颈部分设置多条相同流水段，并行处理。对付流水段的处理时间过长，还有另外一种方法，那就是把瓶颈流水段用多个相同的并联流水段代替，在前面设一个分派单元来对各条流水段的任务进行分派。仍然假设瓶颈流水段的处理时间是△3T，那么经过3条并联流水段的同时处理，实际需要的时间只是△T。这样，就达到了缩短流水段处理时间，但这种方法比较少以采用，因为要3段相同的流水段并联，成本较高，而且，分派单元会比较麻烦处理。

加速比

是指某一流水线如果采用串行模式之后的工作速度和采用流水线模式后的工作速度的比值，数值越大，说明这条流水线的工作安排方式越好。

效率

使用效率：指流水线中，各个部件的利用率。由于流水线在开始工作时存在建立时间；在结束时存在排空时间，各个部件不可能一直在工作，总有某个部件在某一个时间处于闲置状态。用处于工作状态的部件和总部件的比值来说明这条流水线的工作效率。

影响因素

流水线处理方式是一种时间重叠并行处理的处理技术，具体地说，就是流水线可以在同一个时间启动2个或以上的操作，借此来提高性能。为了实现这一点，流水线必须要时时保存畅通，让任务充分流水，但在实际中，会出现2种情况使流水线停顿下来或不能启动：

1、多个任务在同一时间周期内争用同一个流水段。例如，假如在指令流水线中，如果数据和指令是放在同一个储存器中，并且访问接口也只有一个，那么，两条指令就会争用储存器；在一些算数流水线中，有些运算会同时访问一个运算部件。

2、数据依赖。比如，A运算必须得到B运算的结果，但是，B运算还没有开始，A运算动作就必须等待，直到A运算完成，两次运算不能同时执行。

解决方案：

第一种情况，增加运算部件的数量来使他们不必争用同一个部件；

第二种情况，用指令调度的方法重新安排指令或运算的顺序。

技术规范

超级流水线

超级流水线（SuperPipeline)又叫做深度流水线，它是提高cpu速度通常采取的一种技术。CPU处理指令是通过Clock来驱动的，每个clock完成一级流水线操作。每个周期所做的操作越少，需要的时间久越短，时间越短，频率就可以提得越高。超级流水线就是将cpu处理指令是得操作进一步细分，增加流水线级数来提高频率。频率高了，当流水线开足马力运行时平均每个周期完成一条指令（单发射情况下），这样cpu处理得速度久提高了。当然，这是理想情况下，一般是流水线级数越多，重叠执行的执行就越多，那么发生竞争冲突得可能性就越大，对流水线性能有一定影响现在很多cpu都是将超标量和超级流水线技术一起使用，例如pentiumIV，流水线达到20级，频率最快已经超过3GHZ。教科书上用于教学的经典MIPS只有5级流水。

超标量

将一条指令分成若干个周期处理以达到多条指令重叠处理,从而提高cpu部件利用率的技术叫做标量流水技术。超级标量是指cpu内一般能有多条流水线,这些流水线能够并行处理。在单流水线结构中，指令虽然能够重叠执行，但仍然是顺序的,每个周期只能发射(issue)或退休(retire)一条指令。超级标量结构的cpu支持指令级并行，每个周期可以发射多条指令(2-4条居多)。可以使得cpu的IPC(InstructionPerClock)>，从而提高cpu处理速度。超级标量机能同时对若干条指令进行译码，将可以并行执行的指令送往不同的执行部件，在程序运行期间，由硬件(通常是状态记录部件和调度部件)来完成指令调度。超级标量机主要是借助硬件资源重复(例如有两套译码器和ALU等)来实现空间的并行操作。熟知的pentium系列(可能是p-II开始),还有SUNSPARC系列的较高级型号,以及MIPS若干型号等都采用了超级标量技术。

超长指令字

超常指令字（VLIW：VeryLongInstructionWord）是由美国Yale大学教授Fisher提出的。它有点类似于超级标量，是一条指令来实现多个操作的并行执行，之所以放到一条指令是为了减少内存访问。通常一条指令多达上百位，有若干操作数，每条指令可以做不同的几种运算。那些指令可以并行执行是由编译器来选择的。通常VLIW机只有一个控制器，每个周期启动一条长指令，长指令被分为几个字段，每个字段控制相应的部件。由于编译器需要考虑数据相关性，避免冲突，并且尽可能利用并行，完成指令调度，所以硬件结构较简单。

VLIW机器较少，可能不太容易实现，业界比较有名的VLIW公司之一是Transmeta，在加州硅谷SantaClara（硅谷圣地之一，还有SanJose，PaloAlto）。它做的机器采用X86指令集，VLIW实现，具体资料可以去访问公司的网站。

向量机

平时接触的计算机都是标量机，向量机都是大型计算机，一般用于军事工业，气象预报，以及其他大型科学计算领域，这也说明了向量机都很贵。国产的银河计算机就是向量机普通的计算机所做的计算，例如加减乘除，只能对一组数据进行操作，被称为标量运算。向量运算一般是若干同类型标量运算的循环。向量运算通常是对多组数据成批进行同样运算，所得结果也是一组数据。很多做科学计算的大（巨）型机都是向量机。

SIMD技术

单指令多数据（SingleInstructionMultipleData）简称SIMD。SIMD结构的CPU有多个执行部件，但都在同一个指令部件的控制下。SIMD在性能优势呢：以加法指令为例，单指令单数据（SISD）的CPU对加法指令译码后，执行部件先访问内存，取得第一个操作数；之后再一次访问内存，取得第二个操作数；随后才能进行求和运算。而在SIMD型CPU中，指令译码后几个执行部件同时访问内存，一次性获得所有操作数进行运算。这个特点使得SIMD特别适合于多媒体应用等数据密集型运算。AMD公司的3DNOW！技术其实质就是SIMD，这使K6－2处理器在音频解码、视频回放、3D游戏等应用中显示出优异性能。