心理学家佩维奥是双重编码理论的提出者，他强调在信息的贮存、加工与提取中，语言与非语言的信息加工过程是同样重要的。因为，“人的认知是独特的，它专用于同时对语言与非语言的事物和事件的处理。此外，语言系统是特殊的，它直接以口头与书面的形式处理语言的输入与输出，与此同时，它又保存着与非语词的事物、事件和行为有关的象征功能。任何一种表征理论都必须适合这种双重功能”(Pavio,1986,p.53)。双重编码理论假设，存在着两个认知的子系统：其一专用于对非语词事物、事件（即映象）的表征与处理，而另一个则用于语言的处理。佩维奥同时还假定，存在两种不同的表征单元：适用于心理映象的“图象单元”和适用于语言实体的“语言单元”。前者是根据部分与整体的关系组织的，而后者是根据联想与层级组织的。

双重编码理论还识别出三种加工类型：1)表征的：直接激活语词的或非语词的表征；2)参照性的：利用非语词系统激活语词系统；3)联想性的：在同一语词或非语词系统的内部激活表征。当然，有时，一个既定的任务也许只需要其中的一种加工过程，但有时则需要所有三种加工过程。双重编码理论可用于许多认知现象，其中有记忆、问题解决、概念学习和语言习得。双重编码理论说明了吉尔福特智力理论中空间能力的重要性。因为，大量通过视觉获得的映象所涉及的正是空间领域的信息。因此，对于双重编码理论最重要的原则就是：可通过同时用视觉和语言的形式呈现信息来增强信息的回忆与识别。

1975年美国心理学家帕维奥（Paivio）提出长时记忆中的双重编码理论。他认为长时记忆可分为两个系统，即表象系统和语义系统。表象和语义时两个既相平行又相联系的认知系统，表象系统以表象代码来储存信息，语义系统以语义代码来储存信息。人的视觉表象特别发达，他们可以分别由有关刺激所激活。语义代码是一种抽象的意义表征。一些离散的材料由于有了意义上的联系而被组织起来，使记忆变得相对容易。

Paivio所做的试验还发现，如果给被试以很快的速度呈现一系列的图画或字词，那么被试回忆出来的图画的数目远多于字词的数目，这个试验说明，表象的信息加工具有一定的优势。也就是说，大脑对于形象材料的记忆效果和记忆速度要好于语义记忆的效果和速度。 双重编码理论认为，人脑中存在两个功能独立却又相互联系的加工系统：一个是以语言为基础的加工系统，另一个是以意象为基础的加工系统。意象系统专门表征和加工非语言的物体和事件，它由相互具有联想关系的意象表征组成，而言语系统表征和加工言语信息，由相互联系的言语表征组成。 认知是通过两个特殊表征系统（modality－specific）支持的，这两个系统是来自经验并且在表述和加工关于非语言的实物、事件的信息和语言信息上有明显的区别。