雙碼理論

雙碼理論，又稱為雙重編碼理論（dual coding theory, DCT），是一種認知理論 ，由西安大略大學的艾倫·白斐歐（英語：Allan Paivio）（Allan Paivio）於1971年提出。白斐歐在發展該理論的過程中使用了「形成心像有助於學習」的想法^[1]。根據白斐歐的說法，人們可以透過兩種方式「語文聯想」和「視覺心像」進一步拓展所學的內容。雙碼理論假設，視覺資訊（visual information）和語文資訊（verbal information）皆為表徵資訊的方式^[2]。這兩種表徵方式在處理上有所不同，並沿著不同的心靈通道來處理，從而為每個通道中所處理的資訊創造獨自的表徵。與這些表徵相對應的心理代碼被用於組織輸入資訊，使其得以操作、儲存和提取，以供後續使用。在回憶資訊時，人們會同時使用視覺代碼和語文代碼^[2]。例如，假設一個人將刺激的概念「狗」儲存為狗的單詞和狗的圖像。當要求此人對刺激進行回憶時，此人可以分別回憶單詞或圖像，也可以同時回憶兩者。如果回想起這個詞，那麼狗的圖像就不會丟失，並且仍可以在未來的某個時間點提取。對於刺激的編碼，與僅以一種方式編碼相比，以兩種不同方式來編碼的能力提高了記住該項目的機會。

雙碼理論的局限性一直存在著爭議。雙碼理論並未考慮到「單詞和圖像以外的其他事物」介導認知的可能性。也尚未進行足夠的研究來確定單詞和圖像是否是我們記住物品的唯一方式，如果發現到另一種形式的代碼，這個理論將無法確保其有效性^[3]。另一個局限性在於，雙碼理論只適用於要求人們集中精力識別概念如何相關的測試^[1]。如果無法在單詞和圖像之間建立關聯，那麼在往後的某個時間點要記住和回憶這個單詞就會變得更加困難。儘管這限制了雙碼理論的有效性，但雙碼理論在多數情況下仍然有效，並且可用於改善記憶^[1]。

代碼類型

類比代碼用於在心靈中表徵圖像。類比代碼保留了所表徵事物的主要知覺特徵，因此呈現在我們腦海中的圖像與物理刺激高度相似。對於我們在環境中所觀察到的物理刺激（例如樹木和河流），它們是近乎精確的表徵^[2]。

符號代碼用於形成單詞的心理表徵。它們以概念的方式表徵著某些事物，有時不是知覺表徵，而是任意表徵，類似於手錶可能以數字形式的表徵來顯示時間資訊。符號代碼會以任意的符號形式（例如單詞和單詞組合）在我們的腦海中表徵資訊，藉此表示一些想法。每個符號(x, y, 1, 2，等等)能夠任意地表徵它本身以外的其他事物。例如，字母x通常用於表徵字母的第24個字母「x」的概念。它可以用來表徵數學中的變量x，也可以用來表徵方程式中的乘法符號。因為我們任意指定了一個更深層的概念給「x」，像乘法這樣的概念才能夠以「x」符號來表徵。只有當我們以它來表徵這個更深層的概念時，字母「x」才會帶有這種含義。

支持

心理研究的證據

許多研究人員已經同意，在心理表徵中只會使用到單詞和圖像。^[3]有支持性證據表明，如果同時呈現相關的視覺效果，或是想像與語文資訊相匹配的視覺圖像，那麼對學習者而言，一些語文資訊的記憶就會獲得加強。 同理，當視覺資訊與相關的語文資訊（無論是真實的還是想像的）相匹配時，視覺資訊通常也可以獲得增強。^[4] 該理論已被應用於多媒體演示。 由於多媒體演示需要空間和語文的工作記憶，因此如果個體具有雙碼資訊，在之後的測試中則更有可能回憶起這些資訊。^[5]此外，對抽象詞彙和具體詞彙的研究也發現，受試者對具體詞彙的記憶比抽象詞彙還要好。^[6][7][8]

白斐歐發現，給受試者觀看一連串快速展示的圖片及單詞，然後要求受試者以任意順序回想單詞和圖片，受試者皆對圖片的回憶顯得更為擅長。然而，受試者更輕易地回憶起單詞順序而不是圖片順序。這些結果支持了白斐歐的假設，即語文資訊與視覺資訊的處理方式不同，當記憶任務需要進行順序回憶時，語文資訊的回憶表現就會優於視覺資訊^[9]。布魯克斯（Lee Brooks）曾進行過一項實驗，為兩個記憶系統提供了額外支持。他讓受試者進行視覺任務或語文任務，進行視覺任務時，受試者必須觀看一幅圖片，並回答關於圖片的問題；進行語文任務時，他們會聽到一個句子，然後被要求回答與該句子有關的問題。關於回答問題的方式，參與者被要求以語文、視覺或手動的方式進行回答。透過這個實驗，布魯克斯發現，當視知覺與視覺任務之操作相混合時，就會產生干擾，而語文反應則與要手動操作的語文陳述任務發生干擾。這支持了資訊在心理上是以兩種代碼來表示的觀點^[2]。

巴德利提出的工作記憶包括兩部分處理系統「視覺空間寫生板」和「語音循環」，這實質上對應了白斐歐的理論。

雙編碼理論可用來補充閱讀的雙通路理論。當人們閱讀書面資訊時，雙通路理論認為，讀者透過獲取字形和語音資訊來辨識文字中的單詞。

白斐歐的成果對識字、視覺記憶術、意念生成、人類績效技術（HPT）、人因、界面設計以及教材開發等皆有所影響。它也影響了認知科學和計算認知模型（像是雙重歷程認知模型的形式或其它；如^[10][11][12]）以及認知機器人學。

認知神經科學支持

對於視知覺與視覺心像之相關區域的辨識，已使用了兩種不同的方法。第一種方法是功能性磁共振成像（fMRI），用於測量大腦血流（英語：Cerebral circulation），血液流量的增加提供了衡量大腦活動的方法，這使研究人員得以確定大腦特定部位的葡萄糖和氧氣的消耗量。第二種方法是事件相關電位（ERP），可用於顯示由特定刺激所產生的腦電活動之數量。研究人員已經使用這兩種方法來確定，在不同刺激下，大腦哪些區域會被激活，其結果支持了雙碼理論。其他的研究則用正電子發射斷層掃描（PET）和fMRI來完成，顯示出在與假想圖像或真實圖像配對時，受試者對口語單詞和口語句子的記憶有所改善。另外研究也顯示出，當受試者處理那些不易與圖像配對的抽象詞彙時，大腦活動會增加。^[13]

替代理論

雙碼理論並非所有人都接受。約翰·安德森和戈登·鮑爾提出了一種知識心理表徵的替代方法「命題理論」。命題理論主張，心理表徵是以「命題」的方式儲存，而非以「圖像」的方式儲存。這邊所指的命題被定義為處於概念聯繫中的深層含義^[2]。該理論指出，因為知識不以圖像、單詞或符號的形式來表徵，因此圖像是其他認知歷程的結果。

此外，共同編碼理論也被提了出來，用來作為雙碼理論的替代方案。共同編碼理論著重於我們所看到和聽到的事物是如何與我們的動作產生聯繫。該理論聲稱在「事物知覺」與相應的「運動動作」之間共享著一個共同的代碼。

參見

• 多媒體學習（英語：E-learning (theory)）