混合式神經-符號人工智慧

混合式神經-符號人工智慧（Neuro-symbolic AI）是整合神經網路人工智慧及符號人工智慧的架構，以解決這兩種AI方法的優缺點互補的問題，提供能夠推理、學習和認知建模的強大AI。正如瓦利安特^[1]和許多人所說，^[2] 想要有效建立具有豐富計算能力的認知模型，需要結合可靠的符號推理和高效的機器學習模型。蓋瑞‧馬可斯（Gary Marcus）認為：「如果沒有混合架構、豐富的先驗知識和複雜的推理技術這三駕馬車，我們就無法以合乎需要、自動化的方式打造豐富的認知模型。」^[3]此外，「為了建構一種強大、知識驅動的人工智慧方法，我們必須在套組中擁有符號處理機制。太多有用的知識是抽象的，若沒有用於表示和操作抽象知識的工具，就難以堪用，而迄今為止，我們所知道的唯一能可靠操縱這種抽象知識的運轉體系是符號處理機制。」

丹尼爾·卡尼曼的書《快思慢想 》中討論了兩種思維，Henry Kautz 、^[4]Francesca Rossi、^[5]和Bart Selman也主張綜合法，其論點即基於解決《快思慢想 》中的這兩種思維的需要。卡尼曼描述人類思維有兩個部分「系統1和系統2」。

• 系統1較快、自動、直觀且無意識。用於模式識別。
• 系統2較慢、循序漸進且明確。用於處理計畫、演繹和審慎思考。

根據這種觀點，深度學習適合處理第一種認知，符號推理適合處理第二種認知。兩者都是強大、可靠的AI所必備的，可以學習、推理，並與人類互動以接受建議和回答問題。事實上，自1990年代以來，許多研究人員^[6]在人工智慧和認知科學領域已經在研究明確提及這兩種對比系統的雙歷程模型。

方法類型

整合方法種類繁多。Henry Kautz提出的混合式神經-符號架構分類法以及一些例子如下：

• Symbolic Neural symbolic——是自然語言處理中許多神經模型的當前方法，其中詞或子詞片段（subword tokens）是大型語言模型的最終輸入和輸出。例子包括BERT、RoBERTa和GPT-3 。
• Symbolic[Neural] ——以AlphaGo為例，使用符號技術來調用神經技術。在這種情況下，符號方法採用蒙特卡洛樹搜索，神經技術學習如何評估遊戲位置。
• Neural|Symbolic——使用神經架構將感知型數據解釋為符號和關係，然後對其進行符號推理。神經概念學習器^[7]即為一例。
• Neural:Symbolic → Neural——依靠符號推理來生成或標記訓練資料，隨後交由深度學習模型學習，例如，使用類似Macsyma的符號數學系統來建立或標記示例，藉此訓練用於符號計算的神經模型.
• Neural_{Symbolic} — 使用從符號規則生成的神經網路。一個例子是 「Neural Theorem Prover」^[8] ，它從知識庫規則和術語生成的AND-OR證明樹建立神經網路。邏輯張量網路也屬於此類。
• Neural[Symbolic] ——允許神經模型直接調用符號推理引擎，例如執行動作或評估狀態。

這些類別並不全面，例如，未考慮多智能體系統。Bader和Hitzler在2005年提出了一個更詳細的分類，像是考慮了符號使用是否包括邏輯，如果包括，邏輯是命題邏輯還是一階邏輯。^[9] 2021年有篇文章對2005年的分類法和Kautz的分類法進行了比較和對比。^[10]2020年，Sepp Hochreiter認為圖神經網路「......是混合式神經-符號計算的主要模型^[11]」，因為「它們描述了分子的屬性，模擬社交網路，或預測物理以及工程應用中具有粒子-粒子相互作用的的未來狀態。」^{[1] （頁面存檔備份，存於網際網路檔案館）}

作為通用人工智慧的先決條件

馬可斯認為「......結合學習和符號操作的混合架構對於強大的智能是必要的，但還不夠」， ^[12]並認為：

建立強大的人工智慧需要四個先決的認知條件：

• 將大規模學習與符號處理的表徵和計算能力相結合的混合架構。
• 大規模的知識庫（可能利用先天框架）結合了符號知識以及其他形式的知識。
• 推理機制能夠以易於處理的方式利用這些知識基礎。
• 與這些機制和知識庫攜手合作的豐富的認知模型。^[13]

這呼應了早在1990 年代對混合模型的提倡^[14][15]。

歷史

Garcez和Lamb描述該領域的研究至少在過去二十年^[16][17]一直在進行（實際上到現在已經三十多年了）。自2005年以來，每年都會舉辦一系列關於混合式神經-符號人工智慧的研討會[2] （頁面存檔備份，存於網際網路檔案館）。早在1990年代初期就組織了一批關於該主題的初期研討會。^[14]

未解決的研究問題

許多關鍵的研究問題仍然存在，例如：

• 整合神經網路架構和符號架構的最佳方式為何？
• 符號結構應該如何在神經網路中表示，並從中提取？
• 常識性知識應該如何學得和推理？
• 如何操作邏輯上難以編碼的抽象知識？

實作

混合式神經-符號方法的具體實作如下：

• 邏輯張量網路：將邏輯公式編碼為神經網路，同時從資料中學習術語神經編碼、術語權重和公式權重。
• DeepProbLog：將神經網路與ProbLog的機率推理相結合。