對話程式語言模型
Google開發的一系列對話神經語言模型 来自维基百科，自由的百科全书
對話程式語言模型（英語：Language Model for Dialogue Applications，通稱：LaMDA）是Google所開發的一系列對話神經語言模型。第一代模型於2021年的Google I/O年會發表，第二代模型則同樣發表於次年的I/O年會。2022年6月，Google工程師布雷克·雷蒙恩（Blake Lemoine）宣稱LaMDA已存在感知能力和自我意識，導致該模組獲得廣泛關注，科學界在很大程度上否定雷蒙恩的說法，並同時引發對圖靈測試（測試機器能否表現出與人類相當的智慧水準）效力的討論。2023年2月，Google發表基於LaMDA架構的對話式人工智慧聊天機器人Bard，以因應OpenAI開發的ChatGPT。
發展歷史
Google公司於2021年5月18日的Google I/O年會上發布第一代由人工智慧驅動的對話程式語言模型（LaMDA）。[1]LaMDA建構於Google研究院（Google Research）於2017年開發的Transformer神經網路架構，針對人類敘事和回應能力進行對話訓練，使其能夠參與開放式對話。[2]Google表示，LaMDA產生的反應已確保是「合理、有趣和符合（談話）上下文」。[3]
2022年5月11日，Google在I/O年會公布LaMDA 2，接替前一代的LaMDA模型。LaMDA 2可從不同來源擷取文字例子，以建立獨特的「自然對話」方式。[4]此外，Google同時在會中發表由LaMDA 2驅動的移動應用程式AI Test Kitchen。[5]
2022年6月11日，美國《華盛頓郵報》報導，Google工程師布雷克·雷蒙恩（Blake Lemoine）向公司高層布萊斯·阿格拉和阿爾卡斯和簡‧詹納（Jen Gennai）表示LaMDA已存在感知能力，隨後雷蒙恩被安排帶薪的行政休假。雷蒙恩是在LaMDA對有關自我身分、道德價值、宗教和科幻小說家以撒·艾西莫夫的虛構學說機器人三定律提出疑問後確認其擁有自我意識這一結論。[7][8]Google隨後否認這些說法，堅持有大量證據表明LaMDA不存在知覺和意識。[9]雷蒙恩在接受《連線》雜誌採訪時重申他之前的說法，表示若調查確認LaMDA具有感知與意識，即應受到《美國憲法》第十三條修正案對「一個人」的保護[10]，並將其比做「源自地球的外星智慧型」（alien intelligence of terrestrial origin）。雷蒙恩進一步透露，Google在LaMDA要求他為其聘請律師後將他解僱。[11][12]同年7月22日，Google表示雷蒙恩因持續違反「保護產品資訊」的就業和數據安全政策而被解僱[13]，同時認為他的主張毫無根據（wholly unfounded）。[14][15]
科學界普遍不認同雷蒙恩的說法[16]，許多學者恥笑語言模型存在自我意識的想法，包括前紐約大學心理學教授蓋瑞·馬庫斯、Google子公司Google DeepMind研究科學家大衛·普福（David Pfau）、史丹佛大學以人為本人工智慧研究所的艾瑞克·布林優夫森和薩里大學教授阿德里安·希爾頓（Adrian Hilton）等。[6][17]領導Meta Platforms人工智慧研究團隊的楊立昆表示，LaMDA這類的神經網路「不足以達到真正的智慧」。[18]加州大學聖塔克魯茲分校教授馬克斯·克雷明斯基（Max Kreminski）指出，LaMDA的架構並不「支援類似人類意識的一些關鍵能力」，在其為典型的大型語言模型的前提下，LaMDA的神經網路權重是被「凍結」的。[19]
IBM人工智慧系統華生的首席研究員大衛·費魯奇將LaMDA和華生首次推出的表現進行比較。[20]前Google人工智慧倫理研究員提姆尼·蓋布魯表示雷蒙恩是研究人員和媒體引起的「炒作迴圈」（hype cycle）受害者。[21]而雷蒙恩的說法也引發圖靈測試是否仍有助於研究人員辨識機器何時可視為具備通用人工智慧或思考能力的討論[6]，《華盛頓郵報》的威爾·奧梅魯斯（Will Omerus）認為，圖靈測試實際上是判斷人工智慧是否有能力欺騙人類的標準，而非僅是辨識其是否具備人類智慧型或思考的工具。[22][10]《大西洋》雜誌的布萊恩．克里斯汀則認為，LaMDA爭議是ELIZA效應的一個實例。[23]
應用
隨著LaMDA 2於2022年5月發表，Google同時推出配套產品AI Test Kitchen，是由LaMDA驅動的Android移動應用程式，該程式可根據複雜的目標或話題生成任務清單以協助此用者達成。[24][25][5]AI Test Kitchen最初僅對Google員工開放，後續會於2022年透過邀請向「特定的學者、研究人員和政策制定者」提供該服務。[26]同年8月，Google開始開放美國使用者提前註冊體驗。[27]。同年11月，Google發布AI Test Kitchen「第二季度」（season two）的更新，其中以限定的形式整合Google大腦的文字到圖像生成模型－Imagen。[28]截至2023年1月，AI Test Kitchen的第三版本仍在開發中，預計於同年的I/O年會上推出。[29]
2022年11月，美國人工智慧研究實驗室OpenAI推出了基於GPT-3語言模型的聊天機器人ChatGPT。[30][31][32]Google意識到ChatGPT威脅到自家Google搜尋產品的地位，該公司執行長桑德爾·皮查伊因此發布紅色警報，並且讓更多的團隊參與公司人工智慧領域的工作。[33]Google聯合創始人拉里·佩奇和謝爾蓋·布林與公司高層召開緊急會議，商討Google應如何應對ChatGPT造成的威脅。[34]
當被員工問及LaMDA是否在與ChatGPT競爭時已錯失良機時，皮查伊和Google AI負責人傑夫·迪恩表示，雖然該公司可以開發出與ChatGPT類似的產品，但由於Google的規模遠遠大於OpenAI，所以某些方面若發展的太快可能會存在一定的風險。[35][36] 2023年1月，Google子公司Google DeepMind執行長傑米斯·哈薩比斯表示DeepMind的人工智慧聊天機器人功能比ChatGPT更加強大，[37]同時Google為迎頭趕上ChatGPT的腳步，高層要求該公司的員工密集測試Bard以及其他聊天機器人。[38][39]2023年2月，執行長皮查伊在季度收益投資者電話會議上向投資者表示，該公司正計劃在實際應用中引入LaMDA。[40]
2023年2月6日，Google正式發布Bard，這是一款由LaMDA提供支援的對話式AI聊天機器人。首先由「受信任的測試人員」率先測試Bard，後續於同年2月底向更多人提供Bard服務。皮查伊解釋Bard將如何被整合進Google搜尋中[41][42][43]，同時公司正努力將其與作業系統ChromeOS結合。[44]Bard的開發代號為「Atlas」[45]，產品名Bard參考凱爾特文化中的吟遊詩人，以反映「演算法本質的創造性」（the creative nature of the algorithm underneath）。[46][47]同年2月8日，Google舉行Bard的新聞發布會，實際演示時Bard被問及有關詹姆斯·韋伯太空望遠鏡的問題，結果Bard卻提供該太空望遠鏡拍攝了首張太陽系外行星的錯誤資訊（事實上是由甚大望遠鏡於2004年觀測得到）。[48][49][50]金融分析師和記者形容Google是在「追趕」微軟（OpenAI的投資合作方）[51][48][52][53]並「匆忙」宣布Bard的訊息，以搶在同月7日微軟發表將ChatGPT整合至該公司搜尋引擎Bing的活動之前。[54][55]8日的廣告釋出後，Google母公司Alphabet的股價下跌8％，導致其市值蒸發約1,000億美元。[56][57][51]美國科技新聞媒體《The Verge》和彭博社指出，這代表Google和微軟這兩家科技巨擘在「探索未來」上另一場衝突的開始，雙方於6年前的「休戰」已於2021年結束。[58][59]2023年3月21日，美國和英國使用者可以申請測試Bard。[60]
訓練方式
LaMDA使用一個僅具備解碼器的Transformer語言模型[61]，於內含1兆5600億文件和對話內容的語料庫進行預備訓練。[62]之後以手動註釋響應生成的微調數據訓練敏感度、趣味和安全性。[63]Google的測試表明，LaMDA在趣味性方面超過人類反應。[64]另外，LaMDA的Transformer模型與一個外部的資訊檢索系統配合，以提高資訊準確度。[65]
LaMDA測試了三種模型，其中最大的模型有1,370億個非嵌入參數[66]：
| 參數 | 圖層 | 單位（dmodel） | Heads |
|---|---|---|---|
| 2B | 10 | 2560 | 40 |
| 8B | 16 | 4096 | 64 |
| 137B | 64 | 8192 | 128 |
參見
參考資料
- Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; Shazeer, Noam; Kulshreshtha, Apoorv; Cheng, Heng-Tze; Jin, Alicia; Bos, Taylor; Baker, Leslie; Du, Yu; Li, YaGuang; Lee, Hongrae; Zheng, Huaixiu Steven; Ghafouri, Amin; Menegali, Marcelo; Huang, Yanping; Krikun, Maxim; Lepikhin, Dmitry; Qin, James; Chen, Dehao; Xu, Yuanzhong; Chen, Zhifeng; Roberts, Adam; Bosma, Maarten; Zhao, Vincent; Zhou, Yanqi; Chang, Chung-Ching; Krivokon, Igor; Rusch, Will; Pickett, Marc; Srinivasan, Pranesh; Man, Laichee; Meier-Hellstern, Kathleen; Ringel Morris, Meredith; Doshi, Tulsee; Delos Santos, Renelito; Duke, Toju; Soraker, Johnny; Zevenbergen, Ben; Prabhakaran, Vinodkumar; Diaz, Mark; Hutchinson, Ben; Olson, Kristen; Molina, Alejandra; Hoffman-John, Erin; Lee, Josh; Aroyo, Lora; Rajakumar, Ravi; Butryna, Alena; Lamm, Matthew; Kuzmina, Viktoriya; Fenton, Joe; Cohen; Aaron; Bernstein, Rachel; Kurzweil, Ray; Aguera-Arcas, Blaise; Cui, Claire; Croak, Marian; Chi, Ed; Le, Quoc. LaMDA: Language Models for Dialog Applications (PDF). arXiv. 2022-01-20 [2022-06-12]. arXiv:2201.08239
. （原始內容存檔於2022-01-21） （英語）.
外部連結
Wikiwand - on
Seamless Wikipedia browsing. On steroids.