新時代人類的魔杖

最近熱門話題ChatGPT，幾個月來大家開發了各種詠唱方法來活用這項工具，但大家是否有些微了解其背後的原理呢?讓我們參考李宏毅老師淺顯易懂的教學影片[1]來和各位介紹這項新時代人類施展魔法的利器吧。

簡單來說ChatGPT是大型語言模型並輔以以前介紹過的強化學習，讓其可以判斷準確的好壞來完成「自我學習」，而其概念在OPEN AI的Instruct GPT 論文展示了大概。它學習的階段從簡單的文字接龍(透過機率分布)，再加上研究人員扮演老師引導部分學習過程的答案方向，而其會開始模仿老師的喜好(也因此這方面ChatGPT是有點非全中立傾向，例如講到「執行長」這職位，它可能會有任職者為白人男性…等狀況)，最後則是靠著增強式學習(強化學習)來向設定的虛擬老師進行大量多數據的訓練。

回顧之前的發文『自然語言模型的展望』，隨著ChatGPT這類型的模型成功，也使這項技術開始引入各個我們所熟悉的工具，最為人熟知的就是微軟的宣傳，再來就是像前陣子我們也講過的熱門的AI繪圖，它必須透過特定單詞指示才能完成任務，但隨著GPT併入，已有可如同正常溝通般即可懂得所有指示並繪圖的成果….AI在這短短幾個月爆發式發展。

而回到我們本科生物方面，它能成為醫生嗎？我們已經知道越來越多醫學院開始引入AI影像辨識且廣受好評，但這樣強大的AI語言模型，可以合併整合各項技術，整合影像辨識、整合資料分析、整合醫學回覆、最終則是機器手臂達文西手術台??這樣的AI「醫生」如何呢?不過目前這種類型的模型最大的問題就是文字接龍的隱患，它式核心但也是最重要的問題來源，因這樣的學習方式，所以會使其回答不穩定，答案更甚至有可能會產生幻覺，而且它會非常篤定正確，這方面的問題不知道該如何改善，額外加判斷模型?還是只能創新的模型學習標準?這方面值得大家一同想想。

附上李宏毅老師影片以及Instruct GPT 論文連結(論文極長，若非有興趣可以先看影片嘗試)

撰文：徐楷昕

參考資料：

[1] ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程 - YouTube

[2] Ouyang, Long, et al. "Training language models to follow instructions with human feedback." arXiv preprint arXiv:2203.02155 (2022). https://arxiv.org/abs/2203.02155