現在 AI 的模型愈大愈龐大, 如果每次都要重新 training, 勢必要花費大量的資源, 顯得不太合理. 馬斯克甚至以危害人類安全為由, 呼籲別人要等他半年 [1] . 至於我們的人腦是怎麼樣不斷地增添新的能力, 而不用重新洗腦呢? 關鍵就在海馬迴 (hippocampus).
根據 [2] 這本書, (對, 我還沒看完, 剩很多). 人類的知識經過感官的輸入之後, 會經過前額葉皮質 (prefrontal cortex) [4] 整理, 以及海馬迴的編碼, 經過樹突 (dendrites) 固化, 產生大腦皮質(cerebrail cortex) 中的記憶. 其中,最像類神經網路 (Neural Network/NN) 的部分就是樹突的分支, 一個神經元可以長出一萬五千個分支 (arborizing) . 分支上的強度對應到 NN 的權重. 樹突固化後就成為長期記憶. (本書說大腦有 680 億個神經元, 別的文章也有說一千億的.)

本圖取材自 [5] – 格瑞絲心理諮商所
當一個人得了失智症, 大腦的某些區域會萎縮, 會被 “石化" 的類澱粉蛋白阻塞或者神經纖維纏結. 即使有人說那篇論文作假 [3], 但是這個理論還是被廣泛接受. 短期失憶症的狀況不同, 他們的技能並沒有失去, 但是左側海馬迴無法進行編碼, 因此也就無法活化相關樹突, 並取出有用的資訊. 感官的功能雖然還在, 前額葉皮質也把資訊提供了, 但沒有海馬迴, 相關神經元只能活化一兩秒鐘. 只要場景發生變化 (例如走出房門), 剛剛活化的神經元就都失效了.
附帶一提左側海馬迴也跟憂鬱症有關. 換憂鬱症的人, 左側海馬迴會愈來愈萎縮. 至於右側海馬迴, 跟位置的記憶有關. 計程車司機的右側海馬迴會變得更發達. 左右兩側的海馬迴在分工上雖然有些差異, 但是他們共享一個前額葉皮質, 共享我們的感官, 運作的原理也相同吧! 主要就是這個編碼. 有一位因為嚴重癲癇而被切除左右兩側海馬迴的 HM 先生, 他的記憶只能回溯到手術的三年前. 因此三年被認為是海馬迴固化 (consolidation) 長期記憶所需的時間.
既然海馬迴搞定一段記憶要這麼久, 那麼它對 AI 還會有甚麼啟示嗎? 根據 “記憶" [2] 這本書第一章說的: “白天皮質電擊海馬迴的流程, 睡眠時間海馬迴電擊皮質." 這跟前人想出的 back propogation 可說有異曲同工之妙. 人類在白天編資料進去, 用晚上睡覺的時間把相關資料提取出來做固化. 至於 AI 的資料訓練則是以 batch 來做, 一個 batch 相當於人類的一天, 一個 epoch 相當於一筆主題.
當然訓練電腦和人腦不一樣的地方很多. 人類一天有 16 個小時在蒐集不同的感官資料, 但訓練電腦一次使用大量同類的資料, 並針對一個目的來訓練. 相形之下, 人類對每個學習目標的訓練樣本如此之少 (例如沒見過的單字只默念兩遍, 陌生的臉孔擦肩而過), 所以它必須東拉西扯去找相關的形音義, 人事時地物來綁定這個記憶才記得起來. 這也就是本書中所謂的自傳性記憶 (biographical memory).
關於做夢, 也就是快速眼動期 (REM = rapid eye movement). 書上的解釋是在對大腦皮質寫入資料時, 活化了一些大腦皮質的細胞. 大概類似 RAM 的 word select, 也就順便喚醒一些相關的記憶. 白天前額葉皮質暫存的感官刺激, 睡眠時和海馬迴產生交互作用, 微調著各種參數和新增分岔. 當寫資料的動作太活躍 (要改寫的參數太大?), 某些浮光掠影就會進入我們的夢中, 就是所謂的 “日有所思、夜有所夢". 等到進入熟睡狀態, 反而是不會做夢的. 那時候應該在專心地冷卻吧!? 哈!
[REF]
- 別再訓練AI!馬斯克等大咖籲業界停止研究人工智慧系統
- 記憶:我們如何形成記憶,記憶又如何塑造我們?精神病學家探索解析大腦記憶之謎
- https://health.udn.com/health/story/7392/6566467
- 前額葉皮質
- https://www.gracecc.com.tw/counseling/15/37/107/
[附錄]
朋友 Shao po 的失憶經驗 (請 ChatGPT 翻譯成中文)
繼續閱讀「海馬迴小筆記」

















