現在 AI 的模型愈大愈龐大, 如果每次都要重新 training, 勢必要花費大量的資源, 顯得不太合理. 馬斯克甚至以危害人類安全為由, 呼籲別人要等他半年 [1] . 至於我們的人腦是怎麼樣不斷地增添新的能力, 而不用重新洗腦呢? 關鍵就在海馬迴 (hippocampus).
根據 [2] 這本書, (對, 我還沒看完, 剩很多). 人類的知識經過感官的輸入之後, 會經過前額葉皮質 (prefrontal cortex) [4] 整理, 以及海馬迴的編碼, 經過樹突 (dendrites) 固化, 產生大腦皮質(cerebrail cortex) 中的記憶. 其中，最像類神經網路 (Neural Network/NN) 的部分就是樹突的分支, 一個神經元可以長出一萬五千個分支 (arborizing) . 分支上的強度對應到 NN 的權重. 樹突固化後就成為長期記憶. (本書說大腦有 680 億個神經元, 別的文章也有說一千億的.)
本圖取材自 [5] – 格瑞絲心理諮商所
當一個人得了失智症, 大腦的某些區域會萎縮, 會被 “石化" 的類澱粉蛋白阻塞或者神經纖維纏結. 即使有人說那篇論文作假 [3], 但是這個理論還是被廣泛接受. 短期失憶症的狀況不同, 他們的技能並沒有失去, 但是左側海馬迴無法進行編碼, 因此也就無法活化相關樹突, 並取出有用的資訊. 感官的功能雖然還在, 前額葉皮質也把資訊提供了, 但沒有海馬迴, 相關神經元只能活化一兩秒鐘. 只要場景發生變化 (例如走出房門), 剛剛活化的神經元就都失效了.
附帶一提左側海馬迴也跟憂鬱症有關. 換憂鬱症的人, 左側海馬迴會愈來愈萎縮. 至於右側海馬迴, 跟位置的記憶有關. 計程車司機的右側海馬迴會變得更發達. 左右兩側的海馬迴在分工上雖然有些差異, 但是他們共享一個前額葉皮質, 共享我們的感官, 運作的原理也相同吧! 主要就是這個編碼. 有一位因為嚴重癲癇而被切除左右兩側海馬迴的 HM 先生, 他的記憶只能回溯到手術的三年前. 因此三年被認為是海馬迴固化 (consolidation) 長期記憶所需的時間.
既然海馬迴搞定一段記憶要這麼久, 那麼它對 AI 還會有甚麼啟示嗎? 根據 “記憶" [2] 這本書第一章說的: “白天皮質電擊海馬迴的流程, 睡眠時間海馬迴電擊皮質." 這跟前人想出的 back propogation 可說有異曲同工之妙. 人類在白天編資料進去, 用晚上睡覺的時間把相關資料提取出來做固化. 至於 AI 的資料訓練則是以 batch 來做, 一個 batch 相當於人類的一天, 一個 epoch 相當於一筆主題.
當然訓練電腦和人腦不一樣的地方很多. 人類一天有 16 個小時在蒐集不同的感官資料, 但訓練電腦一次使用大量同類的資料, 並針對一個目的來訓練. 相形之下, 人類對每個學習目標的訓練樣本如此之少 (例如沒見過的單字只默念兩遍, 陌生的臉孔擦肩而過), 所以它必須東拉西扯去找相關的形音義, 人事時地物來綁定這個記憶才記得起來. 這也就是本書中所謂的自傳性記憶 (biographical memory).
關於做夢, 也就是快速眼動期 (REM = rapid eye movement). 書上的解釋是在對大腦皮質寫入資料時, 活化了一些大腦皮質的細胞. 大概類似 RAM 的 word select, 也就順便喚醒一些相關的記憶. 白天前額葉皮質暫存的感官刺激, 睡眠時和海馬迴產生交互作用, 微調著各種參數和新增分岔. 當寫資料的動作太活躍 (要改寫的參數太大?), 某些浮光掠影就會進入我們的夢中, 就是所謂的 “日有所思、夜有所夢". 等到進入熟睡狀態, 反而是不會做夢的. 那時候應該在專心地冷卻吧!? 哈!
[REF]
- 別再訓練AI！馬斯克等大咖籲業界停止研究人工智慧系統
- 記憶：我們如何形成記憶，記憶又如何塑造我們？精神病學家探索解析大腦記憶之謎
- https://health.udn.com/health/story/7392/6566467
- 前額葉皮質
- https://www.gracecc.com.tw/counseling/15/37/107/
[附錄]
朋友 Shao po 的失憶經驗 (請 ChatGPT 翻譯成中文)
親愛的朋友們，那是2001年12月26日，我非常確定。那一天是我永遠不會忘記的，但是我的親愛的丈夫 Shao po 卻什麼也不記得。一瞬間，我以為我們的生活永遠都不會再一樣了。
那天我們在加州塔霍湖的北星滑雪場，天氣有些陰天，根據新聞報導，這是二十年來最好的雪況。我們早上早早就到達了滑雪場，開始了這個季節的第一次滑雪。很快我們就發現這個地方非常適合我們，具有挑戰性但不危險。在藍色滑道上熱身幾次之後，我們準備好去挑戰黑鑽石難度的滑道，那裡才有真正的樂趣。
隨著人群越來越多，我們轉移到山的另一邊，那裡有很長的滑道，沒有人潮。我完成了第二次 Sierra Grande 的滑行，期望在雪道上見到我的滑雪板丈夫，他通常比我快，但他沒有出現。五分鐘後，他像個酷炫的十幾歲少年一樣出現了，背著滑雪板。一切看起來都很正常，除了他曾經有過一次大摔跤。
在滑道坡頂之前，我意識到這個熟悉面孔下的大腦並不是正常運轉的。Shao po不知道我們在哪裡，為什麼在滑雪，以及今天是什麼日子——但感謝上帝，他還知道我是誰。
我試圖提供他一些基本信息，希望能恢復他的短期記憶，但就像一台失去了儲存功能的計算機一樣，這些信息都沒有留在他的大腦中。下一分鐘，他又用同樣的熱情重複了所有問題。他非常渴望知道發生了什麼事情。
所以你可以想象，一個焦慮的妻子（不幸地，PengPeng 不得不扮演這個角色）向滑雪巡邏求助。不到一分鐘的“對話”讓滑雪巡邏意識到這個可憐的傢伙已經失去了他的短期記憶。少坡似乎沒有失去他的正常分析能力，因為他找出了問題所在並得出了結論：“我肯定失去了短期記憶，就像電影《記憶拼圖》(Momento) 一樣。”只是他在當天的剩餘時間裡至少重複了他聰明的結論一百次以上。
滑雪巡邏對他們所見證的情況感到震驚，並給 Shao po 一些氧氣。雷尼是一位非常友善的巡邏員，後來還感謝我給他學習案例的機會，他決定把 Shao po 拖下山到急診處。看著我親愛的丈夫被包裹在毛毯、黃色塑料布中，躺在雪橇上，只露出兩只滑雪靴，我不得不承認我希望我有我的相機。這太奇怪了。當我下山到急診處時，Momento 的場景不斷在我的腦海中閃現。不，這不會發生在我們身上，我從心底喊道。
在 Northstar 急救站，一位名叫保羅的醫生與 Shao po 聊天並進行了幾項簡單的檢查。保羅醫生是我遇到過最好的醫生。他不僅非常友善和有幫助，還告訴我這是一個非常常見的情況：輕微的腦震盪。即使在這個關鍵時刻，Shao po 也沒有放棄使用他現有的知識庫，並問醫生是否應該進行CAT掃描。保羅醫生對他的病人從受傷的大腦中不斷檢索自己的知識並進行自我診斷感到相當有趣。保羅醫生後來向我解釋說：像喝醉酒一樣，有令人愉快的醉酒和令人不悅的醉酒；也有令人愉快的腦震盪和令人不悅的腦震盪。他說：“你的丈夫正在經歷一個愉快的腦震盪。”令人奇怪的是，Shao po 聽到了這句話，對保羅說：“謝謝你，即使我不知道你在說什麼和你是誰。”我的丈夫沒有忘記他的禮貌。
“今天是幾號？”
“我們在哪裡？”
“我怎麼了？”
“我們為什麼在這裡？”
“我們住在哪裡？”
“我們是跟朋友一起來的還是自己來的？”
“我們是怎麼來的？”
“我們為什麼來滑雪？”
“Tara（我們的小狗）在哪裡？”
我很快就明白了，如果我把所有答案寫在紙上，事情會變得容易。不幸的是，Shao po 是一個典型的懷疑論者，經常需要驗證答案。當我告訴他在紙上找答案時，他問道：“這裡寫著12/26/01，但我怎麼知道這是真的？”（有時我不得不承認，所有懷疑論者死後都會下地獄。）他感覺到他親愛的妻子似乎不太有耐心，所以他最好自己學習事實。
當我們在 Trukee 醫院等待進行 CAT 掃描時，護士為我們分配了一張病床。被盤問了幾個小時後，我實際上是躺在那裡，感覺筋疲力盡和失望。Shao po看著他的“事實表”，就像一個學生試圖解決世界上最難的數學方程式。對於那些了解 Shao po 的人來說，這可能是最荒謬的場景之一。
檢查結果顯示沒有出血和骨折。醫生說他只需要休息一下，應該在一天內逐漸恢復。但他永遠不會記得他的腦子受傷的那一天。醫生再次通過問一些常見問題來尋找改善的跡象。 「今天是幾號？」經過數小時的努力學習，他仍然毫無頭緒。最後一個問題是一個具有挑戰性的問題：「現任總統是誰？」五秒鐘後，他的口中吐出了數據，有些猶豫地說：“George W. Bush.” 護士和我都非常興奮。記憶是一件奇怪的事情。有時人們會記住他們想忘記的事情。
得知病患沒有大礙，我感到很放心。現在的任務就是處理一個腦部受輕傷的丈夫，他仍然堅持讓我每隔五分鐘向他匯報發生的事情。（即使是對抗恐怖分子的戰爭也不需要這麼頻繁的匯報。）在被問了一百遍同樣的問題之後，我對自己的答案也感到不確定。“今天是12月26日吗？”“我們為什麼在這裡？”“我們是自己來的嗎？”我自問自答。
最後我們終於有機會吃飯了。通常的情況是，我親愛的丈夫不僅要和我談話，還要像間諜一樣監聽旁邊桌子的對話。但這次情況明顯不同。仍然緊緊握著他的筆記，Shao po 在服務員離開我們的桌子後就忘了自己點了什麼。然而，這並不是他最關心的問題，因為他又在試圖弄清楚今天是幾號以及為什麼我們在這裡。
經過幾個小時的睡眠，狀況稍有改善。雖然他仍無法記得今天是幾號，但一些最近的記憶開始浮現：在朋友家共度平安夜晚餐，Tara在Planet Pooch，早餐吃兩顆雞蛋和培根，最近的公司活動，股價——–我們在旅館晚餐，這次他記得自己點了什麼。食物還好，但對我來說，那是我生命中最美好的一餐。
隔天早上，我一睜開眼就問Shao po：“今天是幾號？”他緩慢地睜開眼睛，說：“12月27日”，但不明白我為什麼要問他這麼明顯的問題。我非常非常開心，聖誕老人給了我最好的禮物！
到底發生了什麼事讓Shao po在那次跑步 (on the run, 我也不會翻譯) 中受傷仍是一個謎。對Shao po來說，2001年12月26日仍是一個空白的檔案。對我來說，我試圖盡可能記住每一個細節，那一天太真實了，甚至可能是超現實的。
不過，我想對我所有的親朋好友說一聲新年快樂。感謝你們所有的友誼，它們都安全地儲存在我的大腦中央部位，除非發生嚴重的腦震盪，否則非常不可能被摧毀。
peng peng
Cash Chou's Blog 