頓悟的跡象

在講正經事之前,先講點不正經的。這週受到 AI 供應鏈教父 女色 的影響,股票跌出了新高度。反正長期持有就是這樣,資產慢慢累積,振幅也會跟著變大。這次在 11/5 累積跌 8.26%,單日跌幅也達到最多位數;現在受惠於台幣貶值,已收復不少失土。據說台幣會跌一陣子,所以數據會有所美化。

這有讓我頓悟什麼嗎?沒有。所以我來講講頓悟有什麼跡象。

假設我們有一個會計算 mod 97 的 AI model,包括普通的 embedding 層、Transformer 層、和 FFN / MLP 層。顧名思義,它學會 2+96 後就會輸出 1 ,因為 mod (2+96)=mod (98) = 1。

當我們把所有 0~96 和 0~96 的加法組合都送進去測試,會有 9,409 種組合 (忽略交換律),如果每題都答對,當然 model 就算學會了。但是這個 model 是在哪一步開始頓悟加法的真諦?或是純粹就是靠死背呢?我很好奇,稍加研究,就發現其他人已經有大量的文獻了。我就算晉身此界也是當師弟,當不了師叔。

想像一個有 97 格的環。被加數站在 96,再向前走 2 格代表加數,結果會回到 1。對加法而言,把數字 a 放到角度 2πka/97,加 b 就像再轉 2πkb/97。這裡的 k 是你選擇繞環的頻率。若寫成複數波 exp(2πika/97),輸入平移 b 格,頻域只需乘上一個相位因子;也就是訊號處理課教的循環平移。這樣就解釋了加法。

我訓練了一個 1 層 transformer 來做 (a+b) mod 97,訓練集佔 50%。大約 5,000 步後測試準確率從約 49% 升到 100%,也就是 grokking。示意程式由老馬 (斯克) 的 Grok Bot 提供,叫 Grok 研究 Grokking 正好。

import numpy as np
def embedding_spectrum(W_E):
# 沿 token 軸做長度 97 的 DFT
F = np.fft.fft(W_E, axis=0) # 97 x d
power = np.linalg.norm(F, axis=1) # 每個頻率在模型維度上的能量
return power[1:49] # 頻率 k 與 97-k 成對,只看 k = 1..48
def gini(x):
x = np.sort(np.abs(x))
n = len(x)
return (2 * np.arange(1, n + 1) - n - 1) @ x / (n * x.sum())
spec = embedding_spectrum(W_E)
print("Gini:", gini(spec))
print("能量最大的 5 個頻率:", np.argsort(spec)[::-1][:5] + 1)

頓悟後,我們可以看到下圖左有五根紅棒特別高。這意味著 model 學到五組頻率後 (由隨機種子決定),大概就對加法之道運作自如了。此處是用 Gini 法評估,把 embedding 各頻率的能量排出來,看是少數頻率吃掉大部分能量,還是大家平均分。下圖右在 4200 步附近頓悟,有那種突然醒過來的感覺。

此案例中,Gini 只有 0.33,不算高。因為 48 個頻率裡只有 5 個突出,其餘不是零,底噪偏大。如果想看「稀疏度」,也可以只算峰值佔總能量的比例。其他實證的手法比較厚工,包括:

  • Excluded loss:把模型認定的關鍵 Fourier 成分從 **logits(輸出分數)**拿掉,再用訓練題算損失。若移掉後訓練損失變高,表示這些成分確實在幫忙。
  • Restricted loss:反過來只保留所選的 Fourier 成分,其他拿掉,看看留下來的部分能不能解題。

以上的說明,對於加減法都適用。那乘法呢?Furuta [4] 等人在加法基底下分析模乘,觀察到許多頻率都參與;後來 Nguyen [5] 用另一組基底重新檢視,發現他的模 113 模型其實有稀疏結構。

這裡要補一個關鍵字:原根(primitive root)。對模 97 而言,5 是一個原根。意思是從 1 開始不斷乘 5、或曰計算 5 的 j 次方,每次再取除以 97 的餘數,會在回到 1 之前,剛好走遍 1~96 每個非零餘數一次。前幾步是:
5^0 mod 97 = 1 → 5^1 = 5 → 5^2 = 25 → 5^3 = 28 → 5^4 = 43 → … → 5^96 mod 97 = 1。

上面那串不是把數字由小排到大,而是把「乘以 5」這個動作排成一個 96 格的環。零不在裡面:零乘多少次都還是零,必須另外處理。因為每個非零數都能寫成某個 5^j mod 97,我們可以反過來把它標成 j;這個 j 就叫 以 5 為底的離散對數(discrete log)。

例如 25 的標號是 2,28 的標號是 3。現在再看乘法:如果 a=5^i、b=5^j,那 a×b mod 97 = 5^(i+j) mod 97。乘法在這個新編號裡變成指數相加(mod 96)。

故這時先把 embedding 的非零數字列按 1,5,25,28,… 重新排列,再做長度 96 的 DFT,就相當於用乘法群的 Fourier 基底看它。Nguyen 在 mod 113 的模型上報告:原本的加法 DFT 看起來很分散;改用離散對數排序後,Gini 從 0.07 左右到 0.58 左右,而且只剩幾個主要頻率。很酷吧!

當然,有道德感的 AI 會吐槽我有邏輯漏洞,所以我必須多講幾句,免得天網把我列為難相處的對象,進而斬殺。

  • 兩種電路都可能解同一題。 Zhong [1] 等人發現模加法可以長出 Clock,也可以長出 Pizza,甚至更複雜的程序。嵌入有規律,不代表你已經知道後面是哪套演算法。
  • 關鍵頻率常是事後找的。 如果先看最終模型再回放中途 checkpoint,就不是一個完全不看答案、事先固定的偵測器;真正要預測新模型時,頻率選擇和門檻須先鎖定 [2]。
  • 稀疏不是必要條件。 某些模型的解法可能分布於更多頻率;單看 Gini 低,不能叫人家「沒開竅」。Gromov [3] 對不同模算術任務提供了可解析的兩層網路解,正好提醒我們別把某一種 Transformer 頻譜當定義。
  • 表示的基底會改變結論。 加法 DFT 不是乘法的萬用眼鏡,原根與離散對數是為了把乘法的結構對準。[4][5]
  • 頻譜分散有很多原因。 在還沒 grok 的模型上看到分散的頻譜,可能是還在背題,也可能只是電路還沒長出來,不能直接讀成「這個模型學不會」。反之,也不能在 training 過程中,只看到一點跡象就猜它頓悟了。

最後,對於好學不倦有始有終的網友們介紹除法。a/b = a * b-1。先找出 b 在模 97 下的乘法逆元 b⁻¹,再計算 a * b-1(mod 97) 即可。由於 97 是質數,除了 0 以外,1 到 96 的每個整數都保證存在唯一的模逆元。 至於找出模逆元的方法有費馬小定理 (Fermat’s Little Theorem)、擴展歐幾里得演算法(Extended Euclidean Algorithm)、查表法 (本人真心推薦,可以減少人腦強化學習後,所造成的崩潰或災難性遺忘)。


[REF]

  1. Zhong, Liu, Tegmark, Andreas (2023). The Clock and the Pizza
  2. anda, Chan, Lieberum, Smith, Steinhardt (2023). Progress measures for grokking via mechanistic interpretability
  3. Gromov (2023). Grokking modular arithmetic
  4. Furuta, Minegishi, Iwasawa, Matsuo (2024). Towards empirical interpretation of internal circuits and properties in grokked transformers on modular polynomials
  5. Nguyen (2026). The Discrete-Log Clock
  6. Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets — Power et al., 2022

泛化退化與負遷移

過去連假都會讀點書,不過現在有 AI 之後,讀書有點不夠看了。這次是做實驗並和幾個 AI 對話。當然,也可以叫 AI 互相對話。不過自己就會像個白癡一樣,只能看著他們熱烈討論。所以硬是要加一點自己的意見進去,此時 AI 頂多懷疑有個笨 AI 加入討論,不至於影響主人的威信~~~ 以下記錄其中一點收穫。

假如訓練一個模型時,改變了某個條件,得出變壞的結果。這時候我們可以懷疑就是那個 “條件" 造成的,我們小時候都學過控制變因嘛,事出必有因。但是原因可能不只一個:

後期泛化退化 (Late-stage generalization degradation) 與負遷移 (Negative transfer) 都能夠讓模型表現變差,但兩者不互斥,可能同時發生。

泛化退化是指發生了過擬合、資料片面有偏差、過度最佳化目標…等等狀況,使得我們對模型訓練愈兇、數字愈漂亮,對於沒看過的測試集表現更差。例如:

假設使用同一類數學推理資料持續訓練:

評估項目中期 checkpoint後期 checkpoint
訓練題表現85%95%
未見過的推理題80%72%

負遷移則是原本訓練任務 A 的 model,再拿去訓練任務 B,導致任務 B 的能力不如沒學過任務 A 的版本。簡單可記憶為 “孟母三遷"。孟母擔心孩子先學了 “哭墓"、"講價" 技能,對孟子未來的 “成聖" 技能會有影響,所以要搬三次家到熱門學區,預先避免負作用而遷移。

這個又和災難性遺忘很像。 假設模型先學 A:工具操作,再學 B:數學推理。看到 A 變壞是災難性遺忘,看到 B 變不好是負遷移 (和泛化退化都看任務 B 就對了)。

觀察判斷比較基準
學 B 後,原本的 A 成功率從 90% 降到 40%災難性遺忘同一模型學 B 前後的 A 表現
先學 A 再學 B,B 成功率只有 70%;直接學 B 可達 85%A 對 B 的負遷移有 / 沒有先學 A 的 B 表現
A 大幅退化,而且 B 也比直接學 B 更差兩者同時發生同時滿足以上兩種比較

原本已經變明朗的定義,再往下看會變模糊 (>_<)。假設上面的負遷移是狹義的 A 影響 B (前向遷移),那麼廣義的遷移也包含 B 影響 A (後向遷移),這就和 “災難性遺忘" 同樣是看任務 A 的表現了,只差在夠不夠災難,這個閥值沒有現成定義。

總之,狹義負遷移比較好記,同樣看任務 B,也回歸到當初和泛化退化比較的起點。

BH-FDR 小筆記

BH 代表這是 Benjamini 和Hochberg 這兩個人提出的一種統計方法。FDR 表示 false discovery rate,顧名思義,這個方法用來檢測偽陽性率。

它計算的對象不是原始數據,而是顯著性檢定時的那個 p。本來在 p < 5% 時就判定有顯著性。但其中也可能有偽陽性的存在,所以要再多做一個 BH-FDR 把它揪出來。

假設你做了 6 次檢定,得到這些 p 值,乍看之下有五個顯著,C 不顯著,E = 0.049,剛好在邊緣,看了有點不放心,那就適合 BH-FDR。先看簡單的臨界值法。

檢定原始 p 值
A0.021
B0.004
C0.130
D0.018
E0.049
F0.001

我們設定 “假發現率水準":α=0.05

總檢定數:m=6

第 1 步:把 p 值由小到大排序

排序後:

排名 ip 值 pi​對應原檢定
10.001F
20.004B
30.018D
40.021A
50.049E
60.130C

第 2 步:計算每個排名的 BH 臨界值

公式是:imα

因為 m=6、α=0.05,所以:

排名 ip 值 pi​BH 臨界值 i6×0.05
10.0010.0083
20.0040.0167
30.0180.0250
40.0210.0333
50.0490.0417
60.1300.0500

第 3 步:找最大的 i,使得

pi≤imα逐一比較:

  • 0.001≤0.00830.001≤0.0083,成立
  • 0.004≤0.01670.004≤0.0167,成立
  • 0.018≤0.02500.018≤0.0250,成立
  • 0.021≤0.03330.021≤0.0333,成立
  • 0.049≤0.04170.049≤0.0417,不成立
  • 0.130≤0.05000.130≤0.0500,不成立

所以最大的符合者是:i=4


第 4 步:判定顯著結果

BH 方法會把 排名 1 到 4 的檢定都視為顯著。

所以顯著的檢定是:

  • F
  • B
  • D
  • A

不顯著的是:

  • E
  • C

由於 p 值這種東西不能看平均值,也無法正規化,所以用排名來解決。假如不喜歡排名,也有純計算的方法,方法二就是計算 q 值。

q 值的定義:qᵢ = pᵢ × m / i(m=檢定總數 6,i=該 p 在排序中的排名),利用前面排好的順序,代公式算出 q。

步驟 1:算原始 qi
原始 p 值原始 q
0.001 q = p×6/1: 0.0060
0.004q = p×6/2: 0.0120
0.018q = p×6/3: 0.0360
0.021 q = p×6/4: 0.03155
0.049q = p×6/5: 0.0588
0.130q = p×6/6: 0.1300
步驟 2:單調化(關鍵!)

q 必須隨排名單調遞增,所以從最後往前取累積最小值,方向和方法一相反:

qi 值BH 校正後的 q
q₆ = 0.1300
q₅ = min(0.0588, 0.1300) 0.0588
q₄ = min(0.0315, 0.0588)0.0315
q₃ = min(0.0360, 0.0315)0.0315 (同上)
q₂ = min(0.0120, 0.0315)0.0120
q₁ = min(0.0060, 0.0120)0.0060
步驟 3:用 q < 0.05 篩選
  • p1: 0.001 ,q = 0.006 < 0.05 ,成立
  • p2: 0.004 • q = 0.0120 <0.05,成立
  • p3: 0.018 • q = 0.0315 <0.05,成立
  • p4: 0.021 • q = 0.0315 <0.05,成立
  • p5: 0.049 • q = 0.0588 <0.05,不成立
  • p6: 0.049 • q = 0.1300 <0.05,不成立

結果和方法一是一樣的。為什麼要做這件事呢?假如今天我要做很多次檢定,例如跑 10 種 LLM model 測試 5 種演算法,一共跑了 50 組。每一組信心程度都是 95%。那麼在這麼多測試當中,有 1−(0.95)50 ≈ 92.3% 的機率產生一次歪打正著,結果和其他人相反。但你不能拿這一組數據證明什麼天大的發現?除非你經過了 BH-FDR 測試後,它仍然是顯著。

McNemar 精確檢定小筆記

這又是一種檢測顯著性的方法。上次已經提過 Wilcoxon 符號等級檢定, 這次擴充到 McNemar 檢定。世足賽過去沒多久,McNemar 令我聯想到巴西的內馬爾 (Neymar),但是少了一個 Y。 兩者沒有關係。至於 Mc 開頭的人名,在蓋爾語(蘇格蘭和愛爾蘭),意思是「…的兒子」或「…的孩子」。

Wilcoxon (藍色) 和 NcNemar (紅色) 在下表中,可以看出他們都是處理相依樣本 (使用前、使用後);最大差異是 Wilcoxon 處理連續資料,McNemar 處理類別資料。至於獨立樣本那部分,現在還不在我的 study 雷達範圍。我沒有要改行做統計,所以暫時不會去研究。

資料類型資料分佈 / 特徵獨立樣本
(
兩組不同的人)
配對 / 相依樣本
(
同一組人前後測)
連續型資料
(如:身高、分數)
符合常態分配
(有母數檢定)
獨立樣本 t 檢定獨立樣本 t 檢定
非常態 / 順序尺度
(無母數檢定)
曼-惠特尼 U 檢定
(Mann-Whitney U)
或稱 Wilcoxon 秩和檢定
Wilcoxon 符號等級檢定
(Wilcoxon Signed-Rank)
類別型資料
(如:是/否、過關/淘汰)
計數 / 比例分佈卡方同質性檢定
(或卡方獨立性檢定)
McNemar 檢定

相較於 Cohen’s Kappa 同時考慮相同、不同的分類,McNemar test 只看不同的。假設有考生參加第一次模擬考試後,跑去參加了魔鬼衝刺班,然後又拿一樣的考卷再考一次。

前測 \ 後測答對答錯合計
答對15318
答錯121022
合計271340

我們忽略掉本來就會的 (15 題)、還有補了也不會的 (10 題),專門看有差異的部分;也就是 “對變錯" 的 3 題 (參數 b),和 “錯變對" 的 12 題 (參數 c)。對變錯可能是粗心、或是沒有訂正的習慣,看到題目就想起錯的答案…等等。

把 b、c 帶入 Mcnemar test 公式,計算 X。

χ2 = (|3-12|-1)2 / (3+12) = 64 / 15 ​≈ 4.27

這個值服從自由度為 1 的卡方分配,查表可以得到 p≈0.039 < 5%,所以表示顯著。也就是補習有用!

當考試題目不是 40 題,而是只有 10 題的話。那麼 b、c 的值可能很小,這樣算出的 x 會顯得不夠可靠。例如:

前測 \ 後測答對答錯合計
答對303
答錯617
合計9110

帶公式 χ2 = (|0-6|-1)2 / (0+6) = 25 / 6 ​≈ 4.17,查表 p≈0.041,雖然 0.041 還是小於 5%,但是慢慢逼近門檻值了。明明進步了 6 題,而且沒有任何一題 “對變錯",我們直覺這個補習很有用,但是數字不漂亮。

這個時候,我們該用的是精確測試。我們現在變化的有 6 題,全部都是變好。假設跟擲骰子一樣,擲出 6 個雙數的機率 p = (1/2)6 = 0.015625。在另外一方向上 (對變錯),同樣是擲出 6 個單數,機率一樣。兩邊機率相加,p=P(X=6)+P(X=0)=641​+641​=642​=0.03125。

p=0.03125<0.05 比 0.041 還要明顯,所以數字小的時候,適合做 McNemar exact test。

Exact test 不只 McNemar 這一家開張,在兩組獨立樣本時,我們會用 Fisher’s exact test。萬能的天神保佑,我不會需要研究它!

[REF]

Cohen’s Kappa 和 RANSAC

這是兩個關鍵字類似的名詞,前者和 “隨機期望一致" 有關,後者和 “隨機抽樣一致" 有關。先講前者。

假設有兩個法官,一個是公職的法官 A,一個是國民法官 B。我們知道即使九位國民法官意見都一樣,但三位公職法官意見不一樣時,被告都是可教化的,所以我們只各找一位來當例子就好。這兩位法官剛好同時參加過 100 場審判,判決結果如下:

國民法官 B: 有罪國民法管 B: 無罪總和
法官 A: 有罪 60565
法官 A: 無罪102535
總和7030100

Kappa 的公式如下,有時簡稱 K 值:

其中,Po 是兩個法官都有共識的比例,Pe 是兩個法官做出相同判定的期望值。

P0 = (60+25) /100 = 85% (兩個對角線粗體)

Pe = 65/100 * 35/100 + 70/100 * 30/100 = 0.65 * 0.35 + 0.7 * 0.3 = 0.2275 + 0.21 = 0.5475 (紅配紅 + 藍配藍)

Kappa = (0.85 – 0.5475) / (1 – 0.5475) = 0.3025 / 0.4525 = 66.85%

這個值好嗎?

Kappa (k 值)意義
<0.20幾乎沒有共識
0.21–0.40尚可 (fair)
0.41–0.60中等 (moderate)
0.61–0.80高度共識 (substantial)
81–1.00幾乎完全一致

它的數學意義是:Pe 代表雙方意見一致的機率。Po 只是表示有多少比例意見一樣。看似是一樣的東西,但是假設公職法官 A 其實一律都喜歡判無罪,即使國民法官 B 只會判二成無罪,雙方理念根本不同,只是恰好有 20% 結果相似。此時 Po 還是有 20%。而 Pe = 0 + 0.2 = 0.2 = P0,Kappa 直接就歸零了。也就是說 Kappa 抹除了恰好答案一樣的機率。

國民法官 B: 有罪國民法管 B: 無罪總和
法官 A: 有罪000
法官 A: 無罪8020100
總和8020100

我們也可以推廣到是非題考試,甲生每一題都選 O,乙生靠轉公正的筆作答。結果兩人答案有 50% 一樣 (P0 = 50%),兩生有五成作弊的嫌疑…. 嗎?看 Pe (隨機期望一致) 就知道沒有作弊。


至於 RANSAC (RANdom SAmple Consensus) [1] 和 “隨機抽樣一致" 有關。顧名思義,隨機抽樣會抽好幾次。假設我們去夜市玩,遊戲是從摸彩箱中抽出乒乓球,抽中紅色有獎,抽中白色摃龜,抽完球要放回去。箱子裡總共有 100 顆球,其中有獎的機率是 {\displaystyle w}。我的玩法是一把抓 n 顆球,然後預算足夠玩 k 次。

如果我一把抓 n 顆球全部中獎,機率顯然是 {\displaystyle w^{n}} 。至少有一顆沒中 (白球) 的機率是 1-{\displaystyle w^{n}} 。K 次嘗試後,每次都至少有一顆白球的機率是 ( 1-{\displaystyle w^{n}})k。假設我的目標是,不管玩幾次,有一把全紅才叫做成功,假設這機率是 p,失敗率就是 1 – p。

1 – p = ( 1-{\displaystyle w^{n}})k

{\displaystyle k={\frac {\log(1-p)}{\log(1-w^{n})}}}

這裡的 k 和 Kappa 的 k 顯然是兩回事。這個公式告訴我們,目標愈大 (n 大),通常要嘗試愈多次 (k)。想成功 (p 大),也要嘗試愈多次 (k 大)。挑戰的題目很大 (w 小),還是要嘗試很多次。雖然都是要嘗試,至少我們知道 w,決定 n 之後,大致能知道 k 和 p 的關係。

Ransack 的中文意思是「洗劫」、「掠奪」或「翻箱倒櫃地徹底搜查」。RANSAC 比較正面,這個演算法是用來從一群有雜訊 (離群值) 的數據中,歸納出最多證據支持的數學模型 (可以是高維度,但通常只看到二維的例子)。

我們猜的模型可能需要 n 個點才畫得出來 – 直線只要兩點 (n = 2),雙曲線可能要 5 個點。假設,為了猜這些點是否能用雙曲線模型來模擬,我們需要先一把抓 5 點 (x1​,y1​),…,(x5​,y5​),看它能不能連成雙曲線?

它可以寫成矩陣 Mh=0,其中

這個模型有 A、B、C、D、E、F 共6 個係數,但只差一個比例因子,所以自由度是 5。只要看 B2 − 4AC > 0 成不成立?就知道基本像不像雙曲線?(先忽略退化檢查,嗚嗚嗚,難怪大家都愛舉直線為例。)如果看起來不像雙曲線,就再抓一把 5 個點來評估。

評估方法是把 “所有點" 都對雙曲線模型計算殘差 (測量距離方法可彈性選擇)。如果這個模型正確,顯然會有更多的點落在這條虛擬的雙曲線上。至於那些沒抓的點算不算是在模型之內?就要看誤差大小。若殘差小於門檻 τ,就當成 inlier (內點),反之是 outlier (離群值)。我們數數這次總共有多少點是內點?記下來找最大值。最後選出抓到最多內點的那個組合就是候選最佳模型。

我們考慮雙曲線模型的話,第一個變數就定下來,n = 5。接著我們還要對資料的品質有點手感,w 是內點的比例;假設這次是估 60% – 100 個點中有 60 個內點,40 個離群值。我希望成功率 99%,那麼至少應該嘗試抓幾次呢?根據前面公式的變化形態:

大約要跑 57 次 RANSAC iteration,才有 99% 信心至少一次抽到全內點的 5 點樣本,也就是可以直接畫出雙曲線。才試 10 次不用放棄!反之,那試了 570 次都失敗,是否模型一定猜錯呢?AI 很客觀地說,什麼事都有可能?模型猜錯只是其中一種可能,儘管模型正確的機率極低。

更有可能是資料很髒,w = 0.2,80% 的資料都是雜訊。那失敗 570 次也很正常,機率高達 83%。

總之,RANSAC 提供了一種客觀的評估邏輯。細看公式就會發現,一次抓 10 點又全對的機率反而比較小,導致要抓更多次才會過關。因此在嘗試階段只會抓 minimum 點數,到最後要修飾模型時,才會抓更大把的內點來調整模型的參數。

[REF]

  1. 隨機抽樣一致