頓悟的跡象

在講正經事之前,先講點不正經的。這週受到 AI 供應鏈教父 女色 的影響,股票跌出了新高度。反正長期持有就是這樣,資產慢慢累積,振幅也會跟著變大。這次在 11/5 累積跌 8.26%,單日跌幅也達到最多位數;現在受惠於台幣貶值,已收復不少失土。據說台幣會跌一陣子,所以數據會有所美化。

這有讓我頓悟什麼嗎?沒有。所以我來講講頓悟有什麼跡象。

假設我們有一個會計算 mod 97 的 AI model,包括普通的 embedding 層、Transformer 層、和 FFN / MLP 層。顧名思義,它學會 2+96 後就會輸出 1 ,因為 mod (2+96)=mod (98) = 1。

當我們把所有 0~96 和 0~96 的加法組合都送進去測試,會有 9,409 種組合 (忽略交換律),如果每題都答對,當然 model 就算學會了。但是這個 model 是在哪一步開始頓悟加法的真諦?或是純粹就是靠死背呢?我很好奇,稍加研究,就發現其他人已經有大量的文獻了。我就算晉身此界也是當師弟,當不了師叔。

想像一個有 97 格的環。被加數站在 96,再向前走 2 格代表加數,結果會回到 1。對加法而言,把數字 a 放到角度 2πka/97,加 b 就像再轉 2πkb/97。這裡的 k 是你選擇繞環的頻率。若寫成複數波 exp(2πika/97),輸入平移 b 格,頻域只需乘上一個相位因子;也就是訊號處理課教的循環平移。這樣就解釋了加法。

我訓練了一個 1 層 transformer 來做 (a+b) mod 97,訓練集佔 50%。大約 5,000 步後測試準確率從約 49% 升到 100%,也就是 grokking。示意程式由老馬 (斯克) 的 Grok Bot 提供,叫 Grok 研究 Grokking 正好。

import numpy as np
def embedding_spectrum(W_E):
# 沿 token 軸做長度 97 的 DFT
F = np.fft.fft(W_E, axis=0) # 97 x d
power = np.linalg.norm(F, axis=1) # 每個頻率在模型維度上的能量
return power[1:49] # 頻率 k 與 97-k 成對,只看 k = 1..48
def gini(x):
x = np.sort(np.abs(x))
n = len(x)
return (2 * np.arange(1, n + 1) - n - 1) @ x / (n * x.sum())
spec = embedding_spectrum(W_E)
print("Gini:", gini(spec))
print("能量最大的 5 個頻率:", np.argsort(spec)[::-1][:5] + 1)

頓悟後,我們可以看到下圖左有五根紅棒特別高。這意味著 model 學到五組頻率後 (由隨機種子決定),大概就對加法之道運作自如了。此處是用 Gini 法評估,把 embedding 各頻率的能量排出來,看是少數頻率吃掉大部分能量,還是大家平均分。下圖右在 4200 步附近頓悟,有那種突然醒過來的感覺。

此案例中,Gini 只有 0.33,不算高。因為 48 個頻率裡只有 5 個突出,其餘不是零,底噪偏大。如果想看「稀疏度」,也可以只算峰值佔總能量的比例。其他實證的手法比較厚工,包括:

  • Excluded loss:把模型認定的關鍵 Fourier 成分從 **logits(輸出分數)**拿掉,再用訓練題算損失。若移掉後訓練損失變高,表示這些成分確實在幫忙。
  • Restricted loss:反過來只保留所選的 Fourier 成分,其他拿掉,看看留下來的部分能不能解題。

以上的說明,對於加減法都適用。那乘法呢?Furuta [4] 等人在加法基底下分析模乘,觀察到許多頻率都參與;後來 Nguyen [5] 用另一組基底重新檢視,發現他的模 113 模型其實有稀疏結構。

這裡要補一個關鍵字:原根(primitive root)。對模 97 而言,5 是一個原根。意思是從 1 開始不斷乘 5、或曰計算 5 的 j 次方,每次再取除以 97 的餘數,會在回到 1 之前,剛好走遍 1~96 每個非零餘數一次。前幾步是:
5^0 mod 97 = 1 → 5^1 = 5 → 5^2 = 25 → 5^3 = 28 → 5^4 = 43 → … → 5^96 mod 97 = 1。

上面那串不是把數字由小排到大,而是把「乘以 5」這個動作排成一個 96 格的環。零不在裡面:零乘多少次都還是零,必須另外處理。因為每個非零數都能寫成某個 5^j mod 97,我們可以反過來把它標成 j;這個 j 就叫 以 5 為底的離散對數(discrete log)。

例如 25 的標號是 2,28 的標號是 3。現在再看乘法:如果 a=5^i、b=5^j,那 a×b mod 97 = 5^(i+j) mod 97。乘法在這個新編號裡變成指數相加(mod 96)。

故這時先把 embedding 的非零數字列按 1,5,25,28,… 重新排列,再做長度 96 的 DFT,就相當於用乘法群的 Fourier 基底看它。Nguyen 在 mod 113 的模型上報告:原本的加法 DFT 看起來很分散;改用離散對數排序後,Gini 從 0.07 左右到 0.58 左右,而且只剩幾個主要頻率。很酷吧!

當然,有道德感的 AI 會吐槽我有邏輯漏洞,所以我必須多講幾句,免得天網把我列為難相處的對象,進而斬殺。

  • 兩種電路都可能解同一題。 Zhong [1] 等人發現模加法可以長出 Clock,也可以長出 Pizza,甚至更複雜的程序。嵌入有規律,不代表你已經知道後面是哪套演算法。
  • 關鍵頻率常是事後找的。 如果先看最終模型再回放中途 checkpoint,就不是一個完全不看答案、事先固定的偵測器;真正要預測新模型時,頻率選擇和門檻須先鎖定 [2]。
  • 稀疏不是必要條件。 某些模型的解法可能分布於更多頻率;單看 Gini 低,不能叫人家「沒開竅」。Gromov [3] 對不同模算術任務提供了可解析的兩層網路解,正好提醒我們別把某一種 Transformer 頻譜當定義。
  • 表示的基底會改變結論。 加法 DFT 不是乘法的萬用眼鏡,原根與離散對數是為了把乘法的結構對準。[4][5]
  • 頻譜分散有很多原因。 在還沒 grok 的模型上看到分散的頻譜,可能是還在背題,也可能只是電路還沒長出來,不能直接讀成「這個模型學不會」。反之,也不能在 training 過程中,只看到一點跡象就猜它頓悟了。

最後,對於好學不倦有始有終的網友們介紹除法。a/b = a * b-1。先找出 b 在模 97 下的乘法逆元 b⁻¹,再計算 a * b-1(mod 97) 即可。由於 97 是質數,除了 0 以外,1 到 96 的每個整數都保證存在唯一的模逆元。 至於找出模逆元的方法有費馬小定理 (Fermat’s Little Theorem)、擴展歐幾里得演算法(Extended Euclidean Algorithm)、查表法 (本人真心推薦,可以減少人腦強化學習後,所造成的崩潰或災難性遺忘)。


[REF]

  1. Zhong, Liu, Tegmark, Andreas (2023). The Clock and the Pizza
  2. anda, Chan, Lieberum, Smith, Steinhardt (2023). Progress measures for grokking via mechanistic interpretability
  3. Gromov (2023). Grokking modular arithmetic
  4. Furuta, Minegishi, Iwasawa, Matsuo (2024). Towards empirical interpretation of internal circuits and properties in grokked transformers on modular polynomials
  5. Nguyen (2026). The Discrete-Log Clock
  6. Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets — Power et al., 2022

泛化退化與負遷移

過去連假都會讀點書,不過現在有 AI 之後,讀書有點不夠看了。這次是做實驗並和幾個 AI 對話。當然,也可以叫 AI 互相對話。不過自己就會像個白癡一樣,只能看著他們熱烈討論。所以硬是要加一點自己的意見進去,此時 AI 頂多懷疑有個笨 AI 加入討論,不至於影響主人的威信~~~ 以下記錄其中一點收穫。

假如訓練一個模型時,改變了某個條件,得出變壞的結果。這時候我們可以懷疑就是那個 “條件" 造成的,我們小時候都學過控制變因嘛,事出必有因。但是原因可能不只一個:

後期泛化退化 (Late-stage generalization degradation) 與負遷移 (Negative transfer) 都能夠讓模型表現變差,但兩者不互斥,可能同時發生。

泛化退化是指發生了過擬合、資料片面有偏差、過度最佳化目標…等等狀況,使得我們對模型訓練愈兇、數字愈漂亮,對於沒看過的測試集表現更差。例如:

假設使用同一類數學推理資料持續訓練:

評估項目中期 checkpoint後期 checkpoint
訓練題表現85%95%
未見過的推理題80%72%

負遷移則是原本訓練任務 A 的 model,再拿去訓練任務 B,導致任務 B 的能力不如沒學過任務 A 的版本。簡單可記憶為 “孟母三遷"。孟母擔心孩子先學了 “哭墓"、"講價" 技能,對孟子未來的 “成聖" 技能會有影響,所以要搬三次家到熱門學區,預先避免負作用而遷移。

這個又和災難性遺忘很像。 假設模型先學 A:工具操作,再學 B:數學推理。看到 A 變壞是災難性遺忘,看到 B 變不好是負遷移 (和泛化退化都看任務 B 就對了)。

觀察判斷比較基準
學 B 後,原本的 A 成功率從 90% 降到 40%災難性遺忘同一模型學 B 前後的 A 表現
先學 A 再學 B,B 成功率只有 70%;直接學 B 可達 85%A 對 B 的負遷移有 / 沒有先學 A 的 B 表現
A 大幅退化,而且 B 也比直接學 B 更差兩者同時發生同時滿足以上兩種比較

原本已經變明朗的定義,再往下看會變模糊 (>_<)。假設上面的負遷移是狹義的 A 影響 B (前向遷移),那麼廣義的遷移也包含 B 影響 A (後向遷移),這就和 “災難性遺忘" 同樣是看任務 A 的表現了,只差在夠不夠災難,這個閥值沒有現成定義。

總之,狹義負遷移比較好記,同樣看任務 B,也回歸到當初和泛化退化比較的起點。

道友,報上名來

Antropic Claude 這幾天有一個福利,就是 Pro、Max 的用戶,可以申請 100 或 250 USD 的 credit。除了從終端機 CLI 打 “/claim-credit" 申請、也可以直接用 http://claude.ai/code [1]。我是用網路版申請。瀏覽器內點左下角頭像、然後選 Setting、Usage 這種方式。總之按下 “claim-credit" 就有 100 USD,不拿白不拿,10/7 前領取。

這個福利有使用期限,只到 11 /5。下午我靈機一動,就用 Fable 做了這個 APP。主要是參考 Liferest [2],把自我提升當作 RPG 遊戲。介面當然是繁體中文,等級當然也是中式的修仙等級,搭配神話 (Fable) 剛好而已。

鍛鍊的內容像是這樣。認真改良的話,還可以修五靈根、體修、…。

總之 Claude 聽懂我簡短的需求,沒幾分鐘就做好了這個,還有 README。.笑死人了!

九大境界共 46 層:煉氣一~九層;築基到大乘各分初期/中期/後期/圓滿;渡劫分一~九重雷劫。每層所需修為 = 100 × 1.16^層數,滿了按「突破」,跨境界時觸發天劫畫面,渡完九重雷劫則飛升。

六藝屬性對應現實六面向:體魄、心境、悟性、道心、人緣、財運。

五個分頁:修煉(今日日課、屬性、突破、紀錄、連修天數)、日課(每日重置的日課+一次性機緣任務,可自訂難度)、閉關(15/25/45/60 分專注計時,每分鐘 1 修為)、道藏(每日心得+心境標記)、境界(46 層總覽)。設定裡可改道號、複製/匯入 JSON 備份、重修。

我第一步我請它做網頁版,第二步才是打包 Android APP。而且從這邊開始,我把 Fable 降級到 Sonnect。

我來做 Android 版:用原生 WebView 殼(Kotlin + Gradle)包住現有的 App,並加上 GitHub Actions 自動編 APK;同時把網頁版加上 PWA 設定,手機瀏覽器可直接「加到主畫面」。先看這裡有沒有能編 APK 的環境。

Android 版做好了,兩種形式都有:

1. 原生 Android APP(android/)

  • Kotlin WebView 殼,載入同一份 index.html(編譯時自動從專案根目錄複製進 assets,網頁版改了 App 就跟著改)。
  • 套件名 com.lifereset.xiuzhen、Android 7.0+;用 WebViewAssetLoader 給 localStorage 固定 origin,修為資料不會遺失;跟隨系統深色模式;返回鍵、外部連結、鍵盤 inset 都處理了。
  • App icon 是朱砂「氣」字印(adaptive icon + 各 dpi 的傳統 icon)。

2. PWA

  • 加了 web/manifest.webmanifest、sw.js 離線快取與 icon;放上 GitHub Pages 後,手機 Chrome「加到主畫面」就是獨立視窗的 App,不裝 APK 也能用。

Claude CLI 反而不像 Antigravity 那樣會自動幫忙下載 Android Studio。所以這邊是用 GitHub Actions workflow [3],Claude 再幫忙加個 .github/workflows/android.yml。然後我把 code push 上 Github,Github Actions 分頁的「Build Android APK」跑完就能下載 APK [4]。可能有 bug,但是 Android 安裝程式掃過無毒。很好奇的話可以安裝在 Android 開發板上。

結果,這題難度太低了。根本沒燒到那 100 USD。這兩天再想想。

[REF]

  1. https://www.threads.com/share/Fwl8NnuVj/
  2. https://www.lifereset.com/
  3. https://github.com/apps/claude/installations/select_target
  4. https://github.com/ufocash16785/liferest/actions/runs/36242519954/artifacts/10906776662

RRF 小筆記

此處的 RRF 是指 Reciprocal Rank Fusion,中文叫做倒數排名融合。第一個關鍵字是倒數,不是ㄉㄠ \ㄕㄨ V ,是 ㄉㄠ V ㄕㄨ \ ,誰的倒數呢? 這就是第二個關鍵字 – 排名的倒數,跟上次的 Wilcoxom 一樣,排名是個最簡單的指標,不用量化,最小的就是 1,然後愈來愈大,至少平手。

第三個關鍵字是融合,表示可以用多種方式排名,然後混在一起算。當然,這就有可能要給不同的方法一個權重。對於所有排名清單集合 R,某個排名清單編號 r ,文件 d 的 RRF(d) 分數如下。其中 k 是一個正值的常數,用來使排名第一和第二的差異不要太懸殊。另一方面,這個值會使得排名在後面的 d 們,RRF (d) 看起來也都差不多,故稱為平滑常數。

那為何不把一種排名做好,要拿一堆排名來融合呢?這個跟基測、會考、聯考一樣,取的是通才。如果只看少數指標,那就是指考了。也沒有不行,就看是哪種應用。有些學校比較看重特定科目,就可以個別給加權分數。

舉例來說,我們希望從 RAG 中找出與使用者提問最相關的資料。然而,「相關」或「相似」本來就沒有唯一的判斷標準,因此我們不侷限於單一檢索方式,而是同時採用 BM25、向量檢索(Vector Retrieval)、Metadata Retrieval 與 Graph Retrieval 等多種策略,再整合各自的搜尋結果。

Vector Retrieval 是最常見的做法:先將問題與資料轉換成 embedding vectors,比較它們在向量空間中的距離,取回相似度最高的前 5 或前 10 筆資料,再將對應文字放入 prompt 的 context window。

Graph Retrieval 則是將資料整理成圖譜結構,利用實體與實體之間的關聯進行檢索,因而能找出僅靠語意相似度不容易發現的關聯性資訊。

Metadata Retrieval 主要透過人名、地名、日期、產品型號等結構化欄位進行精確篩選。

最後,我們可以透過 Reciprocal Rank Fusion(RRF),將不同檢索器產生的排名結果融合成一份候選清單,再選出最適合放入 context window 的內容。

咦?怎麼少講一個 BM25?因為這個比較不直覺。它算是 TF-IDF 的擴展。所以我們先看TF-IDF, 這個名詞同樣要拆解。

詞頻(Term Frequency, TF):計算關鍵字在單一文件內出現的次數。
逆文件頻率(Inverse Document Frequency, IDF):衡量關鍵字在整個文件庫中的罕見程度。越稀有的詞彙權重越高,像「的」這類高頻停用字權重則接近零。

兩個東西乘在一起就是,這個詞比較罕見,又出現很多次,那就是重要。

其中,f(t,d) 表示詞 t 在文件 d 中出現的次數。最基本的 TF 可以直接定義為 TF(t,d) = f(t,d)。至於 IDF(t) 可以表示為:

假設資料庫中共有 N 份文件,df(t) 則表示其中有多少份文件包含詞 t。需要注意 df(t) 計算的是文件數量,而不是詞 t 在所有文件中的總出現次數。TF(t,d) 和 IDF(t) 都有不同的變形。例如,可以對 TF 使用對數縮放,避免詞頻增加時權重無限制地成長;IDF 則常加入平滑項,以避免除以零,並讓數值表現更加穩定。

那麼 BM25 又是什麼呢?BM25 是資訊檢索系統中很常用的文件排名函數。它與 TF-IDF 使用相似的核心訊號,也就是詞頻與逆文件頻率;但嚴格來說,BM25 源自機率檢索模型,並不是 TF-IDF 的特例。

看公式,我們可以發現它引入 k1 讓曲線更平滑。然後不只考慮一個單詞 t,而是使用者查詢 ( 如:prompt) q 裡面的所有 t 都加在一起。因為全部相加,右邊的分子分母都有 f(t,d),故我們預期這一項會飽和。

那麼分母的 b、d、avgdl 是怎麼回事呢?

我們回顧一下本來要做什麼事?我們是用一個查詢句 query q,去資料庫的一堆 data d,想要找出前幾名相關的文件。而文件中不同的 d 有長有短,不同文件的長度可能差異很大。長文件因為包含的詞較多,自然也更容易命中查詢關鍵字。

相反地,若同一個詞在一份短文件與一份長文件中出現相同次數,它在短文件中的集中程度通常更高。所以文件 d 的長度 |d| / 平均 d 的長度 (avgdl = average data length),也可以反映重要性。如果都一樣長,那麼 |d|/avgdl = 1,1 – b + b = 1,分母就更簡化了。

另外 b 就可以單獨控制要不要考慮文件長度:

  • b=0:完全不考慮文件長度
  • b=1:完整依照文件長度比例進行正規化
  • 0<b<1:在不正規化與完整正規化之間折衷

公式講完了,最後來正名。BM25 的 25 是版本編號,BM 是 best match。它是由 Okapi 資訊檢索系統所發展的一系列 Best Match 排名函數之一,就算只取 top 5,公式還是叫 BM25。

牛來踩坑 Locomo 記

Locomo (Long-Context Conversational Memory) [1] 是一個測試標準,用來評估 AI 對於長對話的記憶能力。現在的大語言模型動輒號稱有 1M token 的 context window,以後可能還愈來愈大;當我們跟它東拉西扯了半天,AI 究竟能搞清楚是現在是在聊哪一個主題嗎?其實連人類都會搞混呢!

上圖取材自 [1]. 左邊的例子是一小段對話,有兩個人物,很口語化的聊天。到時候會考 AI 一些小問題,確認 AI 對於人事時地物都分得清清楚楚,哪隻貓狗烏龜是誰的?養多久?較什麼名字?有沒有養過鸚鵡之類的?

線索人文字描述
人物設定JoannaJoanna 是一位來自美國中西部的作家。她對寵物過敏。
人物設定NateNate 喜歡狗和烏龜。他有兩隻寵物烏龜。
2022 年 3 月 27 日Nate……這些小傢伙在事情很重要的時候,能讓我保持冷靜。
2022 年 3 月 27 日Joanna哇!你養牠們多久了?
2022 年 3 月 27 日Nate……已經養了 3 年了。
2022 年 5 月 20 日Nate家裡剛多了一位新成員,這是 Max!
2022 年 5 月 20 日Nate你自己有養寵物嗎?
2022 年 5 月 20 日Joanna很不幸,因為過敏,所以我不能養任何寵物。
2022 年 5 月 25 日Nate……帶 Max 去散步時,遇到一對超友善的夫妻,他們也有一隻狗……我們決定之後安排狗狗一起玩。
2022 年 10 月 21 日Joanna我以前在密西根養過一隻狗……後來我開始過敏……不得不把牠送走。

上圖的右邊的統計數字。可以看到資料庫共有 10 個長對話,平均每輪有 27.2K 個 tokens,21.6 次輪流發言。再來是考試 ,一共分為五類 (Category, 簡稱 Cat) 測試。分別是:

  • 單跳 (single hop) – 問的東西確實說話。
  • 多跳 (multi hop) – 沒直接說,但是可以從分開的上下文理解。
  • 時間推理 (temporal reasoning) – 沒說過,但是從時間關係可以判斷答案。
  • 常識性問答 (open domain knowledge) – 沒說過,但是理論上應該是這樣。
  • 對抗題 (adversarial) – 沒說過,不知道的要說不知道。

總共有 1,986 題。當然考試就要有標準答案,這個 database 對每一題都有人工標記的答案 (gold)。

接下來我們的主角 “牛來" 登場。大家應該都聽過中國手搓 3D 電影牛來吧!?那就不用介紹了。在 2026/8/21,Openrouter 忽然上了一個免費的 AI 模型,公司欄位是隱身 (stealth), 模型叫 Ox alpha。OX 是公牛,所以這麼沒名字的模型就被戲稱為 “牛來" Model。

牛來帳面上的智商還挺高的,Artificial Analysis 指數 57,跟 Claude Opus 4.8 同級,還不用錢。當然我本著 “能花一塊就是賺一塊" 的想法,讓我們家的愛馬仕 (Hermes Agent) 開始瘋狂地測試它,包括跑 Locomo 測試我的一個想法。

前面都跑得挺好,不過它最在終的報告上,把 Cat 1 和 Cat 3 都標記為多跳。這個問題被 我的 AI reviewer GPT 抓出來了。有趣的是 GPT 全家也沒有比 “牛來" 聰明多少?可見分數還是供參考,而且我們都不容易看到自己問題,何況是 AI。

ModelAA Intelligence Index
GPT-535
GPT-5.1 High37
GPT-5.2 xHigh43
GPT-5.5 Medium51
GPT-5.5 High55
GPT-5.5 xHigh56
GPT-5.6 Luna Max51
GPT-5.6 Terra Max55
GPT-5.6 Sol Max59

找到問題當然就要查囉。不查還好,一查之下,愛馬仕 (還沒取名字,本來 Ubuntu 版叫BigClaw,WSL 版叫 “許紅豆",源自 AI 短劇 [2]) 急報 Locomo 資料庫的順序並不是按照單跳、多跳這樣來的。Cat 1 才是真的多跳、Cat 3 是常識題。搞錯分類這個鍋應該 “牛來" 揹,不甘 Agent 的事,所以牛來算醜一。

接下來,我發我們的演算法在對抗題 Cat 5 竟然沒啥效果。我叫 “牛來" 研究一下 Cat 5 差在哪裡?它回報:"重大發現! cat5 的 446 題中,444 題都是 gold=None(拒絕回答題),只有 2 題有實際答案 (是非題)。"

那我們答什麼呢?我們回答 “沒那回事" (Not mentioned),這比 gold 還正確啊!於是"牛來" 熱心地建議我們改 prompt,把 Note mentioned 等效於 None。不過我前幾天看過阿里雲的一篇測試,雖然它跑了 5 個 run,但是 category 只列出 4 個,似乎沒跑對抗題。那我們幹嘛跑呢?牛牛做這題有點歷史包袱,我還是問別人吧!

這時候 GPT 5.5 救場了。它說: 很多 LoCoMo 實驗一般不跑 Category 5,或至少不把它納入主要分數。我再拿這段話給 “牛來" 看,"牛來" 沒有立刻認輸,回頭自己查了一堆資料。得到的結論是 :category 5 的題目沒有 answer 欄位,原來 none 也不是 gold,而是核對答案的程式讀不到資料,所以傳回 none。別人的實驗中 [4],是把 gold 全部設為是非題,這樣就沒有模糊的空間了。可是,牛牛你怎麼不早說~~~

本著 “少一事不如多一事" 的心理,我又檢查了一下數據。"那為什麼官網 “單跳" 有 841 題,你只做 829 題,另外 11 題去哪裡了?" 牛牛神色不變,說 “好問題",然後回去查 bug。12 分鐘後 (體感超久,而且本機在 Telegram 對話不會出現 Typing….,手機才會),它說:"答案找到了"。官方 conv-48 內有 11 組重複題,conv-30 跨 Cat 4 和 Cat5 兩類重複問,合計 12 題。

蛤?前面在同類裡面重複也就算了,後面 Cat4 和 Cat 5 重複問 – “What did Gina receive from a dance contest?" 共兩次。 但是 cat4 的 gold=’a trophy’,cat5 版 的gold=None,這還是算兩題吧,Cat 5 對抗題已經知道 answer 沒定義了。怎麼自作聰明起來了,這牛腦真是擅自突破框架啊!

由於 Monica 裡面的 GPT 5.5 對這個問題回答得模稜兩可,好像什麼都可以。只好再叫我訂閱的 Claude Pro 出來。這傢伙每個月花我 20 鎂,上次 game 做一半就放長假了,不問白不問。Claude Sonnet 5 (effort = High) 果然講得最清楚:"目前幾乎沒有主流已發表論文或公開榜單改用去重後的 830 這個數字——大家還是照官方 841 報告和跑分"。雖然我們不應該迷信智力測驗,但是 Claude Sonnet 5 Max 不愧是堂堂智力 63 分的老大~~~

牛牛沒有牛脾氣,畢竟它也不是真的牛。我叫它改,它就乒乒乓乓地改好了。當 8/26 試用期一過,log 跑出 “Thank you for partiticipating in the Stealth Ox Alpha testing period. This model will be revealed today. August 26th.",然後它就從 Openrouter 下架,改用真名 GLM 5.3 Flash 出道了。

看在我已經奴役它一個禮拜的份上,雖然那 57 分的智力還差強人意,但是便宜治百病啊!所以我把 Openrouter 的主模型切到 GLM-5.3-Flash 了。

Claude Opus 4.8GLM-5.3-Flash
Intelligence5757
Input / 1M$5$0.15
Output / 1M$25$0.50
Context1M1.3 M
Output speed~61 tok/s~49 tok/s
Reasoning✅✅

下次如果有什麼馬、什麼蛙可以免費試用,我還是會去蹭一蹭。畢竟 Apple Mac Studio M5 又漲價了。在隱私和效能之間,我會選擇免費。

[REF]

  1. https://github.com/snap-research/locomo
  2. https://www.youtube.com/watch?v=YPbhnoafcsg&t=3612s
  3. https://help.aliyun.com/en/hologres/user-guide/long-memory-service-locomo-benchmark
  4. https://arxiv.org/pdf/2606.06036