最近的 Gemini 3 Pro 真的變比較聰明，所以我取消 Monica 的訂閱，改訂 Gemini。現在想要學習最新的技術，不但學校教不了；網路課程也教不了。就算是追著科技網紅，心裡沒有譜的話，也會像個無頭蒼蠅一樣、不會授粉只會傳播細菌，哈!
以 AI 技術來說，訓練模型、微調模型、RAG (檢索增強生成) 都是舊世代的技術。次世代的技術重點在於 Reasoning 和 Agency。雖然這個發展有跡可循、合情合理，但是沒有前面的跌跌撞撞，也絕不可能一步到位。短短一兩年之間，我們有了下面的這些進化。
[觀念改變]
一個 AI model 自己角色扮演 –> 建立認知架構：記憶、規畫、反思。
LangChain –> LangGraph, 線性思考 –> 非線性思考、圖論、立體化。
Funcation call –> Tool call。錯誤檢查和自我校正。
[模型調校]
Supervised Fine-Tuning、 RLHF (reinforcement learning from human feedback) –> DPO (Direct Preference Optimization)、IPO (Identity Preference Optimization)、KTO (Kahneman-Tversky Optimization)。
全能模型 –> SLERP (Spherical Linear Interpolation)、TIES-Merging。
自我對局 (Self-Play) 強化。
[In Model Learning]
Prompt –> DSPy (Declarative Self-improving Language Programs)，透過 Compiler 自動尋找 Prompt 組合。
快問快答 –> Chain of Tought、Tree of Thought –> Test-Time Compute (有節制地想久一點，時間換取品質)
[模型評估]
BLEU、ROUGE 考試 –> LLM-as-a-Judge，自動評估
多元評價 – RAGAS
- R：Retrieval（檢索）
- A：Accuracy（準確性）
- G：Generality（通用性）
- A：Adherence（遵循性）
- S：Stability（穩定性)
[多模態]
OCR + LLM –> 原生多模態 (Native Multimodel)、audio/video tokenization。
文字到文字 –> any-to-any interaction
上述有很多新的東西，也有一些半新半舊，我打算加強 Agentic、MCP 這方面的知識，然後快速進入 DSPy 的領域。
附帶一提，雖然退訂 Monica 可以省錢，但是我還不打算把 Coursera 停掉。因為上面還是有很多 Andrew Ng 開的短課程。愈長的課程愈容易過時、短課程甚至像 Andrej Karpathy 的 Youtube 都可能有一些最新的東西。至於 ArXiv 肯定好料滿滿，但是可能要叫 NoteLLM 幫我讀了。
Cash Chou's Blog 