湧現性小註解

上禮拜的 2026/6/11,我得到了第五十個專利。這是滿令人開心的一件事。不過呢,最近我對 AI 的每個想法,都有人做過了,下一個 idea 還難產中。這裡就來記錄一下我最近碰到的關卡 – 湧現性 (emergence)。

湧現性是什麼呢?所謂 “熟讀唐詩三百首,不會吟詩也會吟。" 說的就是湧現性。本來文采不豐富,做不出好詩。但是腦中塞滿名句之後,隨口就能湊出好句型。但沒有熟讀不算、沒有讀 300 首也不算 (精確來說是 311 首)。簡言之,1+1>2。

湧現性還表現在魚群和鳥群的行動上,一隻沙丁魚游泳看不出有何玄機,但是一萬隻沙丁魚聚在一起就會自動形成魚球,聚集上億隻就成了沙丁魚風暴 – Sardine Run。它呈現了整體性、無中央控制、量變產生質變這三種湧現性的特徵。

在 AI 上,有人試過把一段 Feed Forward Netowok 複製 8 份,各自打掉一些參數後重新訓練,他們就變成了 8 個專家 (Mixture of Experts) ,效果比原來還好。再更猛一點, LLM 也可以堆疊。法國知名 AI 新創 Mistral 推出的 Mixtral 8 x 7B 模型,其底層邏輯就是拿原本的 Mistral 7B 單一模型,複製 8 份作為專家再繼續訓練出來的 [1]。 這個專有名詞叫做 Upcycling (升級再造)。

LLM 複製 8 份之後,我們要在這些專家頭上各打一棍,讓他們產生不同程度失憶,然後叫他們重新上學。這條路線跟生物界不同的有兩點:(1) Model 要重新訓練,但侯鳥不用。(2) 需要一個 router 去指派 LLM,和 MOE 中指派 expert 的 router 一樣。而沙丁魚不用。

除了暴力打頭之外,也有和平的方法。我們不用重新訓練,只要調整一些參數,像是 temperature,然後叫這些個專家們討論,最後民主投票。這叫做 Ensemble (群體智慧 / 集成學習),主打三個臭皮匠勝過一個諸葛亮,減少幻覺的發生。這個和湧現沒有關係。

對於湧現的看法,有人 [2] 主張可以拆解回原型是弱湧現,不能拆解的是強湧現。例如魚群可能是靠著每隻 “單魚" 遵循 “和鄰魚保持等距" 這種簡單的原則就可以達成的。有人認為強湧性不合理,違反熱力學第二定律 – 封閉系統的 “熵" 只會愈來愈大。還好 AI 有重新訓練,那就不是封閉系統了。

回到湧現性這個話題。徐志摩說了 “數大便是美"。菲利普·安德森 (Philip W. Anderson) 說了 “More is Different" (多即是不同) [3]。不能拆解的湧現性是怎麼來的呢?都說生命的緣起是一堆高密度的氨基酸被雷打到。看來 “大" 加上 “觸發" 這兩個條件缺一不可。接下來如果用進化論來物競天擇,收斂的速度就不用說了,生物也會產生太多的可能性,那並不是我們需要的。現在 AI 的進步速度應該容忍不了以前基因演算法 [4] 的浪漫。

接下來,一定要拿同樣的 model 來敲頭嗎?一定要長一樣的面孔才可以民主投票嗎?都不用,OpenRouter 最近也發布了 Fusion Router,一種多模型融合推理工具。核心思路很直接,直接拿不同的 model 來投票。用一個綜合的裁判模型來選最後的答案,結果還比 Fable 5 好 [5, 如下表]。顯然的,這裡面冗餘的成分非常地高,好比投資只多賺了 10%,但是本金需要 2、3 倍。總之,能力在這裏面湧現了,即使它沒辦法通過愛因斯坦測試 [6]。

模型得分
Fable 5 + GPT-5.5(Opus 4.8 综合)69.0%
Opus 4.8 + GPT-5.5 + Gemini 3.1 Pro(Opus 4.8 综合)68.3%
Opus 4.8 + GPT-5.5(Opus 4.8 综合)67.6%
Opus 4.8 + Opus 4.8(Opus 4.8 综合)65.5%
Gemini 3 Flash + Kimi K2.6 + DeepSeek V4 Pro (便宜模型抱團)64.7%
Claude Fable 565.3%
DeepSeek V4 Pro60.3%
GPT-5.560.0%
Claude Opus 4.858.8%
Kimi K2.653.7%
Gemini 3.1 Pro45.4%
Gemini 3 Flash43.1%

愛因斯坦測試不是一個考題,而是 Google DeepMind 執行長 Demis Hassabis 提出測試 AI 是否有真正智慧的方法。他說:"讓 AI 系統只學習 1901 年以前的知識,再測試它能否自行推導出愛因斯坦 1905 年的狹義相對論。" 這個驗收標準,其實有點離譜。如果你餵 AI 學 19 世紀的牛頓力學,它一丁點也想不出未來會有量子力學。我們需要通過許多關鍵的實驗來推翻舊理論、並建立新框架。而且舊理論往往並非全面崩塌,甚至在大部分的地方還是站得穩穩的,只是某些地方解釋不通而已 [7]。

[REF]

  1. https://huggingface.co/mistralai/Mixtral-8x7B-v0.1
  2. https://en.wikipedia.org/wiki/Mark_Bedau
  3. https://www.science.org/doi/10.1126/science.177.4047.393
  4. 基因演算法
  5. https://www.cnblogs.com/itech/p/20581511
  6. https://www.inside.com.tw/article/41195-hassabis-proposes-einstein-test-to-define-agi-benchmark
  7. 馬克士威方程式(Maxwell’s equations)無法解釋量子尺度下的光子行為、單一磁單極子的存在、非慣性參考系中的電磁場變換,以及重力與強弱核力。馬克士威方程組是古典電動力學的核心,但在極端物理條件下必須由量子力學與相對論來擴充。
    • 以下是該方程組無法涵蓋的具體物理現象與範圍:
    • 1. 微觀的量子效應與光子
    • 馬克士威方程式將電磁場視為「連續的波」。
    • 量子電動力學(QED): 當探討單一電子或單一光子時,電磁波會展現出「粒子性」。連續的古典波動無法解釋光電效應、康普頓散射以及電磁場的量子漲落(Quantum Fluctuations)。
    • 2. 物質內部的非線性光學與量子極限
    • 強場光學與非線性現象: 在極強的雷射場作用下,介質的響應不再是線性的(例如倍頻效應),此時傳統的馬克士威方程式需結合量子光學來描述。
    • 3. 磁單極子(Magnetic Monopoles)
    • 高斯磁定律的限制: 方程組中的 \(\nabla \cdot \mathbf{B} = 0\) 表明磁力線必定是封閉的,代表磁單極子(單獨的N極或S極)不存在。現代粒子物理的部分大統一理論(GUT)預測磁單極子可能存在,但這超出了傳統馬克士威方程組的範圍。
    • 4. 強交互作用、弱交互作用與重力
    • 僅涵蓋電磁力: 自然界有四種基本交互作用,馬克士威方程式僅處理「電磁交互作用」。它無法解釋原子核內的強交互作用(夸克間的結合)、弱交互作用(如貝他衰變),以及愛因斯坦的廣義相對論所描述的重力場。
    • 5. 加速參考系中的電磁輻射
    • 局限於慣性系: 馬克士威方程組的標準形式主要適用於慣性參考系。在強重力場或高度加速的非慣性參考系中,必須透過彎曲時空的廣義相對論電動力學來修正描述。
    • 馬克士威方程式在巨集觀、低速或日常尺度的電磁現象中已極為完美,但在理解物質的微觀本質或宇宙極端現象時,則必須依賴更進階的物理理論。

賀!

今天是 2024/9/17, 也是龍年的中秋節. 平安是福, 此為首賀!

桃園地景節 – 憲光二村

再賀的是: 經過 2 年漫長的等待, 我比較滿意的其中一個專利, 終於在美國通過了. 其實這個專利有四胞胎. 台灣四個都過了. 美國也過了第一個, 這是好的開始.

猶憶我 2022 年有點囂張地記錄下 2 個月得到 3 個美國專利的戰績, 這兩年老天就讓我校正回歸. 足足乾旱了兩年. 才等到現在我的第 9 號! 希望它的兄弟姊妹都能夠登上影神圖.

最後一賀是: 自從黑悟空在黑風大王那裡卡住之後, 我就用上了 “悟空 多功能修改器" 鎖血看劇情. 剛剛也告一段落. 雖然沒有全收集. 不過 " 81 難" 好歹觀賞完 64 難. 可以收工了.

黑悟空真的比較難打. 我承認如果不作弊我絕對打不贏楊戩和大聖殘軀. 我自信能跟二郎神一博的技能是翹二郎腿。

每次天命人被打死都要拔頭上的一根毛去土地廟上香. 我在想,如果遊戲夠寫實的話. 天命人將會變成禿子. 跟一拳超人一樣 (變強了頭也禿了) !

這張比天真頂好看一點

BTW, 跟艾爾登法環 DLC 相比. 那邊我只有最後一隻拉塔恩打不過是靠毒死的. 其他多打兩下還 OK. 頂多就是把搖桿玩壞, 必須要買新的而已.

為黃金律法犧牲的 gamepad

雖然官方日前更新削弱拉塔恩的戰力, 但毒死也是一種實力. 我不想重打了. 何況光是下毒失敗都死了好多次.

隱身丟出腐敗壺之後, 用擬態樹枝假裝是石獅子.

專利申請小心得

今年七到九月一共獲得四篇美國專利,這個紀錄近期不太容易打破,所以記錄一下。2022/9/30 之後, USPTO 傳統的搜尋介面也改了, 要到這個網站 [1] 下指令,新介面我不太會用。總之,先抓圖壓壓驚。

最近也在為一個新的專利申請書做修改,所以把申請的心得整理一下。

  1. 台灣的專利申請有 10 個請求項的限制,基本申請費就要 7,000元(10項),請求超過 10 項後每項加 800 元。超過 50 頁後每 50 頁再收 500 元。所以專利事務所有時會註記某些項目只在美國申請,台灣不申請。
  2. 專利事務所的收費通常以案計酬,所以有時他們會建議一個申請案按主打項目拆成兩案。這樣事務所花 1 份多的力氣就可以賺兩倍左右的錢。此時可能分案給兩個不同的審查員,他們口味可能不同,對我們來說也多一次挑戰的機會。當然,公司要用財力支持。
  3. 獲得專利後不用馬上繳錢,此時的法律狀態在 “領證中"。等到一定期限內 (台灣是 3 個月) 把第一年專利費給繳了,這個專利才正式公告。雖然這個動作不能偷偷延長專利有效期限,但是可以省利息。( 專利權的開始為公告日那天給予專利權;專利權的到期日是申請日起算20年(發明)屆滿。新型專利10年,設計專利15年。) [3]
  4. 專利申請可能被核駁 (駁回)。駁回後可以申訴,也就是要求再審查。再被核駁可以申請行政救濟。

基本上,專利事務所的人頭腦都滿不錯的。因為他們必須很快摸熟申請人的專業,我們若申請系統專利的案件,就要細心問出整套邏輯。如果申請元件專利,那專利工程師還得懂電子、電磁、電路。另外還要有人懂美工。像我連 word 的標頭對齊都搞不太定,畫圖的框框也忽大忽小。這樣連申請推甄都會扣分,還好當年是考聯考。

對於發明人來說 (申請人是公司),建議就是想到一個 idea 就寫下來。然後儘快想個七成把握就先去公司註冊登記。通常我都是申請書寫好,老闆簽過之後,才會想到漏想這個、漏寫那個,然後半夜睡不著….怎麼沒想到可以用在哪裡!!! 然後事務所的人來訪談後,就會發現我跟申請書上講得有點不一樣, 感覺奧客錢難賺…

[REF]

  1. https://ppubs.uspto.gov/pubwebapp/
  2. https://topic.tipo.gov.tw/patents-tw/cp-783-872448-29025-101.html
  3. https://topic.tipo.gov.tw/patents-tw/lp-783-101.html
  4. https://www.tipo.gov.tw/tw/cp-56-802499-1c58f-1.html

DivX 專利小整理

DivX 有哪些專利呢? 到 USPTO 找了一下, 一共有 14 篇, 其中有兩篇是延伸自他們先前的專利.

專利字號 專利名稱 極簡摘要 生效日
8,510,303 Singular, collective and automated creation of a media guide for online content 可以對 user 觀看的內如打 tag, 然後送特定資料給 user. i.e. push 廣告之類的. 2013/8/13
8,472,792 Multimedia distribution system 一個多媒體檔案中有兩種 index, 第一種指到 video frame, 第二種指到一群 video frame. i.e. 做 trick play. 2013/6/25
8,301,793 Chunk header incorporating binary flags and correlated variable-length fields 一個多媒體播放系統, 檔案中有 pointer 指到下一塊 data 的位置, 使得檔案能夠依不同的方式播放, 而不會讓檔案大小明顯增加. 2012/10/30
8,289,338 Systems and methods for font file optimization for multimedia files 檔案系統中的字形檔 (font file) i.e. 字幕等等的儲存方式 2012/19/16
8,233,768 Hierarchical and reduced index structures for multimedia files 用 index 技巧保護 content 2012/7/31
8,201,264 Federated digital rights management scheme including trusted systems 聯邦式的 DRM 保護, 延伸 7,515,710 2012/6/12
8,139,651 Video deblocking filter deblock filter, 延伸 7,886,069 2013/3/20
7,886,069 Video distribution system including progressive playback 根據 user 的指令更新遠端的媒體播放內容 2011/2/8
7,729,426 Video deblocking filter deblock filter 2010/6/1
7,664,872 Media transfer protocol 從 server 到 CE device, 根據特性使用不同的 data rtae 傳輸 2010/2/16
7,519,274 File format for multiple track digital data 多個 track 的檔案格式 2009/4/14
7,515,710 Federated digital rights management scheme including trusted systems 聯邦式的 DRM 保護 2009/4/7

7,460,668

Optimized secure media playback control 不用連到外部電腦就能註冊的的播放控制系統. 2008/12/2
7,295,673 Method and system for securing compressed digital video 加密某些 video frame, 但不用加密 reference  到加密 frame 的 frame, 2007/11/13

雖然大家對於 DivX 的認知是一個 video format, 或是一個有 DRM 保護的片商. 但是它主要的專利在於檔案格式, DRM, 以及 de-blocking. 真正和 video 播放有關的專利, 倒是付之闕如. 最有趣的是, 在專利  7,519,274 當中, 它以具體實施例偷渡了這麼幾段話:

DETAILED DESCRIPTION OF VARIOUS EMBODIMENTS 

In accordance with the present invention, the version of the video codec used in AVI files is signaled by the FourCC code in the fccHandler field or member of the AVISTREAMHEADER of the corresponding stream header `strh` chunks, and the FourCC code bicompression field or member in the BITMAPINFOHEADER of the corresponding `strf` chunks. 

By way of example, for videos encoded according to a codec developed by DivX Networks, Inc., 10350 Science Center Drive, Building 14, Suite 140, San Diego, Calif. 92121, the FourCC codes fccHandler in the stream header (`strh`) of the AVISTREAMHEADER is set to "divx" or "DIVX". Furthermore, the FourCC (DWORD) code biCompression in the BITMAPINFOHEADER of the corresponding `strf` chunks is set to signify the detailed codec version. 

Specifically by way of example, for version DivX 3.11, `div3` or `div4` is used in AVISTREAMHEADER, and `div3` or `div4` is used in BITMAPINFOHEADER; for version DivX 4.x, `divx` is used in AVISTREAMHEADER, and `divx` is used in BITMAPINFOHEADER; and for version DivX 5.x, `divx` is used in AVISTREAMHEADER, and `dx50` is used in BITMAPINFOHEADER. 

By now it should be appreciated that a file format for storing digital data with a high compression rate has been described. A file format in accordance with the present invention is compatible with high level data compressing algorithms, such as MPEG-4. Its data compression ratio is about six to ten times higher than a standard DVD format. In accordance with the present invention, the file format is capable of storing data in multiple streams or tracks. The file format is also able to encode and archive video, audio, and text data on easily accessible streams or tracks. Furthermore, the file format is able to provide protection of the copyright of the digitized content

While the invention is susceptible to various modifications and alternative constructions, certain illustrated embodiments thereof have been described above in detail. It should be understood, however, that there is no intention to limit the invention to the specific form or forms disclosed, but on the contrary, the intention is to cover all modifications, alternative constructions, and equivalents falling within the spirit and scope of the invention. The present invention is limited only by the claims that follow. 

儘管 DivX 努力在不具備專利效力的章節裡面幫自己打廣告, 重申 DivX encoder 的優點,還是難掩它沒有主流 encoder 專利的缺憾.畢竟 encoder 做得再好, 還是要和 decoder 相容. 就以 7,519,274 這個專利來說,它只能在檔案格式上做文章.雖然專利名稱有 multi track, 但申請專利的人並沒有忘記把一個 track 的狀況包括進去.以他們的第一條 claim 來說.

1. A playback device configured to play data encoded in a multimedia file, comprising: a processor configured to read the multimedia file; wherein the multimedia file has at least one video track and includes a video stream descriptor list comprising: a video stream header chunk; a video stream format chunk following said video stream header chunk; and a video stream name chunk including a string indicating a video stream in said at least one video track; said video stream descriptor list further comprising a video stream header data chunk in response to said at least one video track being a digital rights management (DRM) protected video, said video stream header data chunk following said video stream format chunk in said video stream descriptor list; said video stream header data chunk in said video stream descriptor list including a DRM information data block comprising: a first member specifying a version of the DRM; and a second member specifying a protection of the DRM said DRM information data block in said video stream header data chunk having a data structure defined as: TABLE-US-00020 typedef _DRMinfo { WORD wVersion; STR sDRMinfo; } DRMINFO. 

看了雖然很眼花, 但簡單講就是: 多媒體檔案在 video stream descriptor 裡面有至少一個 video track, track 裡面有 video stream descriptor. 其中又有 video stream header chunk, format chunk, name chunk, data chunk, format chunk. 在 data chunk 裡面有 DRM revision 和 DRM information data chunk.

以我的認知是, 如果只有一個 track, 而且不受 DRM 保護, 就不受這一條的限制 – 因為那樣把所有傳統的檔案都包括進去了.為了防堵那些不用 track 為單位的檔案, 本專利在 claim 42 強調包含 multiple chapter. 而 claim 43 涵蓋只有一個 chapter, 但是有多個 data chunk 的狀況. claim 45 規範有 subtitle 檔案, claim 46 則規範有 subtitle, 但分成多個 data chunk 的狀況. claim 48 又把前述的 subtile 狀況, 加上有 DRM 時的例子…, 目標很顯然就是想一網打盡, 能想的都想了…從這個角度來看, 還真是滿厲害的.

 

UIBC 小註解

UIBC 是指 User Input Back Channel, 用在 WIFI Display 的情境之下. 由於顯示裝置 (AV sink device) 和發送裝置 (AV source device) 只能透過無線傳輸, 所以從顯示裝置反過來操作發送裝置的話, 就叫做 UIBC.

上圖中的示意圖, 左邊的 310 可以換成平板或是手機 (410), 右邊可以換成筆電 (420). 不過手機一定是拿在手上, 自己控制自己就好啦!哪需要用到 UIBC?非也! Samsung 申請了個討厭的專利, 連筆電控制手機都納入了專利的範圍, 還好它在 2010/11/2 申請到現在還沒過.

UIBC Patent2

這個專利的摘要說:A method and apparatus for providing a user input back channel (UIBC) in an audio/video (AV) source device and an AV sink device communicating according to a wireless fidelity (Wi-Fi) display (WFD) standard is provided. The method includes: setting up an AV control session and an AV data session between the AV source devices according to the WFD standards; enabling the UIBC from the AV sink device to the AV source device by using the AV control session; and transmitting a user input from the AV sink device to the AV source device through the UIBC.

讓我們拭目以待, 看看拿了 20 個美國專利的 LEE; Jae-min, 和 11 個專利的 NA; Il-ju 這次是否能夠得逞.