文天祥的正氣歌 [1] 說："天地有正氣，雜然賦流形。" 這個 “流形" 就是 Manifold 的中文翻譯。後兩句 “下則為河嶽" 就是說一般人站在地球上，還以為地球是平的，"上則為日星" 就是抬頭一看，感到世界大到甚至不只是 3D。
正經地說，流形是一個局部看起來像歐幾里得空間（平坦的空間），但整體結構可能非常複雜且彎曲的拓樸空間。一張 1024×1024 的彩色照片，在數學上是一個高達 300 萬維度的空間，但「有意義的貓狗照片」只佔據這個 300 萬維空間裡一個極小的低維流形，不是每個空間中的值都有特殊意義。這種群聚就像是太陽系裡面的星球彼此靠得很"近"，若是出了太陽系，宇宙就顯得很稀疏，直到遇到其他星系。
對 AI 來說，世界模型充滿雜訊且計算量太大。模型會透過編碼器（Encoder），將高維的觀測數據「壓縮」並映射到一個低維度的潛在空間（Latent Space） 中。這個潛在空間本質上就是在捕捉數據所在的流形。一旦 AI 掌握了這個低維流形的潛在空間，它就能在這個平滑、連續的流形上做計算。這也可以解釋 transformer – encoder、decoder 為何會有用。
當初 DeepSeek 出來的時候，也用上了 latent space 壓縮的技術。我當時想，做完這個 lossy 的壓縮，雖然節省計算量，但是資訊丟掉就回不來了啊!? 因為那個 monent 我還沒有流形的觀念；如果有，我就不用緊張了。
在數學上，流形不一定可以微分。但是要訓練 AI ，就要計算梯度。因此我們只能假設它可以被微分，也就是要假裝它更平坦一點。因此就算真實的流形不可微，我們也得製造出一個可微分的流形。所謂 “人心惟危，道心惟微" [2]，人類明明知道會有危險的奇點 (
Singularity)，但是演算法只能讓它可微分。以目前 AI 強大的戰力來看，這個有意的忽略，似乎影響不大。
[REF]
Cash Chou's Blog 