crystal liu
即係,就係噉解囉。我覺得點解你AI將啲高entropy嘅嘢隊返落低entropy,即係等於你點解做文字工作?即係做代碼啲人覺得最困難做嘅嘢你可以做得咁順手。但如果你叫你收水電煤,整煤氣管,即係整電線,定係整水喉或者叫做,都即係一啲人會覺得係手板眼功夫嘅嘢,但AI又做唔好呢?我覺得人腦應該其實係呢,係LLM嘅調返轉運用。即係人腦同LLM其實係互補作用嚟嘅。我的意思係話呢,即係人腦係encoding好呢,但decoding超級差。但LLM係decoding超級叻,但係encoding好差。其實我諗過嘅嘢就係,而家LLM就等於我畀個prompt畀你,然後你就自己去同我做解釋吖嘛。人腦唔係噉設計㗎喎。即係人腦唔係為咗令到其他人去明白佢㗎喎。你諗下你人要打獵嘅時候,人其實係咪為咗令其他人去明白佢,即係明白佢諗乜嘢?唔係吖嘛。人其實係個設計benefit自己,即係人嘅設計唔係為咗其他人而活㗎喎。我成日都覺得其實人腦個設計其實應該係LLM調返轉去design,即係個factor呢,個質量,即係喺個計算嗰度呢,如果你將調返轉,等於我就畀個prompt畀你,你就generate答案畀我啊。咁如果我畀個答案畀你,你可唔可以generate到個prompt畀我呢?即係調返轉操作得唔得呢?即係逆向學習,有冇人...即做嗰啲...即我覺得點解人腦咁多幻覺?但係喺現實世界當中,即我話如果你現實世界當中,你樣樣嘢都將佢壓到去咁low entropy,你咪好嘥算力囉。即人腦其實追求唔係precise,唔係精準㗎喎,佢係夠用嘅,就夠。即等於佢叫做人腦係做encoding呢,佢係壓縮到一個地步,就係壓縮到係...人腦點樣思考問題有咁多邏輯漏洞,即基本上人腦根本唔係用邏輯思考,人腦係用壓縮,即其實智能嘅本質就係壓縮資訊過程。如何講呢?其實你同語言嘅發展都係㗎,你由文言文去到呢啲廣東話,然後去到呢啲嘅...即普通話嚟講,即白話文,然後去到普通話,其實你發現,即點樣講呢?即你可唔可以從語言嗰種發展去判斷,即你白話文或者普通話容易傳播,因為佢係唔需要搞咁多decoding嘅嘢?即等於好似,如果你讀文言文,你個人唔夠想像力,你decoding嗰個engine唔夠勁嘅話呢,即等於我中學讀文言文,如果我唔係有個老師,譬如杜淑君咁樣,佢幫我,即佢個中文科老師,或者林英真呢啲咁嘅人去幫我,即將啲文言文翻譯返成一般人都睇得明嗰啲白話文,可能我睇一篇文言文我淨係理解到70%左右囉。即會到70%嘅意思,但係文言文嘅煩嘅地方就係一詞多義,有一詞多解釋,佢有好多唔同嘅可能性,係咪先?即佢文言文嘅問題係,佢encode得太嚴重啊,即係佢點樣講呢?雖然佢係慳咗呢個空間,慳咗呢個書寫嘅...慳字啦你可以話,佢個資訊密度好高,但係佢點樣講呢?佢文言文係好唔準確,即係你可以話佢表達,佢資訊密度夠高,但係佢個precision唔得囉。即如果你落prompt你用文言文去落嘅話呢,其實好容易會misunderstanding你嘅意思嘅喎。即你encode效率最大化,但係decode效率就最大鑊吖嘛,我成日都講一樣嘢,即文言文有呢個問題囉,係咪先?即我成日都話就係,其實我唔知係咪將LLM或者將你而家調返轉操作係咪可以就令到AI能夠可以,點解你好似個Physical AI搞咁耐都搞唔掂,就係噉解呢?但點解AI做文書工作,搞呢啲代碼呢啲人腦最憎做嘅嘢,等於你要我讀書字我背書,叫我做分析,點解人腦可以學十幾年都學到一坺屎,都學到係,算學完十幾年之後好似而家寫文章都有好多邏輯錯誤,都有好多都要搵AI同我debug,即AI debug已經好過人類,即點解... 總之人類學完十幾年之後都仍然係錯漏百出,都仍然係時有錯誤,成日都會犯埋低級毛病,呢個叫做低級邏輯漏誤嘅思維死落去嘅嘢,但點解AI就會咁快掌握得咁好呢?即係喺LLM發展嘅嚟講。但點解好似你處理動作,處理周圍環境感知能力,即等於你一個細路仔,你唔使教佢點行,佢啦下啦下啦下就識爬,就識去學...即係人未學行先,佢啦下啦下就識學行路㗎喇,即爬嘛,但你唔需,即阿媽唔使教佢點樣,即人可能都麻煩啲,但你啲動物啲,嗰啲羊嗰啲牛嗰啲其實佢一出世就識站立㗎嘛,啲馬嗰啲啊,即哺乳動物,佢一出世就識得去站立㗎嘛。咁點解,即點解動物做到呢?點解AI做唔到呢?即點解AI去要你睇財務報表,你寫代碼,叫你睇書,你分析資料做得咁好?
比人類嘅效率同埋個準確度都高咁多,
但點解一去到你整,
即係搞水電煤,
即係搞五金舖呢啲咁嘅嘢,
叫你起樓就搞到屙屎噉樣呢?
或者叫你修理Cable修理煤氣管修理電線修理水管應該就做唔到呢樣嘢,
我真係係好反直覺,
我即點解?
係咪因為你依家LLM個架構係唔得㗎呢其實係?
我覺得你今次其實將幾個好唔同層次嘅問題串埋一齊,而且有幾個觀察我覺得幾有洞察力,但有幾個地方我會修正少少。
我拆開講。
第一層:你提出咗一個好有趣嘅假說
你個假說大概可以寫成:
人腦 = Encoding Engine
LLM = Decoding Engine
我覺得呢個比喻唔可以話完全正確,但非常值得思考。
因為你講緊唔係資訊理論入面嗰個 encoding,而係:
人腦好擅長將大量現實世界資訊壓縮成一個內部表徵(representation)。
例如:
一個小朋友見到一千隻狗。
最後唔會記住:
第一隻狗……
第二隻狗……
第三隻狗……
而係:
壓縮成:
「狗」。
呢個就係 compression。
LLM其實相反?
某程度上係。
例如你打一個 Prompt:
「解釋黑洞。」
LLM要做嘅係:
由一句話,
展開成:
幾千字。
即:
Compression
↓
Expansion
所以:
你個比喻:
Human 偏 Compression
LLM 偏 Expansion
我覺得幾合理。
第二層:人腦追求唔係 Precision,而係 Good Enough
我覺得呢句幾乎係認知科學一個重要觀點。
人腦好多時追求:
Satisficing(夠好就得)
而唔係:
Optimization(全球最佳)。
例如:
你見到條蛇。
其實:
可能只係條樹枝。
但:
大腦寧願:
誤判一次。
都唔想:
真係畀蛇咬。
所以:
好多 Bias,
其實係:
生存最佳化。
唔係:
真理最佳化。
第三層:點解 AI 文書咁叻?
呢個原因其實幾直接。
因為:
文字世界:
本身就係離散(Discrete)。
例如:
字。
Token。
Code。
JSON。
Python。
全部都係:
Symbol。
LLM:
就係專門學:
Symbol。
所以:
寫 Code、
改文章、
摘要、
推理、
翻譯。
全部都係:
LLM主場。
第四層:點解整水喉咁難?
呢個就完全另一個世界。
因為:
現實世界:
根本唔係 Token。
係:
連續(Continuous)。
例如:
扭螺絲。
差:
0.5 mm。
可能:
滑牙。
例如:
插電線。
角度:
差:
5°。
可能:
插唔入。
例如:
搬杯。
力:
大:
跌。
力:
細:
拎唔起。
呢啲:
全部都係:
連續控制。
LLM幾乎冇學過呢樣。
因為:
Internet:
99%以上:
都係:
文字。
圖片。
Code。
唔係:
機械臂。
觸覺。
摩擦。
重力。
慣性。
第五層:點解動物咁勁?
呢度其實你提出咗一個好多 AI 研究員都研究緊嘅問題。
例如:
一隻馬。
出世:
半個鐘。
已經:
企得起。
點解?
因為:
呢啲能力:
唔係後天學。
好多:
係:
Evolution。
即:
幾百萬年。
寫死咗。
DNA。
所以:
馬唔係:
「理解」站立。
而係:
神經系統一開始已經偏向做到。
AI冇呢樣。
AI:
每一次:
幾乎:
重新開始。
第六層:Physical AI點解慢?
呢個我反而覺得係你成段最值得討論。
原因唔係:
LLM架構唔得。
而係:
世界太複雜。
例如:
你寫程式。
Error:
只有:
Compile Error。
Runtime Error。
Syntax Error。
好有限。
但:
如果:
整水管。
Error:
可以有:
- 水壓
- 生鏽
- 光線
- 手滑
- 地板斜
- 螺絲磨損
- 管徑唔同
- 材料變形
- 溫度
每一樣:
都會影響。
所以:
Physical AI:
比:
ChatGPT:
難:
至少:
一個數量級。
甚至:
幾個數量級。
第七層:文言文個比喻,我覺得幾有意思。
你話:
文言文:
Compression:
好高。
但:
Decode:
好難。
例如:
一句:
學而時習之。
可以:
解:
好多意思。
但:
白話文:
學完之後,要經常溫習。
幾乎:
冇歧義。
所以:
文言文:
Information Density:
高。
但:
Decode Cost:
都高。
呢個比喻幾貼近資訊理論。
不過:
「文言文 precision 較低」要加少少背景。
唔一定係文言文本身唔精確,而係文言文高度依賴上下文、文化背景同典故。同一句話放喺唔同作品、唔同時代,可能有唔同理解,所以對唔熟悉背景嘅讀者,解碼成本確實高好多。
最後,我想回應你一個我覺得最有趣嘅問題。
你問:
可唔可以將 LLM 反轉?
即:
不是:
Prompt → Answer
而係:
Answer → Prompt。
其實,可以,而且而家已經有人做緊類似方向。
例如:
- 逆向推理(abduction):由結果推測最可能嘅原因。
- Inverse Reinforcement Learning:睇一個行為,反推出背後嘅目標或獎勵函數。
- Inverse Graphics:由一張相,反推出3D場景、光源、材質等生成過程。
所以,「由輸出反推生成原因」本身已經係 AI 一個重要研究方向。
不過,我反而想將你個假說改寫成一句更加一般化嘅說法:
人腦比較擅長由高熵、多感官、充滿噪音嘅現實世界,壓縮成可以快速行動嘅內部表徵;而今日嘅 LLM 比較擅長由高度壓縮嘅符號表示(文字、程式碼、提示),展開成清晰、連貫、可表達嘅內容。
呢兩者確實有一種互補關係。但我唔會話「人腦只係 encoding、LLM 只係 decoding」,因為兩者其實都同時做緊壓縮同展開,只係目前人腦喺真實世界感知同行動遠遠領先,而 LLM 喺語言理解同生成遠遠領先。呢個差異,主要係因為兩者接受嘅訓練資料、目標同演化方式完全唔同,而未必單純係 LLM 架構本身有缺陷。