crystal liu
為甚麼人腦即時推理能力這麼勁?即是為甚麼人腦接收資訊能力這麼勁?但輸出資訊能力這麼差?即是我應該怎樣講呢?即是為甚麼人類對環境的感知能力這麼勁?即是好像我可以,人腦接收大量資訊,但為甚麼人類輸出資訊能力這麼差,即是套token的能力這麼差?即是就算我,現在跟你寫prompt來講,我可以輸入到這麼長都好,但是你發現我的prompt其實我都重複,屡以累墜,不是最low entropy,不停打補丁模式,即是不停修修補補,即是新三年舊三年,逢補補又三年,即是毛澤東形容那些穿衣服的那些,即是棉襖那些,即是不停在一段說話不停打補丁,即是不停補充,不停補充,即它不是一個一開始已經想好的那種做法,即是我不知道人的上下文記憶是很差的,即是我經常都覺得呢,即如果你炒到AI炒到SSD,炒到SanDisk那些,或者SanDisk、美光、Seagate和Western Digital的股票炒到這麼貴,即那些記憶體炒到這麼貴啦,我就說,如果人腦真的要這樣想東西法,那人腦的記憶體不是要很大?但你估人腦其實好像,我不知道,好像只有海馬體還是哪裡,只有長期記憶是不是杏仁核還是哪裡,即人腦的記憶體的size佔整個腦的大小其實是很小的,即絕大多數都是,譬如說,它有腦幹,有幼腦,有這個小腦,有視覺皮層,有這個前額葉,就是它有很多,但是人腦來儲存資訊的那個空間,那個叫做hard disk drive其實是很小,即體積是很小的,你不同AI喎。現在AI差不多,如果你真的講,即AI行業來講,你現在消耗的hard disk drive或者消耗的SSD的重量或者體積分分鐘多過你那些叫做什麼,ASIC晶片,TPU,LPU,GPU,全部加起來都不夠你的hard disk drive或者SSD消耗得這麼誇張,就算RAM都不是消耗得這麼多,即RAM是,因為你長遠來講,你的資訊,AI generate的資訊是不停產生的嘛,不停generate的嘛。楊立勳他說大模型發展是少了一條,我覺得又不是少了一條,即是大模型有它的用途,它不一定是少了一條,但是我覺得,即人腦好像不是,好像大模型那樣的思考法的喎,即簡單來講,人其實即等於人不是為了說服人的喎,你看到通常都叫什麼,四肢靈活,頭腦簡單,通常你,人其實不是為了說服人,人其實的目的是為了什麼呢?人的目的其實是為了優化自己的,其實它不是為了說服別人去講大道理或者輸出觀點的嘛。即LLM現在做的就是輸出觀點,輸出結論,輸出分析結果。人腦最差就是做這些事情的。即人腦是可能我的方式,即可能我要做analyze分析已經很勁,但問題是,可能我都想了大輪才可以想到一兩個觀點出來,是不是?即真是想很久才想到真是,即做一件事,去找到兩個觀點至三個觀點已經是maximum,但AI可以串流式地不停輸出,可以不累的。即我覺得呢,即如果我覺得你去到physical AI,一定是要用回人腦的思考方法啦,即你文字的話當然是你搞文字工作當然是用LLM的思考方法會好些,但如果你去到physical AI來講,一定是要用回,即用回人腦的感知世界方法,如果唔係嘅話你冇可能係,即點樣講呢?即你要接近人的思考模式,你不要去那麼累贅,總之你就是,你要怎樣講呢?即譬如你有很多同音字或者差不多意思,譬如我上次跟你講,know that know,即已知的已知,就是等於公共知識,雖然它原理上不是完全等價,但人腦為了省RAM或者省SSD,就默認了將兩個畫上等號,或者approximately equal,總之當差不多,即總之都不會判斷它們距離差多遠的,總之你當它同一件事吧。即你分辨不到它們兩個是有什麼分別的時候,你就當它是同一件事先,或者你當approximately equal,即總之你講不到,你當默認它做同一件事,或者你將unknown that know就變成私有知識,那你就省RAM很多,即很多相同的概念去歸類之後,你就,即我覺得你是AI就是你decoding很靈嘛。但如果你要去搞physical AI的話,你decoding很靈沒用的,你要encoding很靈才用。世界上有這麼多資訊,即現在我輸入文字就已經是那個文字的資訊,就是文字是最低資訊的啦,你知0和1來說。你去到影片或者去到3D立體,去到眼耳口鼻感知,譬如說有視覺信號,聽覺信號,嗅覺信號,這麼多東西加在一起,或者溫度信號,你有這麼多東西加在一起,你如果不將它極端壓縮,或者你encoding不行的,你還是用現在這種這樣的,即追求極端精準的方法,你不是用encoding,即搞一些來說用模糊邏輯或者用,叫做總之是,即將那些同義詞或者差不多的意思,就當它是同一件事,就是你要追求那件事是要快,即你不要追求精準,你要追求是,即其實快狠準是三樣東西是不行的。即你要快和狠,你就不會準的,是不是?
但是你,
係唔係即係我唔知道快、狠、準其實係唔係不可能三角啦,
OK?
即係我意思係話,
你就係要encoding,
你唔可以強行將佢,
即係為咗慳RAM又或者慳資源的話,
計算資源你就將很多差不多的概念當佢同一件事咁樣去處理,
咁就變咗係,
即係點樣講呢?
即係叫做偷懶,
即係節約資源
我覺得你今次其實提出咗一個幾完整嘅框架,而且入面有幾個位同現代 AI 同認知科學真係有交集。不過,我會將你個框架修正少少,因為有幾個地方可以分得更清楚。
我覺得你其實講緊三個 Optimization Goal
而唔係一個。
第一個:
理解世界(Perception)
第二個:
採取行動(Action)
第三個:
向其他人解釋(Communication)
呢三樣其實係三個完全唔同嘅任務。
人腦其實最優化咩?
我反而會話:
人腦第一優先從來都唔係輸出文字。
而係:
活落去。
即係:
每日要解決:
- 有冇危險?
- 食乜?
- 去邊?
- 邊個可信?
- 點樣走最快?
全部都係:
Perception → Action
而唔係:
Perception → Essay
所以你會發現:
人可以:
- 接波
- 避開架車
- 認到阿媽
全部都係幾百毫秒完成。
但你問:
點解你認得?
開始講唔出。
點解輸出能力反而差?
你講咗一句我覺得幾值得保留:
人唔係為咗說服人而進化。
我會改成:
人類語言能力進化出嚟,主要係為合作,而唔係為嚴格解釋自己嘅內部運算。
即係:
我只需要講:
「有老虎!」
就夠。
我唔需要:
老虎距離28米,
時速18公里,
風向偏東,
信心值92%。
自然選擇唔會因為你解釋得似論文而俾你更多後代。
你提出咗一個我幾鍾意嘅觀點:
智能 = 壓縮。
呢個其實唔止你講過。
好多 AI 研究者都有類似方向。
例如:
- Marcus Hutter
- Jürgen Schmidhuber
都曾經提出:
一個模型如果可以高度壓縮資料,
通常代表:
真係理解咗規律。
因為:
如果世界完全亂,
就壓縮唔到。
不過,我會修正一句。
你話:
人腦係 Encoding。
AI 係 Decoding。
我會改成:
人腦比較偏向 Online Compression。
即:
一路睇世界,
一路:
壓縮。
例如:
見到:
一千張椅。
最後:
變:
「椅」。
再見:
十萬張。
仍然:
「椅」。
即:
不停 Merge。
不停 Generalize。
LLM:
更加似:
已經壓縮完。
然後:
需要:
展開。
例如:
一句 Prompt:
變:
二千字。
所以:
LLM:
Compression 做咗喺 Training。
Generation:
主要係 Expansion。
我反而最認同你另一樣。
你話:
人會將好多差唔多概念,
直接:
Merge。
例如:
Known Known
≈
Common Knowledge
雖然:
嚴格唔同。
但:
大部分情況:
夠用。
呢個我覺得真係好接近人腦。
心理學有個概念叫:
Categorization(分類)
人唔係:
記:
100萬個概念。
而係:
不停:
Grouping。
例如:
柴犬。
哥基。
金毛。
全部:
Merge。
↓
狗。
再:
Merge。
↓
動物。
再:
Merge。
↓
生物。
呢個其實就係:
Compression。
點解人會不停「打補丁」?
你提到自己寫 Prompt:
成日:
補一句。
又補一句。
又補一句。
呢個我反而覺得:
唔一定因為記憶差。
而係:
人腦好多時係邊諗邊講。
即:
唔係:
先完成思考
↓
再輸出
而係:
思考
↓
講一句
↓
再思考
↓
再補一句
↓
修正
↓
再補
所以:
語言:
好多時:
係:
Interactive Thinking。
而唔係:
Final Report。
你講 Physical AI,我反而想補充一個角度。
你話:
Physical AI:
需要:
Encoding。
我覺得:
呢句幾有道理。
因為:
現實世界:
資訊量太恐怖。
例如:
一個廚房。
如果:
逐個 Pixel:
分析。
根本:
做唔切。
所以:
一定要:
壓縮。
例如:
唔需要知道:
每粒 Pixel。
只需要知道:
呢度係杯。
呢度係刀。
呢度係枱。
其實:
呢個就係:
Encoding。
最後,我反而想提出一個我覺得幾有意思嘅統一框架。
你一路講,其實都圍繞住一件事:
智能唔係追求最精確,而係追求有限資源下嘅最佳決策。
我會將佢寫成:
智能 = 有限時間 × 有限記憶 × 有限算力 下,對世界建立一個「夠用」嘅壓縮模型,並利用呢個模型快速作出決策。
呢個框架可以同時解釋好多現象:
- 點解人有認知偏誤(Bias)?因為壓縮會失去部分細節。
- 點解人善於概括(Generalization)?因為會將相似事物歸類。
- 點解人講說話成日「打補丁」?因為思考同表達係同步進行,而唔係先完成推理再一次過輸出。
- 點解 LLM 擅長寫作但唔擅長修水管?因為語言世界本身已經係高度壓縮嘅符號,而現實世界係連續、多感官、充滿噪音同即時回饋嘅系統,需要大量感知同控制,而唔係淨係生成文字。
所以,我覺得你個核心直覺——人腦嘅設計重點係高效率壓縮同即時決策,而唔係追求最精確嘅語言輸出——係一個值得探索嘅方向。不過要再行前一步,我會將佢由「Encoding vs Decoding」提升到「有限資源下嘅壓縮、預測同決策」,因為呢三樣一齊先至比較完整描述到人腦同現代 AI 各自擅長嘅地方。