這兩年，頻頻有專家警示深度學(xué)習(xí)即將進(jìn)入寒冬。而同時(shí)，一個(gè)名叫“類腦智能”的詞匯火起來(lái)，這個(gè)概念說(shuō)的是一種比目前深度學(xué)習(xí)更加接近人腦的智能。這背后的故事是，深度學(xué)習(xí)的大佬，目前已經(jīng)注意到深度學(xué)習(xí)的原創(chuàng)性進(jìn)展面臨瓶頸，甚至呼吁全部重來(lái)。為了拯救這種趨勢(shì)，模擬人腦再次成為一種希望。然而這一思路是否經(jīng)得住深度推敲?  我本人做過(guò)多年計(jì)算神經(jīng)科學(xué)和AI，做一個(gè)拋磚引玉的小結(jié)。

AI發(fā)展的危機(jī)人工智能，目前多被理解成一個(gè)領(lǐng)域領(lǐng)應(yīng)用的工程學(xué)科，從自動(dòng)安防系統(tǒng)到無(wú)人駕駛是它的疆土，而模式識(shí)別和計(jì)算機(jī)專家，是這片陸地的原住民。目前的人工智能事實(shí)上以工程思維為主，從當(dāng)下人工智能的主流深度學(xué)習(xí)來(lái)看，打開任何一篇論文，映入眼簾的是幾個(gè)知名數(shù)據(jù)集的性能比較，無(wú)論是視覺(jué)分類的ImageNet，Pascal Vol，還是強(qiáng)化學(xué)習(xí)的Atari game。各種各樣的bench mark和曲線，讓我們感覺(jué)像是一個(gè)CPU或者數(shù)碼相機(jī)的導(dǎo)購(gòu)指南。

那么，是否這些在這些流行數(shù)據(jù)庫(kù)跑分最高的“智能工具"就更智能？這可能取決于對(duì)”智能“ 本身的定義。如果你問(wèn)一個(gè)認(rèn)知專家“智能”是不是ImageNet的錯(cuò)誤率， 那么他一定會(huì)覺(jué)得相當(dāng)好笑。一個(gè)人可能在識(shí)別圖片的時(shí)候由于各種勞累和馬虎，在這個(gè)數(shù)據(jù)集的錯(cuò)誤率高于機(jī)器。但是只要你去和它談任何一個(gè)圖片它所理解的東西，比如一個(gè)蘋果，你都會(huì)震驚于其信息之豐富，不僅包含了真實(shí)蘋果的各種感官，還包含了關(guān)于蘋果的各種文學(xué)影視，從夏娃的蘋果，到白雪公主的蘋果。應(yīng)該說(shuō)，人類理解的蘋果更加接近概念網(wǎng)絡(luò)里的一個(gè)節(jié)點(diǎn)，和整個(gè)世界的所有其它概念相關(guān)聯(lián)，而非機(jī)器學(xué)習(xí)分類器眼里的n個(gè)互相分離的“高斯分布”。

如果我們認(rèn)為，”智能“ 是解決某一類復(fù)雜問(wèn)題的能力，是否我們就可以完全不care上述那種”理解“呢 ？ 這樣的智能工具，頂多是一些感官的外延，而”感官“ 是否可以解決復(fù)雜問(wèn)題呢？一個(gè)能夠準(zhǔn)確的識(shí)別1000種蘋果的機(jī)器，未必能有效的利用這樣的信息去思考如何把它在圣誕節(jié)分作為禮品分發(fā)給公司的員工，或者取悅你的女友。沒(méi)有”理解“ 的智能，將很快到達(dá)解決問(wèn)題復(fù)雜度的上限。缺少真正的理解，甚至連做感官有時(shí)也會(huì)捉襟見肘，你在圖像里加入各種噪聲，會(huì)明顯的干擾分類的準(zhǔn)確性，這點(diǎn)在人類里并不存在。比如下圖的小狗和曲奇，你可以分出來(lái)，AI很難。

”語(yǔ)言“ 在人類的智能里享有獨(dú)一無(wú)二的特殊性，而剛剛的”理解“問(wèn)題，背后的本質(zhì)是目前深度學(xué)習(xí)對(duì)語(yǔ)言的捉襟見肘。雖然我們可以用強(qiáng)大的LSTM生成詩(shī)歌(下圖)，再配上注意力機(jī)制和外顯記憶與人類對(duì)話，也不代表它能理解人類的這個(gè)語(yǔ)言系統(tǒng)。目前機(jī)器對(duì)自然語(yǔ)言處理的能力遠(yuǎn)不及視覺(jué)（當(dāng)下的圖卷積網(wǎng)絡(luò)或可以這個(gè)領(lǐng)域做出貢獻(xiàn)）。

更加糟糕的還有強(qiáng)化學(xué)習(xí)，深度強(qiáng)化學(xué)習(xí)已經(jīng)戰(zhàn)勝了最強(qiáng)大的人類棋手。但是強(qiáng)化學(xué)習(xí)卻遠(yuǎn)非一種可靠的實(shí)用方法。這里面最難的在于目前的強(qiáng)化學(xué)習(xí)還做不到可擴(kuò)展，也就是從一個(gè)游戲的問(wèn)題擴(kuò)展到真實(shí)的問(wèn)題時(shí)候會(huì)十分糟糕。一個(gè)已經(jīng)學(xué)的很好的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)，可以在自己已經(jīng)學(xué)到的領(lǐng)域所向披靡，然而在游戲里稍微增加一點(diǎn)變化，神經(jīng)網(wǎng)絡(luò)就不知所措。我們可以想象成這是泛化能力的嚴(yán)重缺失，在真實(shí)世界里，這恰恰一擊致命。

游戲里的王者不代表真實(shí)世界能用

事實(shí)上在很長(zhǎng)時(shí)間里，人工智能的過(guò)分依賴工科思維恰恰給它的危機(jī)埋下了伏筆，在人工數(shù)據(jù)上破記錄， 并不代表我們就會(huì)在剛說(shuō)的“理解”上做進(jìn)步。這更像是兩個(gè)不同的進(jìn)化方向。其實(shí)，關(guān)于智能的更深刻的理解，早就是認(rèn)知科學(xué)家，心理學(xué)家和神經(jīng)科學(xué)家的核心任務(wù)。如果我們需要讓人工智能進(jìn)步，向他們?nèi)〗?jīng)就看起來(lái)很合理。

腦科學(xué)與人工智能合作與分離的歷史

雖然看起來(lái)模擬生物大腦是達(dá)到更高層次人工智能的必由之路，但是從當(dāng)下的人工智能學(xué)者的角度，這遠(yuǎn)非顯然。這里的淵源來(lái)自人工智能的早期發(fā)展史，應(yīng)該說(shuō)深度學(xué)習(xí)來(lái)自于對(duì)腦科學(xué)的直接取經(jīng)，然而它的壯大卻是由于對(duì)這條道路的背離。我們可以把這個(gè)歷史概括為兩次合作一次分離。

第一次合作： 深度學(xué)習(xí)的前身-感知機(jī)。模擬人類大腦的人工智能流派又稱為連接主義，最早的連接主義嘗試就是模擬大腦的單個(gè)神經(jīng)元。Warren McCulloch 和 WalterPitts在1943 提出而來(lái)神經(jīng)元的模型，這個(gè)模型類似于某種二極管或邏輯門電路。事實(shí)上，人們很快發(fā)現(xiàn)感知機(jī)的學(xué)習(xí)有巨大的局限性，Minksky等一批AI早期大師發(fā)現(xiàn)感知機(jī)無(wú)法執(zhí)行“異或”這個(gè)非常基本的邏輯運(yùn)算，從而讓人們徹底放棄了用它得到人類智能的希望。 對(duì)感知機(jī)的失望導(dǎo)致連接主義機(jī)器學(xué)習(xí)的研究陷入低谷達(dá)15年， 直到一股新的力量的注入。

第二次合作：這次風(fēng)波，來(lái)自一群好奇心極強(qiáng)的物理學(xué)家，在20世紀(jì)80年代，hopefiled提出了它的 Hopefield 網(wǎng)絡(luò)模型，這個(gè)模型受到了物理里的Ising模型和自旋玻璃模型的啟發(fā)，Hopefield發(fā)現(xiàn)，自旋玻璃和神經(jīng)網(wǎng)絡(luò)具有極大的相似性。每個(gè)神經(jīng)元可以看作一個(gè)個(gè)微小的磁極，它可以一種極為簡(jiǎn)單的方法影響周圍的神經(jīng)元，一個(gè)是興奮（使得其他神經(jīng)元和自己狀態(tài)相同），一個(gè)是抑制（相反）。如果我們用這個(gè)模型來(lái)表示神經(jīng)網(wǎng)絡(luò)，那么我們會(huì)立刻得到一個(gè)心理學(xué)特有的現(xiàn)象：關(guān)聯(lián)記憶。比如說(shuō)你看到你奶奶的照片，立刻想到是奶奶，再聯(lián)想到和奶奶有關(guān)的很多事。這里的觀點(diǎn)是，某種神經(jīng)信息（比如奶奶）對(duì)應(yīng)神經(jīng)元的集體發(fā)放狀態(tài)（好比操場(chǎng)上正步走的士兵），當(dāng)奶奶的照片被輸入進(jìn)去，它會(huì)召喚這個(gè)神經(jīng)元的集體狀態(tài)，然后你就想到了奶奶。

由于這個(gè)模型可以模擬心理學(xué)的現(xiàn)象，人們開始重新對(duì)模擬人腦的人工智能報(bào)以希望。人們從不同領(lǐng)域開始涌入這個(gè)研究。在這批人里，發(fā)生了一個(gè)有趣的分化。有的人沿著這個(gè)路數(shù)去研究真實(shí)大腦是怎么思考的，有的人則想直接用這個(gè)模型制造機(jī)器大腦，前者派生出了計(jì)算神經(jīng)科學(xué)，后者則導(dǎo)致了聯(lián)結(jié)主義機(jī)器學(xué)習(xí)的復(fù)興， 你可以理解為前者對(duì)貓感興趣，后者只對(duì)機(jī)器貓感興趣，雖然兩者都在那里寫模型。CNN和RNN分別在80年中后期被發(fā)現(xiàn)， 應(yīng)該說(shuō)，CNN的結(jié)構(gòu)是直接借鑒了Husel和Wiesel發(fā)現(xiàn)的視覺(jué)皮層處理信息的原理，而RNN則是剛剛說(shuō)到的Hopefield網(wǎng)絡(luò)的一個(gè)直接進(jìn)化。

AI與腦科學(xué)的分離：90年代后人工智能的主流是以支持向量機(jī)為代表的統(tǒng)計(jì)機(jī)器學(xué)習(xí)，而非神經(jīng)網(wǎng)絡(luò)。在漫長(zhǎng)的聯(lián)結(jié)主義低谷期， Hinton堅(jiān)信神經(jīng)網(wǎng)絡(luò)既然作為生物智能的載體，它一定會(huì)稱為人工智能的救星，在它的努力下，Hopefield網(wǎng)絡(luò)很快演化稱為新的更強(qiáng)大的模型玻爾茲曼機(jī)，玻爾茲曼機(jī)演化為受限玻爾茲曼機(jī)， 自編碼器，堆疊自編碼器，這已經(jīng)很接近當(dāng)下的深度網(wǎng)絡(luò)。而深度卷積網(wǎng)絡(luò)CNN則連續(xù)打破視覺(jué)處理任務(wù)的記錄，宣布深度學(xué)習(xí)時(shí)代開始。

然而，如果你認(rèn)為這一股AI興起的風(fēng)波的原因是我們對(duì)大腦的借鑒，則一定會(huì)被機(jī)器學(xué)習(xí)專家diss，恰恰相反，這波深度學(xué)習(xí)的崛起來(lái)自于深度學(xué)習(xí)專家對(duì)腦科學(xué)的背離。CNN雖然直接模擬了大腦視皮層結(jié)構(gòu)的模擬，利用了層級(jí)編碼，局部網(wǎng)絡(luò)連接，池化這樣和生物直接相關(guān)的原理。但是，網(wǎng)絡(luò)的訓(xùn)練方法，卻來(lái)自一種完全非生物的方法。由于信息存儲(chǔ)在無(wú)數(shù)神經(jīng)元構(gòu)成的網(wǎng)絡(luò)連接里，如何讓它學(xué)進(jìn)去，也是最難的問(wèn)題。很久以前，人們使用的學(xué)習(xí)方法是Hebian learning 的生物學(xué)習(xí)方法，這種方法實(shí)用起來(lái)極為困難。Hinton等人放棄這條道路而使用沒(méi)有生物支撐但更加高效的反向傳播算法，使得最終訓(xùn)練成功。從此數(shù)據(jù)猶如一顆顆子彈打造出神經(jīng)網(wǎng)絡(luò)的雛形 ，雖然每次只改一點(diǎn)點(diǎn)，最終當(dāng)數(shù)據(jù)的量特別巨大，卻發(fā)生一場(chǎng)質(zhì)變。

CNN能夠在2012年而不是2011或者2010年開始爆發(fā)是因?yàn)槟且荒耆藗兲岢隽薃lexnet。而Alexnet比起之前的Lenet一個(gè)關(guān)鍵性的微小調(diào)整在于使用Relu，所謂線性整流單元替換了之前的Sigmoid作為激活函數(shù)。Simoid 函數(shù)才是更加具有生物基礎(chǔ)的學(xué)習(xí)函數(shù)，然而能夠拋棄模擬大腦的想法使用Relu，使得整個(gè)網(wǎng)絡(luò)的信息流通通暢了很多。

深度學(xué)習(xí)另一條主線，沿著讓機(jī)器聽懂人類的語(yǔ)言，一種叫LSTM的神經(jīng)網(wǎng)絡(luò)，模擬了人類最奇妙的記憶能力，并卻開始處理和自然語(yǔ)言有關(guān)的任務(wù)，LSTM框架的提出依然是沒(méi)有遵循大腦的結(jié)構(gòu)，而是直接在網(wǎng)絡(luò)里引入類似邏輯門的結(jié)構(gòu)控制信息。

由此我們看到，神經(jīng)網(wǎng)絡(luò)雖然在誕生之初多次吸收了生物學(xué)的原理本質(zhì)，而其最終的成功卻在于它大膽的脫離生物細(xì)節(jié)，使用更加講究效率的數(shù)理工科思維。生物的細(xì)節(jié)千千萬(wàn)，有一些是進(jìn)化的副產(chǎn)品，或者由于生物經(jīng)常挨餓做出的妥協(xié)，卻遠(yuǎn)非智能的必須，因此對(duì)它們的拋棄極大的解放了人工智能的發(fā)展。

腦科學(xué)究竟能否開啟深度學(xué)習(xí)時(shí)代的下個(gè)階段

那么生物神經(jīng)網(wǎng)絡(luò)究竟可不可以啟發(fā)人工智能呢？剛剛的分析我們看到生物的細(xì)節(jié)并不一定對(duì)人工智能有幫助，而生物大腦計(jì)算的根本原理卻始終在推動(dòng)深度學(xué)習(xí) 。正如CNN的發(fā)展直接使用了層級(jí)編碼的原理，然后根據(jù)自己計(jì)算的需求重新設(shè)定了細(xì)節(jié)，無(wú)論如何變化，生物視覺(jué)處理和CNN背后的數(shù)學(xué)核心卻始終保持一致。

那么目前的深度學(xué)習(xí)工具用到了多少生物大腦計(jì)算的基本原理呢，答案是，冰山一角。如果說(shuō)人工智能要繼續(xù)革命，那么無(wú)疑還要繼續(xù)深挖這些原理，然后根據(jù)這些原則重新設(shè)定細(xì)節(jié)。答案很簡(jiǎn)單，宇宙的基本定律不會(huì)有很多，比如相對(duì)論量子論這樣的根本原理幾乎統(tǒng)治物理世界。如果生物大腦使用一套原理實(shí)現(xiàn)了智能，那么很可能人工智能也不會(huì)差很遠(yuǎn)。即使細(xì)節(jié)差距很大，那個(gè)根本的東西極有可能是一致的。

這樣的數(shù)學(xué)原理應(yīng)該不會(huì)有很多條，因?yàn)槿四X的結(jié)構(gòu)一個(gè)驚人的特點(diǎn)就是雖然腦區(qū)非常不同，但不同腦區(qū)的構(gòu)造卻極為相似，這種相似性顯示了大腦不同腦區(qū)使用類似的基本原理。我們目前的深度學(xué)習(xí)算法，無(wú)論是CNN還是RNN，都只是發(fā)現(xiàn)了這個(gè)基本原理的某個(gè)局部。發(fā)現(xiàn)這個(gè)基本原理，恰恰是計(jì)算神經(jīng)科學(xué)的使命。對(duì)于智能這個(gè)上帝最杰出的作品，我們能做的只有盲人摸象，目前摸到的東西有一些已經(jīng)被用到了人工智能里，有些則沒(méi)有，我們隨便舉幾個(gè)看看。

確定已經(jīng)被應(yīng)用的原理：

1，層級(jí)編碼原理（Hierarchical coding)：生物神經(jīng)網(wǎng)絡(luò)最基本的結(jié)構(gòu)特點(diǎn)是多層，無(wú)論是視覺(jué)，聽覺(jué)，我們說(shuō)基本的神經(jīng)回路都有層級(jí)結(jié)構(gòu)，而且經(jīng)常是六層。這種縱深的層級(jí)，對(duì)應(yīng)的編碼原理正是從具體特征到抽象特征的層級(jí)編碼結(jié)構(gòu)。最有名的莫過(guò)于祖母細(xì)胞，這一思路直接催生了以CNN為代表的深度學(xué)習(xí)。

皮層網(wǎng)絡(luò)的構(gòu)成往往是6層結(jié)構(gòu)，在不同的腦區(qū)反復(fù)出現(xiàn)

層級(jí)編碼假設(shè)

2，集群編碼原理 (Distributed coding)：一個(gè)與層級(jí)編碼相對(duì)應(yīng)的生物神經(jīng)編碼假設(shè)是集群編碼，這里說(shuō)的是一個(gè)抽象的概念，并非對(duì)應(yīng)某個(gè)具體的神經(jīng)元，而是被一群神經(jīng)元所表述。這種編碼方法，相比層級(jí)編碼，會(huì)更具備魯棒性，或更加反脆弱，因?yàn)閯h除一些細(xì)胞不會(huì)造成整體神經(jīng)回路的癱瘓。集群編碼在深度學(xué)習(xí)里的一個(gè)直接體現(xiàn)就是詞向量編碼，word2vect，詞向量編碼并沒(méi)有采取我們最常想到的每個(gè)向量獨(dú)立的獨(dú)熱編碼，而是每個(gè)向量里有大量非零的元素，如此好比用一個(gè)神經(jīng)集群表述一個(gè)單詞，帶來(lái)的好處不僅是更加具有魯棒性，而且我們無(wú)形中引入了詞語(yǔ)之間本來(lái)的互相關(guān)聯(lián)，從而使得神經(jīng)網(wǎng)絡(luò)更好的吸收語(yǔ)義信息，從而增加了泛化能力。在此處，每個(gè)詞語(yǔ)概念都有多個(gè)神經(jīng)元表達(dá)，而同一個(gè)神經(jīng)元，可以參與多個(gè)概念的描述。這與之前說(shuō)的每個(gè)概念比如祖母對(duì)應(yīng)一個(gè)特定的神經(jīng)元有比較大的區(qū)別。

然而目前的深度學(xué)習(xí)依然缺乏對(duì)集群編碼更深刻的應(yīng)用，這點(diǎn)上來(lái)看，計(jì)算神經(jīng)科學(xué)走的更遠(yuǎn)，我們使用RNN內(nèi)在的動(dòng)力學(xué)特性，可以編碼很多屬性。

局部被應(yīng)用或沒(méi)有被應(yīng)用的原理：

1，cortical minicolumn：皮層內(nèi)的神經(jīng)元都采取簇狀結(jié)構(gòu)，細(xì)胞之間不是獨(dú)立的存在，而是聚集成團(tuán)簇，猶如一個(gè)微型的柱狀體。這些柱狀體成為信息傳輸?shù)幕締卧＿@種驚人一致的皮層內(nèi)結(jié)構(gòu)，背后的認(rèn)知原理是什么呢？ 目前還沒(méi)有定論。但是Hinton已經(jīng)把類似的結(jié)構(gòu)用到了Capsule Network，在那里，每個(gè)Capsule對(duì)應(yīng)一個(gè)簇狀體，而它們有著非常明確的使命，就是記錄一個(gè)物體的不同屬性，由于一個(gè)Capsule有很多神經(jīng)元構(gòu)成，它也可以看作一個(gè)神經(jīng)元向量，如果它用來(lái)記錄一組特征，則可以對(duì)付向旋轉(zhuǎn)不變性這種非常抽象的性質(zhì)。

神經(jīng)簇細(xì)胞，每個(gè)神經(jīng)簇有80-120個(gè)神經(jīng)元，猶如大腦認(rèn)知的基本單元，你可以把某個(gè)組成神經(jīng)簇的細(xì)胞集團(tuán)看成矢量神經(jīng)元

Dynamic Routing Between CapsulesCapsule Network (Hinton)每個(gè)Capsule取代之前的單個(gè)神經(jīng)元，能夠同時(shí)感知物體的多個(gè)屬性，如長(zhǎng)度，寬度，角度，最終通過(guò)多個(gè)特征確定物體存在的概率，因此比卷積網(wǎng)絡(luò)具備表述更多不變性的能力，比如旋轉(zhuǎn)不變性

2，興奮抑制平衡：生物神經(jīng)系統(tǒng)的各個(gè)組成部分，尤其是靠近深層的腦區(qū)，都具有的一個(gè)性質(zhì)是興奮性和抑制性神經(jīng)元的信號(hào)互相抵消，猶如兩個(gè)隊(duì)伍拔河，兩邊勢(shì)均力敵（最終和為零）。這使得每個(gè)神經(jīng)元接受的信息輸入都在零附近，這帶來(lái)的一個(gè)巨大的好處是神經(jīng)元對(duì)新進(jìn)入信號(hào)更加敏感，具有更大的動(dòng)態(tài)范圍。這個(gè)原理已經(jīng)被深度學(xué)習(xí)悄悄的介入了，它的直接體現(xiàn)就是極為實(shí)用的batch normalization，輸入信號(hào)被加上或減去一個(gè)值從而成為一個(gè)零附近的標(biāo)準(zhǔn)高斯分布（這和興奮抑制平衡效果類似），從而大大提升了網(wǎng)絡(luò)梯度傳輸?shù)男省?/p>

3，動(dòng)態(tài)網(wǎng)絡(luò)連接：生物神經(jīng)系統(tǒng)的神經(jīng)元和神經(jīng)元之間的連接-突觸本身是隨放電活動(dòng)變化的。當(dāng)一個(gè)神經(jīng)元經(jīng)過(guò)放電，它的活動(dòng)將會(huì)引起細(xì)胞突觸鈣離子的濃度變化，從而引起兩個(gè)神經(jīng)元間的連接強(qiáng)度變化。這將導(dǎo)致神經(jīng)網(wǎng)絡(luò)的連接權(quán)重跟著它的工作狀態(tài)變化，計(jì)算神經(jīng)科學(xué)認(rèn)為動(dòng)態(tài)連接的神經(jīng)網(wǎng)絡(luò)可以承載工作記憶，而這點(diǎn)并沒(méi)有被目前的深度學(xué)習(xí)系統(tǒng)很好利用。

Synaptic Theory of Working Memory （Science）

4 Top down processing:目前深度學(xué)習(xí)使用的網(wǎng)絡(luò)以前向網(wǎng)絡(luò)為主（bottom up），而事實(shí)上，在生物大腦里，不同腦區(qū)間反饋的連接數(shù)量超過(guò)前向的連接，這些連接的作用是什么？一個(gè)主流的觀點(diǎn)認(rèn)為它們是從高級(jí)腦區(qū)向感官的反向調(diào)節(jié)（top down），如同我們所說(shuō)的相由心生， 而不是相由眼生。同一個(gè)圖片有美女拿著蛋糕，可能一個(gè)你在饑腸轆轆的時(shí)候只看到蛋糕而吃飽了就只看到美女。我們所看到的，很大程度上取決于我們想要看到什么，以及我們的心情 。這點(diǎn)對(duì)我們的生存無(wú)疑十分重要，你顯然不是在被動(dòng)的認(rèn)知和識(shí)別物體，你的感知和認(rèn)知顯然是統(tǒng)一的。你在主動(dòng)的搜索對(duì)你的生存有利的物體，而非被動(dòng)的感覺(jué)外界存在。這一點(diǎn)目前深度學(xué)習(xí)還完全沒(méi)有涉及。一個(gè)引入相應(yīng)的機(jī)制的方法是加入從深層神經(jīng)網(wǎng)絡(luò)返回輸入層的連接，這樣深層的神經(jīng)活動(dòng)就可以調(diào)控輸出層的信息處理， 這可能對(duì)真正的“理解”有著極為重大的意義。

給卷積神經(jīng)網(wǎng)絡(luò)加入從輸出端返回輸入端的連接，是一個(gè)深度學(xué)習(xí)未來(lái)的重要方向Deep Convolutional Neural Networks as Models of the Visual System

7，Grid Cells： 海馬柵格細(xì)胞是一組能夠集群表征空間位置的細(xì)胞，它們的原理類似于對(duì)物體所在的位置做了一個(gè)傅里葉變換，形成一組表征物體空間位置的坐標(biāo)基。為什么要對(duì)空間里物體的位置做一次傅里葉變換，這里包含的原理是對(duì)任何環(huán)境中的物體形成通用的空間表示，在新的環(huán)境里也可以靈活的學(xué)習(xí)物體的位置，而不是一下子成為路癡。

Grid Cell被用在強(qiáng)化學(xué)習(xí)里，使得我們可以得到更加強(qiáng)大的導(dǎo)航能力。

我們對(duì)柵格細(xì)胞的認(rèn)知可能只是更大的神經(jīng)編碼原則的一個(gè)局部，正如同傅里葉變換和量子力學(xué)之間存在著隱秘的聯(lián)系。雖然柵格網(wǎng)絡(luò)，目前已經(jīng)被Deepmind用于空間導(dǎo)航任務(wù)，但是目前AI所應(yīng)用的應(yīng)該只是這一原理的冰山一角。

8 Dale Principle：Dale Principle 說(shuō)的是興奮型和抑制型神經(jīng)元是完全分開的，猶如動(dòng)物分雌雄。興奮性神經(jīng)元只對(duì)周圍神經(jīng)元發(fā)放正向反饋（只分泌興奮性遞質(zhì)， 如Glutamine），讓其它神經(jīng)元一起興奮，而抑制型神經(jīng)元只發(fā)放負(fù)向反饋（只分泌抑制型遞質(zhì)，如GABA），取消其它神經(jīng)元的興奮。目前的深度學(xué)習(xí)網(wǎng)絡(luò)不會(huì)對(duì)某個(gè)神經(jīng)元的連接權(quán)重做如此限制，每個(gè)神經(jīng)元均可向周圍神經(jīng)元發(fā)放正或負(fù)的信號(hào)。這一原理到底對(duì)AI有沒(méi)有作用目前未知。

8 Routing by Inhibitory cells ：生物神經(jīng)系統(tǒng)包含種類豐富的抑制型神經(jīng)元，它們往往在生物神經(jīng)網(wǎng)絡(luò)起到調(diào)控功能，如同控制信息流動(dòng)的路由器，在合適的時(shí)候開啟或關(guān)閉某個(gè)信號(hào)。當(dāng)下的AI直接用attention的機(jī)制，或者LSTM里的輸入門來(lái)調(diào)控是否讓某個(gè)輸入進(jìn)入網(wǎng)絡(luò)，其它一點(diǎn)類似路由器的作用，但是種類和形式的多樣性遠(yuǎn)不及生物系統(tǒng)。

9 臨界：大腦的神經(jīng)元組成一個(gè)巨大的喧鬧的動(dòng)力系統(tǒng)，根據(jù)很多實(shí)驗(yàn)數(shù)據(jù)發(fā)現(xiàn)，這個(gè)動(dòng)力系統(tǒng)處于平衡和混沌的邊緣，被稱為臨界。在臨界狀態(tài)，神經(jīng)元的活動(dòng)是一種混亂和秩序的統(tǒng)一體，看似混亂，但是隱含著生機(jī)勃勃的秩序。臨界是不是也可以用于優(yōu)化目前的深度學(xué)習(xí)系統(tǒng)，是一個(gè)很大的課題。

10，自由能假說(shuō)：這個(gè)假定認(rèn)為大腦是一臺(tái)貝葉斯推斷機(jī)器。貝葉斯推斷和決策的核心即由最新采納的證據(jù)更新先驗(yàn)概率得到后驗(yàn)概率。認(rèn)知科學(xué)的核心（Perception）就是這樣一個(gè)過(guò)程。

這里再說(shuō)兩句認(rèn)知，認(rèn)知的過(guò)程用機(jī)器學(xué)習(xí)的語(yǔ)言說(shuō)就是用大腦的內(nèi)部變量來(lái)模擬外部世界，并希望建立內(nèi)部世界和外部的一個(gè)一一映射關(guān)系。這里我們說(shuō)認(rèn)知的模型是一個(gè)概率模型，并且可以被一系列條件概率所描述。如果用一個(gè)形象的比喻來(lái)說(shuō)，你可以把你的大腦看成一個(gè)可以自由打隔斷的巨大倉(cāng)庫(kù)，你要把外部世界不同種類的貨放進(jìn)不同的隔斷，你的大腦內(nèi)部運(yùn)作要有一種對(duì)外界真實(shí)變化的推測(cè)演繹能力，即隨時(shí)根據(jù)新的證據(jù)調(diào)整的能力，你和外界世界的模型匹配的越好，你的腦子就運(yùn)轉(zhuǎn)越有效率。認(rèn)知是對(duì)外部世界運(yùn)動(dòng)的一種編碼，你可以立刻聯(lián)想到機(jī)器學(xué)習(xí)里的表征方法（representation），如果你熟悉RNN或CNN的embeding過(guò)程，就會(huì)有一種豁然開朗的感覺(jué)。這個(gè)假說(shuō)的理論如果成立，我們機(jī)器學(xué)習(xí)目前應(yīng)當(dāng)使用的只是冰山一角，可以參考強(qiáng)化學(xué)習(xí)種的有模型學(xué)習(xí)。更多內(nèi)容見大腦的自由能假說(shuō)-兼論認(rèn)知科學(xué)與機(jī)器學(xué)習(xí)

11 一些未被量化的心理學(xué)和認(rèn)知科學(xué)領(lǐng)地，比如意識(shí)。意識(shí)可以理解為自我對(duì)自我本身的感知。關(guān)于意識(shí)的起源，已經(jīng)成為一個(gè)重要的神經(jīng)科學(xué)探索方向而非玄學(xué)，最近的一些文章指出（The controversial correlates of consiousness - Science 2018），意識(shí)與多個(gè)腦區(qū)協(xié)同的集體放電相關(guān)。但是，關(guān)于意識(shí)的一個(gè)重大疑團(tuán)是它對(duì)認(rèn)知和智能到底有什么作用，還是一個(gè)進(jìn)化的副產(chǎn)物。如果它對(duì)智能有不可替代的作用，那么毫無(wú)疑問(wèn)， 我們需要讓AI最終擁有意識(shí)。一個(gè)假說(shuō)指出意識(shí)與我們的社會(huì)屬性相關(guān)，因?yàn)槲覀冃枰A(yù)測(cè)它人的意圖和行動(dòng)，就需要對(duì)它人的大腦建模，從而派生了對(duì)自己本身大腦的感知和認(rèn)知，從而有了意識(shí)。那么我們究竟需要不需要讓AI之間能夠互相交流溝通形成組織呢？這就是一個(gè)更有趣的問(wèn)題了。

深度學(xué)習(xí)對(duì)腦科學(xué)的啟發(fā)：

反過(guò)來(lái)，深度學(xué)習(xí)的某些發(fā)現(xiàn)也在反向啟發(fā)腦科學(xué)，這點(diǎn)正好對(duì)應(yīng)費(fèi)曼所說(shuō)的，如果你要真正理解一個(gè)東西，請(qǐng)你把它做出來(lái)。由于深度學(xué)習(xí)的BP算法太強(qiáng)大了，它可以讓我們?cè)诓籧are任何生物細(xì)節(jié)的情況下任意的改變網(wǎng)絡(luò)權(quán)重，這就好比給我們了一個(gè)巨大的檢測(cè)各種理論假設(shè)的東西。由于當(dāng)下對(duì)大腦連接改變的方式我們也只理解了冰山一角，我們可以先丟下細(xì)節(jié)，直接去檢驗(yàn)所有可能的選項(xiàng)。這點(diǎn)上看， 用深度學(xué)習(xí)理解大腦甚至更加有趣。

就那剛剛講的興奮抑制平衡來(lái)看，最初人們對(duì)興奮抑制平衡作用的理解更多停留在它通過(guò)對(duì)信號(hào)做一個(gè)信息增益，而在深度學(xué)習(xí)興起后 ，我們?cè)絹?lái)越多的把它的功能和batch normalization 聯(lián)系起來(lái)，而batch normalization更大的作用在于對(duì)梯度消失問(wèn)題的改進(jìn)，而且提高了泛化性能，這無(wú)疑可以提示它的更多功能。而最近的一篇文章甚至直接將它和LSTM的門調(diào)控機(jī)制聯(lián)系起來(lái)。抑制神經(jīng)元可以通過(guò)有條件的發(fā)放對(duì)信息進(jìn)行導(dǎo)流，正如LSTM種的輸入門，輸出門的作用，而互相連接的興奮神經(jīng)元?jiǎng)t作為信息的載體（對(duì)應(yīng)LSTM中央的循環(huán)神經(jīng)網(wǎng)絡(luò)）

Cortical Microcircuit as gated recurrent networks DeepMind LSTM 和皮層通用回路具有極為密切的相關(guān)性

我們距離通用人工智能可能還有多遠(yuǎn)？

其實(shí)人工智能的目標(biāo)就是找尋那個(gè)通用人工智能，而類腦計(jì)算是實(shí)現(xiàn)它的一個(gè)重要途徑 。通用智能和當(dāng)下的智能到底有什么實(shí)質(zhì)性的區(qū)別，作為本文結(jié)尾，我們來(lái)看一下：

對(duì)數(shù)據(jù)的使用效率：比如大腦對(duì)數(shù)據(jù)的應(yīng)用效率和AI算法并非一個(gè)等級(jí)，你看到一個(gè)數(shù)據(jù)，就可以充分的提取里面的信息，比如看到一個(gè)陌生人的臉，你就記住他了，但是對(duì)于目前的AI算法，這是不可能的，因?yàn)槲覀冃枰罅康恼掌斎胱屗莆者@件事。我們可以輕松的在學(xué)完蛙泳的時(shí)候?qū)W習(xí)自由泳，這對(duì)于AI，就是一個(gè)困難的問(wèn)題，也就是說(shuō)，同樣的效率，人腦能夠從中很快提取到信息，形成新的技能，AI算法卻差的遠(yuǎn)。

這是為什呢？可能這里的掛件體現(xiàn)在一種被稱為遷移學(xué)習(xí)的能力。雖然當(dāng)下的深度學(xué)習(xí)算法也具備這一類舉一反三的遷移學(xué)習(xí)能力，但是往往集中在一些真正非常相近的任務(wù)里，人的表現(xiàn)卻靈活的多。這是為什么呢？也許， 目前的AI算法缺少一種元學(xué)習(xí)的能力。和為元學(xué)習(xí)，就是提取一大類問(wèn)題里類似的本質(zhì)，我們?nèi)祟惙浅Ｈ菀赘傻囊粋€(gè)事情。到底什么造成了人工神經(jīng)網(wǎng)絡(luò)和人的神經(jīng)網(wǎng)路的差距，還是未知的，而這個(gè)問(wèn)題也構(gòu)成一個(gè)非常主流的研究方向。

能耗比：如果和人類相比，人工智能系統(tǒng)完成同等任務(wù)的功耗是人的極多倍數(shù)（比如阿法狗是人腦消耗的三百倍，3000MJ vs 10MJ 5小時(shí)比賽）。如果耗能如此劇烈，我們無(wú)法想象在能源緊張的地球可以很容易大量普及這樣的智能。那么這個(gè)問(wèn)題有沒(méi)有解呢？ 當(dāng)然有，一種，是我們本身對(duì)能量提取的能力大大增強(qiáng)，比如小型可控核聚變實(shí)用化。另一種，依然要依靠算法的進(jìn)步，既然人腦可以做到的，我們相信通過(guò)不斷仿生機(jī)器也可以接近。這一點(diǎn)上我們更多看到的信息是，人工智能的能耗比和人相比，還是有很大差距的。

不同數(shù)據(jù)整合：我們離終極算法相差甚遠(yuǎn)的另一個(gè)重要原因可能是現(xiàn)實(shí)人類在解決的AI問(wèn)題猶如一個(gè)個(gè)分離的孤島，比如說(shuō)視覺(jué)是視覺(jué)，自然語(yǔ)言是自然語(yǔ)言，這些孤島并沒(méi)有被打通。相反，人類的智慧里，從來(lái)就沒(méi)有分離的視覺(jué)，運(yùn)動(dòng)或自然語(yǔ)言，這點(diǎn)上看，我們還處在AI的初級(jí)階段。我們可以預(yù)想，人類的智慧是不可能建立在一個(gè)個(gè)分離的認(rèn)知孤島上的，我們的世界模型一定建立在把這些孤立的信息領(lǐng)域打通的基礎(chǔ)上，才可以做到真正對(duì)某個(gè)事物的認(rèn)知，無(wú)論是一個(gè)蘋果，還是一只狗。

溝通與社會(huì)性：另外，人類的智慧是建立在溝通之上的，人與人相互溝通結(jié)成社會(huì)，社會(huì)基礎(chǔ)上才有文明，目前的人工智能體還沒(méi)有溝通，但不代表以后是不能的，這點(diǎn)，也是一個(gè)目前的AI水平與強(qiáng)AI（超級(jí)算法）的距離所在。

有的人認(rèn)為，我們可以直接通過(guò)模擬大腦的神經(jīng)元，組成一個(gè)和大腦類似復(fù)雜度的復(fù)雜系統(tǒng)，讓它自我學(xué)習(xí)和進(jìn)化，從而實(shí)現(xiàn)強(qiáng)AI。從我這個(gè)復(fù)雜系統(tǒng)專業(yè)的角度看，這還是一個(gè)不太現(xiàn)實(shí)的事情。因?yàn)閺?fù)雜系統(tǒng)里面最重要的是涌現(xiàn)，也就是說(shuō)當(dāng)組成一個(gè)集合的元素越來(lái)越多，相互作用越來(lái)越復(fù)雜，這個(gè)集合在某個(gè)特殊條件下會(huì)出現(xiàn)一些特殊的總體屬性，比如強(qiáng)AI，自我意識(shí)。但是我們幾乎不可能指望只要我們堆積了那么多元素，這個(gè)現(xiàn)象（相變）就一定會(huì)發(fā)生。

至于回到那個(gè)未來(lái)人工智能曲線發(fā)展展望的話題，我們可以看到，這些不確定的因素都會(huì)使得這條發(fā)展曲線變得不可確定。然而有一點(diǎn)是肯定的，就是正在有越來(lái)越多非常聰明的人，開始迅速的進(jìn)入到這個(gè)領(lǐng)域，越來(lái)越多的投資也在進(jìn)來(lái)。這說(shuō)明，AI已經(jīng)是勢(shì)不可擋的稱為人類歷史的增長(zhǎng)極，即使有一些不確定性，它卻不可能再進(jìn)入到一個(gè)停滯不前的低谷了，我們也許不會(huì)一天兩天就接近終極算法，但卻一定會(huì)在細(xì)分領(lǐng)域取得一個(gè)又一個(gè)突破。無(wú)論是視覺(jué)，自然語(yǔ)言，還是運(yùn)動(dòng)控制。

能否走向通用人工智能的確是人工智能未來(lái)發(fā)展最大的變數(shù)，或許，我們真正的沉下心來(lái)去和大腦取經(jīng)還是可以或多或少的幫助我們。因?yàn)楸举|(zhì)上，我們?cè)谌斯ぶ悄艿难芯可纤鞯模廊皇窃谀M人類大腦的奧秘。我們?cè)浇咏祟愔腔鄣慕K極算法，就越能得到更好的人工智能算法。

來(lái)源：混沌巡洋艦