如果說“知機”是單個的神經元,那麼“多層知機”就是將分散的神經元,連接了網絡。
在輸層和輸出層之間,再加若干層,每層若干個神經元。
然後每一層的每個神經元,與下一層的每個神經元,都通過權重參數建立起連接……
層與層之間,完全連接。
也就是說,第i層的任意一個神經元,一定與第i+1層的任意一個神經元相連。
這就是多層知機,簡稱MLP。
但僅僅簡單組合在一起,還不算真正的“人工神經網絡”,必須對“知機”的基本結構,做出一定的改進。
首先,必須加藏層,以增強模型的表達能力。
藏層可以有多層,層數越多,表達能力越強,但與此同時,也會增加模型的複雜度,導致計算量急遽增長。
其次,輸出層的神經元允許擁有多個輸出。
這樣模型就可以靈活地應用於各種分類迴歸,以及其他的機學習領域,比如降維、聚類等。
此外,還要對激活函數做出擴展……
前一篇“知機”論文中,主要使用的是階躍函數sign,雖然簡單易用,但是理能力有限。
因此神經網絡的激活函數,一般使用其他的非線函數。
備選的函數有很多:sigmoid函數,tanh函數,ReLU函數……
江寒逐一進行了分析。
通過使用多種能各異的激活函數,可以進一步增強神經網絡的表達能力。
對於二分類問題,只需要一個輸出神經元就夠了。
使用sigmoid作爲激活函數,來輸出一個0到1之間的數值,用來表示結果爲1的概率。
對於多類分類問題,一般在輸出層中,安排多個神經元,每個分類一個。
然後用softmax函數來預測每個分類的概率……
描述完結構之後,就可以討論一下“多層知機”的訓練了。
首先是MLP的訓練中,經典的前向傳播算法。
顧名思義,前向傳播就是從輸層開始,逐層計算加權和,直到算出輸出值。
每調整一次參數值,就需要重頭到尾重新計算一次。
這樣運算量是非常大的,如果沒有強大的件基礎,本無法支撐這種強度的訓練。
好在現在已經是2012年,計算機能已經足夠強悍。
前向傳播無疑是符合直覺的,缺陷就是運算量很大,訓練起來效率比較差。
與“知機”的訓練相比,MLP的訓練需要引損失函數和梯度的概念。
神經網絡的訓練,本質上是損失函數最小化的過程。
損失函數有許多種選擇,經典的方法有均方誤差、叉熵誤差等,各有特和利弊。
整個訓練過程是很清晰的。
先隨機初始化各層的權重和偏置,再以損失函數爲指針,通過數值微分求偏導的辦法,來計算各個參數的梯度。
然後沿著梯度方向,以預設的學習率,逐步調整權重和偏置,就能求得最優化的模型……
寫完這些就足夠了,再多的容,可以安排在下一篇文章裡。
不過,江寒想了想,覺得這篇論文的容,還是有點過於充實。
仔細琢磨了一下,乾脆將其一分爲二。
多層知機的結構和前向傳播的概述部分,單獨篇。
神經網絡訓練中,關於激活函數和損失函數討論的部分,再來一篇。
然後分開投稿,這樣不就可以多拿1個學點了?
反正學點又不看字數……
當然,這兩篇論文都必須以前一篇的知機爲基礎,分別進行闡述,而不能互爲前提、互相引用。
這樣就需要多點腦筋了。
江寒又花了一個多小時,纔將它們全都補充完整,並滿起來。
接下來校隊、潤一番後,翻譯英文,轉換PDF……
投稿的時候,江寒仔細琢磨了一下,在三區裡選了兩家方向對口的期刊,投了出去。
沒有選擇影響因子更大的二區或一區期刊。
因爲二區以上的期刊,雖然影響因子更高,發表後收穫的學點也多。
但發表難度太大,萬一被打回來,再重新投遞……
時間耽擱不起。
要知道,江寒只有三個月的時間。
一系列作下來,差不多就到了10點半。
江寒掉外,去洗了個澡,然後換上睡。
忙了一下午帶一晚上,直到這時才閒了下來。
然後他就想起了夏雨菲,也不知道下午過得好不好,開不開心?
一深切的思念,從心底涌出。
拿過手機,指紋解鎖。
這才發現,有好多條未讀微信。
寫論文的時候太投,本聽不到提示音。
點進夏雨菲的聊天界面,就看到了一排文字消息。
“在哪呢?”
“終於寫完作業了,好累啊。”
“你在忙什麼?”
“看來真的很忙,都沒時間看微信了。”
“先睡了,明天還要上學……”
……
除了第一條是放學時間發來的,後面幾條都來自10點之後,差不多5分鐘一條。
“這傻姑娘,我沒回復微信,也不說撥個電話或者語音通話……”
江寒嘆了口氣,發了個表圖過去。
夏雨菲很快就回復:“忙完了嗎?”
江寒微微一笑。
這個時間還沒睡,莫非在一直等著我回復?
前一陣天天哄上牀,不會已經養了習慣吧?
一天不哄,就睡不著……
“嗯,正準備休息,剛上牀。”江寒回覆。
夏雨菲:“那你趕休息吧,別太勞累了。”
江寒笑了笑,撥了個語音通話。
“喂?”夏雨菲秒接。
江寒聲音溫和:“想我了沒?”
“沒有。”
江寒微微一笑。
否認得這麼幹脆?
那就是想了。
孩子的話,有時候就得反著聽……
“想我你就打個電話,要不撥個語音通話,微信我有時不能及時看到。”江寒溫和地囑咐。
夏雨菲沉默了一小會兒,低聲說:“我擔心你在忙,別再耽誤了你的正事……”
江寒笑了笑:“你要是一直都這麼懂事,我可就有點捨不得欺負你了啊。”
夏雨菲臉一紅。
他所說的“欺負”,不知道到底是哪種“欺負”?
那自己以後,到底是應該始終這麼“懂事”,還是偶爾也“不懂事”一次呢?
“你在哪了?”夏雨菲不敢深想,就沒話找話。
“酒店裡。”江寒實話實說。
“嗯?”夏雨菲有點意外,“怎麼沒回寢室?”
“寢室裡有點鬧,我想專心研究點東西。”江寒回答。
“哪家酒店?”夏雨菲問。
“星河。”
“條件怎麼樣?”夏雨菲又問。
“還行。”江寒回答。
“你剛纔說什麼?”夏雨菲好像沒聽清楚。
“我說還行。”江寒稍微提高音量。
“什麼?”夏雨菲仍然沒有聽清。
“信號怎麼忽然變差了……”
那邊嘀咕了一聲,然後通話就突然中斷了。
江寒正打算重撥,一個視頻通話的邀請,忽然跳了出來。
視頻……
不會是學人家查崗吧?
有了百倍修煉速度是啥體驗? 你打了別人一巴掌。 基礎掌法圓滿,自動進階黃級下品掌法! 沒事走兩步。 基礎身法圓滿,自動進階黃級下品步法! 楚晨就是這樣,得到了百倍修煉系統,被這效果嚇的目瞪口呆。 “叮!你瞪大了雙眼,基礎目力圓滿,自動進階為千里眼!” ……… 有了這樣的系統,真是想怎麼牛批,就怎麼牛批!
蕭家廢物長子蕭凡被親弟弟打個半死送去和龍家醜八怪聯姻換取修煉資源卻意外啟用諸天至寶:周天星鬥圖每擊碎一顆星辰就能獲得其內的各種靈寶、靈石、靈藥、功法。龍象霸體訣鍛體逆天之路展開廢材贅婿逆天稱皇
我沒有,別人有的,直接拿來便可;什麼,那叫偷?怎麼能是偷呢?這叫拿。
站在你面前的是—— 神話制卡師、【天宮】俱樂部會長、【陰間】計劃發起人、仙神信仰流開創者、民俗系列祖師爺…… …… 紀年穿越卡牌世界,成爲了一名初出茅廬的見習制卡師。 又於無意中發現,這個世界的神話知識竟早已消失。 開局遭遇陰兵過境,爲求自保,他毫不猶豫打造出【白無常】,自此走上了一條打造華夏神話卡組、對異世界降維打擊的道路: 【赤地飛僵】、【詭異紅樓】、【閻羅王】爲世界獻上華夏式恐怖! 【少年沉香】、【邋遢老道】、【地藏王】引動仙佛氣運萬里長! 【落寶銅錢】、【釘頭七箭】、【赤霄劍】法寶神通驚世人。 【儺神戲面】、【金蠶蠱降】、【黃家仙】怪異禁忌亂人間。 若干年後,當裹挾著滅世之威的黑龍降臨東海,一個腕戴金鐲、身披紅綢的小孩從街邊燒烤店走了出來。 “無所謂,我會出手。” 他如是說。