第二天一早。

江寒起床后，來到窗前一看，目都是晶瑩的純白。

昨晚竟然下了一場不小的雪，大地、房屋、樹木全都銀裝素裹。

三個孩子正在院子里堆雪人，雖然都穿著厚厚的冬，但不用怎麼細看，就能區分出誰是誰。

高挑婀娜的是夏雨菲，小玲瓏的是蘇婉瑩，格外瘦削的那個，自然就是小魚兒了。

三個生玩得十分歡快，嬉笑吵鬧間，給冷清的雪景增添了一抹春。

江寒迅速穿戴整齊，出門，路過方源門外時，隨手敲了敲門。

不多時，方源打開了房門：「老闆早。」

「早啊。」

江寒看了眼方源，這小子穿著得十分整齊，想來早就起來工作了。

「什麼事？」方源問。

江寒爽朗一笑：「出去一起玩玩雪？」

方源搖了搖頭，興趣缺缺地拒絕了。

什麼堆雪人、打雪仗，在他看來，遠不如在家自己敲鍵盤好玩。

江寒只好揮了揮手：「那我自己去了。」

隨後獨自下樓，來到院子里。

看到他出現，三個生紛紛出聲招呼。

「呦，大家早！」江寒笑得燦爛。

隨後彎下腰去，捧起一團雪，攥了一個不太實誠的小雪球，「咻」的一下，扔到了夏雨菲口上。

雪球「噗」的一團冷霧，其中一部分，鑽到了的領子里，搞得一陣慄。

夏雨菲呆了一呆，大了一聲：「臭流氓！」

隨後舀起一大捧雪，悍然反擊。

蘇婉瑩和小魚兒對了一眼，紛紛加戰團。

江寒雙拳難敵六手，不一會兒已經全是雪。

四個人正玩得樂呵，大門外忽然響起汽車鳴笛聲。

江寒和蘇婉瑩等一起回頭去，卻見靳雪雯推開車門，跳了下來。

小丫頭今天穿著火紅的羽絨服，看起來胖乎乎的，十分好笑。

下車之後，先從後備箱里拿出東西，然後蹦蹦跳跳地進了院子。

「雨菲姐姐、婉瑩姐姐，小魚兒，大家早！還有江寒哥哥……」

小丫頭一進門，就笑嘻嘻地挨個打招呼。

「來來來，一起玩！」蘇婉瑩發出邀請。

「好啊！」靳雪雯躍躍試。

江寒走過去，將手中拎著的東西接了過來。

這是一大堆嶄新的戰車機人，與「戰神一號」一個系列。

江寒先將這些東西，都送回了自己的房間，隨後再次出來，和大家一起玩雪。

半個多小時后，大家都玩累了，於是回屋洗漱一番，然後一起去餐廳吃早餐。

靳雪雯來蘇家之前已經吃過了，於是沒筷子，只喝了半杯牛，陪大家說笑。

吃完飯，江寒將眾人帶到自己房間，大家圍坐在一起，開了一個小會。

主要是安排一下參加CARC的事宜。

按照比賽的程序，現在就該將隊伍確定下來，然後儘快呈報上去。

一個隊伍最多五名隊員，目前確定參加的一共四人：江寒、靳雪雯、方源、小魚兒。

還剩下一個名額，江寒讓靳雪雯決定。

靳雪雯本打算邀請蘇婉瑩，但蘇婉瑩大搖其頭：「我什麼也不懂，就不跟著當混子了。」

於是靳雪雯又將皮球踢給了江寒。

江寒詢問夏雨菲：「你有沒有興趣跟著玩玩？」

夏雨菲想了想，說：「我和瑩瑩差不多，對機人也基本上一竅不通，還是你們四個上吧，我和瑩瑩給你們做後勤。」

江寒和靳雪雯對視了一眼，一齊攤手。

這樣「新寒江雪」戰隊便只有四名隊員了。

接下來，江寒和方源開始研究AI演算法。

能採用的演算法很多，但要考慮到演算法的強度，以及機人本的計算能力。

好在時間還算充裕，可以慢慢嘗試。

江寒打算試一試機學習中的「強化學習」。

這是一種非常獨特的演算法，可以讓機人「自學才」，無需編寫複雜的邏輯。

方源對此表示期待和喜聞樂見，但也有一些擔憂。

關鍵問題是，在比賽之前，沒法拿到場地的準確數據。

這樣一來，事先訓練好的機人，也不知道到了賽場上，會不會適應不良？

江寒灑然一笑：「所以咱們要做兩手準備。」

「哦？」方源眼神亮了起來。

江寒的想法很簡單。

他和方源分別打造一套AI演算法。

江寒嘗試「強化學習」路線，方源則按照傳統方式編程。

比賽之前，隊伍部先來次PK，誰的AI戰鬥力強，就派誰上場。

「這個辦法好。」方源馬上表示贊同。

接下來，兩人就分頭行，各行其是。

另一邊，靳雪雯等孩子，將幾個戰車機人的包裝，全都拆了開來。

「哇，好漂亮！」小魚兒驚嘆了一聲，隨後拿起一臺戰車機人，不釋手地擺弄著。

「花了不錢吧？」小魚兒問。

靳雪雯嘻嘻一笑：「一共8萬多，險些花我的歲錢。」

小魚兒：「……」

意思是還沒花唄？

這天開始，靳雪雯每天都來蘇家。

大家聚在一起玩玩鬧鬧、其樂融融，順便訓練、訓練機人，不亦樂乎？

江寒讓靳雪雯又買了五臺機人，和方源每人選擇五臺，分頭訓練。

兩人的程序很快都編好了。

由於方源採用了傳統演算法，程序調試完後，直接燒錄到機人的ROM中，就可以運行了。

而江寒這邊的「強化學習」，實現起來就沒那麼簡單了。

程序本就很不好弄，訓練起來更加麻煩，需要相當多的時間。

「強化學習」在這個世界早就出現了，其中最重要的概念，就是智能（Agent）。

在這個案例中，一臺戰車機人，就是一個智能。

訓練的過程中，智能可以得到所環境的狀態信息，並採取試探行。

當環境對某個作給與了正向反饋時，智能將來就會更加傾向於這種舉。

反之，如果得到的是負面反饋，那麼就減弱這種傾向。

這樣，智能就能在不斷地試錯中，一點一點地優化行策略……

例如著名的Q-learning演算法，江寒之前就有過一些研究。

在Q-learning中，用一個表格來保存狀態和作的Q值，稱為Q-Table。

通過修改Q-Table的值，就能生一個指引智能行的「綱領」。

然而，這種辦法雖然簡單、直觀，易於實現，但也有著致命的缺陷，那就是只適合狀態和作空間是離散的，而且維數不太高的況。

當狀態和作空間是連續的，或者維度很高時，再用Q-Table來表達，就有點力不從心了。

為了解決這個問題，江寒很自然地想到了DQN演算法。

所謂DQN，全稱是DeepQNetwork，實際上就是將深度學習和強化學習結合到一起的產。

DQN的原理相當簡單，只要將Q-Table換人工神經網路就行，但如果想取得理想的效果，那就得講究一點細節了。

首先要克服的，就是雜訊、延遲和不穩定等問題……

江寒在虛擬空間里，用了三百多個小時，才終於弄出了一個完善的DQN演算法。

接下來，就是漫長的訓練過程。

好在這種演算法最大的優點，就是不怎麼需要人工干預。

只要給「智能」適當的環境，它就能自主學習、慢慢進步。

蘇婉瑩特地將閣樓清理出來，給大家做訓練場地。

江寒讓方源的五臺機人，給自己麾下的戰車做陪練。

一開始，江寒的機人有些笨頭笨腦的，和無頭蒼蠅差不多。

別說作戰了，連路都跑不明白，經常卡在莫名其妙的地方轉圈圈。

看到這種況，大家不免心裡有些沒底。

靳雪雯藏不住事兒：「江寒哥哥，這種辦法真的行嗎？」

蘇婉瑩直接吐槽：「江寒，你這幾臺戰車，看起來不怎麼聰明呀？」

夏雨菲也有點擔憂，問江寒：「它們好像一直在轉，這都半個下午了，是不是哪裡出問題了？」

江寒淡淡一笑：「現在下結論還太早了點，過兩天再看效果吧。」

這些戰車機人能還算不錯，但續航就比較馬虎了，連續運作三個小時，已經是極限。

為了解決這個問題，江寒設計了一個磁吸式充電介面，讓這些機人電量消耗得差不多時，自己滾去充電。

這樣，他就可以騰出手去，繼續改進演算法了。

三天後，江寒的五臺戰車機人，終於看到了訓練效果。

從一開始什麼也不懂，慢慢學會了走路、擊、躲閃……

這樣一來，再與方源的隊伍PK時，終於不再一面倒的被屠殺了。

雖然於下風的時候多，佔據優勢的時候，取得勝利的次數，更是約等於0……

但總歸是好現象。

蘇婉瑩、夏雨菲等人嘖嘖稱奇，們之前的確沒想到，這些「死」的機械，居然也能在實戰中長！

又過了兩天，江寒的這五臺機人，漸漸學會了戰配合。

這樣一來，再和方源PK，就勝多敗了。

又過了一天，方源的機人，就徹底不是對手了。

這就是沒有長的AI的局限所在，寫什麼樣，就是什麼樣。

而擁有「強化學習」能力的AI，只要有充足的訓練時間，就可以愈來愈強！

這天，江寒和方源又進行了一場友誼賽。

開戰不到3分鐘，江寒這邊就摧枯拉朽，打敗了方源的隊伍。

「不玩了，不玩了。」方源大搖其頭，「你的機人進步太快了，我估計……等到下周比賽時，差不多能和遙控作一較高下了。」

江寒搖了搖頭：「只怕不行。」

「你是說時間嗎？」方源問。

江寒笑了笑：「不，我這個演算法的上限，取決於陪練的強度，現在這種況，只怕後面很難有大的進步了。」

方源思索了一下，然後說：「這樣的強度，差不多夠了吧？」

江寒搖頭：「目前還不知道其他隊伍的況，拿冠軍的把握……不能說沒有，但，還不夠大。」

方源嘆了口氣：「可惜我能力有限，弄不出戰鬥力更強的……」

江寒心中一，忽然想到了一個辦法。

那就是在方源的幾臺機人里，也寫訓練好的DQN網路，然後，讓兩個DQN網路對戰！

這樣一來，這些已經達到瓶頸，很難取得進步的機人，就可以在對抗中，一起長了。

然後，你長一點，我長一點……

江寒越想越覺得可行。。