前幾周，很流行一個手機游戲，叫《家國夢》。我在手機上玩了一兩天後，發現了兩個問題：

1. 收貨收金幣太沒意思，只需要手指滑在固定的路線，一會兒就煩了

2. 怎麼追趕也追不上手快的人（當然也需要一定策略）

我剛玩這個游戲的時候，還能在好友里排名第一，但三四天後就落到了第三，真是比不過年輕人。。。

正好最近在研究LabVIEW裡面關於Vision的東西，就在想能不能寫個自動收貨收金幣的程式，能夠晚上臨睡前讓程式跑起來，早上起床時候紅包就可以收穫很多。說乾就乾！

框架設計

整體思路就是用圖像識別的演算法識別小火車上面是什麼貨物，然後把貨物運到對應的建築物那裡。

經過對截圖的研究，發現游戲有如下特點：

1. 小火車每次停留最長約90s，而且每次最多運3種貨物，每種貨物數量一般都在5個以內

2. 小火車上面的貨物會隨機掉落一些獎勵（後來我同事告訴我其實有策略的，但我也懶得去考慮了）

3. 點擊建築物可以收穫金幣，並且也會隨機掉落獎勵（紅包、藍星幣、貢獻值）

基於以上三點，就可以設計框架了。

1. 首先要有一個while loop一直在跑，這樣才能不停地自動收貨物收金幣，在這裡while loop設置成一次loop跑4s

2. 然後在while loop裡面要有這幾個模塊：採集圖像、識別目標、搬運貨物（收金幣）。

採集圖像

這裡我們用的是藍疊模擬器跑《家國夢》這個游戲，因為不需要真機，而且它也支持ADB，所以會很方便。

一開始我想的是，把Android模擬器開在桌面上，然後用LabVIEW對整個桌面截圖，再把游戲的那部分截圖摳出來。這樣我也嘗試去實現了，但是效果不大好，因為摳出來的游戲圖案部分，和Android模擬器的解析度不一樣，也就是說模擬器把顯示的大小做了壓縮。

所以我就乾脆直接用ADB截圖，截完圖傳到PC，然後再做分析。ADB截圖指令參考了這個帖子：https://www.cnblogs.com/guoguojiang/p/10347211.html

1. 用ADB發送截圖指令（adb shell screencap -p /sdcard/screen.png）

2. 用ADB指令把截圖傳到PC上（adb pull /sdcard/screen.png）

3. 用Vision里的API去打開本地的png文件，並準備傳給後續的圖像處理部分。整個代碼是這樣子的：

4. 刪除剛剛傳過來的圖片

識別目標

在LabVIEW的vision工具包里，有專門用於pattern matching的API，那麼我這裡選用了我之前用過的模板匹配的相關API。關於這個API也不細講，因為vision的工具包也自帶了例子，很容易就可以用起來，最簡單的使用流程就是先學習模板，然後再去識別目標圖中有沒有模板信息。

 1. 首先要截出不同的模板，把所有的特征部分圖案截取出來，另存為png文件。在這裡要註意的是，有些特征可能會隨機出現在三段車廂的任意一個車廂上，不同車廂模板的圖案略有不同，需要多截圖幾張在不同車廂的圖。

2. 整個演算法流程是，先load所有的模板（因為load+learn模板很慢，所以要先load好），然後對採集的圖像做幾何模板匹配，如果找到了模板的團，就把它滑動到對應的建築物那裡。如果沒有找到模板，那就收集建築物那裡的金幣。

在這裡有一些優化演算法的小辦法，例如設置ROI為小火車周圍的一小片區域，這樣索索範圍會大大減小。通過這種匹配演算法，就可以把貨物的坐標找到，傳給後面的搬運貨物模塊。在下圖的代碼里，輸入有十幾張模板圖，以及我們的游戲截圖；輸出的是檢測到的貨物position以及貨物的index，這是為了方便找到對應的建築物坐標（建築物坐標實現存儲好，可以認為是和index一一對應的hash-map）。在這裡認為score到了900分以上才是檢測到了模板（匹配的score在0-1000之間，越高表示匹配度越高）。

搬運貨物（收金幣）

 搬運貨物很簡單，既然拿到了貨物的坐標xy，以及對應建築物的坐標xy，那麼用類似如下的ADB的指令就可以了。

adb shell input swipe 250 250 300 300

在沒有找到貨物的時候，就可以去收金幣，也是發送ADB指令就可以，但需要連續收取9個建築物的金幣，可以用一個ADB指令隊列，從第一個建築物滑倒第九個，然後再回到第一個。

結果

結果可以看下這個視頻，其實ADB指令跑起來是非常慢的，都是大於我設置的loop rate（4S），但是就先這麼樣吧。

https://v.youku.com/v_show/id_XNDQwNDY2Mzg0MA==.html?spm=a2hzp.8244740.0.0

一晚上大概能有100個紅包，以及幾百的貢獻值，不過小火車每天供貨有限額，送完當天就不送了（這個真沒想到，因為之前從沒收滿過）。

 擴展

1. 因為跑兩個晚上就會有200+個紅包，手動去開紅包太累，索性做了個自動開紅包的程式。思路非常簡單，就是用ADB指令定時模擬點擊，而且也可以支持多種紅包，畫冊開啟，這樣省了不少力氣。

2. 因為截圖很麻煩，所以也寫了一個可以方便畫框框存模板的小工具。

 以後如果有新需求的話，再繼續新功能吧。代碼寫的不好，也就是湊合能用而已，歡迎交流。