Android無障礙自動化結合opencv實現支付寶能量自動收集

来源:https://www.cnblogs.com/venblog/p/18262846
-Advertisement-
Play Games

Android無障礙服務可以操作元素,手勢模擬,實現基本的控制。opencv可以進行圖像識別。兩者結合在一起即可實現支付寶能量自動收集。opencv用於識別能量,無障礙服務用於模擬手勢,即點擊能量。 當然這兩者結合不單單隻能實現這些,還能做很多自動化的程式,如芭芭農場自動施肥、螞蟻莊園等等的自動化, ...


Android無障礙服務可以操作元素,手勢模擬,實現基本的控制。opencv可以進行圖像識別。兩者結合在一起即可實現支付寶能量自動收集。opencv用於識別能量,無障礙服務用於模擬手勢,即點擊能量。

當然這兩者結合不單單隻能實現這些,還能做很多自動化的程式,如芭芭農場自動施肥、螞蟻莊園等等的自動化,甚至游戲的自動化也沒問題。

下麵簡單介紹下核心的實現邏輯
核心步驟

  1. 準確識別多個能量球位置
  2. 準確點擊能量球位置

opencv識別能量球

OpenCV是一個可用於開發實時的圖像處理、電腦視覺以及模式識別可商用的開源庫-opencv介紹

思路

使用opencv怎麼識別能量球呢?
使用opencv的模板匹配。即,將能量球單獨裁剪出來作為模板,再將其與屏幕圖像進行匹配,篩選匹配分值最高的結果即獲取能量球在屏幕中的位置。

實現

1. 項目集成opencv-android版
dependencies {
 implementation 'org.opencv:opencv:4.9.0'
}

最新版本可查看官方集成教程

2. 截取能量球圖像作為模板
3. 截取屏幕圖像
4. 使用opencv模板匹配獲取所有能量球位置

opencv模板匹配api

Imgproc.matchTemplate(image, templ, result, method, mask)

參數解釋:
image屏幕圖像,即步驟3中截取的屏幕圖像
templ模板圖像,即步驟2中截圖的能量球圖像
result匹配結果容器,用於存儲匹配的結果
mask掩膜,用於指定模板中哪些位置需要匹配,哪些不需要匹配

其中參數mask掩膜是匹配準確度的關鍵點

掩膜圖像是根據模板生成的一張黑白圖像,其中黑色為不需要匹配的區域

模板圖像與生成的掩膜圖像對比

模板圖像 掩模圖像

其中文字也是我們不需要匹配的,因為裡面的文字會變化,所以中間加了一塊黑色矩形用於指定匹配忽略區域

對於掩膜的創建方法這裡不介紹了,所有代碼都已經開放在我的自動化開源庫Assists里,想直接看代碼這裡:https://github.com/ven-coder/Assists

參數準備好就可以進行匹配了,下麵是完整代碼(kotlin代碼)

    /**
     * 模板匹配能量球
     */
    fun match() {
        try {
            val path = System.getProperty("user.dir") + "\\lib\\x64\\opencv_java490.dll"
            System.load(path)
            val temp = System.getProperty("user.dir") + "\\images\\temp.jpg"
            val image = System.getProperty("user.dir") + "\\images\\image.png"
            //模板圖像
            val img = Imgcodecs.imread(image)
            //屏幕圖像
            val templ = Imgcodecs.imread(temp)
            //掩膜圖像
            val mask = createMask(templ)
            // 創建結果矩陣
            val resultCols: Int = img.cols() - templ.cols() + 1
            val resultRows: Int = img.rows() - templ.rows() + 1
            val result = Mat(resultRows, resultCols, CvType.CV_32FC1)
            // 進行模板匹配
            Imgproc.matchTemplate(img, templ, result, Imgproc.TM_CCORR_NORMED, mask)
            // 遍歷結果矩陣,找到所有匹配超過閾值的位置
            val threshold = 0.98 // 閾值,根據實際情況調整
            var count = 0
            var countValue = 0
            for (y in 0 until result.rows()) {
                for (x in 0 until result.cols()) {
                    countValue++
                    val matchValue = result[y, x]
                    if (matchValue[0] >= threshold) {
                        count++
                        // 找到一個匹配位置
                        val matchLoc = Point(x.toDouble(), y.toDouble())
                        // 繪製矩形框
                        Imgproc.rectangle(img, matchLoc, Point(matchLoc.x + templ.cols(), matchLoc.y + templ.rows()), Scalar( 85.0, 85.0,205.0,), 2, Imgproc.LINE_AA, 0)
                    }
                }
            }
            // 顯示結果
            Imgproc.resize(img, img, Size(img.cols() / 2.0, img.rows() / 2.0)) // 可選:調整顯示大小
            HighGui.imshow("Matched Result: $count", img)
            HighGui.waitKey(0)
        } catch (e: Throwable) {
            e.printStackTrace()
        }
    }

    /**
     * 創建掩膜
     */
    fun createMask(source: Mat): Mat {
        // 轉換為 HSV 顏色空間
        val hsvImage = Mat()
        Imgproc.cvtColor(source, hsvImage, Imgproc.COLOR_BGR2HSV)


        // 定義綠色的顏色範圍
        val lowerGreen = Scalar(35.0, 100.0, 100.0)
        val upperGreen = Scalar(85.0, 255.0, 255.0)


        // 創建掩膜
        val mask = Mat()
        Core.inRange(hsvImage, lowerGreen, upperGreen, mask)

        // 忽略“27g”文字
        // 你可以使用形態學操作去掉文字部分,或者手動確定文字的位置並將其設置為黑色(0)。
        // 假設文字位於圓形中心,可以手動遮蓋這個區域
        // Rect(中心位置x, 中心位置y, 寬度, 高度)
        val width = 80
        val height = 60
        val textRect = Rect(source.width() / 2 - width / 2, source.height() / 2 - height / 2, width, height) // 假設的“27g”文字位置和大小
        Imgproc.rectangle(mask, textRect, Scalar(0.0), -1)
        Imgproc.rectangle(mask, Rect((source.width() / 2 - width / 2) + 10, (source.height() / 2 - height / 2) + height, 40, 25), Scalar(255.0), -1)
        return mask
    }

匹配結果

點擊能量球

準確得到能量球位置之後就好辦了,使用我的開源庫Assists開啟無障礙服務後調用gestureClick(x: Float, y: Float)點擊能量球位置即可

//it.x + temp3.width() / 2,坐標加上模板大小的一半即點擊中間位置
Assists.gestureClick((it.x + temp3.width() / 2).toFloat(), (it.y + temp3.height() / 2).toFloat())

最終效果

以上所有代碼都在我的開源庫Assists示例里了,需要的自取即可。
覺得有幫助順便可以start一下,滿足以下一下老夫虛榮心憋


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在Tez上優化Hive查詢無法採用一刀切的方法。查詢性能取決於數據的大小、文件類型、查詢設計和查詢模式。在性能測試過程中,應評估和驗證配置參數及任何SQL修改。建議在工作負載的性能測試過程中一次只進行一項更改,並最好在開發環境中評估調優更改的影響,然後再在生產環境中使用。 ...
  • 在各行各業中,越來越多的公司開始重視收集數據,並尋找創新方法來獲得真實可行的商業成果,並且願意投入大量時間和金錢來實現這一目標。 據IDC稱,數據和分析軟體及雲服務市場規模在 2021 年達到了 900 億美元,隨著企業繼續對人工智慧和機器學習 (AI/ML) 和現代數據計划進行投資,預計到 202 ...
  • 近日,中國電子學會聯合中國電子技術標準化研究院等單位,在安徽省合肥市舉辦“節能服務進企業”暨綠色數據中心對接推廣活動。會議為天翼雲存儲資源盤活系統HBlock入選《國家工業和信息化領域節能降碳技術裝備推薦目錄(2024年版)》頒發榮譽證書;天翼雲存儲產品專家肖夏敏發表演講,向業界展示了HBlock在... ...
  • 近年來,新質生產力、數據要素及數據資產入表等新興概念猶如一股強勁的浪潮,持續衝擊並革新著企業數字化轉型的觀念視野,昭示著一個以數據為核心驅動力的新時代正穩步啟幕。 面對這些引領經濟轉型的新興概念,為了更好地服務於客戶並提供切實可行的實踐指導,自3月20日起,袋鼠雲將推出全新《袋鼠雲大數據實操指南》系 ...
  • 本文分享自華為雲社區《【GaussTech速遞】技術解讀之GaussDB多租技術》,作者:GaussDB資料庫。 資料庫多租技術介紹 隨著雲計算時代的到來,多租戶的概念也逐漸廣為人知。“多租戶”使得租戶之間可以共用物理資源,能夠幫助用戶節約硬體成本和運維成本,提高資源利用效率。同時,在實現的過程中, ...
  • Elasticsearch聚合查詢是一種強大的工具,允許我們對索引中的數據進行複雜的統計分析和計算。本文將詳細解釋一個聚合查詢示例,該查詢用於統計滿足特定條件的文檔數量,並計算其占總文檔數量的百分比。這裡回會分享如何統計某個欄位的空值率,然後擴展介紹ES的一些基礎知識。 ...
  • 在大數據時代,數據具有多源異構的特性,且價值各異,企業需依據數據的重要性、價值指數等予以區分,以利採取不同的數據保護舉措,避免數據泄露。故而,數據分類分級管理屬於數據安全保護中極為重要的環節之一。 2021 年 12 月 31 日,全國信息安全標準化技術委員會秘書處頒佈了《網路安全標準實踐指南——網 ...
  • 開發業務系統時,是繞不開RDBMS(關係型資料庫)的。雖然現在誕生了各種NoSQL的資料庫,RDBMS在業務系統中的嚴謹和優勢依然無法取代。 近幾年大大小小的項目中,常用的三種RDBMS(SQLite,MySQL,Postgres)都有多次接觸過,一些使用心得記錄如下,供大家參考。 1. SQLit ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...