.Net6在Docker環境下操作Selenium.Chrome的那些坑

来源:https://www.cnblogs.com/chenyishi/archive/2023/01/13/17044827.html
-Advertisement-
Play Games

.Net6中想實現對某個網址截屏,可通過Selenium模擬訪問網址並實現截圖。 實現 安裝Nuget包 <PackageReference Include="Selenium.Chrome.WebDriver" Version="85.0.0" /> <PackageReference Inclu ...


.Net6中想實現對某個網址截屏,可通過Selenium模擬訪問網址並實現截圖。

實現

安裝Nuget包

<PackageReference Include="Selenium.Chrome.WebDriver" Version="85.0.0" />
<PackageReference Include="Selenium.Support" Version="4.1.0" />
<PackageReference Include="Selenium.WebDriver" Version="4.1.0" />

之後可通過代碼實現模擬訪問網址並截圖

public static string PageScreenshot(string url, string uploadbasepath)
{
    ChromeDriver driver = null;
    try
    {
        ChromeOptions options = new ChromeOptions();

        options.AddArguments("headless", "disable-gpu", "no-sandbox");
        driver = new ChromeDriver(Path.GetDirectoryName(Assembly.GetExecutingAssembly().Location), options);

        //driver = new ChromeDriver("/usr/bin/google-chrome-stable", options);
        driver.Navigate().GoToUrl(url);
        string width = driver.ExecuteScript("return document.body.scrollWidth").ToString();
        string height = driver.ExecuteScript("return document.body.scrollHeight").ToString();
        driver.Manage().Window.Size = new System.Drawing.Size(int.Parse(width), int.Parse(height)); //=int.Parse( height);
        var screenshot = (driver as ITakesScreenshot).GetScreenshot();

        //directory create
        var basepath = uploadbasepath + DateTime.Now.ToString("yyyyMMdd") + "/";
        if (!Directory.Exists(uploadbasepath))
        {
            Directory.CreateDirectory(uploadbasepath);
        }
        if (!Directory.Exists(basepath))
        {
            Directory.CreateDirectory(basepath);
        }

        var path = basepath + Guid.NewGuid().ToString("N") + ".jpg";

        screenshot.SaveAsFile(path);
        return path;
    }
    catch (Exception ex)
    {
        throw;
    }
    finally
    {
        if (driver != null)
        {
            driver.Close();
            driver.Quit();
        }
    }
}

 

需要另外做的一步是把chromedriver從bin/Release/netcoreapp3.1/chromedriver複製到publish目錄。

你以為到這就完了?這個代碼確實可以在windows/linux非容器環境下運行。但是在docker里還是有些不一樣。

 

Docker中運行的那些坑

首先需要註意.netcore3.1在Docker中操作圖片記得安裝libgdiplus.so

#Dockerfile
RUN apt-get update -y && apt-get install -y --allow-unauthenticated libgdiplus && apt-get clean && ln -s /usr/lib/libgdiplus.so /usr/lib/gdiplus.dll

 

1.第一個坑

首先遇到的就是OpenQA.Selenium.DriverServiceNotFoundException異常,異常信息是

OpenQA.Selenium.DriverServiceNotFoundException: The file /opt/google/chrome/chrome/chromedriver does not exist. The driver can be downloaded at http://chromedriver.storage.googleapis.com/index.html

這個異常明顯是找不到chromedriver,那就與在非Docker環境linux中直接運行的方式一樣,嘗試把chromedriver複製到Docker的publish目錄中,在Dockerfile中添加以下內容

#dockerfile

RUN cp /src/xxx/Release/netcoreapp3.1/chromedriver /app/publish/

 

2.第二個坑

嘗試運行以上容器,還是失敗,進入容器內部,直接運行chromedriver,可以看到缺少libxx.so之類的庫。那咋辦,只能嘗試在鏡像中安裝chrome,這樣相關庫就有了

安裝chrome相關資料

https://stackoverflow.com/questions/55206172/how-to-run-dotnet-core-app-with-selenium-in-docker

https://github.com/devpabloassis/seleniumdotnetcore/blob/master/Dockerfile

那在Dockerfile中添加安裝chrome的命令

#Dockerfile Install Chrome
RUN apt-get update && apt-get install -y \
 apt-transport-https \
 ca-certificates \
 curl \
 gnupg \
 hicolor-icon-theme \
 libcanberra-gtk* \
 libgl1-mesa-dri \
 libgl1-mesa-glx \
 libpango1.0-0 \
 libpulse0 \
 libv4l-0 \
 fonts-symbola \
 --no-install-recommends \
 && curl -sSL https://dl.google.com/linux/linux_signing_key.pub | apt-key add - \
 && echo "deb [arch=amd64] https://dl.google.com/linux/chrome/deb/ stable main" > /etc/apt/sources.list.d/google.list \
 && apt-get update && apt-get install -y \
 google-chrome-stable \
 --no-install-recommends \
 && apt-get purge --auto-remove -y curl \
 && rm -rf /var/lib/apt/lists/*

 

3.第三個坑

運行以上修改後的容器,又一個異常

DevToolsActivePort file doesn't exist

繼續查資料發現需要加個參數disable-dev-shm-usage

https://stackoverflow.com/questions/50642308/webdriverexception-unknown-error-devtoolsactiveport-file-doesnt-exist-while-t

但是前面試了不在docker內運行,需要這個參數,那就加個環境變數區分開docker與非docker環境

#Dockerfile

ENV INDOCKER 1
public static string PageScreenshot(string url, string uploadbasepath)
{
    ChromeDriver driver = null;
    try
    {
        var indocker = Environment.GetEnvironmentVariable("INDOCKER");
        ChromeOptions options = new ChromeOptions();

        if (indocker == "1") 
        {
            options.AddArguments("headless", "disable-gpu", "no-sandbox", "disable-dev-shm-usage");
            //driver = new ChromeDriver("/opt/google/chrome/chrome", options);
        }
        else
        {
            options.AddArguments("headless", "disable-gpu", "no-sandbox");
        }
        driver = new ChromeDriver(Path.GetDirectoryName(Assembly.GetExecutingAssembly().Location), options);

        //driver = new ChromeDriver("/usr/bin/google-chrome-stable", options);
        driver.Navigate().GoToUrl(url);
        string width = driver.ExecuteScript("return document.body.scrollWidth").ToString();
        string height = driver.ExecuteScript("return document.body.scrollHeight").ToString();
        driver.Manage().Window.Size = new System.Drawing.Size(int.Parse(width), int.Parse(height)); //=int.Parse( height);
        var screenshot = (driver as ITakesScreenshot).GetScreenshot();

        //directory create
        var basepath = uploadbasepath + DateTime.Now.ToString("yyyyMMdd") + "/";
        if (!Directory.Exists(uploadbasepath))
        {
            Directory.CreateDirectory(uploadbasepath);
        }
        if (!Directory.Exists(basepath))
        {
            Directory.CreateDirectory(basepath);
        }

        var path = basepath + Guid.NewGuid().ToString("N") + ".jpg";

        screenshot.SaveAsFile(path);
        return path;
    }
    catch (Exception ex)
    {
        throw;
    }
    finally
    {
        if (driver != null)
        {
            driver.Close();
            driver.Quit();
        }
    }
}

 

4.第四個坑

嘗試運行上面修改後的容器,又一個異常

This version of ChromeDriver only supports Chrome version 99
Current browser version is 109.0.5414.74 with binary path /usr/bin/google-chrome

這個信息字面意思就是之前第一個坑複製的chromedriver版本較低。那就直接去官網下載最新的chromedriver,並放到鏡像內

下載地址:http://chromedriver.storage.googleapis.com/index.html

# Dockerfile
COPY ["xxx/chromedriver", "."]
RUN chmod +x chromedriver

 

5.第五個坑

繼續嘗試運行,發現這次能成功截圖了,等等...這字體咋還是亂碼呢

 

明顯是中文亂碼了,應該是容器內沒中文字體,那就安裝中文字體,字體可以從C:\Windows\Fonts中獲取ttc,ttf字體文件

#Dockerfile

RUN apt-get update
RUN apt-get install -y --no-install-recommends libgdiplus libc6-dev 
RUN apt-get install -y fontconfig xfonts-utils
COPY fonts/  /usr/share/fonts/
RUN mkfontscale
RUN mkfontdir
RUN fc-cache -fv

 

再次運行,終於成功

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 臨近春節,這幾天手頭沒什麼事情,花了點時間,將自己近兩年收集的面試真題,進行了一番深度歸納總結,整理出了這份面試大綱,基本上涵蓋了國內一二線互聯網公司的Java面試題(一、二、三面技術面試)。 我這樣做的唯一目的是希望讓面試題本身有跡可循,不讓小伙伴們在準備面試的時候,不會被埋沒在茫茫題海中,面對眾... ...
  • 儘管微服務中的“微”一詞表示服務的規模,但它並不是使用微服務的唯一標準。當團隊轉向基於微服務的架構時,他們旨在提高敏捷性以及自主且頻繁地部署功能。很難確定這種架構風格的簡單定義。我喜歡Adrian Cockcroft的關於微服務的簡短定義: “ 面向服務的體繫結構,它由鬆散耦合的、具有上下文邊界的元 ...
  • 大家好,我是王有志。關註王有志,一起聊技術,聊游戲,從北漂生活談到國際風雲。 之前我們已經通過3篇文章由淺到深的分析了synchronized的用法和原理: synchronized的基礎:synchronized都問啥? 偏向鎖升級到輕量級鎖:從源碼揭秘偏向鎖的升級 輕量級鎖升級到重量級鎖:什麼是 ...
  • 前言 今天給大家介紹的是Python爬蟲豆瓣Top250電影短評數據保存本地,在這裡給需要的小伙伴們幫助,並且給出一點小心得。 開發工具 **Python版本:**3.6 相關模塊: requests模塊 parsel模塊 time模塊 環境搭建 安裝Python並添加到環境變數,pip安裝需要的相 ...
  • 1 簡介 谷歌雲GCP(Google Cloud Platform)是由Google提供的雲平臺,還是為用戶提供了許多免費的產品,還是可以嘗試一下的。對於學習或者小項目,都可以使用。 2 創建一個新項目 要使用GCP,我們需要創建一個項目,它所有的資源都是在項目之下管理的: 3 創建Service ...
  • 在 Lua 或者 Python 中可以使用多值賦值語句來交換兩個數。例如:a, b = b, a。在 C++ 中有沒有類似的操作? 先解析一下多值賦值的原理,a, b = b, a 等價於 t1, t2 = b, a a, b = t1, t2 可以看到多值賦值還是用到了中間變數,而且還是兩個。想到 ...
  • 2023-01-12 一、Mybatis中緩存機制 1、一級緩存 (1)概述:一級緩存(即本地緩存或SqlSession級別緩存) (2)特點: ①一級緩存預設開啟 ②不能關閉 ③可以清空 (3)緩存原理 ①當第一次獲取數據時,需要先從資料庫中載入數據,將數據緩衝到Mybatis一級緩存中(緩存底層 ...
  • 1 簡介 為了更好的版本控制和問題定位,我們需要知道正在運行的應用是什麼版本,什麼時候打包的,Git的相關信息等。通過/actuator/info可以幫助我們獲取這些信息。 2 配置 首先要有actuator的依賴: <dependency> <groupId>org.springframework ...
一周排行
    -Advertisement-
    Play Games
  • 前言 當別人做大數據用Java、Python的時候,我使用.NET做大數據、數據挖掘,這確實是值得一說的事。 寫的並不全面,但都是實際工作中的內容。 .NET在大數據項目中,可以做什麼? 寫腳本(使用控制台程式+頂級語句) 寫工具(使用Winform) 寫介面、寫服務 使用C#寫代碼的優點是什麼? ...
  • 前言 本文寫給想學C#的朋友,目的是以儘快的速度入門 C#好學嗎? 對於這個問題,我以前的回答是:好學!但仔細想想,不是這麼回事,對於新手來說,C#沒有那麼好學。 反而學Java還要容易一些,學Java Web就行了,就是SpringBoot那一套。 但是C#方向比較多,你是學控制台程式、WebAP ...
  • 某一日晚上上線,測試同學在回歸項目黃金流程時,有一個工單項目介面報JSF序列化錯誤,馬上升級對應的client包版本,編譯部署後錯誤消失。 線上問題是解決了,但是作為程式員要瞭解問題發生的原因和本質。但這都是為什麼呢? ...
  • 本文介紹基於Python語言中TensorFlow的Keras介面,實現深度神經網路回歸的方法。 1 寫在前面 前期一篇文章Python TensorFlow深度學習回歸代碼:DNNRegressor詳細介紹了基於TensorFlow tf.estimator介面的深度學習網路;而在TensorFl ...
  • 前段時間因業務需要完成了一個工作流組件的編碼工作。藉著這個機會跟大家分享一下整個創作過程,希望大家喜歡,組件暫且命名為"easyFlowable"。 接下來的文章我將從什麼是工作流、為什麼要自研這個工作流組件、架構設計三個維度跟大家來做個整體介紹。 ...
  • 1 簡介 我們之前使用了dapr的本地托管模式,但在生產中我們一般使用Kubernetes托管,本文介紹如何在GKE(GCP Kubernetes)安裝dapr。 相關文章: dapr本地托管的服務調用體驗與Java SDK的Spring Boot整合 dapr入門與本地托管模式嘗試 2 安裝GKE ...
  • 摘要:在jvm中有很多的參數可以進行設置,這樣可以讓jvm在各種環境中都能夠高效的運行。絕大部分的參數保持預設即可。 本文分享自華為雲社區《為什麼需要對jvm進行優化,jvm運行參數之標準參數》,作者:共飲一杯無。 我們為什麼要對jvm做優化? 在本地開發環境中我們很少會遇到需要對jvm進行優化的需 ...
  • 背景 我們的業務共使用11台(阿裡雲)伺服器,使用SpringcloudAlibaba構建微服務集群,共計60個微服務,全部註冊在同一個Nacos集群 流量轉發路徑: nginx->spring-gateway->業務微服務 使用的版本如下: spring-boot.version:2.2.5.RE ...
  • 基於php+webuploader的大文件分片上傳,帶進度條,支持斷點續傳(刷新、關閉頁面、重新上傳、網路中斷等情況)。文件上傳前先檢測該文件是否已上傳,如果已上傳提示“文件已存在”,如果未上傳則直接上傳。視頻上傳時會根據設定的參數(分片大小、分片數量)進行上傳,上傳過程中會在目標文件夾中生成一個臨 ...
  • 基於php大文件分片上傳至七牛雲,使用的是七牛雲js-sdk V2版本,引入js文件,配置簡單,可以暫停,暫停後支持斷點續傳(刷新、關閉頁面、重新上傳、網路中斷等情況),可以配置分片大小和分片數量,官方文檔https://developer.qiniu.com/kodo/6889/javascrip ...