今天給大家介紹一款爬蟲利器,小白也可以拿來即用的利器:you-get。You-Get 是一個 Python 編寫的命令行下載器 ...
今天給大家介紹一款爬蟲利器,小白也可以拿來即用的利器:you-get。
You-Get 是一個 Python 編寫的命令行下載器,用於從 Web 下載媒體內容(視頻,音頻,圖像)。這個程式在 GitHub 上已有 2 萬多的 Star。
you-get 能做什麼?
-
從熱門網站下載視頻/音頻,例如 YouTube,bilibili,鬥魚等等。
-
在媒體播放器中或者瀏覽器中播放視頻,沒有廣告。
-
通過抓取網頁下載圖片。
-
下載任意非 HTML 內容,即二進位文件。
you-get 安裝:
首先確保你安裝了 Python 環境,然後可以通過 pip 命令安裝 you-get。
pip install you-get
you-get 升級
可以通過以下方式升級 you-get。
pip install --upgrade you-get
設置下載文件的路徑和名稱
使用 --output-dir/ -o 選項設置路徑,和 --output-filename/ -O 設置下載文件的名稱。
微博上有個紀念澳門回歸的秒拍視頻,我設置好保存路徑和名稱後會直接下載保存。
you-get -o E:\youget -O macao http://n.miaopai.com/media/N4vmrRKzpcV5k80IbXlO8BuGCNm
這樣就會把視頻保存在你剛定義的目錄中,如果不添加路徑參數的話視頻會預設保存在你輸入命令時的當前路徑。
瀏覽器觀看視頻
如果您希望在瀏覽器中直接觀看視頻,而且是沒有廣告或評論部分,使用 -p 後面加上瀏覽器名稱,比如我加的是 chrome,視頻可以放大播放。
you-get -p chrome http://n.miaopai.com/media/N4vmrRKzpcV5k80IbXlO8BuGCNmwkFvf
學習python爬蟲過程中有不懂的可以加入我的python零基礎系統學習交流秋秋qun:前面是934,中間109,後面是170,與你分享Python企業當下人才需求及怎麼從零基礎學習Python,和學習什麼內容。相關學習視頻資料、開發工具都有分享
下載圖片
我要下載 pixabay 網站上一張單張圖片,使用如下命令:
you-get https://pixabay.com/en/landscape-volcano-central-java-3779159/
用這個命令會下載 3 張不同大小的圖片到你當前目錄下,1 張略縮圖,2 張高清大圖,可以根據自己需求選擇使用。
移動端
剛纔說的都是 Web 網頁,其實你還可以操作移動端、APP、H5,移動端的反爬措施一般比較少,感興趣的自己去試試吧。
支持的網站
目前支持的網站有 100 種之多,包括我們經常用的網易視頻、網易雲音樂、b 站、百度貼吧、豆瓣、鬥魚、優酷、抖音等等,還包括國外的 YouTube、Instagram、Facebook 等網站