\ GNE（GeneralNewsExtractor）是一個通用新聞網站正文抽取模塊，輸入一篇新聞網頁的 HTML， 輸出正文內容、標題、作者、發佈時間、正文中的圖片地址和正文所在的標簽源代碼。GNE在提取今日頭條、網易新聞、游民星空、 觀察者網、鳳凰網、騰訊新聞、ReadHub、新浪新聞等數百 ...
\
GNE（GeneralNewsExtractor）是一個通用新聞網站正文抽取模塊，輸入一篇新聞網頁的 HTML， 輸出正文內容、標題、作者、發佈時間、正文中的圖片地址和正文所在的標簽源代碼。GNE在提取今日頭條、網易新聞、游民星空、 觀察者網、鳳凰網、騰訊新聞、ReadHub、新浪新聞等數百個中文新聞網站上效果非常出色，幾乎能夠達到100%的準確率。
！
使用方式非常簡單：
from gne import GeneralNewsExtractor
extractor = GeneralNewsExtractor()
html = '網站源代碼'
result = extractor.extract(html)
print(result)
GNE 的輸入是經過 js 渲染以後的 HTML 代碼，所以 GNE 可以配合Selenium 或者 Pyppeteer 使用。
下圖是 GNE 配合 Selenium 實現的一個 Demo：
對應的代碼為：
import time
from gne import GeneralNewsExtractor
from selenium.webdriver import Chrome
driver = Chrome('./chromedriver')
driver.get('https://www.toutiao.com/a6766986211736158727/')
time.sleep(3)
extractor = GeneralNewsExtractor()
result = extractor.extract(driver.page_source)
print(result)
下圖是 GNE 配合 Pyppeteer 實現的 Demo：
對應代碼如下：
import asyncio
from gne import GeneralNewsExtractor
from pyppeteer import launch
async def main():
browser = await launch(executablePath='/Applications/Google Chrome.app/Contents/MacOS/Google Chrome')
page = await browser.newPage()
await page.goto('https://news.163.com/20/0101/17/F1QS286R000187R2.html')
extractor = GeneralNewsExtractor()
result = extractor.extract(await page.content())
print(result)
input('檢查完成以後回到這裡按下任意鍵')
asyncio.run(main())
如何安裝 GNE
現在你可以直接使用 pip 安裝 GNE 了：
pip install gne
如果訪問pypi 官方源太慢，你也可以使用網易源：
pip install gne -i https://mirrors.163.com/pypi/simple/
安裝過程如下圖所示：
功能特性
獲取正文源代碼
在extract()方法只傳入網頁源代碼，不添加任何額外參數時，GNE 返回如下欄位：
-
title：新聞標題
-
publish_time：新聞發佈時間
-
author：新聞作者
-
content：新聞正文
-
images: 正文中的圖片（相對路徑或者絕對路徑）
可能有些朋友希望獲取新聞正文所在標簽的源代碼，此時可以給extract()方法傳入with_body_html參數，設置為 True：
extractor = GeneralNewsExtractor()
extractor.extract(html, with_body_html=True)
返回數據中將會增加一個欄位body_html，它的值就是正文對應的 HTML 源代碼。
運行效果如下圖所示：
總是返回圖片的絕對路徑
預設情況下，如果新聞中的圖片使用的是相對路徑，那麼 GNE 返回的images欄位對應的值也是圖片相對路徑的列表。
如果你想始終讓 GNE 返回絕對路徑，那麼你可以給extract()方法增加host參數，這個參數的值是圖片的功能變數名稱，例如：
extractor = GeneralNewsExtractor()
extractor.extract(html, host='https://www.kingname.info')
這樣，如果新聞中的圖片是/images/pic.png，那麼 GNE 返回時會自動把它變為https://www.kingname.info/images/pic.png。
指定新聞標題所在的 XPath
GNE 預定義了一組 XPath 和正則表達式用於提取新聞的標題。但某些特殊的新聞網站可能無法提取標題，此時，你可以給extract()方法指定title_xpath參數，用於提取新聞標題：
extractor = GeneralNewsExtractor()
extractor.extract(html, title_xpath='//title/text()')
提前移除雜訊標簽
某些新聞下麵可能會存在長篇大論的評論，這些評論看起來比新聞正文“更像”正文，為了防止他們干擾新聞的提取，可以通過給extract()方法傳入noise_node_list參數，提前把這些雜訊節點移除。noise_node_list的值是一個列表，裡面是一個或多個 XPath：
extractor = GeneralNewsExtractor()
extractor.extract(html, noise_node_list=['//div[@class="comment-list"]', '//*[@style="display:none"]'])
使用配置文件
API 中的參數 title_xpath、 host、 noise_node_list、 with_body_html除了直接寫到 extract() 方法中外，還可以通過一個配置文件來設置。
請在項目的根目錄創建一個文件 .gne，配置文件可以用 YAML 格式，也可以使用 JSON 格式。
-
YAML 格式配置文件
title:
xpath: //title/text()
host: https://www.xxx.com
noise_node_list:
- //div[@class=\"comment-list\"]
- //*[@style=\"display:none\"]
with_body_html: true
-
JSON 格式配置文件
{
"title": {
"xpath": "//title/text()"
},
"host": "https://www.xxx.com",
"noise_node_list": ["//div[@class=\"comment-list\"]",
"//*[@style=\"display:none\"]"],
"with_body_html": true
}
這兩種寫法是完全等價的。
配置文件與 extract() 方法的參數一樣，並不是所有欄位都需要提供。你可以組合填寫你需要的欄位。
如果一個參數，既在 extract() 方法中，又在 .gne 配置文件中，但值不一樣，那麼 extract() 方法中的這個參數的優先順序更高。
FAQ
GeneralNewsExtractor(以下簡稱GNE)是爬蟲嗎？
GNE不是爬蟲，它的項目名稱General News Extractor表示通用新聞抽取器。它的輸入是HTML，輸出是一個包含新聞標題，新聞正文，作者，發佈時間的字典。你需要自行設法獲取目標網頁的HTML。
GNE 現在不會，將來也不會提供請求網頁的功能。
GNE支持翻頁嗎？
GNE不支持翻頁。因為GNE不會提供網頁請求的功能，所以你需要自行獲取每一頁的HTML，並分別傳遞給GNE。
GNE支持哪些版本的Python？
不小於Python 3.6.0
我用requests/Scrapy獲取的HTML傳入GNE，為什麼不能提取正文？
GNE是基於HTML來提取正文的，所以傳入的HTML一定要是經過JavaScript渲染以後的HTML。而requests和Scrapy獲取的只是JavaScript渲染之前的源代碼，所以無法正確提取。
另外，有一些網頁，例如今日頭條，它的新聞正文實際上是以JSON格式直接寫在網頁源代碼的，當頁面在瀏覽器上面打開的時候，JavaScript把源代碼裡面的正文解析為HTML。這種情況下，你在Chrome上面就看不到Ajax請求。
所以建議你使用Puppeteer/Pyppeteer/Selenium之類的工具獲取經過渲染的HTML再傳入GNE。
GNE 支持非新聞類網站嗎（例如博客、論壇……）
不支持。
關於 GNE
GNE 官方文檔：https://generalnewsextractor.readthedocs.io/
GNE 的項目源代碼在：https://github.com/kingname/GeneralNewsExtractor。
