本文是針對我的工具 "藍奏雲批量下載工具" 的補充說明筆記，準備按照流程整理我實現軟體的思路與方法。 涉及知識 Java的IO流 Java的下載文件 HtmlUnit的使用方法 okhttp的使用 分析與軟體思路 在某一天，我找到了一部電子書的資源，但是，該藍奏雲地址是一個文件夾，由於藍奏雲不支持批 ...
本文是針對我的工具藍奏雲批量下載工具的補充說明筆記，準備按照流程整理我實現軟體的思路與方法。
涉及知識
- Java的IO流
- Java的下載文件
- HtmlUnit的使用方法
- okhttp的使用
分析與軟體思路
在某一天，我找到了一部電子書的資源，但是，該藍奏雲地址是一個文件夾，由於藍奏雲不支持批量下載，所以我便是誕生了打造出一個批量下載的工具的念頭，大概搞了五天吧終於是成功了，折騰其中的重定向下載就搞了兩天，說多了都是淚啊...
按照順序，一步步分析吧
首先，我瀏覽器打開了藍奏雲地址，這裡有兩種情況，一種是有提取碼，一種是沒有提取碼的。
這個時候，我們需要可以自動模擬用戶進行提交表單的操作（代碼詳情見關鍵代碼部分1）
經過網上的查找，發現了HtmlUnit這個開源庫可以實現我們需要的操作。
HtmlUnit，說白了就是一個瀏覽器，這個瀏覽器是用Java寫的無界面的瀏覽器，因為其沒有界面,因此執行的速度還是妥妥的
之後我們便是來到這樣的界面
我們需要解析當前並獲得每個文件對應的藍奏雲地址，這裡由於HTMLUnit內置了html元素選擇器，我們可以使用HtmlUnit的選擇器進行節點的過濾操作，得到文件信息以及對應的藍奏雲地址（代碼詳情見關鍵代碼部分2）
對了，這裡有可能文件過多，會出現顯示更多的按鈕，這個情況我們也得考慮，我們可以使用HTMLUnit實現自動點擊顯示更多的按鈕，我之前拿別人的鏈接來測試，那位大佬的鏈接里文件過多，導致我程式跑了二十多分鐘，還沒有跑完，然後，我的IP就被藍奏雲封了，出現了拒絕訪問的警告。。
之後我重啟了路由，由於IP地址是自動分配的，改了IP地址就解決了
所以，我打算限定一個最大的次數，超過之後就不點擊了，即使列表還沒有顯示完全（代碼詳情請見關鍵代碼部分3）
由於我們打開某個文件的藍奏雲地址，可以發現下載地址
右鍵，複製地址，我們得到下麵這一串長長的鏈接，這個鏈接其實不是真實地址，所以，我姑且以偽直鏈來稱呼它，偽直鏈的是具有時效性的，就是說會過期，所以，得儘快通過偽直鏈來獲取真實地址。
https://vip.d0.baidupan.com/file/?AGYFO1tqDj9TWgE5VmNUOFFuVGxW7gKlAZhTvVCjVckJ7gLuANVV5AnvV4dQ4gCcAf5Ss1K1B7EE5AGdUopVsgCUBexb4w73U6MBslaSVNtR7VTZVpEC5AG8U9xQLFWyCZ4C8AC4VY8J2VfmUKsAhgF1UjJSfQdwBGEBIVJoVT0AbAU3W1kOM1NhAWpWNVRkUTJUZVY/AjUBMVNzUGpVJwk0AmcAbVUxCWlXMFA9ADcBfVInUn0HOAQxATdSP1VtAC8FYls0DnVTNwFhVi1UY1FoVGhWMAJiATVTM1A7VWQJbQJkAD9VNglrVzRQNgAxAT5SNFI6BzIEMgEwUjZVZAA4BWJbNQ4+UzcBZlZnVHtRblQhVnwCYgEgUyBQf1UxCXsCPAA5VTwJZ1c2UDAAMwFqUmFSKwdxBGoBalJrVTIAPQVjWzMObVM8AWNWMVRjUTlUZFYxAi4BIFMgUHxVaQk4AnsAe1VnCTNXdlA5ADABblJgUjQHNgQ3ATNSPlVmADQFdFtzDipTcgFqVjNUYFE+VGBWOAI4ATFTZFA0VWEJLwIgADRVcQliVzBQNQA2AXVSZlI1BzYELQE1Uj5VZgAuBWdbNg==原本以為使用HtmlUnit開源庫可以很簡單地獲取偽直鏈，不過，出了點狀況，通過瀏覽器的元素審查功能，發現下麵的那三個地址其實是一個iframe
由於是iframe，相當於再次載入了另外一個頁面，所以我們不能直接獲得偽直鏈，得先通過獲得iframe的src屬性去訪問它原本的那個網頁。
我們可以通過瀏覽器，直接去訪問那個頁面（頁面地址為https://www.lanzous.com+src屬性值），頁面打開如下：
頁面需要等待一會，之後出現了三個按鈕，之後，我們便可以獲得a標簽的href屬性，即獲得了偽直鏈的地址（代碼詳情請見關鍵代碼4）
使用瀏覽器打開偽直鏈，瀏覽器會直接下載文件了，但是，在程式中使用Java的下載操作確實返回的html文件，內容較多，省略了一下樣式，內容如下：
...
<div id="pwdload">
<div class="title">下載文件</div>
<div class="txt">系統發現您網路不正常，需要驗證<br>請輸入右邊圖形中的數字</div>
<div class="imcode"><img id="img" src="imagecode.php?" onclick="changeCode()"/></div>
<div class="cl"></div>
<div class="input_box"><input type="text" name="code" class="input" id="code" value="" /></div>
<div class="cl"></div>
<div id="pwderr"></div>
<div id="sub" onclick="down_r();" class="btnpwd">驗證並下載</div>
</div>
<div id="info">
<div class="info1"><div class="info2"></div></div>
<div class="info3">恭喜你，通過了</div>
<div class="load" id="go">
</div>
</div>
...
</html>這裡研究了兩天，終於是找到了別人的博文中找到了答案，原因是請求並沒有攜帶請求頭，所以導致藍奏雲返回一個驗證的頁面，有請求頭的話， 就會重定向到真實的地址。
這裡，我使用了okhttp這個開源庫，實現添加了請求頭，最後獲得了真實的下載地址(代碼詳情請見關鍵代碼5)，由此地址我們再調用Java中的下載即可成功下載該文件
關鍵功能代碼及說明
1、2、3這三個部分的代碼都是在MainController類中的download方法中
4、5部分在MainController類中的getDownloadLink方法中
這裡我只抽取關鍵部分來進行講解
1.模擬用戶提交表單
註意，提交表單之後需要等待2s來等待js執行完畢以顯示出文件列表
//這個readyNodes包含所有id為ready的div一個列表
val readyNodes = if (password.isNotBlank()) {
//有密碼的情況
val pwdInput = page.getElementByName<HtmlTextInput>("pwd")
val button = page.getElementsById("sub")[0] as HtmlSubmitInput
pwdInput.valueAttribute = password//輸入提取碼
val finishPage = button.click<HtmlPage>()//提交表單
webClient.waitForBackgroundJavaScript(2000)//等待2s
finishPage.getElementsById("ready")
} else {
//無密碼的情況
webClient.waitForBackgroundJavaScript(2000)
page.getElementsById("ready")
}2.自動點擊載入更多按鈕
//文件可能不止一頁,為了防止被封IP，限定最大翻頁數，由用戶輸入
for (i in 0 until pageCount) {
if (page.getElementById("filemore") != null) {
page = page.getElementById("filemore").click()
} else {
break
}
}3.解析列表獲得各文件對應地址
為了方便，我直接把文件名、日期等參數也一併獲取了，用了一個ItemData的bean類進行數據的存儲
//初始化列表（分享的藍奏雲地址中的所有文件及相關信息）
val itemDatas = arrayListOf<ItemData>()
//選擇器進行網頁的解析獲取數據
for (readyNode in readyNodes) {
val childNodes = readyNode.getElementsByTagName("div")
val nameNode = childNodes[0].lastElementChild
val sizeNode = childNodes[1]
val timeNode = childNodes[2]
val name = nameNode.textContent
val link = nameNode.getAttribute("href")//單個文件的藍奏雲地址
val size = sizeNode.textContent
val time = timeNode.textContent
itemDatas.add(ItemData(name, link, "", size, time))
}4.獲得偽直鏈地址
//url是單個文件的藍奏雲地址
val page = webClient.getPage<HtmlPage>(url)
val srcText = page.getElementsByTagName("iframe")[0].getAttribute("src")
//拼接字元串，得到另外頁面的url
val downloadHtmlUrl = "https://www.lanzous.com$srcText"
val downloadPage = webClient.getPage<HtmlPage>(downloadHtmlUrl)
//等待js載入完畢
webClient.waitForBackgroundJavaScript(1000)
//獲得偽直鏈地址（a標簽的href屬性值）
val address = downloadPage.getElementById("go").firstElementChild.getAttribute("href")5.使用okhttp獲得藍奏雲真實地址
HttpUtil.sendOkHttpRequest(address, object : Callback {
override fun onFailure(p0: Call?, p1: IOException?) {
println("error")
}
override fun onResponse(p0: Call?, response: Response?) {
itemData.downloadLink = response?.request()?.url().toString()
response?.close()
}
})
//補充的okhttp的工具類HttpUtilsendOkHttpRequest的方法
fun sendOkHttpRequest(address: String, callback: Callback) {
val client = OkHttpClient()
val control = CacheControl.Builder().build()
//添加請求頭user-agent和accept-language
val request = Request.Builder()
.addHeader("user-agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36")
.addHeader("accept-language","zh-CN,zh;q=0.9")
.cacheControl(control)
.url(address)
.build()
client.newCall(request).enqueue(callback)
}6.下載功能
雖然和之前的工具一樣，但是我還是把代碼貼出來吧
/**
* 下載文件到本地
* @param url 網址
* @param file 文件
*/
private fun downloadFile(url: String, file: File) {
if (!file.exists()) {
val conn = URL(url).openConnection()
conn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)")
val bytes = conn.getInputStream().readBytes()
file.writeBytes(bytes)
}
}PS:我在解析過程和下載過程中使用了多線程下載，提高了速度。具體實現思路請參考之前我的這一篇文章打造m3u8視頻（流視頻）下載解密合併器(kotlin)的第4部分
