知乎視頻下載(爬蟲)

目前主要功能是完成知乎視頻的下載.

在抓包和網頁分析發現有blob:https://...格式的視頻鏈接, 但是無法訪問, 不過知乎好像是m3u8格式的, 具體的我也不太清楚, 但這並不妨礙我們的下載工作.

關鍵在於 https://lens.zhihu.com/api/videos/1024143280014860288 這個api返回的json數據, 包含了不同解析度的視頻url,但其中url打開後是這樣的文本文件

其中ts就是被分割後的相對url, 拼接後就可以下載播放了, 不過這裡還要做的就是將所有被分割的視頻合併成一個完整的視頻文件,具體的可參考下麵代碼.

----------------------分割線----->

有相關基礎的同學都會知道一個知乎視頻是被分割成了許多片段.這樣的話的確帶來了諸多好處,但同時給它的下載帶來了麻煩(手動滑稽). 這裡的話項目給出了完整的下載流程,具體我也不多講了.

項目內視頻的初步鏈接可通過如圖方式獲取:

F12 元素選擇器選中視頻框後會找到<iframe>標簽,其中的src就是對應的視頻初步鏈接.

下麵貼上代碼:

HttpUtil.java

 1 import org.json.JSONObject;
 2 
 3 import java.io.*;
 4 import java.net.URL;
 5 import java.net.URLConnection;
 6 import java.util.ArrayList;
 7 import java.util.List;
 8 import java.util.regex.Matcher;
 9 import java.util.regex.Pattern;
10 
11 /**
12  * 該類完成視頻下載的一些基本操作
13  * @author As_
14  * @date 2018-09-17 20:29:12
15  * @github https://github.com/apknet
16  */
17 public class HttpUtil {
18 
19     /**
20      * 由api提取出最高清晰度的url
21      * @param url
22      * @return play_url
23      */
24     public static String getPlayUrl(String url) throws IOException {
25 
26         String json = getContent(url);
27 
28         JSONObject jsonObject = new JSONObject(json).getJSONObject("playlist");
29 
30         if(jsonObject.has("hd")){
31             return jsonObject.getJSONObject("hd").getString("play_url");
32         }else if(jsonObject.has("sd")){
33             return jsonObject.getJSONObject("sd").getString("play_url");
34         }else if(jsonObject.has("ld")){
35             return jsonObject.getJSONObject("ld").getString("play_url");
36         }
37         return null;
38     }
39 
40     /**
41      * 解析出播放清單文件內分散的多個js格式視頻url
42      * @param url
43      * @return
44      */
45     public static List<String> getSrcList(String url) throws IOException {
46         List<String> list = new ArrayList<>();
47         String content = getContent(url);
48         // 提取出相對路徑
49         String relUrl = url.replaceAll("/\\w+-\\w+-\\w+-\\w+-\\w+\\.m3u8.*", "");
50 
51         // 正則提取出的為相對路徑, 需與前面的relUrl完成拼接
52         Matcher matcher = Pattern.compile("EXTINF:\\d+\\.\\d+,(.+?)#").matcher(content);
53 
54         while (matcher.find()){
55             System.out.println(matcher.group(1));
56             list.add(relUrl + "/" + matcher.group(1));
57         }
58 
59         return list;
60     }
61 
62     /**
63      * 讀取輸入流並寫到輸出流中,該函數用於合併分散的視頻文件
64      * @param in
65      * @param out
66      * @throws IOException
67      */
68     public static void combineStream(InputStream in, OutputStream out) throws IOException {
69         byte[] bytes = new byte[1024];
70         int n;
71         while ((n = in.read(bytes)) != -1){
72             out.write(bytes, 0, n);
73         }
74         in.close();
75     }
76 
77     public static InputStream getInputStream(String url) throws IOException {
78         URLConnection connection = new URL(url).openConnection();
79         connection.setRequestProperty("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36");
80         return connection.getInputStream();
81     }
82 
83     private static String getContent(String url) throws IOException {
84         URLConnection connection = new URL(url).openConnection();
85         connection.setRequestProperty("User-Agent", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36");
86 
87         InputStream inputStream = connection.getInputStream();
88         BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream));
89 
90         StringBuilder stringBuilder = new StringBuilder();
91         String line;
92         while((line = reader.readLine()) != null){
93             stringBuilder.append(line);
94         }
95         reader.close();
96         inputStream.close();
97         return stringBuilder.toString();
98     }
99 }

Main.java

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.net.URLConnection;
import java.util.List;

public class Main {
    public static void main(String[] args) {

        // 將下麵的替換成對應的知乎視頻url即可
        String url_1 = "https://lens.zhihu.com/api/videos/1024143280014860288";

        try {
            FileOutputStream outputStream = new FileOutputStream(new File("/home/as_/IdeaProjects/VideoHelper/video_1.mp4"));

            List<String> urls = HttpUtil.getSrcList(HttpUtil.getPlayUrl(url_1));

            for(String url: urls){
                HttpUtil.combineStream(HttpUtil.getInputStream(url), outputStream);
            }

        } catch (IOException e) {
            e.printStackTrace();
        }
    }

}

最後附上