圖片下載其實是個很簡單的功能,通過IO流從線上地址獲取流,之後將流輸出到文件即可完成下載功能,但是,最近我發現某個網站中的圖片下載成功,但是打開卻是無法打開,這讓我迷惑,百度上根本就沒有人說清楚 今天,通過研究和朋友的討論,終於是找到了答案,至於答案是什麼,請耐心往下閱讀~ 問題出現 測試的圖片地址 ...
圖片下載其實是個很簡單的功能,通過IO流從線上地址獲取流,之後將流輸出到文件即可完成下載功能,但是,最近我發現某個網站中的圖片下載成功,但是打開卻是無法打開,這讓我迷惑,百度上根本就沒有人說清楚
今天,通過研究和朋友的討論,終於是找到了答案,至於答案是什麼,請耐心往下閱讀~
問題出現
測試的圖片地址為http://www.xbiquge.la/files/article/image/10/10489/10489s.jpg
下載圖片代碼Java版:
URL url = new URL("http://www.xbiquge.la/files/article/image/10/10489/10489s.jpg");
URLConnection connection=url.openConnection();//打開鏈接
InputStream inputStream = connection.getInputStream();
BufferedInputStream bufferedInputStream = new BufferedInputStream(inputStream);
BufferedOutputStream bufferedOutputStream = new BufferedOutputStream(new FileOutputStream(new File("e:\\test.jpg")));
int c;
byte[] temp = new byte[1024 * 2];//提供個緩衝區
while ((c = bufferedInputStream.read(temp)) != -1) {
bufferedOutputStream.write(temp,0,c);//讀多少,寫多少
}
bufferedOutputStream.close();
inputStream.close();
下載代碼Kotlin版:
val file =File("e:\\test.jpg")
val openConnection = URL("http://www.xbiquge.la/files/article/image/10/10489/10489s.jpg").openConnection()
val bytes = openConnection.getInputStream().readBytes()
file.writeBytes(bytes)
我們通過上面的對比,明顯可以看到Kotlin的代碼比Java的要簡潔不少
上面的代碼都是沒錯,把圖片下載下來,打開如下圖顯示
之後用瀏覽器打開,用另存為保存圖片,圖片是可以正常打開的
用迅雷測試,也是打不開,問題似乎找不到原因了
不甘心認輸的我,去搜索了一下,添加了各種請求頭,但還是無效,似乎到了死衚衕了
原因
沒辦法,只好去向學習群里的大佬們請教了
“哎,這個圖片還可以解壓,裡面有圖片!”群里名為夜深的網友說道。
?!我將圖片的擴展名改為了zip,之後解壓,果不其然發現了可以正常打開的圖片
我們知道了下載下來的文件是個壓縮包,這樣問題也是得到瞭解決方法,但是,為什麼會這樣呢?
剛好和python的大佬聊到了這個問題,他試了一下,python可以正確獲得到圖片,為什麼java就不行?經過討論,從請求頭髮現了原因,如下圖
原來是因為網站在響應的時候返回的是GZIP壓縮過的文件流,而採用此方式的話可以減少用戶瀏覽網頁的等待時間
python和瀏覽器都是內置了自動解壓縮的功能,所以,這就是為什麼瀏覽器可以查看圖片,python也可以得到正確圖片的原因
解決方法
針對gzip文件流
這裡我們只需要使用GZIPInputStream
包裝一下InputStream,之後再輸出即可,這裡我只貼kotlin版的代碼,Java的話參考一下來改吧
val file =File("e:\\test.jpg")
val openConnection = URL("http://www.xbiquge.la/files/article/image/10/10489/10489s.jpg").openConnection()
val bytes = GZIPInputStream(openConnection.getInputStream()).readBytes()
file.writeBytes(bytes)
通用下載圖片方法
由於我們所要下載的圖片,可能伺服器返回的是未壓縮的圖片,如果我們繼續使用上面的方法就會報錯
所以我們需要加個判斷,判斷輸入流是否為壓縮過的
這裡我就直接封裝成一個方法了
fun downloadImage(url: String, file: File): File {
val openConnection = URL(url).openConnection()
//防止某些網站跳轉到驗證界面
openConnection.addRequestProperty("user-agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36")
//如果圖片是採用gzip壓縮
val bytes = if (openConnection.contentEncoding == "gzip") {
GZIPInputStream(openConnection.getInputStream()).readBytes()
} else {
openConnection.getInputStream().readBytes()
}
file.writeBytes(bytes)
return file
}
參考
How to check if InputStream is Gzipped? stackflow