[toc] # 一、爬取目標 您好,我是[@馬哥python說](https://www.zhihu.com/people/13273183132),一名10年程式猿。 本次爬取的目標是:[知乎熱榜](https://www.zhihu.com/hot) ![知乎熱榜頁面](https://img2 ...
1. 引言
io.ReadAtLeast
函數是Go標準庫提供的一個非常好用的函數,能夠指定從數據源最少讀取到的位元組數。本文我們將從io.ReadAtLeast
函數的基本定義出發,講述其基本使用和實現原理,以及一些註意事項,基於此完成對io.ReadAtLeast
函數的介紹。
2. 基本說明
2.1 基本定義
io.ReadAtLeast
函數用於從讀取器(io.Reader
)讀取至少指定數量的位元組數據到緩衝區中。函數定義如下:
func ReadAtLeast(r Reader, buf []byte, min int) (n int, err error)
其中r
是數據源,從它讀取數據,而buf
是用於接收讀取到的數據的位元組切片,min
是要讀取的最小位元組數。io.ReadAtLeast
函數會嘗試從讀取器中最少讀取 min
個位元組的數據,並將其存儲在 buf
中。
2.2 使用示例
下麵是一個示例代碼,演示如何使用 io.ReadAtLeast
函數從標準輸入讀取至少 5 個位元組的數據:
package main
import (
"fmt"
"io"
"os"
)
func main() {
buffer := make([]byte, 10)
n, err := io.ReadAtLeast(os.Stdin, buffer, 5)
if err != nil {
fmt.Println("讀取過程中發生錯誤:", err)
return
}
fmt.Printf("成功讀取了 %d 個位元組:%s\n", n, buffer)
}
在這個例子中,我們創建了一個長度為 10 的位元組切片 buffer
,並使用 io.ReadAtLeast
函數從標準輸入讀取至少 5 個位元組的數據到 buffer
中。下麵是一個可能的輸出,具體如下:
hello,world
成功讀取了 10 個位元組:hello,worl
這裡其指定 min
為5,也就是最少讀取5個位元組的數據,此時調用io.ReadAtLeast
函數一次性讀取到了10個位元組的數據,此時也滿足要求。這裡也間接說明瞭io.ReadAtLeast
只保證最少要讀取min
個位元組的數據,但是並不限制更多數據的讀取。
3. 實現原理
在瞭解了io.ReadAtLeast
函數的基本定義和使用後,這裡我們來對io.ReadAtLeast
函數的實現來進行基本的說明,加深對io.ReadAtLeast
函數的理解。
其實 io.ReadAtLeast
的實現非常簡單,其定義一個變數n
, 保存了讀取到的位元組數,然後不斷調用數據源Reader中的 Read
方法讀取數據,然後自增變數n
的值,直到 n
大於 最小讀取位元組數為止。下麵來看具體代碼的實現:
func ReadAtLeast(r Reader, buf []byte, min int) (n int, err error) {
// 傳入的緩衝區buf長度 小於 最小讀取位元組數min的值,此時直接返回錯誤
if len(buf) < min {
return 0, ErrShortBuffer
}
// 在 n < min 時,不斷調用Read方法讀取數據
// 最多讀取 len(buf) 位元組的數據
for n < min && err == nil {
var nn int
nn, err = r.Read(buf[n:])
// 自增 n 的值
n += nn
}
if n >= min {
err = nil
} else if n > 0 && err == EOF {
// 讀取到的數據位元組數 小於 min值,同時數據已經全部讀取完了,此時返回 ErrUnexpectedEOF
err = ErrUnexpectedEOF
}
return
}
4. 註意事項
4.1 註意無限等待情況的出現
從上面io.ReadAtLeast
的實現可以看出來,如果一直沒有讀取到指定數量的數據,同時也沒有發生錯誤,將一直等待下去,直到讀取到至少指定數量的位元組數據,或者遇到錯誤為止。下麵舉個代碼示例來展示下效果:
func main() {
buffer := make([]byte, 5)
n, err := io.ReadAtLeast(os.Stdin, buffer, 5)
if err != nil {
fmt.Println("讀取過程中發生錯誤:", err)
return
}
fmt.Printf("成功讀取了 %d 個位元組:%s\n", n, buffer)
}
在上面代碼的例子中,會調用io.ReadAtLeast
函數從標準輸入中讀取 5 個位元組的數據,如果標準輸入一直沒有輸夠5個位元組,此時這個函數將會一直等待下去。比如下麵的這個輸入,首先輸入了he
兩個字元,然後回車,由於還沒有達到5個字元,此時io.ReadAtLeast
函數一直不會返回,只有再輸入llo
這幾個字元後,才滿足5個字元,才能夠繼續執行,所以在使用io.ReadAtLeast
函數時,需要註意無限等待的情況。
he
llo
成功讀取了 5 個位元組:he
ll
4.2 確保 buf
的大小足夠容納至少 min
個位元組的數據
在調用io.ReadAtLeast
函數時,需要保證緩衝區buf
的大小需要滿足min
,如果緩衝區的大小比 min
參數還小的話,此時將永遠滿足不了 最少讀取 min
個位元組數據的要求。
從上面io.ReadAtLeast
的實現可以看出來,如果其發現buf
的長度小於 min
,其也不會嘗試去讀取數據,其會直接返回一個ErrShortBuffer
的錯誤,下麵通過一個代碼展示下效果:
func main() {
buffer := make([]byte, 3)
n, err := io.ReadAtLeast(os.Stdin, buffer, 5)
if err != nil {
fmt.Println("讀取過程中發生錯誤:", err)
return
}
fmt.Printf("成功讀取了 %d 個位元組:%s\n", n, buffer)
}
比如上述函數中,指定的buffer
的長度為3,但是io.ReadAtLeast
要求最少讀取5個位元組,此時buffer
並不能容納5個位元組的數據,此時將會直接ErrShortBuffer
錯誤,如下:
讀取過程中發生錯誤: short buffer
5. 總結
io.ReadAtLeast
函數是Go語言標準庫提供的一個工具函數,能夠從數據源讀取至少指定數量的位元組數據到緩衝區中。 我們先從 io.ReadAtLeast
函數的基本定義出發,之後通過一個簡單的示例,展示如何使用io.ReadAtLeast
函數實現至少讀取指定位元組數據。
接著我們講述了io.ReadAtLeast
函數的實現原理,其實就是不斷調用源Reader的Read方法,直接讀取到的數據數滿足要求。
在註意事項方面,則強調了調用io.ReadAtLeast
可能出現無限等待的問題,以及需要確保 buf
的大小足夠容納至少 min
個位元組的數據。
基於此,完成了對io.ReadAtLeast
函數的介紹,希望對你有所幫助。