在Node.js開發中，當遇到 buffer，stream，和二進位數據處理時，你是否像我一樣，總是感到困惑？這種感覺是否會讓你認為不瞭解它們，以為它們不適合你，認為而這些是Node.js作者們的事情？ 確實，這些東西可能非常令人生畏，尤其是當你在缺乏電腦底層基礎知識，進行相關的開發。 可悲的是， ...
在Node.js開發中，當遇到 buffer，stream，和二進位數據處理時，你是否像我一樣，總是感到困惑？這種感覺是否會讓你認為不瞭解它們，以為它們不適合你，認為而這些是Node.js作者們的事情？
確實，這些東西可能非常令人生畏，尤其是當你在缺乏電腦底層基礎知識，進行相關的開發。
可悲的是，許多教程和書籍直接告訴你如何使用 Node.js 包開發 Web 應用程式，而沒有讓你瞭解 Node.js 的核心功能以及它們存在的原因，有些人會地告訴你，你不需要瞭解它們，因為你可能永遠不會直接用到這些。
沒錯，如果你選擇做一名普通開發人員，可能永遠不會用到他們。
如果你對這些內容存在疑問，你想理解 Node.js 的許多核心功能，比如 buffer...這就是我寫本篇文章的原因，這是為了幫助我們揭開其中一些功能的神秘面紗，並使我們對 Node.js 的學習更上一層樓。
官方的 Node.js 文檔部分說明：
JavaScript 語言沒有讀取或操作二進位數據流的機制。
Buffer類被引入作為 Node.js API 的一部分，使其可以在 TCP 流或文件系統操作等場景中處理二進位數據流。
嗯，除非你對上述句子中的描述有相關的知識和經驗，否則它們可能只是一堆術語。
我們簡化一下這些解釋，以便我們可以更好的理解他們，官方的描述可以總結為一句話：buffer 能夠與二進位數據流進行交互操作。
但是 buffer，stream，二進位數據，仍然有很多不理解的地方。 好吧，我們嘗試解決這些重要的問題。
二進位數據是什麼？
你可能已經知道電腦是以二進位形式存儲和表示數據，二進位只是一個1或0的集合。例如，以下是五個不同的二進位文件，5個不同的1和0集：
10，01，001，1110，00101011
二進位中的每個數字，0或1叫做位(bit)，也就是Binary digIT 的縮寫。
為了能夠存儲和表示這些數據，電腦需要將數據轉換為二進位形式。比如，要存儲數字12，電腦需要將12轉化為二進位 1100
電腦怎麼知道要如何去轉換？這就完全是一個數學問題了。電腦是知道怎麼去處理的，有興趣的可以自己查閱。
但是我們日常工作的數據類型不僅僅是數字，我們還有字元串，圖像，視頻...電腦知道如何用二進位表示所有類型的數據的，讓我們以字元串為例。電腦如何用二進位表示字元串“ L”？為了將字元存儲為二進位形式，電腦首先將該字元轉換為數字，然後將該數字轉換為二進位表示，因此，對於字元串“ L”， 電腦首先將L轉換為代表L的數字，讓我們看如何操作：
打開瀏覽器控制台，粘貼以下代碼段："L".charCodeAt(0)，按 Enter，你看到了什麼？數字76？這就是字母L的數字編碼，但是電腦怎麼知道具體哪個數字代表那個字母呢？如何知道數字76表示L？
字元集
字元集是已經定義的一套規則，明確指出每個數字代表的字元，這些規則有不同的定義，流行的規則包括 Unicode 和 ASCII，JavaScript 在 Unicode 字元集方面的表現非常好，實際上，在瀏覽器中，它是 Unicode（可以嘗試其他字元集），指出76表示大寫“L”。
我們已經瞭解了電腦如何用數字表示字元，現在，電腦將依次將數字76表示為其二進位形式，你可能會認為，只需將76轉換為以2為底的數字系統，沒那麼快！
字元編碼
就像字元集規則定義那些數字代表那些字元一樣，也有一些規則定義瞭如何使用二進位形式中表示該數字，具體來說，就是使用多少位來表示數字，這就是字元編碼。
我們常見字元編碼之一是 UTF-8，UTF-8 規定字元以位元組表示，一個位元組是8位(bit)，即8個1和0表示一個位元組，所以，用8個1和0組成的二進位序列，來表示和存儲任意的一個字元。
為了更好的理解，舉個例子： 比如之前提到的12的二進位表示是1100。 所以，使用 UTF-8 的格式來表示，應該使用一個位元組，也就是8位來完整表示，也即00001100， 沒有錯吧？
因此，76在電腦中的存儲形式應該是01001100。
這就是電腦將字元存儲成二進位的方式。當然，電腦也有一些特殊規則，將圖片、視頻等存儲為二進位的，總之，電腦會將無論圖片、視頻或其他數據都轉換為二進位並存儲，這就是我們說的二進位數據。
如果你對字元編碼非常感興趣，那你可以參考一下這篇文章
Stream
在Node.js中，流(stream)就是一系列從A點到B點移動的數據，完整點的說，就是當你有一個很大的數據需要傳輸、搬運時，你不需要等待所有數據都傳輸完成才開始下一步工作。
實際上，大型數據會被分割成小塊(chunks)進行傳輸。所以，buffer 的原始定義中所說的(“streams of binary data… in the context of… file system”)意思就是說二進位數據在文件系統中的傳輸。比如，將 file1.txt 的文字存儲到 file2.txt 中。
但是，buffer 到底在流(stream)中，是如何操作二進位數據的？buffer 到底是什麼呢？
Buffer
我們已經知道數據流(stream of data)是從一個地方向另一個地方傳輸數據的過程，但是這個具體是怎麼樣的一個過程？
通常情況下，我們傳輸數據往往是為了讀取它，處理它，或者基於這些數據做一些其他操作，但是，在每次傳輸過程中，有一個數據量的問題。因此當獲取到數據的時間比處理數據理的時間快時，我們處理數據就需要等待了。
這個”等待區域”就是 buffer! 它是電腦上的一個很小的物理地址，一般在記憶體中，數據在這裡暫時存儲，等待，最後在流(stream)中，發送出去並處理，比如說和顯卡相關的 webgl 處理就是一個例子。
我們可以把整個流(stream)和 buffer 的配合過程看作公交站。在一些公交站，公車在沒有裝滿乘客前是不會發車的，或者在特定的時刻才會發車。當然，乘客也可能在不同的時間，人流量大小也會有所不同，有人多的時候，有人少的時候，乘客或公交站都無法控制人流量。
不論何時，早到的乘客都必須等待，直到公車接到指令可以發車。當乘客到站，發現公車已經裝滿，或者已經開走，他就必須等待下一班車次。
總之，這裡總會有一個等待的地方，這個等待的區域就是 Node.js 中的 Buffer，Node.js 不能控制數據什麼時候傳輸過來，傳輸速度，就好像公交車站無法控制人流量一樣。他只能決定什麼時候發送數據。如果時間還不到，那麼 Node.js 就會把數據放入 buffer（等待區域）中，一個在記憶體中的地址，直到把他們發送出去進行處理。
一個關於 buffer 很典型的例子，就是你線上看視頻的時候。如果你的網路足夠快，數據流(stream)就可以足夠快，可以讓 buffer 迅速填滿然後發送和處理，然後處理另一個，再發送，再另一個，再發送，然後整個 stream 完成。
但是當你網路連接很慢，當處理完當前的數據後，你的播放器就會暫停，或出現”緩衝”(buffer)字樣，意思是正在收集更多的數據，或者等待更多的數據到來，才能下一步處理。當buffer裝滿並處理好，播放器就會顯示數據，也就是播放視頻了。在播放當前內容的時候，更多的數據也會源源不斷的傳輸、到達和在 buffer 等待。
這就是 buffer！
從原始的定義，我們知道，buffer 可以在 stream 中與二進位數據進行交互和操作。那麼到底可以進行什麼樣的操作呢？在 Node.js 中又應該如何進行剛纔所描述的一些東西呢？我們來瞧一瞧。
與 buffer 交互
你可以創建自己的緩衝區！在 stream 中，Node.js 會自動幫你創建 buffer 之外，你可以創建自己的 buffer 並操作它，是不是很有趣？ 我們來創建一個！
根據不同的需求，可以使用不同的方法來創建緩衝區。
// 創建一個大小為 10 的空 buffer
// 這個 buffer 只能承載10個位元組的內容
const buf1 = Buffer.alloc(10);
// 根據內容直接創建 buffer
const buf2 = Buffer.from("hello buffer");
創建緩衝區後，就可以操作了
// 檢查下buffer的結構
buf1.toJSON()
// { type: 'Buffer', data: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0] }
// 一個空的 buffer
buf2.toJSON()
// { type: 'Buffer', data: [104, 101, 108, 108, 111, 32, 98, 117, 102, 102, 101, 114] }
// the toJSON() 方法可以將數據進行 Unicode 編碼並展示
// 檢查 buffer 的大小
buf1.length // 10
buf2.length // 12 根據數據自動填充並創建
// 寫入數據到 buffer
buf1.write("Buffer really rocks!")
// 解碼buffer
buf1.toString() // 'Buffer rea'
// 對不起，因為buf1只能承載10個位元組的內容，所有多處的東西會被截斷
我們可以使用 buffer 進行更多操作，前往官方文檔，進一步瞭解這些方法。
最後，我將面臨這個小挑戰：仔細閱讀 Node.js 的核心庫之一 zlib.js 的源代碼，以瞭解它如何利用 buffer 的功能來操作二進位數據流，處理後，最後變成gziped文件。 當你在閱讀的時候，記錄下你的學習經歷併在評論中分享下來吧。
希望本文能幫助你更好地瞭解 Node.js Buffer。
如果你覺得這篇文章不錯，而其他人也有機會看到這一點，點個贊吧，以幫助其他人更好地理解 Buffer。
