由於JDK中提供的ByteBuffer無法動態擴容,並且API使用複雜等原因,Netty中提供了ByteBuf。Bytebuf的API操作更加便捷,可以動態擴容,提供了多種ByteBuf的實現,以及高效的零拷貝機制。 ByteBuf的操作 ByteBuf有三個重要的屬性:capacity容量,rea ...
由於JDK中提供的ByteBuffer無法動態擴容,並且API使用複雜等原因,Netty中提供了ByteBuf。
Bytebuf的API操作更加便捷,可以動態擴容,提供了多種ByteBuf的實現,以及高效的零拷貝機制。
ByteBuf的操作
ByteBuf有三個重要的屬性:capacity容量,readerIndex讀取位置,writerIndex寫入位置
提供了readerIndex和weiterIndex兩個變數指針來支持順序讀和寫操作
下圖顯示了一個緩衝區是如何被兩個指針分割成三個區域的:
代碼示例:
import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import java.util.Arrays;
public class ByteBufDemo {
public static void main(String[] args) {
// 1.創建一個非池化的ByteBuf,大小為10個位元組
ByteBuf buf = Unpooled.buffer(10);
System.out.println("原始ByteBuf為:" + buf.toString());
System.out.println("1.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");
// 2.寫入一段內容
byte[] bytes = {1, 2, 3, 4, 5};
buf.writeBytes(bytes);
System.out.println("寫入的bytes為:" + Arrays.toString(bytes));
System.out.println("寫入一段內容後ByteBuf為:" + buf.toString());
System.out.println("2.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");
// 3. 讀取一段內容
byte b1 = buf.readByte();
byte b2 = buf.readByte();
System.out.println("讀取的bytes為:" + Arrays.toString(new byte[] {b1, b2}));
System.out.println("讀取一段內容後ByteBuf為:" + buf.toString());
System.out.println("3.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");
// 4.將讀取的內容丟棄
buf.discardReadBytes();
System.out.println("將讀取的內容丟棄後ByteBuf為:" + buf.toString());
System.out.println("4.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");
// 5.清空讀寫指針
buf.clear();
System.out.println("清空讀寫指針後ByteBuf為:" + buf.toString());
System.out.println("5.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");
// 6.再次寫入一段內容,比第一段內容少
byte[] bytes2 = {1, 2, 3};
buf.writeBytes(bytes2);
System.out.println("寫入的bytes為:" + Arrays.toString(bytes2));
System.out.println("寫入一段內容後ByteBuf為:" + buf.toString());
System.out.println("6.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");
// 7.將ByteBuf清零
buf.setZero(0, buf.capacity());
System.out.println("清零後ByteBuf為:" + buf.toString());
System.out.println("7.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");
// 8.再次寫入一段超過容量的內容
byte[] bytes3 = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11};
buf.writeBytes(bytes3);
System.out.println("寫入的bytes為:" + Arrays.toString(bytes));
System.out.println("寫入一段內容後ByteBuf為:" + buf.toString());
System.out.println("8.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");
}
}
ButeBuf動態擴容
capacity預設值:256位元組,最大值:Integer.MAX_VALUE (2G)
writeXXX方法調用時,通過AbstractByteBuf.ensureWritable0()方法進行檢查
容量計算方法:AbstractByteBufAllocator.calculateNewCapacity
根據capacity的最小值要求,對應有兩套計算方法:
沒超過4兆:從64位元組開始,每次遞增一倍,直至計算出來的newCapacity滿足新容量最小要求
示例:當前大小256,已寫250,繼續寫10位元組的數據,需要的最小容量要求是261,則新容量為64x2x2x2=512
超過4兆:新容量=新容量最小要求/4兆x4兆+4兆
示例:當前大小為3兆,已寫3兆,繼續寫2兆,需要的最小容量大小為5兆,則新容量是8兆(不能超過最大值)
4兆的來源:一個固定的閾值AbstractByteBufAllocator.CALCULATE_THRESHOLD
ByteBuf的實現
在使用中都是通過ByteBufAllocator分配器進行申請,同時具備有記憶體管理功能
PooledByteBuf對象,記憶體 復用
PooledThreadCache:PooledByteBufAllocator實例維護的一個線程變數
多種分類的MemoryRegionCache數組用作記憶體緩存,MemoryRegionCache內部是鏈表,隊列裡面存Chuck。PoolChuck裡面維護了記憶體引用,記憶體復用的做法就是把buf的memory指向chuck的memory
PooledByteBufAllocator.ioBuffer運作過程梳理:
零拷貝機制
Netty的零拷貝機制,是一種應用層的實現,和底層JVM,操作系統記憶體機制並無過多關聯。
- CompositeByteBuf,將多個ByteBuf合併為一個邏輯上的ByteBuf,避免了各個ByteBuf之間的拷貝
- wrapedBuffer()方法,將byte[]數組包裝成ByteBuf對象
- slice()方法,將一個ByteBuf對象切割成多個ByteBuf對象
代碼示例:
public class ZeroCopyTest {
public static void main(String[] args) {
ByteBuf buffer1 = Unpooled.buffer(7);
buffer1.writeByte(7);
ByteBuf buffer2 = Unpooled.buffer(7);
buffer2.writeByte(13);
CompositeByteBuf compositeByteBuf = Unpooled.compositeBuffer();
CompositeByteBuf newBuf = compositeByteBuf.addComponents(true, buffer1, buffer2);
System.out.println("CompositeByteBuf:" + newBuf);
byte[] bytes = {1, 2, 3};
ByteBuf wrappedBuffer = Unpooled.wrappedBuffer(bytes);
System.out.println("wrappedBuffer:" + wrappedBuffer.getByte(2));
bytes[2] = 7;
System.out.println("wrappedBuffer:" + wrappedBuffer.getByte(2));
ByteBuf buf = Unpooled.wrappedBuffer("Netty".getBytes());
ByteBuf slice = buf.slice(1, 2);
slice.unwrap();
System.out.println("slice:" + slice);
}
}
-
田黃石(Field yellow stone),簡稱“田黃”,產於福州市壽山鄉“壽山溪”兩旁之水稻田底下、呈黃色而得名。壽山石優良品種。狹義的田黃石指“田坑石”,廣義的田黃石是指其化學成分相同的一類印章石石材的統稱。 物理性質、工藝美術特征方面,田黃石與壽山石相近,已成為獨立的印章石品種。 田黃究竟 ...
-
用於加密相關的操作,代替了md5模塊和sha模塊,主要提供SHA1,SHA224,SHA256,SHA512,MD5演算法。 以下是演算法示例: 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 import hashlib 4 # MD5()加密 5 ...
-
年薪50W python視頻 馬哥30天快速入門Python,總共60個視頻 001-Python編程語言歷史及特性002-Python編程語言初接觸003-Python程式文件結構004-準備Python編程環境005-Python編程語言基礎技術框架(1)006-Python編程語言基礎技術框架 ...
-
0.前言 在當前的行業發展和國際形勢下,讓更多的程式員思考跨平臺編程問題。在眾多的跨平臺開發環境中,Code::Blocks具有獨特的優勢。 近二十年來,跨平臺開發環境曾經如雨後春筍般產生,但是,由於後繼乏力,逐漸銷聲匿跡者頗多。作為程式員,熟悉一個平臺需要消耗大量的精力,把編寫的程式移植到另一個平 ...
-
EXCEPTION_ACCESS_VIOLATION(0xc0000005)eclipse.ini中添加:-XX:CompileCommand=exclude,org.eclipse.jdt.internal.coompiler.parser.TypeConverter::* ...
-
今天我們來安裝和測試一下php的多併發高性能網路通信擴展,這個擴展是使用C語音開發的,載入到PHP以後,在PHP的層面上實現了多併發非同步通信,模擬了go語音的很多特性,極大的拓寬了PHP的應用場景。 直接使用官網上的那句命令就可以,安裝swoole時可能會出現錯誤和卡住不動,多試幾次就能成功。pec ...
-
假定有下麵這樣的列表: 編寫一個函數,它以一個列表值作為參數,返回一個字元串。該字元串包含所有表項,表項之間以逗號和空格分隔,併在最後一個表項之前插入 and。例如,將前面的 spam 列表傳遞給函數,將返回'apples, bananas, tofu, and cats'。但你的函數應該能夠處理傳 ...
-
今日主要內容 正則表達式 logging模塊 一、正則表達式 (一)什麼是正則表達式 1. 正則表達式的定義: 是對字元串操作的一種邏輯公式,就是用事先定義好的一些特定字元、及這些特定字元的組合,組成一個“規則字元串”,這個“規則字元串”用來表達對字元串的一種過濾邏輯。 簡單來說,我們使用正則表達式 ...