Java網路編程 -- Netty中的ByteBuf

来源:https://www.cnblogs.com/coding-diary/archive/2019/10/06/11628391.html
-Advertisement-
Play Games

由於JDK中提供的ByteBuffer無法動態擴容,並且API使用複雜等原因,Netty中提供了ByteBuf。Bytebuf的API操作更加便捷,可以動態擴容,提供了多種ByteBuf的實現,以及高效的零拷貝機制。 ByteBuf的操作 ByteBuf有三個重要的屬性:capacity容量,rea ...


由於JDK中提供的ByteBuffer無法動態擴容,並且API使用複雜等原因,Netty中提供了ByteBuf。
Bytebuf的API操作更加便捷,可以動態擴容,提供了多種ByteBuf的實現,以及高效的零拷貝機制。

ByteBuf的操作

ByteBuf有三個重要的屬性:capacity容量,readerIndex讀取位置,writerIndex寫入位置
提供了readerIndex和weiterIndex兩個變數指針來支持順序讀和寫操作

下圖顯示了一個緩衝區是如何被兩個指針分割成三個區域的:

img

代碼示例:

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;

import java.util.Arrays;

public class ByteBufDemo {
  public static void main(String[] args) {
    // 1.創建一個非池化的ByteBuf,大小為10個位元組
    ByteBuf buf = Unpooled.buffer(10);
    System.out.println("原始ByteBuf為:" + buf.toString());
    System.out.println("1.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");

    // 2.寫入一段內容
    byte[] bytes = {1, 2, 3, 4, 5};
    buf.writeBytes(bytes);
    System.out.println("寫入的bytes為:" + Arrays.toString(bytes));
    System.out.println("寫入一段內容後ByteBuf為:" + buf.toString());
    System.out.println("2.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");

    // 3. 讀取一段內容
    byte b1 = buf.readByte();
    byte b2 = buf.readByte();
    System.out.println("讀取的bytes為:" + Arrays.toString(new byte[] {b1, b2}));
    System.out.println("讀取一段內容後ByteBuf為:" + buf.toString());
    System.out.println("3.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");

    // 4.將讀取的內容丟棄
    buf.discardReadBytes();
    System.out.println("將讀取的內容丟棄後ByteBuf為:" + buf.toString());
    System.out.println("4.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");

    // 5.清空讀寫指針
    buf.clear();
    System.out.println("清空讀寫指針後ByteBuf為:" + buf.toString());
    System.out.println("5.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");

    // 6.再次寫入一段內容,比第一段內容少
    byte[] bytes2 = {1, 2, 3};
    buf.writeBytes(bytes2);
    System.out.println("寫入的bytes為:" + Arrays.toString(bytes2));
    System.out.println("寫入一段內容後ByteBuf為:" + buf.toString());
    System.out.println("6.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");

    // 7.將ByteBuf清零
    buf.setZero(0, buf.capacity());
    System.out.println("清零後ByteBuf為:" + buf.toString());
    System.out.println("7.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");

    // 8.再次寫入一段超過容量的內容
    byte[] bytes3 = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11};
    buf.writeBytes(bytes3);
    System.out.println("寫入的bytes為:" + Arrays.toString(bytes));
    System.out.println("寫入一段內容後ByteBuf為:" + buf.toString());
    System.out.println("8.ByteBuf中的內容為:" + Arrays.toString(buf.array()) + "\n");
  }
}

ButeBuf動態擴容

capacity預設值:256位元組,最大值:Integer.MAX_VALUE (2G)

writeXXX方法調用時,通過AbstractByteBuf.ensureWritable0()方法進行檢查
容量計算方法:AbstractByteBufAllocator.calculateNewCapacity

根據capacity的最小值要求,對應有兩套計算方法:
沒超過4兆:從64位元組開始,每次遞增一倍,直至計算出來的newCapacity滿足新容量最小要求
示例:當前大小256,已寫250,繼續寫10位元組的數據,需要的最小容量要求是261,則新容量為64x2x2x2=512

超過4兆:新容量=新容量最小要求/4兆x4兆+4兆
示例:當前大小為3兆,已寫3兆,繼續寫2兆,需要的最小容量大小為5兆,則新容量是8兆(不能超過最大值)

4兆的來源:一個固定的閾值AbstractByteBufAllocator.CALCULATE_THRESHOLD

ByteBuf的實現

img

在使用中都是通過ByteBufAllocator分配器進行申請,同時具備有記憶體管理功能

PooledByteBuf對象,記憶體 復用

PooledThreadCache:PooledByteBufAllocator實例維護的一個線程變數
多種分類的MemoryRegionCache數組用作記憶體緩存,MemoryRegionCache內部是鏈表,隊列裡面存Chuck。PoolChuck裡面維護了記憶體引用,記憶體復用的做法就是把buf的memory指向chuck的memory
PooledByteBufAllocator.ioBuffer運作過程梳理:

img

零拷貝機制

Netty的零拷貝機制,是一種應用層的實現,和底層JVM,操作系統記憶體機制並無過多關聯。

  1. CompositeByteBuf,將多個ByteBuf合併為一個邏輯上的ByteBuf,避免了各個ByteBuf之間的拷貝

img

  1. wrapedBuffer()方法,將byte[]數組包裝成ByteBuf對象

img

  1. slice()方法,將一個ByteBuf對象切割成多個ByteBuf對象

img

代碼示例:

public class ZeroCopyTest {

  public static void main(String[] args) {
    ByteBuf buffer1 = Unpooled.buffer(7);
    buffer1.writeByte(7);
    ByteBuf buffer2 = Unpooled.buffer(7);
    buffer2.writeByte(13);
    CompositeByteBuf compositeByteBuf = Unpooled.compositeBuffer();
    CompositeByteBuf newBuf = compositeByteBuf.addComponents(true, buffer1, buffer2);
    System.out.println("CompositeByteBuf:" + newBuf);

    byte[] bytes = {1, 2, 3};
    ByteBuf wrappedBuffer = Unpooled.wrappedBuffer(bytes);
    System.out.println("wrappedBuffer:" + wrappedBuffer.getByte(2));
    bytes[2] = 7;
    System.out.println("wrappedBuffer:" + wrappedBuffer.getByte(2));

    ByteBuf buf = Unpooled.wrappedBuffer("Netty".getBytes());
    ByteBuf slice = buf.slice(1, 2);
    slice.unwrap();
    System.out.println("slice:" + slice);
  }
}


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 田黃石(Field yellow stone),簡稱“田黃”,產於福州市壽山鄉“壽山溪”兩旁之水稻田底下、呈黃色而得名。壽山石優良品種。狹義的田黃石指“田坑石”,廣義的田黃石是指其化學成分相同的一類印章石石材的統稱。 物理性質、工藝美術特征方面,田黃石與壽山石相近,已成為獨立的印章石品種。 田黃究竟 ...
  • 用於加密相關的操作,代替了md5模塊和sha模塊,主要提供SHA1,SHA224,SHA256,SHA512,MD5演算法。 以下是演算法示例: 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 import hashlib 4 # MD5()加密 5 ...
  • 年薪50W python視頻 馬哥30天快速入門Python,總共60個視頻 001-Python編程語言歷史及特性002-Python編程語言初接觸003-Python程式文件結構004-準備Python編程環境005-Python編程語言基礎技術框架(1)006-Python編程語言基礎技術框架 ...
  • 0.前言 在當前的行業發展和國際形勢下,讓更多的程式員思考跨平臺編程問題。在眾多的跨平臺開發環境中,Code::Blocks具有獨特的優勢。 近二十年來,跨平臺開發環境曾經如雨後春筍般產生,但是,由於後繼乏力,逐漸銷聲匿跡者頗多。作為程式員,熟悉一個平臺需要消耗大量的精力,把編寫的程式移植到另一個平 ...
  • EXCEPTION_ACCESS_VIOLATION(0xc0000005)eclipse.ini中添加:-XX:CompileCommand=exclude,org.eclipse.jdt.internal.coompiler.parser.TypeConverter::* ...
  • 今天我們來安裝和測試一下php的多併發高性能網路通信擴展,這個擴展是使用C語音開發的,載入到PHP以後,在PHP的層面上實現了多併發非同步通信,模擬了go語音的很多特性,極大的拓寬了PHP的應用場景。 直接使用官網上的那句命令就可以,安裝swoole時可能會出現錯誤和卡住不動,多試幾次就能成功。pec ...
  • 假定有下麵這樣的列表: 編寫一個函數,它以一個列表值作為參數,返回一個字元串。該字元串包含所有表項,表項之間以逗號和空格分隔,併在最後一個表項之前插入 and。例如,將前面的 spam 列表傳遞給函數,將返回'apples, bananas, tofu, and cats'。但你的函數應該能夠處理傳 ...
  • 今日主要內容 正則表達式 logging模塊 一、正則表達式 (一)什麼是正則表達式 1. 正則表達式的定義: 是對字元串操作的一種邏輯公式,就是用事先定義好的一些特定字元、及這些特定字元的組合,組成一個“規則字元串”,這個“規則字元串”用來表達對字元串的一種過濾邏輯。 簡單來說,我們使用正則表達式 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...