Java NIO全面詳解(看這篇就夠了)

来源:https://www.cnblogs.com/mikechenshare/archive/2022/08/15/16587635.html
-Advertisement-
Play Games

很多技術框架都使用NIO技術，學習和掌握Java NIO技術對於高性能、高併發網路的應用是非常關鍵的@mikechen NIO簡介 NIO 中的 N 可以理解為 Non-blocking，不單純是 New，是解決高併發、I/O高性能的有效方式。 Java NIO是Java1.4之後推出來的一套IO接 ...


很多技術框架都使用NIO技術，學習和掌握Java NIO技術對於高性能、高併發網路的應用是非常關鍵的@mikechen

NIO簡介

NIO 中的 N 可以理解為 Non-blocking，不單純是 New，是解決高併發、I/O高性能的有效方式。

Java NIO是Java1.4之後推出來的一套IO介面，NIO提供了一種完全不同的操作方式， NIO支持面向緩衝區的、基於通道的IO操作。

新增了許多用於處理輸入輸出的類，這些類都被放在java.nio包及子包下，並且對原java.io包中的很多類進行改寫，新增了滿足NIO的功能。

 

NIO VS BIO

BIO

BIO全稱是Blocking IO，同步阻塞式IO，是JDK1.4之前的傳統IO模型。

Java BIO：伺服器實現模式為一個連接一個線程，即客戶端有連接請求時伺服器端就需要啟動一個線程進行處理，如下圖所示：

雖然此時伺服器具備了高併發能力，即能夠同時處理多個客戶端請求了，但是卻帶來了一個問題，隨著開啟的線程數目增多，將會消耗過多的記憶體資源，導致伺服器變慢甚至崩潰，NIO可以一定程度解決這個問題。

 

NIO

Java NIO： 同步非阻塞，伺服器實現模式為一個線程處理多個請求(連接)，即客戶端發送的連接請求都會註冊到多路復用器上，多路復用器輪詢到連接有I/O請求就進行處理。

一個線程中就可以調用多路復用介面（java中是select）阻塞同時監聽來自多個客戶端的IO請求，一旦有收到IO請求就調用對應函數處理，NIO擅長1個線程管理多條連接，節約系統資源。

 

NIO的核心實現

NIO 包含3個核心的組件：

  • Channel(通道)
  • Buffer(緩衝區)
  • Selector(選擇器)

關係圖的說明:

  1. 每個 Channel 對應一個 Buffer。
  2. Selector 對應一個線程，一個線程對應多個 Channel。
  3. 該圖反應了有三個 Channel 註冊到該 Selector。
  4. 程式切換到那個 Channel 是由事件決定的（Event）。
  5. Selector 會根據不同的事件，在各個通道上切換。
  6. Buffer 就是一個記憶體塊，底層是有一個數組。
  7. 數據的讀取和寫入是通過 Buffer，但是需要flip()切換讀寫模式，而 BIO 是單向的，要麼輸入流要麼輸出流。

 

Channel(通道)

Channel 是 NIO 的核心概念，它表示一個打開的連接，這個連接可以連接到 I/O 設備（例如：磁碟文件，Socket）或者一個支持 I/O 訪問的應用程式，Java NIO 使用緩衝區和通道來進行數據傳輸。

通道的主要實現類：

FileChannel類

本地文件IO通道，用於讀取、寫入、映射和操作文件的通道，使用文件通道操作文件的一般流程為：

1）獲取通道

文件通道通過 FileChannel 的靜態方法 open() 來獲取，獲取時需要指定文件路徑和文件打開方式。

// 獲取文件通道
FileChannel.open(Paths.get(fileName), StandardOpenOption.READ);

 

2）創建位元組緩衝區

文件相關的位元組緩衝區有兩種，一種是基於堆的 HeapByteBuffer，另一種是基於文件映射，放在堆外記憶體中的 MappedByteBuffer。

// 分配位元組緩存
ByteBuffer buf = ByteBuffer.allocate(10);

 

3）讀寫操作

讀取數據

一般需要一個迴圈結構來讀取數據，讀取數據時需要註意切換 ByteBuffer 的讀寫模式。

while (channel.read(buf) != -1){ // 讀取通道中的數據，並寫入到 buf 中
    buf.flip(); // 緩存區切換到讀模式
    while (buf.position() < buf.limit()){ // 讀取 buf 中的數據
        text.append((char)buf.get());
    }
    buf.clear(); // 清空 buffer，緩存區切換到寫模式
}

 

寫入數據

for (int i = 0; i < text.length(); i++) {
    buf.put((byte)text.charAt(i)); // 填充緩衝區，需要將 2 位元組的 char 強轉為 1 自己的 byte
    if (buf.position() == buf.limit() || i == text.length() - 1) { // 緩存區已滿或者已經遍歷到最後一個字元
        buf.flip(); // 將緩衝區由寫模式置為讀模式
        channel.write(buf); // 將緩衝區的數據寫到通道
        buf.clear(); // 清空緩存區，將緩衝區置為寫模式，下次才能使用
    }
}

 

4）將數據刷出到物理磁碟，FileChannel 的 force(boolean metaData) 方法可以確保對文件的操作能夠更新到磁碟。

channel.force(false);

 

5）關閉通道

channel.close();

 

SocketChannel類

網路套接字IO通道，TCP協議，針對面向流的連接套接字的可選擇通道（一般用在客戶端）。

TCP 客戶端使用 SocketChannel 與服務端進行交互的流程為：

1）打開通道，連接到服務端。

SocketChannel channel = SocketChannel.open(); // 打開通道，此時還沒有打開 TCP 連接
channel.connect(new InetSocketAddress("localhost", 9090)); // 連接到服務端

 

2）分配緩衝區

ByteBuffer buf = ByteBuffer.allocate(10); // 分配一個 10 位元組的緩衝區，不實用，容量太小

 

3）配置是否為阻塞方式。（預設為阻塞方式）

channel.configureBlocking(false); // 配置通道為非阻塞模式

 

4）與服務端進行數據交互

5）關閉連接

channel.close();          // 關閉通道

 

 

ServerSocketChannel類

網路通信IO操作，TCP協議，針對面向流的監聽套接字的可選擇通道（一般用於服務端），流程如下：

1）打開一個 ServerSocketChannel 通道, 綁定埠。

ServerSocketChannel server = ServerSocketChannel.open(); // 打開通道

 

2）綁定埠

server.bind(new InetSocketAddress(9090)); // 綁定埠

 

3）阻塞等待連接到來，有新連接時會創建一個 SocketChannel 通道，服務端可以通過這個通道與連接過來的客戶端進行通信。等待連接到來的代碼一般放在一個迴圈結構中。

SocketChannel client = server.accept(); // 阻塞，直到有連接過來

 

4）通過 SocketChannel 與客戶端進行數據交互

5）關閉 SocketChannel

client.close();

 

 

Buffer(緩衝區)

緩衝區 Buffer 是 Java NIO 中一個核心概念，在NIO庫中，所有數據都是用緩衝區處理的。

在讀取數據時，它是直接讀到緩衝區中的,在寫入數據時，它也是寫入到緩衝區中的,任何時候訪問 NIO 中的數據，都是將它放到緩衝區中。

而在面向流I/O系統中，所有數據都是直接寫入或者直接將數據讀取到Stream對象中。

Buffer 數據類型

從類圖中可以看到，7 種數據類型對應著 7 種子類，這些名字是 Heap 開頭子類，數據是存放在 JVM 堆中的。

 

MappedByteBuffer

而 MappedByteBuffer 則是存放在堆外的直接記憶體中，可以映射到文件。

通過java.nio包和MappedByteBuffer允許Java程式直接從記憶體中讀取文件內容，通過將整個或部分文件映射到記憶體，由操作系統來處理載入請求和寫入文件，應用只需要和記憶體打交道，這使得IO操作非常快。

Mmap記憶體映射和普通標準IO操作的本質區別在於它並不需要將文件中的數據先拷貝至OS的內核IO緩衝區，而是可以直接將用戶進程私有地址空間中的一塊區域與文件對象建立映射關係，這樣程式就好像可以直接從記憶體中完成對文件讀/寫操作一樣。

只有當缺頁中斷發生時，直接將文件從磁碟拷貝至用戶態的進程空間內，只進行了一次數據拷貝，對於容量較大的文件來說（文件大小一般需要限制在1.5~2G以下），採用Mmap的方式其讀/寫的效率和性能都非常高，大家熟知的RocketMQ就使用了該技術。

 

Buffer數據流程

應用程式可以通過與 I/O 設備建立通道來實現對 I/O 設備的讀寫操作，操作的數據通過緩衝區 Buffer 來進行交互。

從 I/O 設備讀取數據時：

1）應用程式調用通道 Channel 的 read() 方法；

2）通道往緩衝區 Buffer 中填入 I/O 設備中的數據，填充完成之後返回；

3）應用程式從緩衝區 Buffer 中獲取數據。

往 I/O 設備寫數據時：
1）應用程式往緩衝區 Buffer 中填入要寫到 I/O 設備中的數據；
2）調用通道 Channel 的 write() 方法，通道將數據傳輸至 I/O 設備。

緩衝區核心方法

緩衝區存取數據的兩個核心方法：

1）put():存入數據到緩衝區

  • put(byte b)：將給定單個位元組寫入緩衝區的當前位置
  • put(byte[] src)：將 src 中的位元組寫入緩衝區的當前位置
  • put(int index, byte b)：將指定位元組寫入緩衝區的索引位置(不會移動 position)

2）get():獲取緩衝區的數據

  • get() ：讀取單個位元組
  • get(byte[] dst)：批量讀取多個位元組到 dst 中
  • get(int index)：讀取指定索引位置的位元組(不會移動 position)

 

Selector(選擇器)

Selector類是NIO的核心類，Selector（選擇器）選擇器提供了選擇已經就緒的任務的能力。

Selector會不斷的輪詢註冊在上面的所有channel，如果某個channel為讀寫等事件做好準備，那麼就處於就緒狀態，通過Selector可以不斷輪詢發現出就緒的channel，進行後續的IO操作。

一個Selector能夠同時輪詢多個channel，這樣，一個單獨的線程就可以管理多個channel，從而管理多個網路連接，這樣就不用為每一個連接都創建一個線程，同時也避免了多線程之間上下文切換導致的開銷。

選擇器使用步驟

1 獲取選擇器

與通道和緩衝區的獲取類似，選擇器的獲取也是通過靜態工廠方法 open() 來得到的。

Selector selector = Selector.open(); // 獲取一個選擇器實例

 

2 獲取可選擇通道

能夠被選擇器監控的通道必須實現了 SelectableChannel 介面，並且需要將通道配置成非阻塞模式，否則後續的註冊步驟會拋出 IllegalBlockingModeException。

SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("localhost", 9090)); // 打開 SocketChannel 並連接到本機 9090 埠
socketChannel.configureBlocking(false); // 配置通道為非阻塞模式

 

3 將通道註冊到選擇器

通道在被指定的選擇器監控之前，應該先告訴選擇器，並且告知監控的事件，即：將通道註冊到選擇器。

通道的註冊通過 SelectableChannel.register(Selector selector, int ops) 來完成，ops 表示關註的事件，如果需要關註該通道的多個 I/O 事件，可以傳入這些事件類型或運算之後的結果。這些事件必須是通道所支持的，否則拋出 IllegalArgumentException。

socketChannel.register(selector, SelectionKey.OP_READ | SelectionKey.OP_WRITE); // 將套接字通過到註冊到選擇器，關註 read 和 write 事件

 

4 輪詢 select 就緒事件
通過調用選擇器的 Selector.select() 方法可以獲取就緒事件，該方法會將就緒事件放到一個 SelectionKey 集合中，然後返回就緒的事件的個數。這個方法映射多路復用 I/O 模型中的 select 系統調用，它是一個阻塞方法。正常情況下，直到至少有一個就緒事件，或者其它線程調用了當前 Selector 對象的 wakeup() 方法，或者當前線程被中斷時返回。

while (selector.select() > 0){ // 輪詢，且返回時有就緒事件
Set<SelectionKey> keys = selector.selectedKeys(); // 獲取就緒事件集合
.......
}

 

有 3 種方式可以 select 就緒事件：

1）select() 阻塞方法，有一個就緒事件，或者其它線程調用了 wakeup() 或者當前線程被中斷時返回。

2）select(long timeout) 阻塞方法，有一個就緒事件，或者其它線程調用了 wakeup()，或者當前線程被中斷，或者阻塞時長達到了 timeout 時返回。不拋出超時異常。

3）selectNode() 不阻塞，如果無就緒事件，則返回 0；如果有就緒事件，則將就緒事件放到一個集合，返回就緒事件的數量。

5 處理就緒事件
每次可以 select 出一批就緒的事件，所以需要對這些事件進行迭代。

for(SelectionKey key : keys){
if(key.isWritable()){ // 可寫事件
if("Bye".equals( (line = scanner.nextLine()) )){
socketChannel.shutdownOutput();
socketChannel.close();
break;
}
buf.put(line.getBytes());
buf.flip();
socketChannel.write(buf);
buf.compact();
}
}

 

從一個 SelectionKey 對象可以得到：1）就緒事件的對應的通道；2）就緒的事件。通過這些信息，就可以很方便地進行 I/O 操作。

 

NIO源碼案例

NIOServer

public static void main(String[] args) throws  Exception{
        //創建ServerSocketChannel，-->> ServerSocket
        ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
        InetSocketAddress inetSocketAddress = new InetSocketAddress(5555);
        serverSocketChannel.socket().bind(inetSocketAddress);
        serverSocketChannel.configureBlocking(false); //設置成非阻塞
 
        //開啟selector,並註冊accept事件
        Selector selector = Selector.open();
        serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
 
        while(true) {
            selector.select(2000);  //監聽所有通道
            //遍歷selectionKeys
            Set<SelectionKey> selectionKeys = selector.selectedKeys();
            Iterator<SelectionKey> iterator = selectionKeys.iterator();
            while (iterator.hasNext()) {
                SelectionKey key = iterator.next();
                if(key.isAcceptable()) {  //處理連接事件
                    SocketChannel socketChannel = serverSocketChannel.accept();
                    socketChannel.configureBlocking(false);  //設置為非阻塞
                    System.out.println("client:" + socketChannel.getLocalAddress() + " is connect");
                    socketChannel.register(selector, SelectionKey.OP_READ); //註冊客戶端讀取事件到selector
                } else if (key.isReadable()) {  //處理讀取事件
                    ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
                    SocketChannel channel = (SocketChannel) key.channel();
                    channel.read(byteBuffer);
                    System.out.println("client:" + channel.getLocalAddress() + " send " + new String(byteBuffer.array()));
                }
                iterator.remove();  //事件處理完畢，要記得清除
            }
        }
 
    }

 

 

NIOClient

public class NIOClient {
 
public static void main(String[] args) throws Exception{
        SocketChannel socketChannel = SocketChannel.open();
        socketChannel.configureBlocking(false);
        InetSocketAddress inetSocketAddress = new InetSocketAddress("127.0.0.1", 5555);
 
        if(!socketChannel.connect(inetSocketAddress)) {
            while (!socketChannel.finishConnect()) {
                System.out.println("客戶端正在連接中，請耐心等待");
            }
        }
 
        ByteBuffer byteBuffer = ByteBuffer.wrap("mikechen的互聯網架構".getBytes());
        socketChannel.write(byteBuffer);
        socketChannel.close();
}
}

 

以上

作者簡介

陳睿|mikechen,10年+大廠架構經驗,《BAT架構技術500期》系列文章作者，分享十餘年BAT架構經驗以及面試心得!

閱讀mikechen的互聯網架構更多技術文章合集

Java併發|JVM|MySQL|Spring|Redis|分散式|高併發|架構師

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Golang實現set
    Python爬蟲之xpath語法及案例使用 鋼鐵俠的知識庫 2022.08.15 我們在寫Python爬蟲時，經常需要對網頁提取信息，如果用傳統正則表達去寫會增加很多工作量，此時需要一種對數據解析的方法，也就是本章要介紹的Xpath表達式。 Xpath是什麼 XPath，全稱 XML Path La ...
  • python教程：一個 list 使用 for 遍歷，邊迴圈邊刪除的問題
    Java集合04 9.Set介面方法 Set介面基本介紹 無序（添加和取出的順序不一致），沒有索引 不允許重覆元素，所以最多只有一個null JDK API中介面的實現類有： Set介面的常用方法：和List介面一樣，Set介面也是Collection的子介面，因此，常用方法和Collection接 ...
  • Pytest框架 — 07、Pytest的Fixture（部分前後置）(二)
    4、Fixture的相互調用 示例： import pytest # 第一層fixture @pytest.fixture() def fixture_1(): data = "fixture_1" print("這是第一層fixture") return data # 第二層fixture @py ...
  • Python獲取虎牙平臺主播照片, 實現顏值檢測, 進行排名
    前言 嗨嘍~大家好呀，這裡是魔王吶 ! 在這平凡的一日，我決定~ 乾一件平凡的事~讓我們開動起我們的小手 來做一個小小的顏值檢測叭~ 開發環境: Python 3.8 Pycharm 2021.2 模塊使用: requests >>> pip install requests tqdm >>> pi ...
  • Javaweb07-三層架構(BaseDao)
    1、BaseDao 持久層業務介面實現類的公共父類，定義了jdbc操作資料庫的所有公共方法，方便子類繼承； import java.io.InputStream; import java.sql.Connection; import java.sql.DriverManager; import ja ...
  • 清晰梳理最全日誌框架關係與日誌配置-SpringBoot 2.7.2 實戰基礎
    Java 中日誌相關的 jar 包非常多，log4j、log4j2、commons-logging、logback、slf4j 等，本文首先梳理這些包之間關係，然後介紹在 spring boot 中日誌的配置，最後介紹多環境的配置。 ...
  • 一文說透kafka底層架構
    底層架構 先停一下，學習之前，先看下如何學習，兩篇不錯的乾貨文章分享給你，一定要點開看下 如何從普通程式員，進階架構師！ 工作幾年？如何快速晉升架構師！！ 6.1 存儲架構 6.1.1 分段存儲 開篇講過，kafka每個主題可以有多個分區，每個分區在它所在的broker上創建一個文件夾 每個分區又分 ...
  • 字元串的基本運用
    cds 字元串的基本運用 string(字元串）是c++中一種相當方便的數據類型，他由很多的字元組成，和 char 比較起來，他不必擔心記憶體是否足夠,而既然他自成一個類型，它的使用範圍很廣操作體系也是相當全面的。正是因為他既簡單又實用，所以他深受喜愛！由此，他也誕生出了很多經典高效的演算法，比如說AC ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類