Apache HttpClient使用和源碼分析

来源:https://www.cnblogs.com/aruo/archive/2023/02/28/17165218.html
-Advertisement-
Play Games

在上文中分析了 HttpURLConnection的用法，功能還是比較簡單的，沒有什麼封裝 接下來看看Apache HttpClient是如何封裝httpClient的 組成 HttpClient 5 的系統架構主要由以下幾個部分組成： HttpCore：核心包，包含了 HTTP 協議的核心抽象和實 ...


在上文中分析了 HttpURLConnection的用法，功能還是比較簡單的，沒有什麼封裝

接下來看看Apache HttpClient是如何封裝httpClient的

目錄

組成

HttpClient 5 的系統架構主要由以下幾個部分組成：

  1. HttpCore：核心包，包含了 HTTP 協議的核心抽象和實現，定義了 HTTP 客戶端和服務端的基本組件，例如請求消息、響應消息、傳輸層等。
  2. HttpClient：高級 API，封裝了 HttpCore 包中的核心抽象，提供了一組簡單易用的 API，以便於客戶端應用程式發送 HTTP 請求。
  3. HttpAsyncClient：非同步 API，是基於 HttpCore 和 HttpClient 構建的非同步 HTTP 客戶端，可以通過非同步方式實現 HTTP 請求。
  4. HttpClient 和 HttpAsyncClient 都可以通過擴展進行定製和優化，可以添加攔截器、設置連接管理器、Cookie 管理器、認證器等。

請求代碼

GET請求代碼

String resultContent = null;
String url = "http://127.0.0.1:8081/get";
HttpGet httpGet = new HttpGet(url);
//通過工廠獲取
CloseableHttpClient httpClient = HttpClients.createDefault();
//請求
CloseableHttpResponse response = httpClient.execute(httpGet);

// Get status code
System.out.println(response.getVersion()); 
// HTTP/1.1
System.out.println(response.getCode()); 
// 200
System.out.println(response.getReasonPhrase()); 
// OK
HttpEntity entity = response.getEntity();
// Get response information
resultContent = EntityUtils.toString(entity);
System.out.println(resultContent);

代碼分析

創建實例

Apache HttpClient提供了一個工廠類來返回HttpClient實例

但實際上都是通過HttpClientBuilder去創建的，

Apache HttpClient通過構建者模式加上策略模式實現非常靈活的配置，以實現各種不同的業務場景

通過看build()的代碼，創建HttpClient主要分為兩步

    public static CloseableHttpClient createDefault() {
        return HttpClientBuilder.create().build();
    }

第一步是初始化配置

裡邊很多策略模式的使用，可以實現相關的類來拓展自己的需求，可以通過HttpClient的set方法把新的策略設置進去，其他配置也可以通過RequestConfig設置好

ConnectionKeepAliveStrategy keepAliveStrategyCopy = this.keepAliveStrategy;
if (keepAliveStrategyCopy == null) {
    keepAliveStrategyCopy = DefaultConnectionKeepAliveStrategy.INSTANCE;
}
AuthenticationStrategy targetAuthStrategyCopy = this.targetAuthStrategy;
if (targetAuthStrategyCopy == null) {
    targetAuthStrategyCopy = DefaultAuthenticationStrategy.INSTANCE;
}
AuthenticationStrategy proxyAuthStrategyCopy = this.proxyAuthStrategy;
if (proxyAuthStrategyCopy == null) {
    proxyAuthStrategyCopy = DefaultAuthenticationStrategy.INSTANCE;
}

在這裡會初始化包括連接管理器、請求重試處理器、請求執行器、重定向策略、認證策略、代理、SSL/TLS等配置

第二步是創建處理器鏈

通過組合多個處理器來構建成處理器鏈處理請求

需要註意的是這裡的添加順序的方法，添加最終的執行處理器調用的是addLast()

處理器鏈中的每個處理器都有不同的功能，例如請求預處理、重試、身份驗證、請求發送、響應解析等等。在每個處理器的處理過程中，可以對請求或響應進行修改或擴展，以滿足不同的需求

最後再把初始化好的參數傳遞給InternalHttpClient返回一個HttpClient實例

發起請求

接下來看看請求方法

CloseableHttpResponse response = httpClient.execute(httpGet);

主要請求方法在InternalHttpClient#doExecute中

主要分為三步，第一步是將各種配置填充到上下文中HttpContext

第二步，執行剛剛封裝執行鏈

//execChain就是上一步封裝好的執行鏈
final ClassicHttpResponse response = this.execChain.execute(ClassicRequestBuilder.copy(request).build(), scope);

執行 execute 方法，執行鏈中的處理器被依次調用，每個元素都可以執行一些預處理、後處理、重試等邏輯

第三步，請求結束後，將結果轉換為CloseableHttpResponse返回

自定義攔截器和處理器

接下來試試加一下自定義的攔截器和處理器

攔截器和處理器的實現是不一樣的，處理器的實現是ExecChainHandler，攔截器是HttpResponseInterceptor和HttpRequestInterceptor

//執行鏈處理器
class MyCustomInterceptor implements ExecChainHandler {
    @Override
    public ClassicHttpResponse execute(ClassicHttpRequest request, ExecChain.Scope scope, ExecChain chain) throws IOException, HttpException {
        System.out.println("MyCustomInterceptor-------------");
        //調用下一個鏈
        return chain.proceed(request,scope);
    }
}

//響應攔截器
class MyCustomResponseInterceptor implements HttpResponseInterceptor {

    @Override
    public void process(HttpResponse response, EntityDetails entity, HttpContext context) throws HttpException, IOException {
        System.out.println("MyCustomResponseInterceptor-------------");
    }
}

//請求攔截器
class MyCustomRequestInterceptor implements HttpRequestInterceptor {


    @Override
    public void process(HttpRequest request, EntityDetails entity, HttpContext context) throws HttpException, IOException {
        System.out.println("MyCustomRequestInterceptor-------------");
    }
}

然後加入到攔截鏈中，custom()方法返回HttpClientBuilder來支持自定義

CloseableHttpClient httpClient = HttpClients.custom()
.addExecInterceptorLast("myCustomInterceptor", new MyCustomInterceptor())
.addRequestInterceptorFirst(new MyCustomRequestInterceptor())
.addResponseInterceptorLast(new MyCustomResponseInterceptor())
.build();

註意看日誌就有輸出了

攔截器和處理器都是用於攔截請求和響應的中間件，但它們在功能上有些不同：

  1. 攔截器：在請求發送前或響應返回後對請求或響應進行修改，例如添加、刪除、修改請求頭或響應頭、修改請求體等。攔截器的主要作用是攔截請求和響應，對它們進行一些操作，並將它們傳遞給下一個攔截器或處理器
  2. 處理器：用於執行實際的請求和響應處理，例如建立連接、發送請求、解析響應等。處理器通常是在整個請求-響應流程中的最後一環，負責將最終的響應結果返回給調用方

總之，攔截器和處理器都是用於處理請求和響應的中間件，但它們的職責和功能略有不同

非同步請求

非同步請求的HttpAsyncClient通過HttpAsyncClients工廠返回

主要的流程和同步請求差不多，包括初始化配置和初始化執行鏈，主要差異在執行請求那裡

因為是非同步執行，需要開啟非同步請求的執行器線程池，通過httpClient.start();方法來設置非同步線程的狀態，否則非同步請求將無法執行

@Override
public final void start() {
    if (status.compareAndSet(Status.READY, Status.RUNNING)) {
        executorService.execute(ioReactor::start);
    }
}

如果沒有開啟，會拋出異常

if (!isRunning()) {
    throw new CancellationException("Request execution cancelled");
}

因為是非同步請求，所以請求方法需要提供回調方法，主要實現三個方法，執行完成、失敗和取消

//創建url
SimpleHttpRequest get = SimpleHttpRequest.create("GET", url);

Future<SimpleHttpResponse> future = httpClient.execute(get, 
//非同步回調                                                     
new FutureCallback<SimpleHttpResponse>() {
    @Override
    public void completed(SimpleHttpResponse result) {
        System.out.println("completed---------------");
    }

    @Override
    public void failed(Exception ex) {
        System.out.println("failed---------------");
    }

    @Override
    public void cancelled() {
        System.out.println("cancelled---------------");
    }
});

SimpleHttpResponse response = future.get();

通過future.get()來獲取非同步結果，接下來看看底層是怎麼實現的

//請求
execute(SimpleRequestProducer.create(request), SimpleResponseConsumer.create(), context, callback);

非同步請求會創建SimpleRequestProducer和SimpleResponseConsumer來處理請求和響應，execute()也支持我們自己傳進去

最終的請求和數據的接收都是依賴管道，過程有點像NIO

當請求時，會調用requestProducer.produce(channel);把請求數據寫入channel中，在響應時，responseConsumer從channel中取得數據

源碼的整一塊請求代碼都是通過幾個匿名函數的寫法完成的，看的有點繞

發起請求，匿名函數段代表的是RequestChannel的請求方法

//requestProducer的sendRequest方法
void sendRequest(RequestChannel channel, HttpContext context)

因為RequestChannel類是一個函數式介面，所以可以通過這種方式調用

public interface RequestChannel {
	//請求方法也是叫sendRequest
    void sendRequest(HttpRequest request, EntityDetails entityDetails, HttpContext context) throws HttpException, IOException;
}

生產和消費數據的代碼都在那一刻函數段中，具體的實現細節可以看一下那一段源碼，最終requestProducer也是委托RequestChannel來發起請求

消費完後通過一層一層的回調，最終到達最上邊自己實現的三個方法上

非同步的HttpClient也可以自定義攔截器喝處理器，實現方式和上邊的一樣，處理非同步處理器的實現不同

 CloseableHttpClient httpClient = HttpClients.custom()
                .setDefaultRequestConfig(config)
                .addExecInterceptorLast("myCustomInterceptor", new MyCustomInterceptor())
                .addRequestInterceptorFirst(new MyCustomRequestInterceptor())
                .addResponseInterceptorLast(new MyCustomResponseInterceptor())
                .build();

使用示例

創建HttpClient

如果是同步的就使用HttpClients工廠，非同步的使用HttpAsyncClients

//返回預設的
CloseableHttpClient httpClient = HttpClients.createDefault();

如果想實現自定義配置，可以使用HttpClients.custom()方法

基本的配置被封裝在RequestConfig類中

RequestConfig config = RequestConfig.custom()
            .setConnectionRequestTimeout(3L, TimeUnit.SECONDS)
            .setResponseTimeout(3L, TimeUnit.SECONDS)
            .setDefaultKeepAlive(10L , TimeUnit.SECONDS)
            .build();

如果還不滿足，可以還可以去實現這些策略類

使用自定義配置創建httpClient

CloseableHttpClient httpClient = HttpClients.custom()
            .setDefaultRequestConfig(config)
            .addExecInterceptorLast("myCustomInterceptor", new MyCustomInterceptor())
            .addRequestInterceptorFirst(new MyCustomRequestInterceptor())
            .addResponseInterceptorLast(new MyCustomResponseInterceptor())
            .build();

GET方法請求

 String url = "http://127.0.0.1:8081/get";

List<NameValuePair> nvps = new ArrayList<>();
// GET 請求參數
nvps.add(new BasicNameValuePair("username", "test"));
nvps.add(new BasicNameValuePair("password", "password"));
//將參數填充道url中
URI uri = new URIBuilder(new URI(url))
        .addParameters(nvps)
        .build();
//創建get請求對象
HttpGet httpGet = new HttpGet(uri);

//發起請求
CloseableHttpResponse response = httpClient.execute(httpGet);

// Get status code
System.out.println(response.getVersion()); // HTTP/1.1
System.out.println(response.getCode()); // 200
HttpEntity entity = response.getEntity();
// Get response information
String resultContent = EntityUtils.toString(entity);
System.out.println(resultContent);

POST請求

這次將參數寫到HttpEntity里

String url = "http://127.0.0.1:8081/post";

List<NameValuePair> nvps = new ArrayList<>();
// GET 請求參數
nvps.add(new BasicNameValuePair("username", "test"));
nvps.add(new BasicNameValuePair("password", "password"));

UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(nvps, StandardCharsets.UTF_8);

HttpPost httpPost = new HttpPost(url);
httpPost.setEntity(formEntity);

CloseableHttpClient httpClient = HttpClients.createDefault();

CloseableHttpResponse response = httpClient.execute(httpPost);

// Get status code
System.out.println(response.getVersion()); // HTTP/1.1
System.out.println(response.getCode()); // 200
HttpEntity entity = response.getEntity();
// Get response information
String resultContent = EntityUtils.toString(entity);
System.out.println(resultContent);

和GET請求基本一致，除了用的是HttpPost，參數可以像GET一樣填充到url中，也可以使用HttpEntity填充到請求體里

Json請求

String json = "{"
        + "    \"username\": \"test\","
        + "    \"password\": \"password\""
        + "}";
StringEntity entity = new StringEntity(json, ContentType.APPLICATION_JSON);
HttpPost post = new HttpPost("http://127.0.0.1:8081/postJson");
post.setEntity(entity);
CloseableHttpClient client = HttpClients.createDefault();
CloseableHttpResponse response = client.execute(post);

// Get status code
System.out.println(response.getCode()); // 200
// Get response information
String resultContent = EntityUtils.toString(response.getEntity());
System.out.println(resultContent);

總結

和HttpURLConnection相比，做了很多封裝，功能也強大了很多，例如連接池、緩存、重試機制、線程池等等，並且對於請求參數的設置更加靈活，還封裝了非同步請求、HTTPS等、自定義攔截器和處理器等

請求是使用了處理鏈的方式發起的，可以對請求和響應進行一系列處理，好處是可以將這些處理器封裝成一個公共的類庫，然後通過自己組合來滿足自己的需求，還可以在請求和響應的不同階段進行攔截和修改，例如添加請求頭、修改請求參數、解密響應數據等，不需要在一個大類里寫很多代碼了，已免代碼臃腫

性能方面使用了連接池技術，可以有效地復用連接，提高性能

不得不說是apache的項目，源碼使用了包括構建者模式、策略模式、責任鏈模式等設計模式對整個httpClient進行了封裝，學習到了

本文來自博客園，作者：阿弱，轉載請註明原文鏈接：https://www.cnblogs.com/aruo/p/17165218.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Kubernetes（K8S）應用案例
    VL33 非整數倍數據位寬轉換8to12 和上一題一樣的，註意valid_out輸出時加一個valid_in（其實32題也要加，不過不加模擬也能過）。 `timescale 1ns/1ns module width_8to12( input clk , input rst_n , input val ...
  • LeetCode演算法訓練-回溯總結
    歡迎關註個人公眾號：愛喝可可牛奶 LeetCode演算法訓練-回溯總結 適用問題 組合問題：N個數裡面按一定規則找出k個數的集合 排列問題：N個數按一定規則全排列，有幾種排列方式 切割問題：一個字元串按一定規則有幾種切割方式 子集問題：一個N個數的集合里有多少符合條件的子集 棋盤問題：N皇後，解數獨等 ...
  • 04if分支語句
    if條件語句 if語句 if條件語法結構： if 條件語句: 滿足條件運行的代碼1 滿足條件運行的代碼2 ... ps：條件語句（可以是單個數據，即本身就是布爾類型）需返回一個布爾類型，判斷是否進入條件分支語句 if True: print('條件成⽴執⾏的代碼1') print('條件成⽴執⾏的代 ...
  • Lambda表達式和Collection集合
    Lambda表達式 Lambda表達式理解 Lambda表達式是Jdk 8 開始新增的一種語法形式；作用：用於簡化匿名內部類的代碼寫法 註意：Lambda表達式只能簡化函數式介面的匿名內部類！！！ 什麼是函數式介面？ 有且僅有一個抽象方法的介面。 註意：大部分函數式介面，上面可能會有一個@Funct ...
  • 【深入淺出 Yarn 架構與實現】4-5 RM 行為探究 - 啟動 ApplicationMaster
    本節開始，將對 ResourceManager 中一些常見行為進行分析探究，看某些具體關鍵的行為，在 RM 中是如何流轉的。本節將深入源碼探究「啟動 ApplicationMaster」的具體流程。 ...
  • 【SpringCloud】feign.codec.EncodeException: No qualifying bean of type
    錯誤描述 在 Spring Cloud 項目中通過 Open Feign 遠程調用時出現如下錯誤： feign.codec.EncodeException: No qualifying bean of type 'org.springframework.boot.autoconfigure.http ...
  • 使用java原生方法file.renamoTo調用返回false
    之前在做某個業務中，寫了個文件傳輸的程式，程式邏輯很簡單：掃描某個目錄下的文件，對文件進行一些處理，然後把文件移動到另一個目錄。 此前在大多數運行環境里，該程式一直正常運行，直到最近在一個新環境下，出現問題：文件移動失敗。查詢日誌發現在調用file.renameTo方法返回false。我第一反應是查 ...
  • C語言 記憶體分區
    C語言對記憶體的使用劃分為以下區域： 棧區（stack）、堆區（heap）、全局區（靜態區）、常量區、代碼區。 棧區： 由編譯器自動分配釋放，按記憶體地址從高（地址）到低（地址）存儲； 棧區內容的作用域為其所定義的函數內，生命周期為函數執行期間，函數結束自動釋放； 存放局部變數、const局部變數、函數 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類