乾貨總結|快速構造String對象及訪問其內部成員的技巧

来源:https://www.cnblogs.com/88223100/archive/2023/02/11/Tips-for-quickly-constructing-String-objects-and-accessing-their-internal-members.html
-Advertisement-
Play Games

FASTJSON2項目使用了上面的技巧,其中JDKUtils和UnsafeUtils有上面技巧的實現: JDKUtils:https://github.com/alibaba/fastjson2/blob/fastcode_demo_20221218/core/src/main/java/com/... ...


一、相關知識JDK String的實現

字元串在JDK 8及JDK 9之後的實現有很大不同的。JDK 8中,String的結構是這樣的:

1.1 String JDK 8的實現

class String {
    char[] value;

    // 構造函數會拷貝
    public String(char value[]) {
        this.value = Arrays.copyOf(value, value.length);
    }

    // 無拷貝構造函數
    String(char[] value, boolean share) {
        // assert share : "unshared not supported";
        this.value = value;
    }
}

1.2 String JDK 9及之後版本的實現

class String {
    static final byte LATIN1 = 0;
    static final byte UTF16  = 1;
    
    byte code;
    byte[] value;

    // 無拷貝構造函數
    String(byte[] value, byte coder) {
        this.value = value;
        this.coder = coder;
    }
}
JDK9之後,通過byte[]來保存value,通過code欄位區分是LATIN1或者UTF16。大多數的字元串都是LATIN1。針對這種情況,我們構造字元串或者對字元串進行編碼為二進位時,針對性做ZeroCopy的實現,可以獲得極致的性能。

 

二、相關知識Unsafe

JDK 8之後提供sun.Unsafe可以做一些原生的操作,性能更好,不安全,錯誤的調用會導致JVM Crash。如果用對了,能提升性能。Unsafe能幫你繞過任何限制。

public class UnsafeUtils {
    public static final Unsafe UNSAFE;
    
    static {
        Unsafe unsafe = null;
        try {
            Field theUnsafeField = Unsafe.class.getDeclaredField("theUnsafe");
            theUnsafeField.setAccessible(true);
            unsafe = (Unsafe) theUnsafeField.get(null);
        } catch (Throwable ignored) {
            // ignored
        }
        UNSAFE = unsafe;
    }
}

三、相關知識Trusted MethodHandles.Lookup

JDK 8開始支持Lambda,為了方便將一個Method映射為一個Lambda Function,避免反射開銷。java.invoke.LambdaMetafactory可以實現這一功能,但這個也受限於可見性的限制,也就是說不能調用私有方法。有一個技巧,結合Unsafe,可以在不同版本的JDK都能構造一個Trusted MethodHandles.Lookup來繞開可見性的限制,調用任何JDK內部方法。如下:

import static com.alibaba.fastjson2.util.UnsafeUtils.UNSAFE;

static final MethodHandles.Lookup IMPL_LOOKUP;

static {
    Class lookupClass = MethodHandles.Lookup.class;
    Field implLookup = lookupClass.getDeclaredField("IMPL_LOOKUP");
    long fieldOffset = UNSAFE.staticFieldOffset(implLookup);
    IMPL_LOOKUP = (MethodHandles.Lookup) UNSAFE.getObject(lookupClass, fieldOffset);
}

static MethodHandles.Lookup trustedLookup(Class objectClass) throws Exception {
    return IMPL_LOOKUP.in(objectClass);
}
註意:在IBM OpenJ9 JDK 8/11版本上面的實現受到可見性限制,需要做額外處理,參考FASTJSON2 JDKUtils#trustedLookup的代碼 :
https://github.com/alibaba/fastjson2/blob/fastcode_demo_20221218/core/src/main/java/com/alibaba/fastjson2/util/JDKUtils.java#L254

 

四、零拷貝構造String對象

快速構造字元串的關鍵是要做減少拷貝,甚至零拷貝,在JDK 8、JDK 9~15、JDK 16及之後的版本的實現都不一樣。

 

4.1 JDK 8零拷貝構造String對象的實現

 

在JDK8中,實現零拷貝構造String對象,需要調用其構造函數String(char[], boolean),比如:

BiFunction<char[], Boolean, String>  stringCreatorJDK8
    = (char[] value, boolean share) -> new String(chars, boolean);
由於String(char[], boolean)方法不是public的,上面的代碼會報錯,要通過反射構造一個TRUSTED的MethodHandles.Lookup,然調用String的內部方法,映射成一個BiFunction<char[], Boolean, String>,代碼如下:
import com.alibaba.fastjson2.util.JDKUtils;

import java.util.function.BiFunction;
import java.lang.invoke.MethodHandles;
import static java.lang.invoke.MethodType.methodType;

MethodHandles.Lookup caller = JDKUtils.trustedLookup(String.class);

MethodHandle handle = caller.findConstructor(
        String.class, 
        methodType(void.class, char[].class, boolean.class)
);

CallSite callSite = LambdaMetafactory.metafactory(
        caller,
        "apply",
        methodType(BiFunction.class),
        methodType(Object.class, Object.class, Object.class),
        handle,
        methodType(String.class, char[].class, boolean.class)
);
BiFunction<char[], Boolean, String>  STRING_CREATOR_JDK8 
    = (BiFunction<char[], Boolean, String>) 
      callSite.getTarget().invokeExact();

4.2 JDK9及之後版本實現零拷貝構造String對象的實現

 

在JDK 9~JDK 15中,我們要構造一個這樣的Function用於零拷貝構造String對象:

BiFunction<byte[], Byte, String> STRING_CREATOR_JDK11 
    = (byte[] value, byte coder) -> new String(value, coder);
同樣,JDK 9中的String(byte[], byte)方法不是public,無法直接調用,上面的代碼會報錯,要構造一個TRUSTED MethodHandles.Lookup方法調用String內部方法,如下:

import com.alibaba.fastjson2.util.JDKUtils;
import static java.lang.invoke.MethodType.methodType;

MethodHandles.Lookup caller = JDKUtils.trustedLookup(String.class);
MethodHandle handle = caller.findConstructor(
        String.class, 
        methodType(void.class, byte[].class, byte.class)
);
CallSite callSite = LambdaMetafactory.metafactory(
        caller,
        "apply",
        methodType(BiFunction.class),
        methodType(Object.class, Object.class, Object.class),
        handle,
        methodType(String.class, byte[].class, Byte.class)
);
BiFunction<byte[], Byte, String> STRING_CREATOR_JDK11 
    = (BiFunction<byte[], Byte, String>) 
      callSite.getTarget().invokeExact();
註意:當用戶配置JVM參數-XX:-CompactStrings時,上述方法無效。

 

4.3 快速構造String對象應用舉例

stiatic BiFunction<char[], Boolean, String>  STRING_CREATOR_JDK8 = ...
static BiFunction<byte[], Byte, String> STRING_CREATOR_JDK11 = ... 

static String formatYYYYMMDD(LocalDate date) {
    int year = date.getYear();
    int month = date.getMonthValue();
    int dayOfMonth = date.getDayOfMonth();

    int y0 = year / 1000 + '0';
    int y1 = (year / 100) % 10 + '0';
    int y2 = (year / 10) % 10 + '0';
    int y3 = year % 10 + '0';
    int m0 = month / 10 + '0';
    int m1 = month % 10 + '0';
    int d0 = dayOfMonth / 10 + '0';
    int d1 = dayOfMonth % 10 + '0';

    String str;
    if (STRING_CREATOR_JDK11 != null) {
        byte[] bytes = new byte[10];
        bytes[0] = (byte) y0;
        bytes[1] = (byte) y1;
        bytes[2] = (byte) y2;
        bytes[3] = (byte) y3;
        bytes[4] = '-';
        bytes[5] = (byte) m0;
        bytes[6] = (byte) m1;
        bytes[7] = '-';
        bytes[8] = (byte) d0;
        bytes[9] = (byte) d1;
        str = STRING_CREATOR_JDK11.apply(bytes, JDKUtils.LATIN1);
    } else {
        char[] chars = new char[10];
        chars[0] = (char) y1;
        chars[1] = (char) y2;
        chars[2] = (char) y3;
        chars[3] = (char) y4;
        chars[4] = '-';
        chars[5] = (char) m0;
        chars[6] = (char) m1;
        chars[7] = '-';
        chars[8] = (char) d0;
        chars[9] = (char) d1;

        if (STRING_CREATOR_JDK8 != null) {
            str = STRING_CREATOR_JDK8.apply(chars, Boolean.TRUE);
        } else {
            str = new String(chars);
        }
    }
    return str;
}
上面的例子中,根據JDK版本,在JDK 8中直接創建char[],JDK 9中直接創建byte[],然後通過零拷貝的方式構造字元串對象,這樣就實現了快速格式化LocalDate到String,這樣的實現遠比使用SimpleDateFormat/java.time.DateTimeFormat等實現要快得多。

 

五、直接訪問String對象內部成員

5.1 JDK 8快速訪問value

static final Field FIELD_STRING_VALUE;
static final long FIELD_STRING_VALUE_OFFSET;

static {
    Field field = null;
    long fieldOffset = -1;
    try {
        field = String.class.getDeclaredField("value");
        fieldOffset = UnsafeUtils.objectFieldOffset(field);
    } catch (Exception ignored) {
        FIELD_STRING_ERROR = true;
    }

    FIELD_STRING_VALUE = field;
    FIELD_STRING_VALUE_OFFSET = fieldOffset;
}

public static char[] getCharArray(String str) {
    if (!FIELD_STRING_ERROR) {
        try {
            return (char[]) UnsafeUtils.UNSAFE.getObject(
                str, 
                FIELD_STRING_VALUE_OFFSET
            );
        } catch (Exception ignored) {
            FIELD_STRING_ERROR = true;
        }
    }

    return str.toCharArray();
}

 

5.2 JDK 9及之後版本直接訪問coder & value

我們需要構造如下的函數:

ToIntFunction<String> stringCoder = (String str) -> str.coder();
Function<String, byte[]> stringValue = (String str) -> str.value();
但由於String.coder和value方法不是public可見的,和上面的4.2類似,要通過TRUSTED MethodHandles.Lookup構造,如下:
import com.alibaba.fastjson2.util.JDKUtils;
import static java.lang.invoke.MethodType.methodType;

MethodHandles.Lookup lookup = JDKUtils.trustedLookup(String.class);
MethodHandle coder = lookup.findSpecial(
        String.class,
        "coder",
        methodType(byte.class),
        String.class
);
CallSite applyAsInt = LambdaMetafactory.metafactory(
        lookup,
        "applyAsInt",
        methodType(ToIntFunction.class),
        methodType(int.class, Object.class),
        coder,
        MethodType.methodType(byte.class, String.class)
);
ToIntFunction<String> STRING_CODER 
    = (ToIntFunction<String>) applyAsInt.getTarget().invokeExact();

MethodHandle value = lookup.findSpecial(
        String.class,
        "value",
         methodType(byte[].class),
        String.class
);
CallSite apply = LambdaMetafactory.metafactory(
        lookup,
        "apply",
        methodType(Function.class),
        methodType(Object.class, Object.class),
        value,
        methodType(byte[].class, String.class)
);
Function<String, byte[]> STRING_VALUE 
     = (Function<String, byte[]>) apply.getTarget().invokeExact();

5.3 直接訪問舉例

 
static Byte LATIN1 = 0;
static ToIntFunction<String> STRING_CODER = ...
static Function<String, byte[]> STRING_VALUE ...

byte[] buf = ...;
int off;

void writeString(string str) {
    if (STRING_CODER != null && STRING_VALUE != null) {
        // improved for JDK 9 LATIN1
        int coder = stringCoder.apply(str);
        if (coder == LATIN1) {
            // str.getBytes(0, str.length, buf, off);
            byte[] value = STRING_VALUE.apply(str);
            System.arrayCopy(value, 0, buf, off, value.length);
            return;
        }
    }
    // normal logic
}

5.4 巧用String.getBytes方法

String有一個Deprecated的getBytes方法,當有非LATIN字元時,結果不對。但當在coder為LATIN1時,可用於直接拷貝其中value,

class String {
    @Deprecated
    public void getBytes(int srcBegin, int srcEnd, byte dst[], int dstBegin) {
        int j = dstBegin;
        int n = srcEnd;
        int i = srcBegin;
        char[] val = value;   /* avoid getfield opcode */

        while (i < n) {
            dst[j++] = (byte)val[i++];
        }
    }
}

static Byte LATIN1 = 0;
static ToIntFunction<String> STRING_CODER = ...

byte[] buf = ...;
int off;

void writeString(string str) {
    if (STRING_CODER != null) {
        // improved for JDK 9 LATIN1
        int coder = STRING_CODER.apply(str);
        if (coder == LATIN1) {
            str.getBytes(0, str.length, buf, off);
            return;
        }
    }
    // normal logic
}

參考實現:

FASTJSON2項目使用了上面的技巧,其中JDKUtils和UnsafeUtils有上面技巧的實現:

  • JDKUtils:https://github.com/alibaba/fastjson2/blob/fastcode_demo_20221218/core/src/main/java/com/alibaba/fastjson2/util/JDKUtils.java
  • UnsafeUtils:https://github.com/alibaba/fastjson2/blob/fastcode_demo_20221218/core/src/main/java/com/alibaba/fastjson2/util/UnsafeUtils.java

 

註意事項:

上面的技巧不建議新手使用,需要先清楚原理,才可使用。
作者| 溫紹錦(高鐵)

本文來自博客園,作者:古道輕風,轉載請註明原文鏈接:https://www.cnblogs.com/88223100/p/Tips-for-quickly-constructing-String-objects-and-accessing-their-internal-members.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 這篇文章主要介紹分散式系統中的集中式結構,以及我們經常使用的三種基於集中式結構的解決方案:Google Borg、Kubernetes和Mesos。 ...
  • Java 平臺的基礎 I/O 類。它首先關註 I/O Streams,這是一個強大的概念, 可以大大簡化 I/O 操作。該課程還可以看到序列化,這使得程式可以將整個對象寫入流並再次讀取它們。 然後,該課程將查看 文件 I/O 和文件系統操作,包括隨機訪問文件。 I/O Streams 大多數都是講... ...
  • 對於Python新手來說,寫代碼很少考慮代碼的效率和簡潔性,因此容易造成代碼冗長、執行慢,這些都是需要改進的地方。本文是想通過幾個案列給新手一點啟發,怎樣寫python代碼更優雅。 大坑一:不喜歡使用高級數據結構 1.sets(集合) 很多新手忽視sets(集合)和tuple(元組)的強大之處 例如 ...
  • Spring Cloud Gateway 是 Spring Cloud 的一個全新項目,該項目是基於 Spring 5.0,Spring Boot 2.0 和 Project Reactor 等響應式編程和事件流技術開發的網關,它旨在為微服務架構提供一種簡單有效的統一的 API 路由管理方式。① 身... ...
  • 1.gensim的安裝 可以使用如下命令安裝gensim conda install -i https://pypi.tuna.tsinghua.edu.cn/simple gensim==3.8.2 2.生成分詞列表 這一步已經有生成好的分詞列表可以忽略 項目列表: 點擊查看代碼 # coding ...
  • 各位技術大佬,大家好,我是練習時長兩年半的代碼練習生,Max,喜歡技術,後端和架構。 問題介紹 項目配置了多個功能變數名稱,如下,php 代碼中有獲取 $_SERVER['SERVER_NAME'] 的值。 server { server_name a.demo.com b.demo.com; ... } ...
  • 《Terraform 101 從入門到實踐》這本小冊在南瓜慢說官方網站和GitHub兩個地方同步更新,書中的示例代碼也是放在GitHub上,方便大家參考查看。 介紹了Terraform一些比較基礎的概念後,我們可以先瞭解一下Terraform的語法,也就是HCL的語法。 變數Variables 變數 ...
  • chatGPT最近突然又大火起來了,而且這次不是一般的火,帶有濃濃的商業氣息火了。各個互聯網大廠都開始進軍了,感覺要來一場ChatGPT的軍備競賽一樣,看看誰先獲取國內的地盤。 作為吃瓜群眾,我們也能個人使用ChatGPT,現在小捲來教大家更高級的玩法,就是用個人微信接入ChatGPT,個人微信變... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...