判斷字元寬度

来源:https://www.cnblogs.com/cyjb/archive/2022/04/22/CharWidth.html
-Advertisement-
Play Games

之前曾在《C# 中容易忽視的 Encoding.GetByteCount 記憶體問題》中提到過,可以使用 Encoding.Default.GetByteCount 方法來判斷字元是全寬(寬度為 2)還是半寬(寬度為 1)。 這個方法實際上是計算對字元編碼後產生的位元組數,只是在中文環境下,寬字元在使用 ...


之前曾在《C# 中容易忽視的 Encoding.GetByteCount 記憶體問題》中提到過,可以使用 Encoding.Default.GetByteCount 方法來判斷字元是全寬(寬度為 2)還是半寬(寬度為 1)。

這個方法實際上是計算對字元編碼後產生的位元組數,只是在中文環境下,寬字元在使用預設編碼後一般都會占用兩個位元組,使得在大多數場景下都沒有什麼問題。但根據 Unicode 標準,EAST ASIAN WIDTH 才是準確的字元寬度定義,適用於東亞文本的字元的寬度計算。

標準中定義了六類字元寬度:

  • 全形Fullwidth):在 Unicode 標準中定義的全形字元,例如“0123, ABCD”等。
  • 半形Halfwidth):在 Unicode 標準中定義的半形字元,例如“。「」、・”等。
  • Width):始終為寬的其它字元,一般僅在東亞上下文中出現,例如中文字元。
  • Narrow):始終窄的的其它字元,它們一般都有對應的全形或寬字元,例如“0123, ABCD”等。
  • 不明確Ambiguous):根據不同情況可能顯示不同寬窄的字元,
  • 中性Neutral):其它所有字元,一般不用於東亞文本,

標準建議,寬字元包括 W、F 和 A(在東亞上下文中),窄字元包括 N、Na、H 和 A(非東亞上下文中)。下圖是一個解析寬度的示例。

字元類別及其解析寬度的示例

圖 1 字元類別及其解析寬度的示例,圖片來自 http://www.unicode.org/reports/tr11/

但在實際測試時發現,A 類別的處理要複雜很多,並非所有 A 類別字元都會顯示為寬(或窄),而且不同字體也會有不同的處理方式。

\u00A1\u00A4\u00A7\u01CE\u22BF\u2312 這六個字元為例,它們均為 A 類別,但在 Consolas 字體下,前四個字元顯示為窄,後兩個字元顯示為寬;在新宋體下,第一和第四個字元顯示為窄,其它字元顯示為寬。

不同字體顯示不一致

圖 2 不同字體顯示不一致

由於這種場景實在過於複雜,因此目前將 A 類別統一當作窄字元來計算,在用到這類字元的場景下再單獨考慮。

將 Unicode 13.0.0 下的 EAST ASIAN WIDTH 統一掃描後,整理得到以下寬字元範圍:

# 1100 ~ 115F Hangul Jamo
1100..115F
# User interface symbols
231A..231B
2329..232A
23E9..23EC
23F0..23F0
23F3..23F3
25FD..25FE
2614..2615
2648..2653
267F..267F
2693..2693
26A1..26A1
26AA..26AB
26BD..26BE
26C4..26C5
26CE..26CE
26D4..26D4
26EA..26EA
26F2..26F3
26F5..26F5
26FA..26FA
26FD..26FD
2705..2705
270A..270B
2728..2728
274C..274C
274E..274E
2753..2755
2757..2757
2795..2797
27B0..27B0
27BF..27BF
2B1B..2B1C
2B50..2B50
2B55..2B55
# 2E80 ~ 2EFF CJK Radicals Supplement
# 2F00 ~ 2FDF Kangxi Radicals
# 2FF0 ~ 2FFF Ideographic Description Characters
# 3000 ~ 303E CJK Symbols and Punctuation
2E80..303E
# 3040 ~ 309F Hiragana
# 30A0 ~ 30FF Katakana
# 3100 ~ 312F Bopomofo
# 3030 ~ 318F Hangul Compatibility Jamo
# 3190 ~ 319F Kanbun
# 31A0 ~ 31BF Bopomofo Extended
# 31C0 ~ 31EF CJK Strokes
# 31F0 ~ 31FF Katakana Phonetic Extensions
# 3200 ~ 32FF Enclosed CJK Letters and Months
# 3300 ~ 33FF CJK Compatibility
# 3400 ~ 4DBF CJK Unified Ideographs Extension A
3040..4DBF
# 4E00 ~ 9FFC CJK Unified Ideographs
# A000 ~ A48F Yi Syllables
# A490 ~ A4CF Yi Radicals
4E00..A4CF
# A960 ~ A97F Hangul Jamo Extended-A
A960..A97F
# AC00 ~ D7A3 Hangul Syllables
AC00..D7A3
# F900 ~ FAFF CJK Compatibility Ideographs
F900..FAFF
# FE10 ~ FE19 Vertical forms
FE10..FE19
# FE30 ~ FE4F CJK Compatibility Forms
# FE50 ~ FE6F Small Form Variants
FE30..FE6F
# FF00 ~ FF60 Fullwidth ASCII variants
FF01..FF60
# FFE0 ~ FFE6 Fullwidth symbol variants
FFE0..FFE6

具體實現可以參見 https://github.com/CYJB/Cyjb/blob/master/Cyjb/CharUtil.cs。

作者:CYJB
出處:http://www.cnblogs.com/cyjb/
GitHub:https://github.com/CYJB/
本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言 又到每日分享Python小技巧的時候了,今天給大家分享啥呢?大家要不要猜一猜,今天給大家分享矢量影像批量裁剪以及合併。 聽起來有點不懂,看完你就懂了,擴展知識。 矢量批量裁剪的代碼 在:chp10\python\矢量批量裁剪.tbx\矢量批量裁剪,可以直接運行,右鍵編輯查看代碼 代碼如下: P ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
  • 由於微服務架構中每個服務可能分散在不同的伺服器上,因此需要一套分散式日誌的解決方案。spring-cloud提供了一個用來trace服務的組件sleuth。它可以通過日誌獲得服務的依賴關係。基於sleuth,可以通過現有的日誌工具實現分散式日誌的採集。 這裡使用的是ELK,也就是elasticsea ...
  • 一提到Spring,大家最先想到的是啥?是AOP和IOC的兩大特性?是Spring中Bean的初始化流程?還是基於Spring的Spring Cloud全家桶呢? 今天我們就從Spring的IOC特性入手,聊一聊Spring中把Bean註入Spring容器的幾種方式。 我們先來簡單瞭解下IOC的概念 ...
  • JVM(Java虛擬機) 學習String類前,先瞭解一下JVM,也稱為Java虛擬機。 JVM記憶體分有幾大區域,其中,常見有堆、桟、方法區、常量池。 堆是運行時數據區,類通過new指令創建的對象會在堆記憶體里分配空間。堆記憶體的數據是由java垃圾回收器自動回收。堆的優勢是可以動態地分配記憶體大小。缺點 ...
  • 前言 今天給大家透露了我們這篇要說的牛逼利器 selenium + phantomjs Python學習交流Q群:906715085### 如果你知道 selenium 是什麼了 它能做到自動操作 比如我們上次說的自動百度蒼老師 將帶你爬取b站上的NBA形象大使蔡徐坤和他的球友們 但有時候 我們不想 ...
  • 來啦,老弟 python 我們已經知道怎麼使用 Requests 進行各種請求騷操作 也知道了對伺服器返回的數據如何使用 正則表達式 來過濾我們想要的內容 … 那麼接下來 Python學習交流Q群:906715085### 我們就使用 requests 和 re 來寫一個爬蟲 作為一個愛看書的你(說 ...
  • 公用包 將常用功能,業務,核心代碼封裝成一個獨立的包,然後部署到私服上,讓其它開發人員去使用,很好的進行了版本的控制,代碼也更安全,在maven中部署時,使用plugin將資源文件帶上。 <build> <plugins> <!-- 發佈源碼,需要這個插件 --> <plugin> <groupId ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...