之前曾在《C# 中容易忽視的 Encoding.GetByteCount 記憶體問題》中提到過,可以使用 Encoding.Default.GetByteCount 方法來判斷字元是全寬(寬度為 2)還是半寬(寬度為 1)。 這個方法實際上是計算對字元編碼後產生的位元組數,只是在中文環境下,寬字元在使用 ...
之前曾在《C# 中容易忽視的 Encoding.GetByteCount 記憶體問題》中提到過,可以使用 Encoding.Default.GetByteCount 方法來判斷字元是全寬(寬度為 2)還是半寬(寬度為 1)。
這個方法實際上是計算對字元編碼後產生的位元組數,只是在中文環境下,寬字元在使用預設編碼後一般都會占用兩個位元組,使得在大多數場景下都沒有什麼問題。但根據 Unicode 標準,EAST ASIAN WIDTH 才是準確的字元寬度定義,適用於東亞文本的字元的寬度計算。
標準中定義了六類字元寬度:
- 全形(Fullwidth):在 Unicode 標準中定義的全形字元,例如“0123, ABCD”等。
- 半形(Halfwidth):在 Unicode 標準中定義的半形字元,例如“。「」、・”等。
- 寬(Width):始終為寬的其它字元,一般僅在東亞上下文中出現,例如中文字元。
- 窄(Narrow):始終窄的的其它字元,它們一般都有對應的全形或寬字元,例如“0123, ABCD”等。
- 不明確(Ambiguous):根據不同情況可能顯示不同寬窄的字元,
- 中性(Neutral):其它所有字元,一般不用於東亞文本,
標準建議,寬字元包括 W、F 和 A(在東亞上下文中),窄字元包括 N、Na、H 和 A(非東亞上下文中)。下圖是一個解析寬度的示例。
圖 1 字元類別及其解析寬度的示例,圖片來自 http://www.unicode.org/reports/tr11/
但在實際測試時發現,A 類別的處理要複雜很多,並非所有 A 類別字元都會顯示為寬(或窄),而且不同字體也會有不同的處理方式。
以 \u00A1\u00A4\u00A7\u01CE\u22BF\u2312
這六個字元為例,它們均為 A 類別,但在 Consolas 字體下,前四個字元顯示為窄,後兩個字元顯示為寬;在新宋體下,第一和第四個字元顯示為窄,其它字元顯示為寬。
圖 2 不同字體顯示不一致
由於這種場景實在過於複雜,因此目前將 A 類別統一當作窄字元來計算,在用到這類字元的場景下再單獨考慮。
將 Unicode 13.0.0 下的 EAST ASIAN WIDTH 統一掃描後,整理得到以下寬字元範圍:
# 1100 ~ 115F Hangul Jamo
1100..115F
# User interface symbols
231A..231B
2329..232A
23E9..23EC
23F0..23F0
23F3..23F3
25FD..25FE
2614..2615
2648..2653
267F..267F
2693..2693
26A1..26A1
26AA..26AB
26BD..26BE
26C4..26C5
26CE..26CE
26D4..26D4
26EA..26EA
26F2..26F3
26F5..26F5
26FA..26FA
26FD..26FD
2705..2705
270A..270B
2728..2728
274C..274C
274E..274E
2753..2755
2757..2757
2795..2797
27B0..27B0
27BF..27BF
2B1B..2B1C
2B50..2B50
2B55..2B55
# 2E80 ~ 2EFF CJK Radicals Supplement
# 2F00 ~ 2FDF Kangxi Radicals
# 2FF0 ~ 2FFF Ideographic Description Characters
# 3000 ~ 303E CJK Symbols and Punctuation
2E80..303E
# 3040 ~ 309F Hiragana
# 30A0 ~ 30FF Katakana
# 3100 ~ 312F Bopomofo
# 3030 ~ 318F Hangul Compatibility Jamo
# 3190 ~ 319F Kanbun
# 31A0 ~ 31BF Bopomofo Extended
# 31C0 ~ 31EF CJK Strokes
# 31F0 ~ 31FF Katakana Phonetic Extensions
# 3200 ~ 32FF Enclosed CJK Letters and Months
# 3300 ~ 33FF CJK Compatibility
# 3400 ~ 4DBF CJK Unified Ideographs Extension A
3040..4DBF
# 4E00 ~ 9FFC CJK Unified Ideographs
# A000 ~ A48F Yi Syllables
# A490 ~ A4CF Yi Radicals
4E00..A4CF
# A960 ~ A97F Hangul Jamo Extended-A
A960..A97F
# AC00 ~ D7A3 Hangul Syllables
AC00..D7A3
# F900 ~ FAFF CJK Compatibility Ideographs
F900..FAFF
# FE10 ~ FE19 Vertical forms
FE10..FE19
# FE30 ~ FE4F CJK Compatibility Forms
# FE50 ~ FE6F Small Form Variants
FE30..FE6F
# FF00 ~ FF60 Fullwidth ASCII variants
FF01..FF60
# FFE0 ~ FFE6 Fullwidth symbol variants
FFE0..FFE6
具體實現可以參見 https://github.com/CYJB/Cyjb/blob/master/Cyjb/CharUtil.cs。
作者:CYJB
出處:http://www.cnblogs.com/cyjb/
GitHub:https://github.com/CYJB/
本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。