有時候我們對文檔過濾會有這樣的需求： 例如，製作一個比較全的姓氏拼音字典。首先去網上找一個常用姓氏拼音表。我隨便找了一個： 通常網上找到的都是些包含音調的字元序列。我們的主要目的包括： 假如上述文件存放在yindiao.txt中。 (1).去掉非拼音相關的字元，只保留拼音字母，並存放到yindiao ...
有時候我們對文檔過濾會有這樣的需求：
- 篩選或刪除文檔中的不規則字元，比如中文字元。
- 把帶有音調的字母替換成沒有音調的普通字母，特別是拼音轉換。
例如，製作一個比較全的姓氏拼音字典。首先去網上找一個常用姓氏拼音表。我隨便找了一個：
百家姓全文（按拼音排序） 【A】 安(ān) 敖(áo) 艾(ài) 愛(ài) 【B】 巴(bā）白(bái) 鮑(bào) 包(bāo) 暴(bào) 班(bān) 柏(bǎi) 畢(bì) 卞(biàn) 邊(biān) 薄(bó) 伯(bó) 卜(bǔ) 步(bù) 貝(bèi) 賁(bēn) 邴(bǐng) 別(bié) 百裡(bǎilǐ) 【C】 蔡(cài) 岑(cén) 曹(cáo) 陳(chén) 程(chéng) 褚(chǔ) 昌(chāng) 常(cháng) 成(chéng) 崔(cuī) 儲(chǔ) 車(chē) 池(chí) 從(cóng) 蒼(cāng) 柴(chái) 充(chōng) 晁(cháo) 巢(cháo) 淳於(chúnyú) 單於(chányú) 楚(chǔ) 【D】 笪(dá) 戴(dài) 狄(dí) 竇(dòu) 東(dōng) 董(dǒng) 杜(dù) 刁(diāo) 丁(dīng) 鄧(dèng) 段(duàn) 黨(dǎng) 堵(dǔ) 都(dū) 東方(dōngfāng) 端木(duānmù) 段乾(duàngān) 東郭(dōngguō) 東門(dōngmén) 第五(dìwǔ) 【E】 鄂(è) 【F】 法(fǎ) 費(fèi) 範(fàn) 樊(fán) 方(fāng) 房(fáng) 豐(fēng) 封(fēng) 酆(fēng) 馮(féng) 費(fèi) 房(fáng) 傅(fù) 伏(fú) 符(fú) 福(fú) 扶(fú) 富(fù) 【G】 蓋(gài) 甘(gān) 乾(gān) 高(gāo) 郜(gào) 戈(gē) 葛(gě) 耿(gěng) 谷(gǔ) 古(gǔ) 顧(gù) 郭(guō) 國(guó) 歸(guī) 桂(guì) 勾(gōu) 緱(gōu) 關(guān) 管(guǎn) 廣(guǎng) 公(gōng) 弓(gōng) 龔(gōng) 宮(gōng) 鞏(gǒng) 貢(gòng) 公孫(gōngsūn) 公西(gōngxī) 公羊(gōngyáng) 公冶(gōngyě) 公良(gōngliáng) 榖梁(gǔliáng) 【H】 哈(hǎ) 海(hǎi) 郝(hǎo) 韓(hán) 杭(háng) 何(hé) 和(hé) 賀(hè) 衡(héng) 花(huā) 滑(huá) 桓(huán) 懷(huái) 胡(hú) 扈(hù) 惠(huì) 華(huà) 宦(huàn) 黃(huáng) 侯(hóu) 後(hòu) 洪(hóng) 弘(hóng) 紅(hóng) 霍(huò) 赫連(hèlián) 皇甫(huángpǔ) 呼延(hūyán) 【J】 嵇(jī) 姬(jī) 吉(jí) 汲(jí) 籍(jí) 季(jì) 計(jì) 紀(jì) 薊(jì) 冀(jì) 暨(jì) 金(jīn) 靳(jìn) 家(jiā) 郟(jiá) 賈(jiǎ) 簡(jiǎn) 焦(jiāo) 薑(jiāng) 江(jiāng) 蔣(jiǎng) 晉(jìn) 經(jīng) 荊(jīng) 井(jǐng) 景(jǐng) 鞠(jū) 居(jū) 夾谷(jiágǔ) 【K】 寇(kòu) 孔(kǒng) 康(kāng) 柯(kē) 蒯(kuǎi) 隗(kuí) 夔(kuí) 匡(kuāng) 闞(kàn) 空(kōng) 亢(kàng) 況(kuàng) 【L】 李(lǐ) 郎(láng) 魯(lǔ) 柳(liǔ) 雷(léi) 藍(lán) 路(lù) 婁(lóu) 林(lín) 欒(luán) 厲(lì) 劉(liú) 柳(liǔ) 黎(lí) 呂(lǚ) 梁(liáng) 廉(lián) 魯(lǔ) 駱(luò) 羅(luó) 凌(líng) 盧(lú) 陸(lù) 欒(luán) 龍(lóng) 賴(lài) 勞(láo) 酈(lì) 藺(lìn) 連(lián) 廖(liào) 祿(lù) 利(lì) 隆(lóng) 冷(lěng) 逯(lù) 令狐(lìnghú) 閭丘(lǘqiū) 梁丘(liángqiū) 【M】 馬(mǎ) 滿(mǎn) 苗(miáo) 母(mǔ) 穆(mù) 毛(máo) 明(míng) 茅(máo) 麻(má) 蒙(méng) 孟(mèng) 糜(mí) 米(mǐ) 宓(mì) 梅(méi) 莫(mò) 墨(mò) 牟(móu) 繆(miào) 牧(mù) 慕(mù) 閔(mǐn) 俟(mòqí) 慕容(mùróng) 【N】 那(nā) 能(nài) 佴(nài) 倪(ní) 年(nián) 寧(nìng) 乜(niè) 聶(niè) 鈕(niǔ) 牛(niú)
百家姓全文（按拼音排序） 農(nóng) 南門(nánmén) 南宮(nángōng) 【O】 歐(ōu) 歐陽(ōuyáng) 【P】 潘(pān) 龐(páng) 逄(páng) 裴(péi) 彭(péng) 蓬(péng) 皮(pí) 平(píng) 蒲(pú) 濮(pú) 浦(pǔ) 濮陽(púyáng) 【Q】 戚(qī) 齊(qí) 祁(qí) 喬(qiáo) 譙(qiáo) 強(qiáng) 屈(qū) 璩(qú) 瞿(qú) 錢(qián) 秦(qín) 欽(qīn) 琴(qín) 權(quán) 亓官(qínguān) 漆雕(qīdiāo) 邱(qiū) 秋(qiū) 裘(qiú) 仇(qiú) 曲(qū) 全(quán) 闕(quē) 【R】 冉(rǎn) 饒(ráo) 壤駟(rǎngsì) 任(rèn) 阮(ruǎn) 榮(róng) 容(róng) 芮(ruì) 戎(róng) 融(róng) 茹(rú) 汝(rǔ) 【S】 桑(sāng) 司(sī) 宋(sòng) 松(sōng) 舒(shū) 水(shuǐ) 蘇(sū) 宿(sù) 孫(sūn) 索(suǒ) 沈(shěn) 沙(shā) 邵(shào) 施(shī) 師(shī) 石(shí) 史(shǐ) 時(shí) 厙(shè) 束(shù) 殳(shū) 盛(shèng) 單(shàn) 山(shān) 商(shāng) 尚(shàng) 雙(shuāng) 韶(sháo) 莘(shēn) 申(shēn) 慎(shèn) 壽(shòu) 司馬(sīmǎ) 上官(shàngguān) 申屠(shēntú) 司徒(sītú) 司空(sīkōng) 司寇(sīkòu) 生(shēng) 帥(shuài) 佘(shé) 賞(shǎng) 【T】 邰(tái) 譚(tán) 談(tán) 陶(táo) 唐(táng) 湯(tāng) 滕(téng) 田(tián) 童(tóng)通(tōng) 佟(tóng) 鈄(tǒu) 屠(tú) 塗(tú) 太叔(tàishū) 澹台(tántái) 拓跋(tuòbá) 【W】 萬(wàn) 鄔(wū) 巫(wū) 烏(wū) 吳(wú) 伍(wǔ) 武(wǔ) 汪(wāng) 王(wáng) 危(wēi) 微(wēi) 韋(wéi) 衛(wèi) 魏(wèi) 蔚(wèi) 溫(wēn) 聞(wén) 文(wén) 翁(wēng) 沃(wò) 聞人(wénrén) 巫馬(wūmǎ) 【X】 奚(xī) 郗(xī) 席(xí) 習(xí) 郤(xì) 夏(xià) 蕭(xiāo) 咸(xián) 宣(xuān) 熊(xióng) 項(xiàng) 須(xū) 胥(xū) 徐(xú) 許(xǔ) 薛(xuē) 荀(xún) 謝(xiè) 解(xiè) 辛(xīn) 邢(xíng) 幸(xìng) ) 向(xiàng) 相(xiàng) 夏侯(xiàhóu) 軒轅(xuānyuán) 鮮於(xiānyú) 西門(xīmén) 【Y】 燕(yān) 鄢(yān) 顏(yán) 言(yán) 閆(yán) 閻(yán) 嚴(yán)晏(yàn) 姚(yáo) 羊(yáng) 楊(yáng) 陽(yáng) 養(yǎng) 仰(yǎng) 葉(yè) 雲(yún) 俞(yú) 袁(yuán) 於(yū) 於(yú) 魚(yú) 虞(yú) 餘(yú) 庾(yǔ) 禹(yǔ) 鬱(yù) 喻(yù) 鬱(yù) 樂(yuè) 岳(yuè) 越(yuè) 元(yuán) 伊(yī) 易(yì) 羿(yì) 益(yì) 陰(yīn) 殷(yīn)尹(yǐn)印(yìn) 應(yīng) 尤(yóu) 游(yóu) 有(yǒu) 雍(yōng) 尉遲(yùchí) 宇文(yǔwén) 樂正(yuèzhèng) 羊舌(yángshé) 【Z】 宰(zǎi) 昝(zǎn) 查(zhā) 翟(zhái) 詹(zhān) 湛(zhàn) 張(zhāng) 章(zhāng) 趙(zhào) 訾(zǐ) 支(zhī) 甄(zhēn) 曾(zēng) 周(zhōu) 鄒(zōu) 鄭(zhèng) 朱(zhū) 諸(zhū) 竺(zhú) 祝(zhù) 臧(zāng) 宗(zōng) 鐘(zhōng) 終(zhōng) 仲(zhòng) 祖(zǔ) 左(zuǒ) 卓(zhuó) 莊(zhuāng) 諸葛(zhūgě) 宗政(zōngzhèng) 仲孫(zhòngsūn) 鐘離(zhōnglí) 長孫(zhǎngsūn) 仉督(zhǎngdū) 子車(zǐjū) 顓孫(zhuānsūn) 宰父(zǎifǔ) 左丘(zuǒqiū)
通常網上找到的都是些包含音調的字元序列。我們的主要目的包括：
- 去掉漢字和其它與拼音無關的字元。
- 將音調替換成沒有音節的字母。
- 去掉重覆的拼音。
- 排好序，每行一個。
假如上述文件存放在yindiao.txt中。
(1).去掉非拼音相關的字元，只保留拼音字母，並存放到yindiao1.txt文件中。
cat yindiao.txt | tr -s ' ' '\n' | sed -r -n "s/([^a-z])//pg" >yindiao1.txt
將得到如下格式的內容：
xíng
xìng
xiàng
xiàng
xiàhóu
xuānyuán
xiānyú
xīmén
yān
yān
yán
yán
yán
yán
yányàn
yáo
yáng
yáng
yáng
(2).將帶音節的字母替換。
如何處理音節，可能很多人不知道，但仔細閱讀過正則表達式語法說明的人想必都知道如何表示。
在正則表達式中，使用[=a=]來表示字母a的各種音節，即āáǎà。其實這不是正則中的語法，而是一種類，它稱為等價類。
常見的類集還有：
- 字元類：如
[:alpha:]、[:alnum:]......； - 排序類：如
[.ab.]，排序類明確表示其內字元是一個整體，例如這裡的例子表示只能匹配"ab"，不能匹配a或b或ba。
回歸正題，現在就可以將帶有音節的字元進行替換了。
由於26個字母，每個字母都有4個音節，光是音節字元就共有26*4=104個。所以，想要替換文件中的所有音節字元，考慮使用迴圈。
for i in {a..z};do
sed -i -r "s/[[="$i"=]]/"$i"/g" yindiao1.txt
done
如果不知道sed中的引號為什麼這樣用，見sed修煉系列(四)：sed中的疑難雜症。
註意，這裡sed必須使用"-i"選項，不能重定向，因為每次迴圈都只改變一個字母的音節，每次重定向到文件中顯然不合適。
至此，得到了下麵沒有音節的拼音。最後剩下排序和去重。
xu
xu
xu
xu
xue
xun
xie
xie
xin
xing
xing
xiang
xiang
xiahou
(3).排序、去重。
sort yindiao1.txt | uniq -u > yindiao.txt
這樣就得到了期待的結果。
