MySql 中文寫入資料庫亂碼及Incorrect string value: '\xF0\x9F...' for column 'XXX' at row 1解決

一、中文寫入亂碼問題

我輸入的中文編碼是 urf8 的，建的庫是 urf8 的，但是插入MySQL總是亂碼，一堆"???????????????????????"。可以使用以下的方式試試決解：

原url地址是

jdbc:mysql://localhost:3306/資料庫名

改為

jdbc:mysql://localhost:3306/資料庫名?useUnicode=true&characterEncoding=UTF-8

就OK了。

二、Incorrect string value: '\xF0\x9F...' for column 'XXX' at row 1

做有關微信公眾賬號的項目時，報Incorrect string value: '\xF0\x9F\x98\x92' for column 'NIKENAME' at row 1，而所有的字元編碼都是 utf8，使用的資料庫是 mysql，在測試環境用得好好的，部署到線上後（使用的集群是阿裡巴巴的，資料庫伺服器也是使用它們的，mysql 伺服器版本是 5.5.18），就報這個錯了，並且這個錯，時而出現，時而不出現

Emoji表情字元現在在APP已經廣泛支持了。但是MySQL的UTF8編碼對Emoji字元的支持卻不是那麼好。所以我們經常會遇到這樣的異常：

Java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x8E' for column 'nick' at row 1

原因是MySQL里 urf8 編碼最多只能支持3個位元組，而Emoji表情字元使用的 urf8 編碼，很多都是4個位元組，有些甚至是6個位元組。

解決的方案有兩種：

1. 使用 utf8mb4 的 mysql 編碼來容納這些字元；
2. 過濾掉這些特殊的表情字元。

方法1：使用utf8mb4的mysql編碼來容納這些字元

註意：要使用 utf8mb4 類型，首先要保證MySQL版本要不低於 MySQL 5.5.3。

第一步：在mysql的安裝目錄下找到my.ini,作如下修改：

[client] 
default-character-set = utf8mb4 
[mysql] 
default-character-set = utf8mb4 
[mysqld] 
character-set-client-handshake = FALSE 
character-set-server = utf8mb4 
collation-server = utf8mb4_unicode_ci 
init_connect='SET NAMES utf8mb4'

修改後重啟Mysql。

第二步：將已經建好的表也轉換成 utf8mb4

alter table TABLE_NAME convert to character set utf8mb4 collate utf8mb4_bin; 

將 TABLE_NAME 替換成你的表名。然後就OK了。

網上流傳的一個版本增加了一個步驟，就是以 root 身份登錄 Mysql，修改環境變數，將

character_set_client,character_set_connection,character_set_database,character_set_results,character_set_server

都修改成 utf8mb4。不過我沒有做這一步，也正常，所以可能是這一步是多餘的。

方法2：過濾掉這些特殊的字元

import org.apache.commons.lang.StringUtils;

public class charUtil {
    /**
     * 替換四個位元組的字元 '\xF0\x9F\x98\x84\xF0\x9F）的解決方案 ��
     */
    public static String removeFourChar(String content) {
        byte[] conbyte = content.getBytes();
        for (int i = 0; i < conbyte.length; i++) {
            if ((conbyte[i] & 0xF8) == 0xF0) {
                for (int j = 0; j < 4; j++) {
                    conbyte[i + j] = 0x30;// 0x30 int=48   字元=0
                }
                i += 3;
            }
        }
        content = new String(conbyte);
        return content.replaceAll("0000", "");
    }

    /**
     * 將emoji表情替換成*
     * @return 過濾後的字元串
     * 過濾的方式很簡單，直接使用正則表達式匹配編碼範圍，然後替換就行了。
     */
    public static String filterEmoji(String source) {
        if (StringUtils.isNotBlank(source)) {
            return source.replaceAll("[\\ud800\\udc00-\\udbff\\udfff\\ud800-\\udfff]", "*");
        } else {
            return source;
        }
    }

    public static void main(String[] arg) {
        try {
            System.err.println("測試->將emoji表情替換成*");
            String text = "This is a smiley \uD83C\uDFA6 face\uD860\uDD5D \uD860\uDE07 \uD860\uDEE2 \uD863\uDCCA \uD863\uDCCD \uD863\uDCD2 \uD867\uDD98 ";
            System.out.println(text);
            System.out.println(text.length());
            System.out.println(text.replaceAll("[\\ud83c\\udc00-\\ud83c\\udfff]|[\\ud83d\\udc00-\\ud83d\\udfff]|[\\u2600-\\u27ff]", "*"));
            System.out.println(filterEmoji(text));
            //輸出結果
            //This is a smiley �� face�� �� �� �� �� �� �� 
            //45
            //This is a smiley * face�� �� �� �� �� �� �� 
            //This is a smiley * face* * * * * * * 

            System.err.println("測試->替換四個位元組的字元 '\\xF0\\x9F\\x98\\x84\\xF0\\x9F）的解決方案 ��");
            String title = "ff的範德薩分��������Llfldakf;dsk。f������������daslfjdsa;lfkjdsd'j'l'f'k'd'j'sa'l'k";
            System.out.println(removeFourChar(title));
            //輸出結果：ff的範德薩分Llfldakf;dsk。fdaslfjdsa;lfkjdsd'j'l'f'k'd'j'sa'l'k

        } catch (Exception ex) {
            ex.printStackTrace();
        }
    }
}