MySQL 04-EMOJI 表情與 UTF8MB4 的故事

来源:https://www.cnblogs.com/houbbBlogs/p/18132259
-Advertisement-
Play Games

拓展閱讀 MySQL View MySQL truncate table 與 delete 清空表的區別和坑 MySQL Ruler mysql 日常開發規範 MySQL datetime timestamp 以及如何自動更新,如何實現範圍查詢 MySQL 06 mysql 如何實現類似 oracl ...


拓展閱讀

MySQL View

MySQL truncate table 與 delete 清空表的區別和坑

MySQL Ruler mysql 日常開發規範

MySQL datetime timestamp 以及如何自動更新,如何實現範圍查詢

MySQL 06 mysql 如何實現類似 oracle 的 merge into

MySQL 05 MySQL入門教程(MySQL tutorial book)

MySQL 04- EMOJI 表情與 UTF8MB4 的故事

MySQL Expression 1 of ORDER BY clause is not in SELECT list,references column

emoji

想在 mysql 資料庫插入 emoji 表情,結果報錯:

### Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x92\x8B' for column 'name' at row 1

錯誤原因很多小伙伴也知道,mysql 種的 utf8 和 java 的 utf-8 並不是完全對等的。

應該指定 mysql 的編碼為 utf8mb4 才是正確的。

修改編碼

查看編碼

show variables like 'character_set_database'; # 查看資料庫編碼
show create table comment; # 查看表編碼

修改資料庫 & 表編碼

可以在原來的基礎上直接修改:

alter database <資料庫名> character set utf8mb4; # 修改資料庫
alter table <表名> character set utf8mb4; # 修改表
alter table <表名> change <欄位名> <欄位名> <類型> character set utf8mb4; # 修改欄位

建表時指定

drop database echo_blog;
CREATE DATABASE echo_blog DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

drop table comment;
create table comment
(
    id int unsigned auto_increment comment '主鍵' primary key,
    create_time timestamp default CURRENT_TIMESTAMP not null comment '創建時間',
    update_time timestamp default CURRENT_TIMESTAMP not null on update CURRENT_TIMESTAMP comment '更新時間'
) comment '評論信息' ENGINE=Innodb default charset=UTF8MB4 auto_increment=1;

亂碼問題

修改完成之後,插入成功。

但是資料庫中全部是 ??? 之類的內容,而不是表情內容。

到底哪裡出問題了呢?

mysql 編碼問題

查看 mysql 編碼

SHOW VARIABLES WHERE Variable_name LIKE 'character_set_%' OR Variable_name LIKE 'collation%';

如下:

mysql> SHOW VARIABLES WHERE Variable_name LIKE 'character_set_%' OR Variable_name LIKE 'collation%';
+--------------------------+----------------------------------------------------+
| Variable_name            | Value                                              |
+--------------------------+----------------------------------------------------+
| character_set_client     | utf8mb4                                            |
| character_set_connection | utf8mb4                                            |
| character_set_database   | utf8mb4                                            |
| character_set_filesystem | binary                                             |
| character_set_results    | utf8mb4                                            |
| character_set_server     | utf8mb4                                            |
| character_set_system     | utf8                                               |
| character_sets_dir       | D:\tools\mysql\mysql-5.7.24-winx64\share\charsets\ |
| collation_connection     | utf8mb4_unicode_ci                                 |
| collation_database       | utf8mb4_unicode_ci                                 |
| collation_server         | utf8mb4_unicode_ci                                 |
+--------------------------+----------------------------------------------------+

屬性說明:

character_set_client

主要用來設置客戶端使用的字元集。通俗的講就是mysql把客戶端傳遞過來的數據都當成是utf8mb4

character_set_connection

主要用來設置連接資料庫時的字元集,如果程式中沒有指明連接資料庫使用的字元集類型則按照這個字元集設置。

character_set_database

主要用來設置預設創建資料庫的編碼格式,如果在創建資料庫時沒有設置編碼格式,就按照這個格式設置。

character_set_filesystem

文件系統的編碼格式,把操作系統上的文件名轉化成此字元集,即把 character_set_client轉換character_set_filesystem, 預設binary是不做任何轉換的。

character_set_results

資料庫給客戶端返回時使用的編碼格式,如果沒有指明,使用伺服器預設的編碼格式。通俗的講就是mysql發送個客戶端的數據是utf8mb4的

character_set_server

伺服器安裝時指定的預設編碼格式,這個變數建議由系統自己管理,不要人為定義。

character_set_system

資料庫系統使用的編碼格式,這個值一直是utf8,不需要設置,它是為存儲系統元數據的編碼格式。

character_sets_dir

這個變數是字元集安裝的目錄。

Mysql的字元集內部處理

1.mysql Server收到請求時將請求數據從 character_set_client 轉換為 character_set_connection

2.進行內部操作前將請求數據從 character_set_connection 轉換為內部操作字元集,步驟如下

  A. 使用每個數據欄位的 CHARACTER SET 設定值;

  B. 若上述值不存在,則使用對應數據表的字元集設定值

  C. 若上述值不存在,則使用對應資料庫的字元集設定值;

  D. 若上述值不存在,則使用 character_set_server 設定值。

3.最後將操作結果從內部操作字元集轉換為 character_set_results

臨時修改配置

上面的配置都可以通過命令臨時修改:

SET character_set_client = utf8mb4;
SET character_set_connection = utf8mb4;
SET character_set_database = utf8mb4;
SET character_set_results = utf8mb4;
SET character_set_server = utf8mb4;

SET collation_connection = utf8mb4_unicode_ci;
SET collation_database = utf8mb4_unicode_ci;
SET collation_server = utf8mb4_unicode_ci;

當然,也可以通過修改 my.ini 配置文件。

修改 mysql 伺服器配置文件

比如 windows 下個人的 mysql 安裝目錄為:D:\tools\mysql\mysql-5.7.24-winx64

那就在下麵創建 my.ini(如果沒有的話)。

內容如下:

[mysql]
# 設置mysql客戶端預設字元集
default-character-set=utf8mb4
 
[mysqld]
# 設置3306埠
port=3306
# 允許最大連接數
max_connections=20
# 服務端使用的字元集預設為8比特編碼的latin1字元集
character-set-server=utf8mb4
# 創建新表時將使用的預設存儲引擎
default-storage-engine=INNODB
 
collation-server=utf8mb4_unicode_ci
init_connect='SET NAMES utf8mb4'

character-set-client-handshake = FALSE
explicit_defaults_for_timestamp=true
 
[client]
default-character-set=utf8mb4

修改完成後需要重啟 mysql 服務。

可以在 bin 下執行 mysqld restart。這個實踐下來只初始化了部分編碼。

個人實在 windows services(服務) 下,把 mysql 服務進行了重新啟動。

jdbc 配置

druid 數據源配置

spring:
  datasource:
    druid:
      username: root
      password: xxxxxx
      url: jdbc:mysql://localhost:3306/echo_blog?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTC
      driver-class-name: com.mysql.jdbc.Driver
      connection-init-sqls: set names utf8mb4;

官方資料

https://dev.mysql.com/doc/connectors/en/connector-j-reference-charsets.html

Notes
For Connector/J 8.0.12 and earlier: In order to use the utf8mb4 character set for the connection, the server MUST be configured with character_set_server=utf8mb4; if that is not the case, when UTF-8 is used for characterEncoding in the connection string, it will map to the MySQL character set name utf8, which is an alias for utf8mb3.

For Connector/J 8.0.13 and later:

When UTF-8 is used for characterEncoding in the connection string, it maps to the MySQL character set name utf8mb4.

If the connection option connectionCollation is also set alongside characterEncoding and is incompatible with it, characterEncoding will be overridden with the encoding corresponding to connectionCollation.

Because there is no Java-style character set name for utfmb3 that you can use with the connection option charaterEncoding, the only way to use utf8mb3 as your connection character set is to use a utf8mb3 collation (for example, utf8_general_ci) for the connection option connectionCollation, which forces a utf8mb3 character set to be used, as explained in the last bullet.

Warning
Do not issue the query SET NAMES with Connector/J, as the driver will not detect that the character set has been changed by the query, and will continue to use the character set configured when the connection was first set up.

說明:

提示
mysql-connector-java 版本在8.0.12之前的,包括8.0.12,服務端必須設置character_set_server=utf8mb4;如果不是的話,就算設置了characterEncoding=UTF-8,照樣會被設置為MYSQL的 utf8字元集,也就是utf8mb3。

對於8.0.13和以後的版本,如果設置了characterEncoding=UTF-8,他會映射到MYSQL的utf8mb4字元集。

如果connectionCollation 也和characterEncoding一起設置了,但是不相容,characterEncoding會被connectionCollation的設置覆蓋掉。

由於沒有Java-Style的utfmb3對應的字元集名稱可以用在connection選項charaterEncoding上,唯一的設置utf8mb3的方式就是在連接選項設置utf8mb3 collation(例如utf8_general_ci),這會強制使用utf8mb3字元集,正如上文所述。

警告
不要通過Connector發起SET NAMES指令,因為driver不會檢測字元集是不是被查詢語句改動,並且當連接第一次建立之後,會繼續使用當時的字元集設置。

可以發現 jdbc 中的配置 connection-init-sqls: set names utf8mb4; 這句話是沒啥用的。

建議老老實實的修改 mysql 服務端的配置。

依然亂碼

這個時候 java 客戶端保存 emoji,依然有部分亂碼。

比如:



您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • vscode插件liveserver增加對thymeleaf模板的簡單支持 背景 vscode+liveserver開發時,多個頁面引用的公用靜態資源在每個頁面都寫一個遍比較麻煩,想讓liveserver支持簡單的thymeleaf語法,只要能把公用資源抽出來單獨放到一個文件中聲明即可。 網上找了一 ...
  • Scriptable 腳本合集 iOS桌面組件神器(Scriptable)原創腳本,精美作品收集、分享! 如果喜歡,歡迎點個 ⭐️ Star ⭐️ 給予小支持,感謝您的使用!喜歡這個項目?有好的腳本?請考慮留言來幫助完善它! 如果您使用過程中發現有問題或可以改進的流程,請提出 Issue 或 Pul ...
  • JS解混淆 最近在整理之前和一些同伴的分享資料,發現時間已經過了好久,特此整理一些有價值的分享記錄。 JS混淆 學習js混淆可以逆向分析混淆和加密過程,實戰可用於爬蟲和滲透信息獲取 本文檔用於初步介紹js混淆的基礎概念以及如何解混淆、調試,便於幹掉反爬蟲和滲透信息收集思路拓展 概念解釋 混淆/加密 ...
  • 前言 我們已經介紹了radash的相關信息和部分Array相關方法,詳情可前往主頁查看; 本篇我們繼續介紹radash中Array的相關方法; 下期我們將介紹解析radash中剩餘的 Array相關方法,並整理出Array方法使用目錄,包括文章說明和腦圖說明。 Radash的Array相關方法詳解 ...
  • 大家好,我是 Java陳序員。 今天,給大家介紹一個基於 Vue 全家桶實現的“網易雲”播放器。 關註微信公眾號:【Java陳序員】,獲取開源項目分享、AI副業分享、超200本經典電腦電子書籍等。 項目介紹 YesPlayMusic —— 一款高顏值的第三方網易雲播放器,支持 Windows / ...
  • 本文分享自華為雲社區《3月閱讀周·你不知道的JavaScript | ES6生成器,看似同步的非同步流程式控制製表達風格》,作者: 葉一一。 生成器 打破完整運行 JavaScript開發者在代碼中幾乎普遍依賴的一個假定:一個函數一旦開始執行,就會運行到結束,期間不會有其他代碼能夠打斷它並插入其間。 ES ...
  • 目錄一、爬取目標1.1 效果截圖1.2 演示視頻1.3 軟體說明二、代碼講解2.1 爬蟲採集模塊2.2 軟體界面模塊2.3 日誌模塊三、獲取源碼及軟體 一、爬取目標 用python開發的xhs爬蟲採集軟體,可自動抓取小紅書評論數據,並且含二級評論數據。 為什麼有了源碼還開發界面軟體呢?方便不懂編程代 ...
  • 1、 Pythonic - 很Python 寫一段代碼生成1到100之間的數字的平方的列表,答案是: 1, 4, 9, 16... 如果你這樣寫,你就不Pythonic了: 解釋 nums = [] for i in range(1, 101): nums.append(i*i) print(num ...
一周排行
    -Advertisement-
    Play Games
  • 前言 微服務架構已經成為搭建高效、可擴展系統的關鍵技術之一,然而,現有許多微服務框架往往過於複雜,使得我們普通開發者難以快速上手並體驗到微服務帶了的便利。為瞭解決這一問題,於是作者精心打造了一款最接地氣的 .NET 微服務框架,幫助我們輕鬆構建和管理微服務應用。 本框架不僅支持 Consul 服務註 ...
  • 先看一下效果吧: 如果不會寫動畫或者懶得寫動畫,就直接交給Blend來做吧; 其實Blend操作起來很簡單,有點類似於在操作PS,我們只需要設置關鍵幀,滑鼠點來點去就可以了,Blend會自動幫我們生成我們想要的動畫效果. 第一步:要創建一個空的WPF項目 第二步:右鍵我們的項目,在最下方有一個,在B ...
  • Prism:框架介紹與安裝 什麼是Prism? Prism是一個用於在 WPF、Xamarin Form、Uno 平臺和 WinUI 中構建鬆散耦合、可維護和可測試的 XAML 應用程式框架 Github https://github.com/PrismLibrary/Prism NuGet htt ...
  • 在WPF中,屏幕上的所有內容,都是通過畫筆(Brush)畫上去的。如按鈕的背景色,邊框,文本框的前景和形狀填充。藉助畫筆,可以繪製頁面上的所有UI對象。不同畫筆具有不同類型的輸出( 如:某些畫筆使用純色繪製區域,其他畫筆使用漸變、圖案、圖像或繪圖)。 ...
  • 前言 嗨,大家好!推薦一個基於 .NET 8 的高併發微服務電商系統,涵蓋了商品、訂單、會員、服務、財務等50多種實用功能。 項目不僅使用了 .NET 8 的最新特性,還集成了AutoFac、DotLiquid、HangFire、Nlog、Jwt、LayUIAdmin、SqlSugar、MySQL、 ...
  • 本文主要介紹攝像頭(相機)如何採集數據,用於類似攝像頭本地顯示軟體,以及流媒體數據傳輸場景如傳屏、視訊會議等。 攝像頭採集有多種方案,如AForge.NET、WPFMediaKit、OpenCvSharp、EmguCv、DirectShow.NET、MediaCaptre(UWP),網上一些文章以及 ...
  • 前言 Seal-Report 是一款.NET 開源報表工具,擁有 1.4K Star。它提供了一個完整的框架,使用 C# 編寫,最新的版本採用的是 .NET 8.0 。 它能夠高效地從各種資料庫或 NoSQL 數據源生成日常報表,並支持執行複雜的報表任務。 其簡單易用的安裝過程和直觀的設計界面,我們 ...
  • 背景需求: 系統需要對接到XXX官方的API,但因此官方對接以及管理都十分嚴格。而本人部門的系統中包含諸多子系統,系統間為了穩定,程式間多數固定Token+特殊驗證進行調用,且後期還要提供給其他兄弟部門系統共同調用。 原則上:每套系統都必須單獨接入到官方,但官方的接入複雜,還要官方指定機構認證的證書 ...
  • 本文介紹下電腦設備關機的情況下如何通過網路喚醒設備,之前電源S狀態 電腦Power電源狀態- 唐宋元明清2188 - 博客園 (cnblogs.com) 有介紹過遠程喚醒設備,後面這倆天瞭解多了點所以單獨加個隨筆 設備關機的情況下,使用網路喚醒的前提條件: 1. 被喚醒設備需要支持這WakeOnL ...
  • 前言 大家好,推薦一個.NET 8.0 為核心,結合前端 Vue 框架,實現了前後端完全分離的設計理念。它不僅提供了強大的基礎功能支持,如許可權管理、代碼生成器等,還通過採用主流技術和最佳實踐,顯著降低了開發難度,加快了項目交付速度。 如果你需要一個高效的開發解決方案,本框架能幫助大家輕鬆應對挑戰,實 ...