資料庫實踐丨使用MTK遷移Mysql源庫後主鍵自增列導致數據無法插入問題

来源:https://www.cnblogs.com/huaweiyun/archive/2023/01/17/17057903.html
-Advertisement-
Play Games

摘要:用戶使用Mogdb 2.0.1版本進行業務上線測試,發現在插入數據時,應用日誌中提示primary key衝突,用戶自查業務SQL沒有問題,接到通知後,招手處理故障。 本文分享自華為雲社區《使用MTK遷移Mysql源庫後主鍵自增列導致數據無法插入問題》,作者:Gauss松鼠會。 故障背景 用戶 ...


摘要:用戶使用Mogdb 2.0.1版本進行業務上線測試,發現在插入數據時,應用日誌中提示primary key衝突,用戶自查業務SQL沒有問題,接到通知後,招手處理故障。

本文分享自華為雲社區《使用MTK遷移Mysql源庫後主鍵自增列導致數據無法插入問題》,作者:Gauss松鼠會。

故障背景

用戶使用Mogdb 2.0.1版本進行業務上線測試,發現在插入數據時,應用日誌中提示primary key衝突,用戶自查業務SQL沒有問題,接到通知後,招手處理故障。

故障描述及根源分析

通過對用戶數據表的檢查,發現在id列上有一個primary key,並且制定了一個序列器作為自增主鍵的代替。初步懷疑是id中的值,已經超過了序列器的最大值,導致了故障的發生。 分別檢查序列器和表.id欄位的最大值,發現果然max(id)為474,序列器最大值剛剛44。

file_manage=> \d file_table
                                   Table "file_manage.file_table"
   Column     |            Type             |                        Modifiers                        
---------------+-----------------------------+---------------------------------------------------------
id            | bigint                      | not null default nextval('file_table_id_seq'::regclass)
type_id       | bigint                      | 
column_name   | character varying(32)       | default NULL::character varying
file_id       | character varying(64)       | default NULL::character varying
file_name     | character varying(100)      | default NULL::character varying
category_type | integer                     | default 0
pieces_id     | bigint                      | 
flag          | smallint                    | default (0)::smallint
del_flag      | smallint                    | default (0)::smallint
create_time   | timestamp without time zone | default pg_systimestamp()
update_time   | timestamp without time zone | default pg_systimestamp()
file_manage=> \d file_table_id_seq
  Sequence "file_manage.file_table_id_seq"
   Column     |  Type   |        Value        
---------------+---------+---------------------
sequence_name | name    | file_table_id_seq
last_value    | bigint  | 44
start_value   | bigint  | 1
increment_by  | bigint  | 1
max_value     | bigint  | 9223372036854775807
min_value     | bigint  | 1
cache_value   | bigint  | 1
log_cnt       | bigint  | 32
is_cycled     | boolean | f
is_called     | boolean | t
uuid          | bigint  | 0
Owned by: file_manage.file_table.id

同時查看報錯的id對應值是否在file_table表中是否存在:

file_manage=> select count(*) from file_table where id=43;
count 
-------
 1
(1 row)
file_manage=> select count(*) from file_table where id=44;
count 
-------
 1
(1 row)

由此,基本上可以確定故障原因在於表中主鍵列已經保存了一定數量的值,在操作過程中,序列器並沒有進行累加,導致序列器nextval已經遠遠小於主節列值,從而引發主鍵衝突。咨詢用戶後,用戶確實使用過insert into語句為數據表插入了部分測試資料庫上的數據。

故障處理流程

使用語句重新為序列器重置currval

file_manage=> select setval('file_table_id_seq',(select max(id) from file_table));
setval 
--------
 474
(1 row)

通知用戶重新啟動應用進行測試,故障現象消失。故障總結分析本次故障的成因是通過MTK進行數據數據遷移時,如果源庫是MySQL,MTK會通過判斷MySQL數據表是否存在自增主鍵,如果存在澤輝建立一個序列器模擬MySQL自增主鍵效果。 但是如果在此類表上進行手動gs_dump或者insert into操作時,由於在操作過程中指定了主鍵列的值,並不會推搞序列器的currval,最會導致在正常的數據增刪改之後,出現類似主鍵衝突的問題。 對應的處理辦法是需要在數據插入後,手動進行序列器的currval的重置,指向當前主鍵最大值。

 

點擊關註,第一時間瞭解華為雲新鮮技術~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 題目描述 KiKi 學會了 printf 在屏幕輸出信息,他想輸出一架小飛機。請幫他編寫程式輸出這架小飛機。 輸入描述 無 輸出描述 解題思路 方案一 將小飛機的圖形按照行進行劃分,總共可以分成 6行。然後依照每行空格與 * 的排布位置輸出相應的字元即可。 具體代碼如下: #include <std ...
  • 1 什麼是Terraform? Terraform是一個IaC工具,IaC全稱為Infrastructure as Code,基礎設施即代碼。它的理念是通過代碼來管理基礎設施,如伺服器、資料庫等,更多請看《Terraform入門教程,示例展示管理Docker和Kubernetes資源》。 而作為Ia ...
  • 隨著技術的進步,跨平臺開發已經成為了標配,在此大背景下,ASP.NET Core也應運而生。本文主要基於ASP.NET Core+Element+Sql Server開發一個校園圖書管理系統為例,簡述基於MVC三層架構開發的常見知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 前言 眾所周知記憶體緩存(MemoryCache)數據是從記憶體中獲取,性能表現上是最優的,但是記憶體緩存有一個缺點就是不支持分散式,數據在各個部署節點上各存一份,每份緩存的過期時間不一致,會導致幻讀等各種問題,所以我們實現分散式緩存通常會用上Redis 但如果在高併發的情況下讀取Redis的緩存,會進行 ...
  • 大家好,我是痞子衡,是正經搞技術的痞子。今天痞子衡給大家介紹的是國內Cortex-M內核MCU廠商高主頻產品。 在 2021 年初痞子衡寫了篇 《盤點國內Cortex-M內核MCU廠商高性能產品》,搜羅了當時市面上主頻不低於 96MHz 的 CM 核國產 MCU。如今過去了兩年,痞子衡又一次梳理了國 ...
  • 前言 學習知識要掌握有效的學習方法,學習技術也是一樣,本篇分享關於我學習 STM32 後總結的學習方法。 推薦的學習方法 系統學習 在網上購買一款開發板,使用開發板+開發板配套視頻教程+開發板配套源碼+晶元官方手冊搭配學習。 安富萊、正點原子、野火,這三家公司研發的開發板都挺不錯,可自由選擇一款作為 ...
  • APPERK 軟體信息 軟體名稱 ParallelsDesktop 版本號 18.1.1 軟體類型 官網版 + 商業版 安裝包大小 390MB 語言 中文 系統支持 macOS11及以上(M晶元原生) 測試設備 20款Mac Pro 與 M1 Mac Pro 測試系統 macOS 13.1 軟體介紹 ...
  • 1. Openkylin介紹 Openkylin是麒麟軟體公司主導的開源操作系統,正在逐步與該公司的銀河麒麟操作系統保持基礎庫的同源。 時至2022年12月,開源操作系統Openkylin的預設軟體商場版本中還沒有微信可供下載,預計後續會和麒麟銀河系統一樣上線微信官方版本。 2. OpenKylin ...
一周排行
    -Advertisement-
    Play Games
  • 前言 在我們開發過程中基本上不可或缺的用到一些敏感機密數據,比如SQL伺服器的連接串或者是OAuth2的Secret等,這些敏感數據在代碼中是不太安全的,我們不應該在源代碼中存儲密碼和其他的敏感數據,一種推薦的方式是通過Asp.Net Core的機密管理器。 機密管理器 在 ASP.NET Core ...
  • 新改進提供的Taurus Rpc 功能,可以簡化微服務間的調用,同時可以不用再手動輸出模塊名稱,或調用路徑,包括負載均衡,這一切,由框架實現並提供了。新的Taurus Rpc 功能,將使得服務間的調用,更加輕鬆、簡約、高效。 ...
  • 順序棧的介面程式 目錄順序棧的介面程式頭文件創建順序棧入棧出棧利用棧將10進位轉16進位數驗證 頭文件 #include <stdio.h> #include <stdbool.h> #include <stdlib.h> 創建順序棧 // 指的是順序棧中的元素的數據類型,用戶可以根據需要進行修改 ...
  • 前言 整理這個官方翻譯的系列,原因是網上大部分的 tomcat 版本比較舊,此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎,輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • C總結與剖析:關鍵字篇 -- <<C語言深度解剖>> 目錄C總結與剖析:關鍵字篇 -- <<C語言深度解剖>>程式的本質:二進位文件變數1.變數:記憶體上的某個位置開闢的空間2.變數的初始化3.為什麼要有變數4.局部變數與全局變數5.變數的大小由類型決定6.任何一個變數,記憶體賦值都是從低地址開始往高地 ...
  • 如果讓你來做一個有狀態流式應用的故障恢復,你會如何來做呢? 單機和多機會遇到什麼不同的問題? Flink Checkpoint 是做什麼用的?原理是什麼? ...
  • C++ 多級繼承 多級繼承是一種面向對象編程(OOP)特性,允許一個類從多個基類繼承屬性和方法。它使代碼更易於組織和維護,並促進代碼重用。 多級繼承的語法 在 C++ 中,使用 : 符號來指定繼承關係。多級繼承的語法如下: class DerivedClass : public BaseClass1 ...
  • 前言 什麼是SpringCloud? Spring Cloud 是一系列框架的有序集合,它利用 Spring Boot 的開發便利性簡化了分散式系統的開發,比如服務註冊、服務發現、網關、路由、鏈路追蹤等。Spring Cloud 並不是重覆造輪子,而是將市面上開發得比較好的模塊集成進去,進行封裝,從 ...
  • class_template 類模板和函數模板的定義和使用類似,我們已經進行了介紹。有時,有兩個或多個類,其功能是相同的,僅僅是數據類型不同。類模板用於實現類所需數據的類型參數化 template<class NameType, class AgeType> class Person { publi ...
  • 目錄system v IPC簡介共用記憶體需要用到的函數介面shmget函數--獲取對象IDshmat函數--獲得映射空間shmctl函數--釋放資源共用記憶體實現思路註意 system v IPC簡介 消息隊列、共用記憶體和信號量統稱為system v IPC(進程間通信機制),V是羅馬數字5,是UNI ...