sql server 不可見字元處理 總結

来源:http://www.cnblogs.com/zzry/archive/2016/08/02/5729404.html
-Advertisement-
Play Games

問題描述:在表列里有肉眼不可見字元,導致一些更新或插入失敗。 幾年前第一次碰見這種問題是在讀取考勤機人員信息時碰見的,折騰了一點時間,現在又碰到了還有點新發現就順便一起記錄下。 轉載註明出處:http://www.cnblogs.com/zzry/p/5729404.html 如下圖所示 golds ...


 前言

問題描述:在表列里有肉眼不可見字元,導致一些更新或插入失敗。 幾年前第一次碰見這種問題是在讀取考勤機人員信息時碰見的,折騰了一點時間,現在又碰到了還有點新發現就順便一起記錄下。

 

轉載註明出處:http://www.cnblogs.com/zzry/p/5729404.html

如下圖所示 golds欄位 看上去5個字元,長度則為44 ,可判斷有特殊字元存在此列中。

 

 基礎知識準備 

貼幾個常用函數 

 1、獲取字元的ASCII碼 ASCII

    ASCII碼是對字元的標準編碼。要獲取字元的ASCII碼就可以通過調用ASCII函數來實現。

    語法結構:

  ASCII(espression)

   這裡的expression是一個返回char或varchar數據類型的表達式,ASCII函數僅對錶達式最左側的字元返回ASCII碼值。--這個是重點

    返回值:int數據類型。

    示例:

  select ASCII('f')    --輸出 102

   註意如果是多個字元的字元串,也只是返回第一個字元的ASCII碼值。

  2、獲取ASCII碼對應的字元 Char

    語法結構:

  char(integer_expression)

    返回值類型:char型字元

    示例:

  select char(102)    -- 輸出f

  3、獲取字元的unicode編碼 Unicode

   unicode函數可以獲得字元的unicode編碼。

   語法結構:

  unicode('ncharacter_expression')

   這裡的ncharacter_expression是nchar或nvarchar類型的表達式。函數僅會返回第一個字元的unicode編碼。

   返回值:int類型數據

   示例:

  SELECT Unicode('飛')    -- 輸出 39134

  4、獲取unicode編碼對應的字元nchar

    nchar能夠根據unicode標準的定義,返回具有指定的整數代碼的unicode字元。

    語法結構:

  nchar(integer_expression)

    返回值:unicode字元

     示例:

  SELECT nchar(39134)        -- 輸出 飛

 

      5、獲取字元串長度LEN

    len函數用於獲取字元串的長度(字元數),但不包括右邊的空格。左邊的空格和右邊的空格計算在內。

    語法結構:

  len( string_expression )

    參數說明:

      string_expression:要計算長度的字元串。

    返回值:expression數據類型為varchar(max)、nvarchar(max)或varbinary(max),則為bigint。否則為int。

    示例:

  select len('天下之大,無奇不有')    -- 輸出 9

   6、REPLACE

  用另一個字元串值替換出現的所有指定字元串值。

  語法如下:

  REPLACE ( string_expression1 , string_expression2 , string_expression3 )

  參數
  string_expression1:要搜索的字元串表達式。string_expression1 可以是字元或二進位數據類型。
  string_expression2:要查找的子字元串。string_expression2 可以是字元或二進位數據類型。
  string_expression3:替換字元串。string_expression3 可以是字元或二進位數據類型。

  SELECT REPLACE('abcde','abc','xxx')    --xxxde

   

   7 、指定位置搜索字元串中的內容CHARINDEX

    charindex函數用於在指定的字元串中搜索特定的字元串,並可以指定開始搜索的位置,返回第一次找到目標字元串的字元數。

    語法結構:

  charindex ( expression1 , expression2 [ , start_location] )
    參數說明:

      expression1:一個字元串數據類型的表達式,其中包含要查找的字元的序列。

      expression2:一個字元串數據類型的表達式,通常是一個為指定序列搜索的列。

      start_location:開始在expression2中搜索expression1是的字元位置。如果start_location未被指定、是一個負數或零,則將從expression2的開頭開始搜索。      start_location可以是bingint類型。

    返回值:如果expression2的數據類型為varchar(max)、nvarchar(max)或varbinary(max),則為bigint,否則為int。

    示例:

    select charindex('456','123456789') -- 輸出 4 從123456789中檢索456出現的位置
    select charindex('456','123456789',4) -- 輸出 4

 問題處理 

以前言中描述的例子為例(個人習慣處理方式供參考,如果你的肉眼自帶反隱功能可略過下文)

先查看左右邊字元和肉眼所見是否吻合結果如下圖

初步斷定不可見字元在右邊,因為第三個的查詢結果不是0而是空(可能是字元串空吧'')

轉載註明出處:http://www.cnblogs.com/zzry/p/5729404.html

接著查看它的ascii編碼值

查看ascii表(我是大自然的搬用工),ASCII 非列印控制字元:ASCII 表上的數字 0–31 分配給了控制字元,用於控制像印表機等一些外圍設備。

得到結論1:右邊第一個不可見字元是個控制字元(對應char(0),為什麼是char(0)上面貼的基礎知識有講)

 

一般到這裡就結束了,查到了是什麼字元,然後用replace函數替換成字元串空完事,下麵將其處理掉時發現失敗

上面查到了是char(0)在作祟,而且我迴圈輸出golds欄位右邊的字元發現有39個char(0),方便理解,簡化問題,改為下圖對比著看

初步斷定在@a里沒找到

繼續追蹤原因

 

原來如此,charindex都找不到它,得right一下才把這根刺挑出來。當是char(1)等等的時候是可以的,replace(@a,char(1) ,'a')

這樣是成功的,char(0)對應空字元,不對應資料庫的NULL哦。

 

既然這樣,那就用截取字元串的方法把需要的信息拿出來,框架大概如下,套個迴圈。當然也有可能有更好的方法,僅供參考

轉載註明出處:http://www.cnblogs.com/zzry/p/5729404.html

loop
UPDATE  TblName  SET 
 ColName = LEFT(ColName,LEN(ColName)-1)    
 WHERE ASCII(RIGHT( ColName ,1))=0  
end loop

 

 下麵共用個通用處理指定表中所有列中所有不可見字元的處理腳本,實測可用。

SET NOCOUNT ON
 DECLARE @TblName  VARCHAR(100)
 DECLARE @UpdateString NVARCHAR(1000)
 DECLARE @SelectString NVARCHAR(1000)
 DECLARE @COlName VARCHAR(100)
 DECLARE @COUNT  INT
 SET @TblName = '表名稱'--指定想要修改的表名
 --定義游標取出指定表內的數據類型是VARCHAR,char,nVARCHAR的欄位名稱
 DECLARE cur_ColName  CURSOR
 FOR
 SELECT col.name
 FROM syscolumns AS col
 inner join sysobjects  AS obj  ON col.ID = obj.ID 
 INNER join systypes  AS typ  ON col.xtype = typ.xtype
 WHERE obj.xtype ='U'
 AND obj.name = @TblName
 AND typ.name IN ('VARCHAR','CHAR','NVARCHAR','NCHAR')
 FOR READ ONLY
 --打開游標
 OPEN cur_ColName
 FETCH NEXT FROM cur_ColName INTO @ColName
 IF @@FETCH_STATUS<>0
 BEGIN 
 PRINT '沒有對應表或欄位,'PRINT '請確認當前資料庫內有' + @TblName + '表,' PRINT '或該表內有VARCHAR、CHAR、NVARCHAR、NCHAR類型的欄位!' GOTO LABCLOSE
 END--迴圈修改
 WHILE @@FETCH_STATUS=0
 BEGIN 
 --拼修改字元串 
 --去掉左邊的不可見字元 
 SET @SelectString = 'SELECT @COU=COUNT(*)     
 FROM ' + @TblName +'    
 WHERE ASCII(LEFT(' + @ColName +',1))<32
 AND '+ @ColName + ' IS NOT NULL' 
 EXEC sp_executesql @SelectString,N'@COU INT OUTPUT',
 @COUNT OUTPUT WHILE @COUNT>0 
 BEGIN  
 SET @UpdateString =   
 ' UPDATE ' + @TblName +   
 ' SET ' + @ColName + '=RIGHT(' + @ColName + ',LEN(' + @ColName + ')-1)    
 WHERE ASCII(LEFT(' + @ColName + ',1))<32    
 AND ' + @ColName + ' IS NOT NULL'  
 EXEC sp_executesql @UpdateString  
 EXEC sp_executesql @SelectString,N'@COU INT OUTPUT',@COUNT OUTPUT 
 END 
 --去掉右邊的不可見字元 
 SET @SelectString = 'SELECT @COU=COUNT(*)     
 FROM ' + @TblName +'    
 WHERE ASCII(RIGHT(' + @ColName +',1))<32    
 AND '+ @ColName + ' IS NOT NULL' 
 EXEC sp_executesql @SelectString,N'@COU INT OUTPUT',
 @COUNT OUTPUT WHILE @COUNT>0 
 BEGIN  
 SET @UpdateString =   ' UPDATE ' + @TblName +   ' SET ' 
 + @ColName + '=LEFT(' + @ColName + ',LEN(' + @ColName + ')-1)    
 WHERE ASCII(RIGHT(' + @ColName + ',1))<32    
 AND ' + @ColName + ' IS NOT NULL'  
 EXEC SP_EXECUTESQL @UpdateString  
 EXEC sp_executesql @SelectString,N'@COU INT OUTPUT',
 @COUNT OUTPUT 
 END 
 PRINT 'column: ' + @ColName + '---ok' 
 FETCH NEXT FROM cur_ColName INTO @ColName
 END
 --關閉、釋放游標
 LABCLOSE: CLOSE cur_ColName  
 DEALLOCATE cur_ColName
 GO

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在初始化MySQL的過程中經常會碰到各種問題,如 出現這些問題的原因無非是兩種, 1> 沒有傳遞合適的參數。 譬如: [root@localhost ~]# /usr/test/mariadb-10.1.16-linux-x86_64/scripts/mysql_install_db --datad ...
  • 我們這裡先給出題和結果吧,該題目是剛纔從網上看到的,很多朋友會問這個答案不是有嗎?錯,如果仔細看差別就大了,不多說了直接進入主題吧: 這就是我們要做到的,我接下來給出三種方法吧: 方法一: 我們一看明顯可以看出方法一代碼量太大了,不適用由於我就找到了方法二,我對他代碼進行組合了可以得到以下方法: 方 ...
  • 這段時間遇到一個問題就是ReportService 中採用了遠程連接的報表偶爾會斷開連接,導致報表導出異常,查閱了很多資料,幾天來就是斷斷續續的終於解決了這個問題,下麵把一些解決的點一一展示出來,便於大家將來遇到同樣問題無從下手。 首先是報錯,接下來我馬上去看日誌,很多人不知道文件的位置,一般預設就 ...
  • 成功安裝了Oracle 11g後,使用sqlplus登錄資料庫時遇到下麵錯誤: [oracle@DB-Server ~]$ sqlplus / as sysdba sqlplus: error while loading shared libraries: /u01/app/lib/libclnts... ...
  • 計算string所占的位元組長度:返回字元串的長度,單位是 計算string所占的字元長度:返回字元串的長度,單位是 eg: //去掉該欄位後面15位字元串 select t.depre_name, substr(t.depre_name, 0, (length(t.depre_name) 16)) ...
  • 一. 創建表的方法 語法:create table 表名( 屬性名數據類型完整約束條件, 屬性名數據類型條完整約束件, 。。。。。。。。。 屬性名數據類型 ); (1)舉例:1 create table example0( 2 id int, 3 name varchar(20), 4 sexboo ...
  • Kafka是目前非常流行的消息隊列中間件,常用於做普通的消息隊列、網站的活性數據分析(PV、流量、點擊量等)、日誌的搜集(對接大數據存儲引擎做離線分析)。 全部內容來自網路,可信度有待考證!如有問題,還請及時指正。 概念介紹 在Kafka中消息隊列分為三種角色: ,即生產者,負責產生日誌數據。 ,存 ...
  • 需求: 一篇文章里有很多評論,每個評論又有很多回覆評論,要求: 頁面將文章展示出來,且文章的主評論按照評論時間分頁展示,回覆評論的評論完全展示在每個主評論下麵,且按照回覆時間排序 最終查詢結果SQL查詢結果如下: Code: 評論編碼,ParentCode:回覆評論編碼,num:主評論序號,lvl: ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...