Oracle Proc編程性能優化經驗

来源:https://www.cnblogs.com/kingstarer/archive/2019/12/01/11968247.html
-Advertisement-
Play Games

Proc 是Oracle提供的一種資料庫操作的AP。它是基於ESql技術的,需要預編譯後才可以變成普通c代碼,非常不直觀,使用起來不太方便,閱讀也存在困難。 因為這些問題導致程式員平時開發中會出現一些Proc操作存在效率低下的情況,本文介紹一些Proc一些編譯經驗,希望能給大家提供參考。 下麵以一個 ...


 

Proc 是Oracle提供的一種資料庫操作的AP。它是基於ESql技術的,需要預編譯後才可以變成普通c代碼,非常不直觀,使用起來不太方便,閱讀也存在困難。

因為這些問題導致程式員平時開發中會出現一些Proc操作存在效率低下的情況,本文介紹一些Proc一些編譯經驗,希望能給大家提供參考。

 

下麵以一個簡單需求進行舉例說明:

要求把DB1裡面一張數據表tbl_hch_test的數據導出到DB2的同名錶。

最快的方法當然是使用oracle的數據泵工具進行壓縮導出再導入,但expdp/impdp對資料庫環境有特別要求,所以我們需要使用Proc編程,先從DB1取出數據,再insert到Db2裡面。

 

簡單實現:

打開一個游標,從DB1迴圈FETCH數據出來,再使用sprintf拼裝成insert語句,到DB2使用exec sql指令執行插入並提交資料庫。

 

優化:

雖然上面的做法可以完成需求,但在效率上存在不優化空間。下麵依次進行介紹:

1 使用綁定變數代替sprintf拼裝sql

       實踐證明sprintf函數在對效率要求比較高的場景下容易成為性能瓶頸,使用綁定變數可以避免sprintf調用。

       並且,由於資料庫裡面執行的sql是相同的,不需要每次重新分析sql生成執行計劃,也能大大減輕資料庫負擔,提高執行效率。

 

2 對insert語句進行預編譯,一次編譯多次執行,避免使用隱性游標,每次都要重新編譯。

       同上,預編譯是比較消耗cpu的操作。如果sql相同,可以復用游標,減少性能開支。

3 使用批量操作,每次取數和插入數據都使用數組進行綁定。

       批量操作可以減少客戶端與伺服器之間交互次數,加快操作數據。

4 適當加大事務提交間隔(insert多行記錄commit一次)

       Oracle提交資料庫事務時需要將日誌從記憶體刷回磁碟並等待磁碟操作完成才返回,提高事務提交間隔可以減少等待消耗。

 

優化前後效率測試對比:

 

相同的操作,從23s降低到1.3s

 

其它提高效率措施:

以上是在編程上的一些優化,結合oracle一些特性,速度還能再提升,簡單介紹幾個優化技巧:

1 先刪除目標表索引,insert完數據後再重建

2 關閉表的日誌, 減少redo日誌,alter table tbl_hch_test nologing。裝載完數據再改回來。

3 使用append HINT,在高水位上面直接插入數據,加快插入速度。

4 使用並行(parallel)查詢,或者使用分區查詢(select * from tab parttion(par_name))加快查詢速度。

5 如果可能,儘量在資料庫伺服器上執行程式,減少網路傳輸開銷

 

 

關鍵代碼參考:

 

 

 

 

 

 

 

 

 

 

另外,附上幾個平時使用Proc容易出現誤區。

1 使用char數組保存資料庫varchar2類型欄位的值

       Proc的char數組對應的資料庫類型是char,varchar結構體對應的類型才是varchar2。使用char數組保存資料庫varchar2類型欄位的值,會導致取出的數據像char類型一樣,在末尾自動添加空格。

       解決方法可以使用EXEC SQL VAR/ EXEC SQL TYPE同等化變數或者數據類型。或者在預編譯時指定CHAR_MAP=string一勞永役

 

 

2 需要註意proc的一些命令是預編譯命令,只在預編譯期間生效,與C語言的巨集十分相似。例如以下命令:。

EXEC SQL CONTEXT USE

ESEC SQL Whenever Sqlerror Do

 

下麵舉一個常見的錯誤進行說明:

 

要完全搞明白proc的原理,建議多分析.pc文件與porc預編譯後生成的.c文件代碼區別。

 

3 proc指針變數

Proc可以正確識別指針與普通變數,使用指針做為綁定變數與使用普通變數的方法一樣,在變數前面加上冒號即可。

官方文檔是這樣說的:

 

 

 

有一些程式員不清楚怎麼在proc使用指針,會使用memcpy把數據複製多一遍,增加無謂消耗。

 

 

 

4 proc與C語言巨集

Proc能識別C語言的一些簡單的巨集,但如果有複雜的巨集(如不定參數巨集),proc在預編譯時會報錯。

此時可以考慮使用gcc –E先對.pc文件進行預處理,之後再使用proc進行預編譯。

 

 

 

如果對於proc編程還有什麼其它疑惑的地方,歡迎大家與我討論,或者查閱官方幫助文檔。《Oracle Proc官方文檔.pdf》


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 直接在對應的vhosts.conf配置文件的location / {}中添加以下內容: location / { index index.html index.htm index.php; #autoindex on; if (!-e $request_filename) { rewrite ^(. ...
  • Java 用我們學到的知識做處一個小的項目或者游戲等等應該都或多或少的有一點點的成就感吧,下列就是我用所學的基礎知識做的猜字謎游戲,並且給他賦予了靈魂哈哈哈。有興趣的可以嘗試的用自己會的知識做一些小的游戲工具什麼的提高自己,要不然你的知識不會那麼簡單的就融會貫通是吧! 有能力的可以把他改寫的更加的 ...
  • 一、關於object中的toString​方法: 1.SUN公司在Object類中設計toString方法的目的:返回java對象的字元串的表示形式。 2.在現實的開發過程中,Object裡面的toString方法已經不夠用了,因為Object的toString方法實現​的結果不滿意。Object中 ...
  • 線程池思想概述 當我們要使用線程的時候就去創建一個線程時,雖然實現方便,但是會出現問題:如果併發的線程數量很多,並且每個線程都是執行一個時間很短的任務就結束了,這樣頻繁創建線程就會大大降低系統的效率,因為頻繁創建線程和銷毀線程需要時間。 線程池的概念 線程池:其實就是一個容納多個線程的容器,其中的線 ...
  • 你好,我是彤哥,本篇是netty系列的第五篇。 簡介 上一章我們一起學習瞭如何使用Java原生NIO實現群聊系統,這章我們一起來看看Java NIO的核心組件之一——Channel。 思維轉變 首先,我想說的最重要的一個點是,學習NIO思維一定要從BIO那種一個連接一個線程的模式轉變成多個連接(Ch ...
  • pip install pymongo 基本使用:insert() remove() update() find() 官方推薦:insert_one() delete_one() update_one() find_one() ...
  • 技術:Java,Struts,Spring,Hibernate資料庫: MySQLweb伺服器:tomcat集成開發工具: My Eclipse網上手機銷售系統主要實現以下功能。本系統模塊如下:1,前臺系統功能模塊 |--商品的展示模塊 |--新品上架 |--特價商品 |--銷售排行 |--商品的查 ...
  • 安裝grafana,官網提供了ubuntu的安裝包,直接進行安裝 wget https://dl.grafana.com/oss/release/grafana_6.5.1_amd64.deb dpkg -i grafana_6.5.1_amd64.deb update-rc.d grafana-s ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...