SQL優化|Java面試題

来源:https://www.cnblogs.com/pythongood/archive/2019/07/22/11223682.html
-Advertisement-
Play Games

看到一篇非常全面的SQL優化文章,在開發的工作中往往不考慮性能上的缺失(在一開始的時候數據量不大也看不出速度上的區別)。但寫的越多越應該規範一下寫法。 原文鏈接:http://www.jfox.info/SQL-you-hua.html By Lee - Last updated: 星期五, 五月 ...


看到一篇非常全面的SQL優化文章,在開發的工作中往往不考慮性能上的缺失(在一開始的時候數據量不大也看不出速度上的區別)。但寫的越多越應該規範一下寫法。

原文鏈接:http://www.jfox.info/SQL-you-hua.html

By Lee - Last updated: 星期五, 五月 17, 2013

資料庫的優化問題

一、問題的提出

 在應用系統開發初期,由於開發資料庫數據比較少,對於查詢SQL語句,複雜視圖的的編寫等體會不出SQL語句各種寫法的性能優劣,但是如果將應用 系統提交實際應用後,隨著資料庫中數據的增加,系統的響應速度就成為目前系統需要解決的最主要的問題之一。系統優化中一個很重要的方面就是SQL語句的優 化。對於海量數據,劣質SQL語句和優質SQL語句之間的速度差別可以達到上百倍,可見對於一個系統不是簡單地能實現其功能就可,而是要寫出高質量的 SQL語句,提高系統的可用性。

  在多數情況下,Oracle使用索引來更快地遍歷表,優化器主要根據定義的索引來提高性能。但是,如果在SQL語句的where子句中寫的 SQL代碼不合理,就會造成優化器刪去索引而使用全表掃描,一般就這種SQL語句就是所謂的劣質SQL語句。在編寫SQL語句時我們應清楚優化器根據何種 原則來刪除索引,這有助於寫出高性能的SQL語句。

 二、SQL語句編寫註意問題

  下麵就某些SQL語句的where子句編寫中需要註意的問題作詳細介紹。在這些where子句中,即使某些列存在索引,但是由於編寫了劣質的SQL,系統在運行該SQL語句時也不能使用該索引,而同樣使用全表掃描,這就造成了響應速度的極大降低。

  1. IS NULL 與 IS NOT NULL

  不能用null作索引,任何包含null值的列都將不會被包含在索引中。即使索引有多列這樣的情況下,只要這些列中有一列含有null,該列就會從索引中排除。也就是說如果某列存在空值,即使對該列建索引也不會提高性能。

  任何在where子句中使用is null或is not null的語句優化器是不允許使用索引的。

  2. 聯接列

  對於有聯接的列,即使最後的聯接值為一個靜態值,優化器是不會使用索引的。我們一起來看一個例子,假定有一個職工表(employee),對於 一個職工的姓和名分成兩列存放(FIRST_NAME和LAST_NAME),現在要查詢一個叫比爾.柯林頓(Bill Cliton)的職工。

  下麵是一個採用聯接查詢的SQL語句,

    select * from employss where first_name||”||last_name =’Beill Cliton';

    上面這條語句完全可以查詢出是否有Bill Cliton這個員工,但是這裡需要註意,系統優化器對基於last_name創建的索引沒有使用。

  當採用下麵這種SQL語句的編寫,Oracle系統就可以採用基於last_name創建的索引。

    *** where first_name =’Beill’ and last_name =’Cliton';

   . 帶通配符(%)的like語句

  同樣以上面的例子來看這種情況。目前的需求是這樣的,要求在職工表中查詢名字中包含cliton的人。可以採用如下的查詢SQL語句:

    select * from employee where last_name like ‘%cliton%';

    這裡由於通配符(%)在搜尋詞首出現,所以Oracle系統不使用last_name的索引。在很多情況下可能無法避免這種情況,但是一定要心中有底,通 配符如此使用會降低查詢速度。然而當通配符出現在字元串其他位置時,優化器就能利用索引。在下麵的查詢中索引得到了使用:

    select * from employee where last_name like ‘c%';

4. Order by語句

  ORDER BY語句決定了Oracle如何將返回的查詢結果排序。Order by語句對要排序的列沒有什麼特別的限制,也可以將函數加入列中(象聯接或者附加等)。任何在Order by語句的非索引項或者有計算表達式都將降低查詢速度。

  仔細檢查order by語句以找出非索引項或者表達式,它們會降低性能。解決這個問題的辦法就是重寫order by語句以使用索引,也可以為所使用的列建立另外一個索引,同時應絕對避免在order by子句中使用表達式。

5. NOT

  我們在查詢時經常在where子句使用一些邏輯表達式,如大於、小於、等於以及不等於等等,也可以使用and(與)、or(或)以及not(非)。NOT可用來對任何邏輯運算符號取反。下麵是一個NOT子句的例子:

… where not (status =’VALID’)

如果要使用NOT,則應在取反的短語前面加上括弧,併在短語前面加上NOT運算符。NOT運算符包含在另外一個邏輯運算符中,這就是不等於(<>)運算符。換句話說,即使不在查詢where子句中顯式地加入NOT詞,NOT仍在運算符中,見下例:

… where status <>’INVALID';

對這個查詢,可以改寫為不使用NOT:

select * from employee where salary<3000 or salary>3000;

雖然這兩種查詢的結果一樣,但是第二種查詢方案會比第一種查詢方案更快些。第二種查詢允許Oracle對salary列使用索引,而第一種查詢則不能使用索引。

 

雖然這兩種查詢的結果一樣,但是第二種查詢方案會比第一種查詢方案更快些。第二種查詢允許Oracle對salary列使用索引,而第一種查詢則不能使用索引。

我們要做到不但會寫SQL,還要做到寫出性能優良的SQL,以下為筆者學習、摘錄、並彙總部分資料與大家分享!

(1)      選擇最有效率的表名順序(只在基於規則的優化器中有效): 
ORACLE 的解析器按照從右到左的順序處理FROM子句中的表名,FROM子句中寫在最後的表(基礎表 driving table)將被最先處理,在FROM子句中包含多個表的情況下,你必須選擇記錄條數最少的表作為基礎表。如果有3個以上的表連接查詢, 那就需要選擇交叉表(intersection table)作為基礎表, 交叉表是指那個被其他表所引用的表. 
(2)      WHERE子句中的連接順序.: 
ORACLE採用自下而上的順序解析WHERE子句,根據這個原理,表之間的連接必須寫在其他WHERE條件之前, 那些可以過濾掉最大數量記錄的條件必須寫在WHERE子句的末尾. 
(3)      SELECT子句中避免使用 ‘ * ‘: 
ORACLE在解析的過程中, 會將’*’ 依次轉換成所有的列名, 這個工作是通過查詢數據字典完成的, 這意味著將耗費更多的時間 
(4)      減少訪問資料庫的次數: 
ORACLE在內部執行了許多工作: 解析SQL語句, 估算索引的利用率, 綁定變數 , 讀數據塊等; 
(5)      在SQL*Plus , SQL*Forms和Pro*C中重新設置ARRAYSIZE參數, 可以增加每次資料庫訪問的檢索數據量 ,建議值為200 
(6)      使用DECODE函數來減少處理時間: 
使用DECODE函數可以避免重覆掃描相同記錄或重覆連接相同的表. 
(7)      整合簡單,無關聯的資料庫訪問: 
如果你有幾個簡單的資料庫查詢語句,你可以把它們整合到一個查詢中(即使它們之間沒有關係) 
(8)      刪除重覆記錄: 
最高效的刪除重覆記錄方法 ( 因為使用了ROWID)例子: 
DELETE  FROM  EMP E  WHERE  E.ROWID > (SELECT MIN(X.ROWID) 
FROM  EMP X  WHERE  X.EMP_NO = E.EMP_NO); 
(9)      用TRUNCATE替代DELETE: 
當刪除表中的記錄時,在通常情況下, 回滾段(rollback segments ) 用來存放可以被恢復的信息. 如果你沒有COMMIT事務,ORACLE會將數據恢復到刪除之前的狀態(準確地說是恢復到執行刪除命令之前的狀況) 而當運用TRUNCATE時, 回滾段不再存放任何可被恢復的信息.當命令運行後,數據不能被恢復.因此很少的資源被調用,執行時間也會很短. (譯者按: TRUNCATE只在刪除全表適用,TRUNCATE是DDL不是DML) 
(10) 儘量多使用COMMIT: 
只要有可能,在程式中儘量多使用COMMIT, 這樣程式的性能得到提高,需求也會因為COMMIT所釋放的資源而減少: 
COMMIT所釋放的資源: 
a. 回滾段上用於恢複數據的信息. 
b. 被程式語句獲得的鎖 
c. redo log buffer 中的空間 
d. ORACLE為管理上述3種資源中的內部花費 
(11) 用Where子句替換HAVING子句: 
避免使用HAVING子句, HAVING 只會在檢索出所有記錄之後才對結果集進行過濾. 這個處理需要排序,總計等操作. 如果能通過WHERE子句限制記錄的數目,那就能減少這方面的開銷. (非oracle中)on、where、having這三個都可以加條件的子句中,on是最先執行,where次之,having最後,因為on是先把不 符合條件的記錄過濾後才進行統計,它就可以減少中間運算要處理的數據,按理說應該速度是最快的,where也應該比having快點的,因為它過濾數據後 才進行sum,在兩個表聯接時才用on的,所以在一個表的時候,就剩下where跟having比較了。在這單表查詢統計的情況下,如果要過濾的條件沒有涉及到要計算欄位,那它們的結果是一樣的,只是where可以使用rushmore技術,而having就不能,在速度上後者要慢如果要涉及到計算的字 段,就表示在沒計算之前,這個欄位的值是不確定的,根據上篇寫的工作流程,where的作用時間是在計算之前就完成的,而having就是在計算後才起作 用的,所以在這種情況下,兩者的結果會不同。在多表聯接查詢時,on比where更早起作用。系統首先根據各個表之間的聯接條件,把多個表合成一個臨時表 後,再由where進行過濾,然後再計算,計算完後再由having進行過濾。由此可見,要想過濾條件起到正確的作用,首先要明白這個條件應該在什麼時候起作用,然後再決定放在那裡 
(12) 減少對錶的查詢: 
在含有子查詢的SQL語句中,要特別註意減少對錶的查詢.例子: 
    SELECT  TAB_NAME FROM TABLES WHERE (TAB_NAME,DB_VER) = ( SELECT 
TAB_NAME,DB_VER FROM  TAB_COLUMNS  WHERE  VERSION = 604) 
(13) 通過內部函數提高SQL效率.: 
複雜的SQL往往犧牲了執行效率. 能夠掌握上面的運用函數解決問題的方法在實際工作中是非常有意義的 
(14) 使用表的別名(Alias): 
當在SQL語句中連接多個表時, 請使用表的別名並把別名首碼於每個Column上.這樣一來,就可以減少解析的時間並減少那些由Column歧義引起的語法錯誤. 
(15) 用EXISTS替代IN、用NOT EXISTS替代NOT IN: 
在許多基於基礎表的查詢中,為了滿足一個條件,往往需要對另一個表進行聯接.在這種情況下, 使用EXISTS(或NOT EXISTS)通常將提高查詢的效率. 在子查詢中,NOT IN子句將執行一個內部的排序和合併. 無論在哪種情況下,NOT IN都是最低效的 (因為它對子查詢中的表執行了一個全表遍歷). 為了避免使用NOT IN ,我們可以把它改寫成外連接(Outer Joins)或NOT EXISTS. 
例子: 
(高效)SELECT * FROM  EMP (基礎表)  WHERE  EMPNO > 0  AND  EXISTS (SELECT ‘X’  FROM DEPT  WHERE  DEPT.DEPTNO = EMP.DEPTNO  AND  LOC = ‘MELB’) 
(低效)SELECT  * FROM  EMP (基礎表)  WHERE  EMPNO > 0  AND  DEPTNO IN(SELECT DEPTNO  FROM  DEPT  WHERE  LOC = ‘MELB’) 
(16) 識別’低效執行’的SQL語句: 
雖然目前各種關於SQL優化的圖形化工具層出不窮,但是寫出自己的SQL工具來解決問題始終是一個最好的方法: 
SELECT  EXECUTIONS , DISK_READS, BUFFER_GETS, 
ROUND((BUFFER_GETS-DISK_READS)/BUFFER_GETS,2) Hit_radio, 
ROUND(DISK_READS/EXECUTIONS,2) Reads_per_run, 
SQL_TEXT 
FROM  V$SQLAREA 
WHERE  EXECUTIONS>0 
AND  BUFFER_GETS > 0 
AND  (BUFFER_GETS-DISK_READS)/BUFFER_GETS < 0.8 
ORDER BY  4 DESC;

(17) 用索引提高效率: 
索引是表的一個概念部分,用來提高檢索數據的效率,ORACLE使用了一個複雜的自平衡B-tree結構. 通常,通過索引查詢數據比全表掃描要快. 當ORACLE找出執行查詢和Update語句的最佳路徑時, ORACLE優化器將使用索引. 同樣在聯結多個表時使用索引也可以提高效率. 另一個使用索引的好處是,它提供了主鍵(primary key)的唯一性驗證.。那些LONG或LONG RAW數據類型, 你可以索引幾乎所有的列. 通常, 在大型表中使用索引特別有效. 當然,你也會發現, 在掃描小表時,使用索引同樣能提高效率. 雖然使用索引能得到查詢效率的提高,但是我們也必須註意到它的代價. 索引需要空間來存儲,也需要定期維護, 每當有記錄在表中增減或索引列被修改時, 索引本身也會被修改. 這意味著每條記錄的INSERT , DELETE , UPDATE將為此多付出4 , 5 次的磁碟I/O . 因為索引需要額外的存儲空間和處理,那些不必要的索引反而會使查詢反應時間變慢.。定期的重構索引是有必要的.: 
ALTER  INDEX <INDEXNAME> REBUILD <TABLESPACENAME> 
18) 用EXISTS替換DISTINCT: 
當提交一個包含一對多表信息(比如部門表和雇員表)的查詢時,避免在SELECT子句中使用DISTINCT. 一般可以考慮用EXIST替換, EXISTS 使查詢更為迅速,因為RDBMS核心模塊將在子查詢的條件一旦滿足後,立刻返回結果. 例子: 
      (低效): 
SELECT  DISTINCT  DEPT_NO,DEPT_NAME  FROM  DEPT D , EMP E 
WHERE  D.DEPT_NO = E.DEPT_NO 
(高效): 
SELECT  DEPT_NO,DEPT_NAME  FROM  DEPT D  WHERE  EXISTS ( SELECT ‘X’ 
FROM  EMP E  WHERE E.DEPT_NO = D.DEPT_NO); 
(19) sql語句用大寫的;因為oracle總是先解析sql語句,把小寫的字母轉換成大寫的再執行 
(20) 在java代碼中儘量少用連接符“+”連接字元串! 
(21) 避免在索引列上使用NOT 通常,  
我們要避免在索引列上使用NOT, NOT會產生在和在索引列上使用函數相同的影響. 當ORACLE”遇到”NOT,他就會停止使用索引轉而執行全表掃描. 
(22) 避免在索引列上使用計算. 
WHERE子句中,如果索引列是函數的一部分.優化器將不使用索引而使用全表掃描. 
舉例: 
低效: 
SELECT … FROM  DEPT  WHERE SAL * 12 > 25000; 
高效: 
SELECT … FROM DEPT WHERE SAL > 25000/12; 
(23) 用>=替代> 
高效: 
SELECT * FROM  EMP  WHERE  DEPTNO >=4 
低效: 
SELECT * FROM EMP WHERE DEPTNO >3 
兩者的區別在於, 前者DBMS將直接跳到第一個DEPT等於4的記錄而後者將首先定位到DEPTNO=3的記錄並且向前掃描到第一個DEPT大於3的記錄. 
(24) 用UNION替換OR (適用於索引列) 
通常情況下, 用UNION替換WHERE子句中的OR將會起到較好的效果. 對索引列使用OR將造成全表掃描. 註意, 以上規則只針對多個索引列有效. 如果有column沒有被索引, 查詢效率可能會因為你沒有選擇OR而降低. 在下麵的例子中, LOC_ID 和REGION上都建有索引. 
高效: 
SELECT LOC_ID , LOC_DESC , REGION 
FROM LOCATION 
WHERE LOC_ID = 10 
UNION 
SELECT LOC_ID , LOC_DESC , REGION 
FROM LOCATION 
WHERE REGION = “MELBOURNE” 
低效: 
SELECT LOC_ID , LOC_DESC , REGION 
FROM LOCATION 
WHERE LOC_ID = 10 OR REGION = “MELBOURNE” 
如果你堅持要用OR, 那就需要返回記錄最少的索引列寫在最前面. 
(25) 用IN來替換OR  
這是一條簡單易記的規則,但是實際的執行效果還須檢驗,在ORACLE8i下,兩者的執行路徑似乎是相同的.  
低效: 
SELECT…. FROM LOCATION WHERE LOC_ID = 10 OR LOC_ID = 20 OR LOC_ID = 30 
高效 
SELECT… FROM LOCATION WHERE LOC_IN  IN (10,20,30); 
(26) 避免在索引列上使用IS NULL和IS NOT NULL 
避免在索引中使用任何可以為空的列,ORACLE將無法使用該索引.對於單列索引,如果列包含空值,索引中將不存在此記錄. 對於複合索引,如果每個列都為空,索引中同樣不存在此記錄. 如果至少有一個列不為空,則記錄存在於索引中.舉例: 如果唯一性索引建立在表的A列和B列上, 並且表中存在一條記錄的A,B值為(123,null) , ORACLE將不接受下一條具有相同A,B值(123,null)的記錄(插入). 然而如果所有的索引列都為空,ORACLE將認為整個鍵值為空而空不等於空. 因此你可以插入1000 條具有相同鍵值的記錄,當然它們都是空! 因為空值不存在於索引列中,所以WHERE子句中對索引列進行空值比較將使ORACLE停用該索引. 
低效: (索引失效) 
SELECT … FROM  DEPARTMENT  WHERE  DEPT_CODE IS NOT NULL; 
高效: (索引有效) 
SELECT … FROM  DEPARTMENT  WHERE  DEPT_CODE >=0; 
(27) 總是使用索引的第一個列: 
如果索引是建立在多個列上, 只有在它的第一個列(leading column)被where子句引用時,優化器才會選擇使用該索引. 這也是一條簡單而重要的規則,當僅引用索引的第二個列時,優化器使用了全表掃描而忽略了索引 
28) 用UNION-ALL 替換UNION ( 如果有可能的話): 
當SQL 語句需要UNION兩個查詢結果集合時,這兩個結果集合會以UNION-ALL的方式被合併, 然後在輸出最終結果前進行排序. 如果用UNION ALL替代UNION, 這樣排序就不是必要了. 效率就會因此得到提高. 需要註意的是,UNION ALL 將重覆輸出兩個結果集合中相同記錄. 因此各位還是要從業務需求分析使用UNION ALL的可行性. UNION 將對結果集合排序,這個操作會使用到SORT_AREA_SIZE這塊記憶體. 對於這塊記憶體的優化也是相當重要的. 下麵的SQL可以用來查詢排序的消耗量 
低效: 
SELECT  ACCT_NUM, BALANCE_AMT 
FROM  DEBIT_TRANSACTIONS 
WHERE TRAN_DATE = ’31-DEC-95′ 
UNION 
SELECT ACCT_NUM, BALANCE_AMT 
FROM DEBIT_TRANSACTIONS 
WHERE TRAN_DATE = ’31-DEC-95′ 
高效: 
SELECT ACCT_NUM, BALANCE_AMT 
FROM DEBIT_TRANSACTIONS 
WHERE TRAN_DATE = ’31-DEC-95′ 
UNION ALL 
SELECT ACCT_NUM, BALANCE_AMT 
FROM DEBIT_TRANSACTIONS 
WHERE TRAN_DATE = ’31-DEC-95′ 
(29) 用WHERE替代ORDER BY: 
ORDER BY 子句只在兩種嚴格的條件下使用索引. 
ORDER BY中所有的列必須包含在相同的索引中並保持在索引中的排列順序. 
ORDER BY中所有的列必須定義為非空. 
WHERE子句使用的索引和ORDER BY子句中所使用的索引不能併列. 
例如: 
表DEPT包含以下列: 
DEPT_CODE PK NOT NULL 
DEPT_DESC NOT NULL 
DEPT_TYPE NULL 
低效: (索引不被使用) 
SELECT DEPT_CODE FROM  DEPT  ORDER BY  DEPT_TYPE 
高效: (使用索引) 
SELECT DEPT_CODE  FROM  DEPT  WHERE  DEPT_TYPE > 0 
(30) 避免改變索引列的類型.: 
當比較不同數據類型的數據時, ORACLE自動對列進行簡單的類型轉換. 
假設 EMPNO是一個數值類型的索引列. 
SELECT …  FROM EMP  WHERE  EMPNO = ‘123′ 
實際上,經過ORACLE類型轉換, 語句轉化為: 
SELECT …  FROM EMP  WHERE  EMPNO = TO_NUMBER(‘123′) 
幸運的是,類型轉換沒有發生在索引列上,索引的用途沒有被改變. 
現在,假設EMP_TYPE是一個字元類型的索引列. 
SELECT …  FROM EMP  WHERE EMP_TYPE = 123 
這個語句被ORACLE轉換為: 
SELECT …  FROM EMP  WHERETO_NUMBER(EMP_TYPE)=123 
因為內部發生的類型轉換, 這個索引將不會被用到! 為了避免ORACLE對你的SQL進行隱式的類型轉換, 最好把類型轉換用顯式表現出來. 註意當字元和數值比較時, ORACLE會優先轉換數值類型到字元類型 
(31) 需要當心的WHERE子句: 
某些SELECT 語句中的WHERE子句不使用索引. 這裡有一些例子. 
在下麵的例子里, (1)‘!=’ 將不使用索引. 記住, 索引只能告訴你什麼存在於表中, 而不能告訴你什麼不存在於表中. (2) ‘ ¦ ¦’是字元連接函數. 就象其他函數那樣, 停用了索引. (3) ‘+’是數學函數. 就象其他數學函數那樣, 停用了索引. (4)相同的索引列不能互相比較,這將會啟用全表掃描. 
(32) a. 如果檢索數據量超過30%的表中記錄數.使用索引將沒有顯著的效率提高. 
b. 在特定情況下, 使用索引也許會比全表掃描慢, 但這是同一個數量級上的區別. 而通常情況下,使用索引比全表掃描要塊幾倍乃至幾千倍! 
(33) 避免使用耗費資源的操作: 
帶有DISTINCT,UNION,MINUS,INTERSECT,ORDER BY的SQL語句會啟動SQL引擎 
執行耗費資源的排序(SORT)功能. DISTINCT需要一次排序操作, 而其他的至少需要執行兩次排序. 通常, 帶有UNION, MINUS , INTERSECT的SQL語句都可以用其他方式重寫. 如果你的資料庫的SORT_AREA_SIZE調配得好, 使用UNION , MINUS, INTERSECT也是可以考慮的, 畢竟它們的可讀性很強 
(34) 優化GROUP BY: 
提高GROUP BY 語句的效率, 可以通過將不需要的記錄在GROUP BY 之前過濾掉.下麵兩個查詢返回相同結果但第二個明顯就快了許多. 
低效: 
SELECT JOB , AVG(SAL) 
FROM EMP 
GROUP by JOB 
HAVING JOB = ‘PRESIDENT’ 
OR JOB = ‘MANAGER’ 
高效: 
SELECT JOB , AVG(SAL) 
FROM EMP 
WHERE JOB = ‘PRESIDENT’ 
OR JOB = ‘MANAGER’ 
GROUP by JOB 

====================================
====================================
如果你正在負責一個基於SQL Server的項目,或者你剛剛接觸SQL Server,你都有可能要面臨一些資料庫性能的問題,這篇文章會為你提供一些有用的指導(其中大多數也可以用於其它的DBMS)。 
在這裡,我不打算介紹使用SQL Server的竅門,也不能提供一個包治百病的方案,我所做的是總結一些經驗—-關於如何形成一個好的設計。這些經驗來自我過去幾年中經受的教訓,一直來,我看到許多同樣的設計錯誤被一次又一次的重覆。 
一、瞭解你用的工具 
不要輕視這一點,這是我在這篇文章中講述的最關鍵的一條。也許你也看到有很多的SQL Server程式員沒有掌握全部的T-SQL命令和SQL Server提供的那些有用的工具。 
“什麼?我要浪費一個月的時間來學習那些我永遠也不會用到的SQL命令???”,你也許會這樣說。對的,你不需要這樣做。但是你應該用一個周末瀏覽所有的 T-SQL命令。在這裡,你的任務是瞭解,將來,當你設計一個查詢時,你會記起來:“對了,這裡有一個命令可以完全實現我需要的功能”,於是,到MSDN 查看這個命令的確切語法。 
二、不要使用游標 
讓我再重覆一遍:不要使用游標。如果你想破壞整個系統的性能的話,它們倒是你最有效的首選辦法。大多數的初學者都使用游標,而沒有意識到它們對性能造成的影響。它們占用記憶體,還用它們那些不可思議的方式鎖定表,另外,它們簡直就像蝸牛。而最糟糕的是,它們可以使你的DBA所能做的一切性能優化等於沒做。不 知你是否知道每執行一次FETCH就等於執行一次SELECT命令?這意味著如果你的游標有10000條記錄,它將執行10000次SELECT!如果你 使用一組SELECT、UPDATE或者DELETE來完成相應的工作,那將有效率的多。 
初學者一般認為使用游標是一種比較熟悉和舒適的編程方式,可很不幸,這會導致糟糕的性能。顯然,SQL的總體目的是你要實現什麼,而不是怎樣實現。 
我曾經用T-SQL重寫了一個基於游標的存儲過程,那個表只有100,000條記錄,原來的存儲過程用了40分鐘才執行完畢,而新的存儲過程只用了10秒鐘。在這裡,我想你應該可以看到一個不稱職的程式員究竟在幹了什麼!!! 
我們可以寫一個小程式來取得和處理數據並且更新資料庫,這樣做有時會更有效。記住:對於迴圈,T-SQL無能為力。 
我再重新提醒一下:使用游標沒有好處。除了DBA的工作外,我從來沒有看到過使用游標可以有效的完成任何工作。 
三、規範化你的數據表 
為什麼不規範化資料庫?大概有兩個藉口:出於性能的考慮和純粹因為懶惰。至於第二點,你遲早得為此付出代價。而關於性能的問題,你不需要優化根本就不慢的東西。我經常看到一些程式員“反規範化”資料庫,他們的理由是“原來的設計太慢了”,可結果卻常常是他們讓系統更慢了。DBMS被設計用來處理規範資料庫 的,因此,記住:按照規範化的要求設計資料庫。 
四、不要使用SELECT * 
這點不太容易做到,我太瞭解了,因為我自己就經常這樣乾。可是,如果在SELECT中指定你所需要的列,那將會帶來以下的好處: 
1 減少記憶體耗費和網路的帶寬 
2 你可以得到更安全的設計 
3 給查詢優化器機會從索引讀取所有需要的列 
五、瞭解你將要對數據進行的操作 
為你的資料庫創建一個健壯的索引,那可是功德一件。可要做到這一點簡直就是一門藝術。每當你為一個表添加一個索引,SELECT會更快了,可INSERT 和DELETE卻大大的變慢了,因為創建了維護索引需要許多額外的工作。顯然,這裡問題的關鍵是:你要對這張表進行什麼樣的操作。這個問題不太好把握,特別是涉及DELETE和UPDATE時,因為這些語句經常在WHERE部分包含SELECT命令。 
六、不要給“性別”列創建索引 
首先,我們必須瞭解索引是如何加速對錶的訪問的。你可以將索引理解為基於一定的標準上對錶進行劃分的一種方式。如果你給類似於“性別”這樣的列創建了一個 索引,你僅僅是將表劃分為兩部分:男和女。你在處理一個有1,000,000條記錄的表,這樣的劃分有什麼意義?記住:維護索引是比較費時的。當你設計索 引時,請遵循這樣的規則:根據列可能包含不同內容的數目從多到少排列,比如:姓名+省份+性別。 
七、使用事務 
請使用事務,特別是當查詢比較耗時。如果系統出現問題,這樣做會救你一命的。一般有些經驗的程式員都有體會—–你經常會碰到一些不可預料的情況會導致存儲過程崩潰。 
八、小心死鎖 
按照一定的次序來訪問你的表。如果你先鎖住表A,再鎖住表B,那麼在所有的存儲過程中都要按照這個順序來鎖定它們。如果你(不經意的)某個存儲過程中先鎖定表B,再鎖定表A,這可能就會導致一個死鎖。如果鎖定順序沒有被預先詳細的設計好,死鎖是不太容易被髮現的。 
九、不要打開大的數據集 
一個經常被提出的問題是:我怎樣才能迅速的將100000條記錄添加到ComboBox中?這是不對的,你不能也不需要這樣做。很簡單,你的用戶要瀏覽 100000條記錄才能找到需要的記錄,他一定會詛咒你的。在這裡,你需要的是一個更好的UI,你需要為你的用戶顯示不超過100或200條記錄。 
十、不要使用伺服器端游標 
與伺服器端游標比起來,客戶端游標可以減少伺服器和網路的系統開銷,並且還減少鎖定時間。 
十一、使用參數查詢 
有時,我在CSDN技術論壇看到類似這樣的問題:“SELECT * FROM a WHERE a.id=’A’B,因為單引號查詢發生異常,我該怎麼辦?”,而普遍的回答是:用兩個單引號代替單引號。這是錯誤的。這樣治標不治本,因為你還會在其他 一些字元上遇到這樣的問題,更何況這樣會導致嚴重的bug,除此以外,這樣做還會使SQL Server的緩衝系統無法發揮應有的作用。使用參數查詢,釜底抽薪,這些問題統統不存在了。 
十二、在程式編碼時使用大數據量的資料庫 
程式員在開發中使用的測試資料庫一般數據量都不大,可經常的是最終用戶的數據量都很大。我們通常的做法是不對的,原因很簡單:現在硬碟不是很貴,可為什麼性能問題卻要等到已經無可輓回的時候才被註意呢? 
十三、不要使用INSERT導入大批的數據 
請不要這樣做,除非那是必須的。使用UTS或者BCP,這樣你可以一舉而兼得靈活性和速度。 
十四、註意超時問題 
查詢資料庫時,一般資料庫的預設都比較小,比如15秒或者30秒。而有些查詢運行時間要比這長,特別是當資料庫的數據量不斷變大時。 
十五、不要忽略同時修改同一記錄的問題 
有時候,兩個用戶會同時修改同一記錄,這樣,後一個修改者修改了前一個修改者的操作,某些更新就會丟失。處理這種情況不是很難:創建一個timestamp欄位,在寫入前檢查它,如果允許,就合併修改,如果存在衝突,提示用戶。 
十六、在細節表中插入紀錄時,不要在主表執行SELECT MAX(ID) 
這是一個普遍的錯誤,當兩個用戶在同一時間插入數據時,這會導致錯誤。你可以使用SCOPE_IDENTITY,IDENT_CURRENT和IDENTITY。如果可能,不要使用IDENTITY,因為在有觸發器的情況下,它會引起一些問題(詳見這裡的討論)。 
十七、避免將列設為NULLable 
如果可能的話,你應該避免將列設為NULLable。系統會為NULLable列的每一行分配一個額外的位元組,查詢時會帶來更多的系統開銷。另外,將列設為NULLable使編碼變得複雜,因為每一次訪問這些列時都必須先進行檢查。 
我並不是說NULLS是麻煩的根源,儘管有些人這樣認為。我認為如果你的業務規則中允許“空數據”,那麼,將列設為NULLable有時會發揮很好的作用,但是,如果在類似下麵的情況中使用NULLable,那簡直就是自討苦吃。 
CustomerName1 
CustomerAddress1 
CustomerEmail1 
CustomerName2 
CustomerAddress2 
CustomerEmail3 
CustomerName1 
CustomerAddress2 
CustomerEmail3 
如果出現這種情況,你需要規範化你的表了。 
十八、儘量不要使用TEXT數據類型 
除非你使用TEXT處理一個很大的數據,否則不要使用它。因為它不易於查詢,速度慢,用的不好還會浪費大量的空間。一般的,VARCHAR可以更好的處理你的數據。 
十九、儘量不要使用臨時表 
儘量不要使用臨時表,除非你必須這樣做。一般使用子查詢可以代替臨時表。使用臨時表會帶來系統開銷,如果你是用COM+進行編程,它還會給你帶來很大的麻 煩,因為COM+使用資料庫連接池而臨時表卻自始至終都存在。SQL Server提供了一些替代方案,比如Table數據類型。 
二十、學會分析查詢 
SQL Server查詢分析器是你的好伙伴,通過它你可以瞭解查詢和索引是如何影響性能的。 
二十一、使用參照完整性 
定義主健、唯一性約束和外鍵,這樣做可以節約大量的時間。

 

在條件有限的條件下,我們可以調整應用程式的SQL質量:

  1. 不要進行全表掃描(Full Table Scan):全表掃描導致大量的I/O

  2. 儘量建好和使用好索引:建索引也是有講究的,在建索引時,也不是索引越多越好,當一個表的索引達到4個以上時,ORACLE的性能可能還是改善不了,因為 OLTP系統每表超過5個索引即會降低性能,而且在一個sql 中, Oracle 從不能使用超過 5個索引;當我們用到GROUP BY和ORDER BY時,ORACLE就會自動對數據進行排序,而ORACLE在INIT.ORA中決定了sort_area_size區的大小,當排序不能在我們給定的 排序區完成時,ORACLE就會在磁碟中進行排序,也就是我們講的臨時表空間中排序, 過多的磁碟排序將會令 free buffer waits 的值變高,而這個區間並不只是用於排序的,對於開發人員我提出如下忠告:

  1)、select,update,delete 語句中的子查詢應當有規律地查找少於20%的表行.如果一個語句查找的行數超過總行數的20%,它將不能通過使用索引獲得性能上的提高.

  2)、索引可能產生碎片,因為記錄從表中刪除時,相應也從表的索引中刪除.表釋放的空間可以再用,而索引釋放的空間卻不能再用.頻繁進行刪除操 作的被索引的表,應當階段性地重建索引,以避免在索引中造成空間碎片,影響性能.在許可的條件下,也可以階段性地truncate表,truncate命 令刪除表中所有記錄,也刪除索引碎片.

  3)、在使用索引時一定要按索引對應欄位的順序進行引用。

  4)、用(+)比用NOT IN更有效率。

  降低ORACLE的競爭:

  先講幾個ORACLE的幾個參數,這幾個參數關係到ORACLE的競爭:

  1)、freelists 和 freelist 組:他們負責ORACLE的處理表和索引的空間管理;

  2)、pctfree 及 pctused:該參數決定了freelists 和 freelist 組的行為,pctfree 和pctused 參數的唯一目的就是為了控制塊如何在 freelists 中進出

  設置好pctfree 及 pctused對塊在freelists的移走和讀取很重要。

  其他參數的設置

  1)、包括SGA區(系統全局區):系統全局區(SGA)是一個分配給Oracle 的包含一個 Oracle 實例的資料庫的控制信息記憶體段。

  主要包括資料庫高速緩存(the database buffer cache),

  重演日誌緩存(the redo log buffer),

  共用池(the shared pool),

  數據字典緩存(the data dictionary cache)以及其它各方面的信息

  2)、db_block_buffers(數據高速緩衝區)訪問過的數據都放在這一片記憶體區域,該參數越大,Oracle在記憶體中找到相同數據的可能性就越大,也即加快了查詢速度。

  3)、share_pool_size (SQL共用緩衝池):該參數是庫高速緩存和數據字典的高速緩存。

  4)、Log_buffer (重演日誌緩衝區)

  5)、sort_area_size(排序區)

  6)、processes (同時連接的進程數)

  7)、db_block_size (資料庫塊大小):Oracle預設塊為2KB,太小了,因為如果我們有一個8KB的數據,則2KB塊的資料庫要讀4次盤,才能讀完,而8KB塊的資料庫 只要1次就讀完了,大大減少了I/O操作。資料庫安裝完成後,就不能再改變db_block_size的值了,只能重新建立資料庫並且建庫時,要選擇手工 安裝資料庫。

  8)、open_links (同時打開的鏈接數)

  9)、dml_locks

  10)、open_cursors (打開游標數)

  11)、dbwr_io_slaves (後臺寫進程數)

 

  6. IN和EXISTS

  有時候會將一列和一系列值相比較。最簡單的辦法就是在where子句中使用子查詢。在where子句中可以使用兩種格式的子查詢。

  第一種格式是使用IN操作符:

… where column in(select * from … where …);

第二種格式是使用EXIST操作符:

… where exists (select ‘X’ from …where …);

java面試題大合集
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.首先,標簽之所以有存在等級分類,是因為他們處於標準文檔流(塊級元素,行內元素,行內塊元素)當中。 2.如何脫離標準文檔流? 浮動 絕對定位 固定定位 這些可以讓一個標簽脫離標準文檔流,而元素一旦脫離標準文檔流,也就意味著不再受文檔流的特性約束。 3.浮動 none:表示不浮動,預設為不浮動 le ...
  • ISP = Interface Segregation Principle ISP的定義如下: 1、客戶端不應該依賴他不需要的介面 2、一個類對另外一個類的依賴性應該是建立在最小的介面上 3、不應當將不同的介面合併在一起,形成一個臃腫的大介面,這是對介面的污染 4、使用多個專門的介面要比使用單一的總 ...
  • 實現nginx日誌按照時間分割存儲 backups_log.sh 將sh腳本加入到定時任務中,每天23:59執行 添加定時任務 註意事項: 1.在沒有執行kill -USR1 nginx_pid 之前,即便已經對文件執行了mv命令也只是改變了文件的名稱,nginx還是會向新命名的文件中照常寫入日誌數 ...
  • 1. 模式 在一定環境中解決某一問題的方案,包括三個基本元素:問題、解決方案和環境。 2. 設計模式 (1)設計模式是一套反覆使用、多數人知曉的、經過分類編目的、代碼設計經驗的總結。使用設計模式是為了可重用代碼、讓代碼更容易被他人理解,保證代碼可靠性。毫無疑問,設計模式於系統是多贏的。 (2)設計模 ...
  • 互聯網公司容器集群大規模運維應用的雲運維難點思路核心模塊今天先到這兒,希望對技術領導力, 企業管理,系統架構設計與評估,團隊管理, 項目管理, 產品管理,團隊建設 有參考作用 , 您可能感興趣的文章: 領導人怎樣帶領好團隊構建創業公司突擊小團隊國際化環境下系統架構演化微服務架構設計視頻直播平臺的系統... ...
  • 舉個慄子 問題描述 畫一個小人,有頭、身體、兩手、兩腳就可以了。 簡單實現 人類 測試 測試結果 存在問題 畫人的時候,頭身手腳是必不可少的,不管什麼人物,開發時是不能少的。但上面測試代碼中時各部分堆積起來,很容易漏寫,比如導致健全的人物卻少了一條“腿”。而且如果需要在別的地方用這些畫小人的程式怎麼 ...
  • 第一篇博客(無關技術) 第一篇博客不知從何入手,有寫博客的想法是因為想要記錄自己學習Java的歷程及總結,2019年7月21,寫這篇博客的時間是大三的暑假。 由於大學是學的軟體工程,所以日後想要從事IT行業,大一學的一門語言是C基礎,大三學的一門語言是Java,後續感覺在學校也學了很多關於電腦相關 ...
  • Java面試題經常會問的問題 面試官Q1:請問StringBuffer和StringBuilder有什麼區別? 這是一個老生常談的話題,筆者前幾年每次面試都會被問到,作為基礎面試題,被問到的概率百分之八九十。下麵我們從面試需要答到的幾個知識點來總結一下兩者的區別有哪些? 繼承關係? 如何實現的擴容?... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...