下麵是我整理(抄襲)的一些Oracle資料庫相關概念對象的理解,如有疏漏,歡迎指正。至於整理這篇文章的目的:主要是網上的內容太散了,這樣整理一遍可以加深理解,也便於後續查閱。就我的理解:下述內容應該可對10g,11g,12c都適用。更新的版本沒用過。 Oracle DataBase是一款關係型資料庫 ...
下麵是我整理(抄襲)的一些Oracle資料庫相關概念對象的理解,如有疏漏,歡迎指正。至於整理這篇文章的目的:主要是網上的內容太散了,這樣整理一遍可以加深理解,也便於後續查閱。就我的理解:下述內容應該可對10g,11g,12c都適用。更新的版本沒用過。
Oracle DataBase是一款關係型資料庫管理系統,很多時候,我們會把那個承載我們核心數據的系統籠統地成為資料庫伺服器,但從嚴格意義上來講Oracle DataBase是由兩個部分組成:
其中:
資料庫指的是用戶存儲數據的一些物理文件,資料庫 = 物理結構+邏輯結構
實例是資料庫啟動時初始化的一組進程和記憶體結構,實例 = 後臺進程 + 記憶體
正因為如此我們一般才會說關閉和啟動實例,載入和卸載資料庫,就是這個道理。從實例和資料庫的概念上來看,我們能知道,實例是暫時的,它不過是一組邏輯劃分的記憶體結構和進程結構,它會隨著資料庫的關閉而消失,而資料庫它其實就是一堆物理文件,它是永久存在的(除非磁碟損壞)。資料庫和實例通常是一對一的,這種結構我們稱為單實例體繫結構;當然還有一些複雜的分散式的結構,一個資料庫可以對多個實例,像Oracle的RAC(請自行google或者baidu),即集群模式。
下圖是對一個oracle資料庫服務,更具體的結構展示:
當在電腦伺服器上啟動Oracle資料庫後,稱伺服器上啟動了一個Oracle實例(Instance)。Oracle 實例(Instance)是存取和控制資料庫的軟體機制,它包含系統全局區(SGA)和Oracle進程兩部分。SGA是系統為實例分配的一組共用記憶體緩衝區,用於存放資料庫實例和控制信息,以實現對資料庫中數據的治理和操作。 進程是操作系統中一個極為重要的概念。一個進程執行一組操作,完成一個特定的任務。對Oracle資料庫治理系統來說,進程由用戶進程、伺服器進程和後臺進程所組成。 當用戶運行一個應用程式時,系統就為它建立一個用戶進程。伺服器進程處理與之相連的用戶進程的請求,它與用戶進程相通訊,為相連的用戶進程的Oracle請求服務。 為了提高系統性能,更好地實現多用戶功能,Oracle還在系統後臺啟動一些後臺進程,用於資料庫數據操作。 下麵具體說明Oracle資料庫的相關概念 一、Oracle資料庫實例 這一部分主要參考(抄襲): https://www.cnblogs.com/chengxiao/p/5904783.html https://blog.csdn.net/huay_li/article/details/80545275 https://blog.csdn.net/oChangWen/article/details/51171992 1、 用戶與Oracle資料庫的交互流程 下麵這張圖,描述了單實例體繫結構大致的交互流程 (1)用戶和用戶進程交互 用戶進程可以是一般的客戶端軟體,像Oracle的sqlplus,sql developer,或者是一些驅動程式等,都屬於用戶進程。 (2)用戶進程和伺服器進程交互 伺服器進程有時會稱為前臺進程,當然是相對於後臺進程(後面會提到的資料庫寫入器,日誌寫入器等)來說的,伺服器進程的主要作用就是處理連接到當前實例的用戶進程的請求,對客戶端發來的sql進行執行並返回執行結果。在專有伺服器結構中,用戶進程和伺服器進程是一對一的,也就是說,當監聽程式監聽到客戶端來了一個請求,會為其分配一個對應的伺服器進程。還有一種結構為共用伺服器,這種結構就不是一個用戶進程對應一個伺服器進程了,會通過調度程式進行協調處理,關於共用伺服器連接,本文在此就不敘述了。 (3)伺服器進程和實例進程交互 (4)實例和資料庫進程交互 上面描述了一些我們在進行資料庫連接操作的時候,大致的交互流程是什麼樣的。下麵,我們就來看看Oracle 的實例記憶體結構 2.實例記憶體結構 (由於資料庫寫入器和日誌寫入器和記憶體結構非常相關,而且非常重要,所以記憶體結構和這兩個進程結構會相互配合地進行描述) Oracle實例記憶體結構由兩部分組成:SGA(系統全局區)和PGA(用戶全局區),SGA是一塊共用的記憶體區域,也是最大的一塊記憶體區域,它包含該實例的數據和控制信息。SGA在實例啟動時被自動分配,當實例關閉時被收回。資料庫的所有數據操作都要通過SGA來進行;PGA則是用戶會話專有的記憶體區域,每個會話在伺服器端都有一塊專有的記憶體區域就是PGA。本文主要對SGA進行分析描述。SGA組成如下: (1)資料庫緩衝區緩存&資料庫寫入器 緩衝區緩存(Buffer Cache)是Oracle用來執行sql 的工作區域,在更新數據時,用戶會話不會直接去更新磁碟上的數據,想想,如果允許這麼做,那麼頻繁的磁碟IO對於系統性能的影響是毀滅性的。所以,實際的處理流程是這樣的: 對於一條簡單的查詢語句——select ename,salary from emp where name='不二';,當用戶提交了該條sql語句,該條sql語句會由對應的用戶進程(比如我們常用的sql developer)發送給伺服器,監聽程式監聽到該條請求,Oracle會為其建立一個對應的伺服器進程,然後伺服器進程會先掃描緩衝區中有沒有包含關鍵行("不二")的數據塊,如果有,這就算一次緩存命中了,然後相關行會傳輸到PGA進行進一步處理,最終經過格式化後展示給用戶;如果沒有命中,那麼伺服器進程會首先將對應行複製到緩衝區內,然後再返回給客戶端。 DML(insert,update,delete)操作同理,加入用戶發送一條update語句,服務進程依然先去掃描緩衝區,如果緩存命中,則直接更新,數據變臟;如果沒有命中,由伺服器進程將對應數據塊先從磁碟上複製到緩衝區內,再進行更新操作。 1)臟緩衝區 如果緩衝區存儲的塊和磁碟上的塊不一致,該緩衝區就叫做“臟緩衝區”,臟緩衝區最終會由資料庫寫入器(DBWn)寫入到磁碟中去。 2)資料庫寫入器(DBWn) 資料庫寫入器是Oracle的一個後臺進程,所謂後臺進程是相對於前臺進程(伺服器進程)來講的。DBWn的"n"意味著一個實例是可以有多個資料庫寫入器的。 作用:簡而言之,DBWn的作用就是將變髒了的緩衝區從資料庫緩衝區緩存中寫入到磁碟中的數據文件中去。 資料庫緩衝區緩存這塊記憶體區域和資料庫寫入器這塊是比較重要的概念,別的資料庫產品像mySql也都有對應的實現,只不過叫法不一樣罷了。瞭解這塊的時候,要時刻意識到會話是不會直接更新磁碟數據的,會話的更新,插入,刪除包括查詢等都是先作用到緩衝區上,隨後,DBWn會將其中的臟緩衝區轉儲到磁碟上去。 3)DBWn執行寫入的觸發條件: DBWn是個比較懶的進程,它會儘可能少的進行寫入,在以下四種情況它會執行寫入: a.一個服務進程在設定的時間內沒有找到空閑塊(沒有任何可用緩衝區,不得不寫啊) b.臟緩衝區過多 c.3秒超時(每3秒自動喚醒一次) d.遇到檢查點,即checkPoint(檢查點),檢查點是個Oracle事件,遇到檢查點,DBWn會執行寫入。比如實例有序關閉的時候會有檢查點,DBWn會將所有臟緩衝區寫入到磁碟上去的,這很容易理解,要保持數據文件的一致性。 4)註意: 從上述DBWn的幾個寫入時機,我們能意識到,DBWn的寫入不是直接依賴於會話的更新操作的。不是一有臟緩衝區,它就執行寫入。而且,DBWn執行寫入跟commit操作也沒有任何關係,不要以為commit操作的影響結果會實時流入到磁碟中去。 DBWn採用極懶演算法進行寫入,原因我們應該要清楚:頻繁的磁碟IO對系統的壓力很大,如果DBWn很積極地去寫入磁碟,那對系統性能的影響就太大了,換個角度想,如果DBWn很勤快的寫磁碟,那麼資料庫緩衝區存在的意義也就不大了。 當然,講到這兒,我們可能會意識到一個問題,DBWn如此懶地進行數據轉儲,如果在某一時刻,資料庫緩衝區緩存記憶體在著大量的臟緩衝區(生產環境中,這是常態),也就是有大量的未commit和已commit的數據還在記憶體中,沒有持久化到磁碟中,然後突然系統斷電了,這種情況下,數據是不是就丟掉了?數據當然不會丟失,這就引出了重做日誌(redo log)的概念,接下來,我們就來談談對應重做日誌的記憶體結構和後臺進程。 (2) 日誌緩衝區&日誌寫入器 當我們執行一些DML操作(insert,update,delete),數據塊發生改變了,產生的變更向量則會寫入到重做日誌文件中去。有了這些記錄,當系統由於斷電等因素突然宕掉,資料庫緩衝區緩存內的大量臟數據還沒來得及寫入到數據文件中去,在重新啟動的時候,會有一個實例恢復的過程,在此過程中就應用了重做日誌記錄來使數據保持一致;或者資料庫遭遇了物理損壞,比如磁碟損壞了,此時可以通過Oracle的備份恢復工具(如RMAN)進行數據恢復,原理就是:提取備份集-->應用重做日誌文件中的變更記錄。 1)日誌緩衝區(log buffer) 日誌緩衝區是一塊比較小的記憶體區域,它是用來短期存儲,即將寫入到磁碟的重做日誌文件中的變更向量。 日誌緩衝區存在的意義依然是為了減少磁碟IO,減少用戶的等待時間,試想下,如果每一次用戶DML操作都要進行等待重做記錄被寫入到磁碟中去,體驗會有多差勁。 2)日誌寫入器(LGWR) 作用:日誌寫入器(LGWR)就是把日誌緩衝區(log buffer)內的內容寫入到聯機的磁碟的重做日誌文件中去,釋放log用戶buffer空間。相比資料庫寫入器(DBWn),日誌寫入器就勤快多了。 3)LGWR執行寫入的觸發條件: a.commit時寫入 前面提過,DBWn的寫入和commit沒有任何關係,如果commit時資料庫沒有任何記錄,那數據就真的丟失了,Oracle 的重做日誌就是為了保證數據安全而存在的,用戶commit時(在oracle中稱為快速提交機制(fast commit):把redo log buffer中的記錄寫入日誌文件,寫入一條提交的記錄),會話會先掛起,等待LGWR將這些記錄寫入到磁碟上的重做日誌文件中,才會通知用戶提交完成。所以,LGWR在commit時執行寫入,是為了確保事務永不丟失。 b.3秒超時(每3秒自動喚醒一次) c.日誌緩衝區的占用率達到1/3,或日誌數量超過1M。 d.DBWR進程觸發:DBWn將臟緩衝區寫入磁碟前,先檢測他的相關redo記錄是否寫入聯機日誌文件,如果沒有就通知LGWR進程。在Oracle中稱為提前寫機制(write ahead):redo記錄先於數據記錄被寫入磁碟。這個寫入是為了數據回滾考慮的。DBWn完全可能寫入還沒提交的事務(參照上面提到的寫入時機),那如何保證事務回滾呢?(註:DBWR全稱是Database Writer Process,屬於Oracle後臺進程的一種,有的地方也叫DBWn,我想這裡是出於DBWR進程個數的原因,DBWR進程在一個Oracle Server中可以最多有20個。本文聚合了很多篇文章,如果遇到DBWR和DBWn,請做同一名詞處理) 首先要知道,DBWn除了寫入實際的數據,還會寫入撤銷數據(可以參考:Oracle閃回技術)簡單說,事務回滾需要撤銷數據,在寫入撤銷數據前,會先寫入針對撤銷數據的日誌記錄(有點繞),若用戶要進行事務回滾,就可以應用這些日誌記錄來構造撤銷數據,然後進行回滾。 我們對這兩塊最重要的記憶體區域和對應的後臺進程做個總結: 資料庫緩衝區緩存和日誌緩衝區都是為了提高性能,避免頻繁IO而存在的。日誌緩衝區相比資料庫緩衝區緩存要小的多,並且不能進行自動管理,對於日誌緩衝區的修改需要重啟實例,資料庫緩衝區緩存可進行自動管理。作用在資料庫緩衝區緩存上的DBWn進程,為了避免頻繁的磁碟IO導致系統性能下降,會儘可能少地執行寫入,且DBWn的寫入和commit操作沒有任何關係; 而作用在日誌緩衝區上的LGWR進程,則會非常積極地進行寫入,一般情況下,它幾乎是實時地將重做日誌記錄轉儲到磁碟中去。LGWR是Oracle體繫結構中最大的瓶頸之一。DML的速度不可能超過LGWR將變更向量寫入磁碟的速度。 (3)共用池 共用池包含共用SQL區和數據字典存儲區。共用SQL區包含執行特定的SQL語句所用的信息。數據字典區用於存放數據字典,它為所有用戶進程所共用。 它是最複雜的SGA結構,它有許多子結構,我們來看看常見的幾個共用池組件: 1)庫緩存:庫緩存這塊記憶體區域會按已分析的格式緩存最近執行的代碼,這樣,同樣的sql代碼多次執行的時候,就不用重覆地去進行代碼分析,可以很大程度上提高系統性能。 2)數據字典緩存:存儲oracle中的對象定義(表,視圖,同義詞,索引等資料庫對象),這樣在分析sql代碼的時候,就不用頻繁去磁碟上讀取數據字典中的數據了 3)PL/SQL區:緩存存儲過程、函數、觸發器等資料庫對象,這些對象都存儲在數據字典中,通過將其緩存到記憶體中,可以在重覆調用的時候提高性能。 (4)大池 大池是個可選的記憶體區域,前面我們提到專有伺服器連接和共用伺服器連接,如果資料庫採用了共用伺服器連接模式,則要使用到大池;RMAN(Oracle的高級備份恢復工具)備份數據也需要大池。 (5) JAVA池 Oracle 的很多選項使用java寫的,Java池用作實例化Java對象所需的堆空間 (6)流池 從重做日誌中提取變更記錄的進程和應用變更記錄的進程會用到流池(如實例不正常關閉,譬如斷電導致實例關閉,在重啟時,Oracle會自動執行實例恢復過程,在此過程需要提取重做日誌記錄和應用重做日誌兩個動作) 以上列舉了Oracle常見的記憶體結構,要註意的是,上面列舉的記憶體區域,除了日誌緩衝區是固定的,不能動態調整也不能進行自動管理外,其他記憶體區域都可以進行動態調整,也可以進行自動管理。 3.實例進程結構 oracle中的進程共分為三類:用戶進程、服務進程、後臺進程。其中後臺進程伴隨實例的啟動而啟動,他們主要是維護資料庫的穩定,相當於一個企業中的管理者及內部服務人員。他們並不會直接給用戶提供服務。 下麵說說Oracle 的比較常見的後臺進程,不是所有的進程。(DBWn和LGWR較重要,前面已做了瞭解,在此不再展開)其中DBWn,ARCn可以設置資料庫啟動時的數量。這些進程在系統中可以不止一個。 (1)DBWn 資料庫寫進程:資料庫緩衝區的治理進程。(請參考上面的“資料庫緩衝區緩存&資料庫寫入器”中的描述) 在它的治理下,資料庫緩衝區中總保持有一定數量的自由緩衝塊,以確保用戶進程總能找到供其使用的自由緩衝塊。 (2)LGWR 日誌文件寫進程:(請參考上面的“日誌緩衝區&日誌寫入器”中的描述) 是日誌緩衝區的治理進程,負責把日誌緩衝區中的日誌項寫入磁碟中的日誌文件上。每個實例只有一個LGWR進程。 (3)SMON(System Monitor):安裝和打開資料庫,負責完成自動實例恢復和回收分類(sort)表空間。 作用: a.負責實例恢復,前滾(Roll Forward)恢復到實例關閉的狀態,使用最後一次檢查點後的日誌進程重做。這時包括提交和未提交的事務。打開資料庫,進行回滾(Roll Back):回滾未提交的事務。(oracle承諾commit之後數據不會丟失,現在我們可以大致的瞭解是如何實現這個承諾,以及在數據的安全性和資料庫性能之間的平衡選擇。) b.負責清理臨時段,以釋放空間 觸發條件:定期被喚醒或者被其他事務主動喚醒。 (4)PMON(Process Monitor):進程監視器,主要監視伺服器進程。前面提到過,專有伺服器體系模式下,用戶進程和伺服器進程是一對一的關係,如果某個會話發生異常,PMON會銷毀對應的伺服器進程,回滾未提交的事務,並回收會話專有的PGA記憶體區域。 作用: a.發現用戶進程異常終止,併進行清理。釋放占用資源。(清理異常終止用戶使用的鎖) b.向監聽程式動態的註冊實例。 觸發條件:定時被喚醒,其他進程也會主動喚醒它。 (5)CKPT(Checkpoint Process):CKPT負責發起檢查點信號,手動設置檢查點的語法: 1 alter system checkpoint; 檢查點可強制DBWn寫入臟緩衝區,當資料庫崩潰後,由於大量臟緩衝區未寫入數據文件,在重新啟動時,需要由SMON進行實例恢復,實例恢復需要提取和應用重做日誌記錄,提取的位置就是從上次檢查點發起的位置開始的(檢查點之前的數據已經被強制寫入到數據文件中去了),這個位置稱為RBA(redo byte address),CKPT會不斷將這個位置更新到控制文件中去(以確定實例恢復需要從哪兒開始提取日誌記錄)。 觸發條件:日誌切換(log switch)會觸發檢查點。 (6)MMON(Manageability Monitor)--AWR主要的進程 資料庫的自我監視和自我調整的支持進程。實例在運行中,會收集大量有關實例活動和性能的統計數據,這些數據會收集到SGA中,MMON定期從SGA中捕獲這些統計數據,並將其寫入到數據字典中,便於後續對這些快照進行分析。(預設情況,MMON每隔一個小時收集一次快照) 作用: a.收集AWR必須的統計數據,把統計數據寫入磁碟。10g中保存在SYSAUX表空間中。 b.生成server--generated報警 觸發條件:每小時把shared pool中的統計信息寫入磁碟,或者shared pool占用超過15%。 (7)ARCn(archiver process) 歸檔進程,這個進程是可選的,如果資料庫配置為歸檔模式,這個進程就是必須的。所謂歸檔,就是將重做日誌文件永久保存(生產庫一般都會配置為歸檔模式)到歸檔日誌文件中。歸檔日誌文件和重做日誌文件作用是一樣的,只不過重做日誌文件會不斷被重寫,而歸檔日誌文件則保留了關於數據更改的完整的歷史記錄。 作用:發生日誌切換時把寫滿的聯機日誌文件拷貝到歸檔目錄中。 觸發條件:日誌切換時被LGWR喚醒。 設置:LOG_ARCHIVE_MAX_PROCESSES可以設置oracle啟動的時候ARCn的個數。 (8)manageability monitor light(MMNL):輕量級的MMON (9)memory manager(MMAN):自動內容管理 作用:每分鐘都檢查AWR性能信息,並根據這些信息來決定SGA組件最佳分佈。 設置:STATISTICS_LEVEL:統計級別 SGA_TARGET:SGA總大小 (10)job queue coordinator(CJQ0):資料庫定時任務 (11)recover writer(RVWR):作用是為flashback database提供日誌記錄。把數據塊的前鏡像寫入日誌。 (12)change tarcking writer(CTWR): 作用是跟蹤數據塊的變化,把數據塊地址記錄到 change_tracking file文件中。RMAN的增量備份將使用這個文件來確定那些數據塊發生了變化,併進行備份。 (13)LCKn 封鎖進程:用於並行伺服器系統,主要完成實例之間的封鎖 4.總結: 至此,Oracle基礎的記憶體結構和進程結構我們已大概瞭解,來看下完成的進程和記憶體的交互情況,可以根據前面的理解將整個交互流程串聯一下。 二、Oracle資料庫存儲結構 這一部分主要參考(抄襲): https://blogs.oracle.com/database4cn/oracle-v6 https://www.cnblogs.com/chengxiao/p/5904783.html 根據上文描述,Oracle資料庫服務,由實例+資料庫構成。上面講了實例,下麵開始介紹資料庫對象(存儲結構——邏輯結構和物理結構) Oracle資料庫的存儲結構可以分為邏輯存儲結構和物理存儲結構,對於這兩種存儲結構,Oracle是分別進行管理的。 邏輯存儲結構:Oracle內部的組織和管理數據的方式。 物理存儲結構:Oracle外部(操作系統)組織和管理數據的方式——真實存儲數據的地方。 1.邏輯存儲結構: Oracle在邏輯上將保存的數據劃分為一個個小單元來進行存儲和維護,更高一級的邏輯存儲結構都是由這些基本的小單元組成的。 邏輯結構類型按照尺寸從小到大分可分為:塊(block)-->區(extent)-->段(segment)-->表空間(tablespace)。 圖示如下: 我們可以用下麵的比喻來描述邏輯結構關係: 塊 :一張張白紙 ---> 區:白紙組成的本子---> 段:多個本子放到一個文件袋中---> 表空間:文件櫃(存放多個文件袋) 下麵對每一個概念具體介紹: (1)塊(block): Oracle用來管理存儲的最小單元,也是最小的邏輯存儲結構。Oracle資料庫在進行輸入輸出時,都是以塊為單位進行讀寫操作的。塊的大小由參數DB_BLOCK_SIZE設置,不同的Oracle版本DB_BLOCK_SIZE的預設值是不同的。我們建議數據塊的尺寸為操作系統塊尺寸的整數倍(1、2、4等)。另外,塊的大小是在創建資料庫的時候決定的,之後不能修改。當然,oracle同時也支持不同的表空間擁有不同的數據塊尺寸。下麵,我們對塊的結構進行一些介紹。 1)塊的頭部信息區: 塊頭:包含塊的一般屬性信息,如,塊的物理地址、塊所屬的段的類型 表目錄:如果塊中存儲的數據是表數據, 則在表目錄中保存塊中所包含的表的相關信息 行目錄:行記錄的相關信息 如,ROWID 2)塊的存儲區:主要包含空閑空間和已經使用的空間。Oracle主要是通過下麵的兩個參數對這部分空間進行管理的- PCTFREE參數:指定塊中必須保留的最小空閑空間比例。當塊中的空閑存儲空間減少到PCTFREE所設置的比例後,Oracle將塊標記為不可用狀態,新的數據行將不能被加入到這個塊。
- PCTUSED參數:制定一個百分比,當塊中已經使用的存儲空間降低到這個百分比之下時,這個塊才被重新標記為可用狀態。
1 -- 相關表:DBA_EXTENTS 、USER_EXTENTS 2 select * from dba_extents; 3 select * from user_extents; 4 5 --回收表、索引等對象中未使用的區 6 alter table table_name deallocate unused;(3)段(segment): 由多個區組成,這些區可以是連續的,也可以是不連續的。當用戶在資料庫中創建各種具有實際存儲結構的對象時(保存有數據的對象),比如表、索引等,Oracle將為這些對象創建“段”。 一般一個對象只擁有一個段。在創建段時,可以為它指定PCTFREE、PCTUSED等參數來控制其中的塊的存儲空間管理方式,也可以為它指定INITIAL、NEXT、PCTINCREASE等存儲參數,以指定其中區的分配方式。如果沒有為段指定這些參數,段將自動繼承表空間的相應參數。不同類型的資料庫對象擁有不同類型的段:
- 數據段:保存用戶的數據(表中的記錄)。每個表都有一個對應的數據段,其名稱和數據表的名字相同
- 索引段:用來存儲系統、用戶的索引信息(索引中的索引條目)
- 臨時段:在執行查詢等操作時,Oracle可能會需要使用到一些臨時存儲空間,用於臨時保存解析過的查詢語句以及在排序過程中產生的臨時數據,如:order by語句的排序以及一些彙總等。
- 回滾段:用來存儲用戶數據修改前的值,回滾段與事務是一對多的關係,一個事務只能使用一個回滾段,而一個回滾段可存放一個或多個事務的回退數據。
1 --相關表:DBA_SEGMENTS 、 USER_SEGMENTS 2 select * from dba_segments; 3 select * from user_segments;(4)表空間(tablespace): 最高級的邏輯存儲結構,一個Oracle資料庫是由多個表空間組成的, 但一個表空間只隸屬於一個資料庫,一個表空間可以有多數據文件,但是一個數據文件只能屬於一個表空間。一個表空間就是一片磁碟區域,他由一個或者多個磁碟文件組成,一個表空間可以容納許多表、索引或者簇等。每個表空間有一個預製的磁碟區域稱為初始區間(initial extent)用完這個區間後再用下一個,直到用完表空間,這時候需要對錶空間進行擴展,增加數據文件或者擴大已經存在的數據文件。在創建資料庫時會自動創建一些預設的表空間,例如 SYSTEM表空間,SYSAUX表空間等。通過使用表空間,Oracle將所有相關的邏輯結構和對象組合在一起。我們可以在表空間級別指定存儲參數,也可以在段級別指定。下麵我們列出常見的表空間,和他們所存儲的信息:
- 數據表空間:或稱為用戶表空間,用於存儲用戶數據的普通表空間。
- 系統表空間:預設的表空間,用於保存數據字典(一組保存資料庫自身信息的內部系統表和視圖,及用於Oracle內部使用的其他一些對象),保存所有的PL/SQL程式的源代碼和解析代碼,包括存儲過程和函數、包、資料庫觸發器等,保存資料庫對象(表、視圖、序列)的定義。
- 回滾表空間:用於存放回滾段,每個實例最多只能使用一個撤銷表空間。undo表空間的4個常見作用:
- 臨時表空間:存儲SQL執行過程中產生的臨時數據。創建Oracle資料庫的時候可以設置一個叫sort_area_size的參數,預設值為65536,排序的時候會首先使用這部分記憶體,如果不足就會使用臨時表空間。
1 CREATE TABLESPACE "ts_test" --表空間名WEIXIN 2 LOGGING --啟動重做日誌 3 DATAFILE 'D:\app\oradata\orcl\ts_test.dbf' --指定對應的數據文件,可以一個或者多個 4 SIZE 512M --數據文件大小 5 AUTOEXTEND ON --數據文件自動擴展 6 NEXT 1024K --一次擴展的大小 7 MAXSIZE UNLIMITED --數據文件最大容量:無限 8 EXTENT MANAGEMENT LOCAL --表空間本地管理 9 SEGMENT SPACE MANAGEMENT AUTO ; --存儲管理方式,AUTO為自動方式3)創建臨時表空間
1 CREATE TEMPORARY TABLESPACE tmp_ts_test 2 TEMPFILE 'D:\app\oradata\orcl\tmp_ts_test.DBF' 3 SIZE 100M;4)回滾段表空間
1 create undo tablespace undo_ts_test 2 datafile 'D:\app\oradata\orclundo_ts_test.DBF' 3 size 100M;5)新建用戶,並將先前建的表空間 ts_test 和臨時表空間 tmp_ts_test 作為testuser用戶的預設使用空間。
1 --創建新用戶,同時指定表空間和臨時表空間 2 CREATE USER testuser --創建用戶testuser 3 PROFILE "DEFAULT" --忽略對profile中的一些資源限制(什麼鬼,不明白) 4 IDENTIFIED BY "pwd123456" --密碼為weixin 5 default tablespace ts_test --預設表空間ts_test,即數據預設存此表空間 6 temporary tablespace tmp_ts_test --臨時表空間 7 QUOTA 500m ON ts_test --用戶在表空間中的限額 8 ACCOUNT UNLOCK; --解鎖用戶 9 10 --通常建完用戶後會給用戶授予一些基本的許可權 11 Grant connect, resource to testuser; 12 13 --或者直接給用戶賦予dba許可權(只是測試,生產請不要這麼做) 14 --with admin option 表示在獲得許可權的同時也獲得了將這個許可權授予其他用戶的能力。 15 GRANT "DBA" TO "testuser" WITH ADMIN OPTION;oracle的安全策略方面預設一個用戶的密碼有效期為180天,我們可以直接把這個有效期調成永久。 1 ALTER PROFILE DEFAULT LIMIT PASSWORD_LIFE_TIME UNLIMITED; 6)如果表空間不足,可以有兩種方法: 第一種,增加數據文件:
1 ALTER TABLESPACE ts_test(表空間名) 2 ADD DATAFILE '......'(數據文件全路徑名) 3 SIZE 1000M;第二種,把表空間設置為自動擴展:
1 ALTER DATABASE DATAFILE '.......'(數據文件全路徑名) 2 autoextend on; (在創建表空間時,就可以加上這個關鍵字,表示該表空間自動擴展)7)刪除表空間
1 drop tablespace ts_test 2 including contents and datafile;如果表空間有數據,不增加 including contents 將無法刪除成功,增加 and datafiles 關鍵字在linux 及 unix 下可自動刪除數據文件,而在windows 環境下需要手動刪除 8)UNDO 表空間和 TEMP 表空間在資料庫建好是必然已經創建好了,不過,它們都可以新建,並且用戶都可以指定新建的空間。 9)oracle 可以為不同的用戶指定不同的臨時表空間,而且可以為同一用戶的不同session 設置不同的臨時表空間(臨時表空間組),從而減緩IO 競爭。 2. oracle物理存儲結構: Oracle資料庫邏輯上由一個或多個表空間組成,每個表空間在物理上由一個或多個數據文件組成,而每個數據文件由數據塊構成的。所以,邏輯上數據存放在表空間中,而物理上存儲在表空間所對應的數據文件中。我們可以用這張圖來描述數據文件和表空間的關係。 或者用下麵這張圖理解下: (1)構成Oracle資料庫物的物理文件組織結構: ※基礎文件: 1)控制文件: 控制文件雖小,但作用重大,它存放資料庫的基本信息。它包含指向資料庫其餘部分的指針(包括重做日誌文件,數據文件,歸檔日誌文件等的位置),存儲重要的序列號和時間戳,存儲RMAN備份的詳細信息。控制文件一旦受損,那實例會立馬終止,一般對控制文件的保護採用多路復用機制,就是冗餘多份在不同物理位置。 2)重做日誌文件 重做日誌文件的作用為:存放對數據的改變,重做日誌按時間順序存儲應用於資料庫的一連串的變更向量(包含聯機重做日誌文件和歸檔日誌文件)。由SMON在資料庫啟動時自動執行的實例恢復和磁碟損壞所要求的提取備份恢復都會應用到重做日誌進行相應的數據恢復 重做日誌文件也建議進行多路復用,一個資料庫至少要有兩組重做日誌文件。一組供LGWR進行寫入,日誌文件是固定大小,業務高峰期會很快寫滿,寫滿之後會切換到第二組上,在配置為歸檔模式的資料庫中,這時由歸檔進程(ARCn)開始將第一組的內容進行歸檔備份,如此迴圈地進行寫入和歸檔。需要註意的是,在歸檔進程還未對當前組的日誌歸檔完畢前,是不允許LGWR對其進行重寫的。 3)數據文件 數據文件存儲著實際的數據,它是具體的存儲數據的物理文件,是一個物理概念。DBWn會將資料庫緩衝區中的內容寫入到這類文件中去,數據文件的大小和數量是不受限制的。Oracle從10g開始,創建一個資料庫至少需要兩個數據文件,一個用於SYSTEM表空間,該表空間用來存儲數據字典;一個用於SYSAUX表空間,這個表空間用來存儲一些數據字典的輔助數據。 數據文件由一個個的Oracle塊組成,這是Oracle的I/O基礎單元,與操作系統塊是不同的概念,Oracle塊要比操作系統塊大,這當然有出於性能的一些考慮,但我們考慮這樣一種情況,當用戶使用操作系統命令進行數據文件的備份的時候(假設1個Oracle塊=8個操作系統塊),已經複製了4個操作系統塊,然後CPU被DBWn搶占了,DBWn又重新對這個Oracle塊進行了更新,這時,當複製命令又得到了CPU時間去複製剩餘的4個塊的時候,就造成了整個Oracle塊的數據不一致,所以,這也是在執行這種備份(用戶自行備份)的時候,需要做一些額外處理,比如將表空間置為備份模式的原因。當然,使用RMAN是不存在這樣的問題的,RMAN的備份機制是肯定可以得到數據一致的塊的。(這塊內容作瞭解即可) 對於數據文件的保護,一般可進行定期備份,或者使用RAID也可以。 ※外部文件: 所謂外部文件,意味著這些文件從嚴格意義上來講並不屬於Oracle資料庫的一部分。 1)實例參數文件 這個文件存儲了資料庫所需的一些參數設置,比如各個記憶體區域的大小,可允許的最大進程數,最大會話數,控制文件的位置,資料庫的名稱等等,參數文件也是實例啟動時首先要載入的文件。 2)口令文件 一般稱為外部口令文件。一般的用戶名和口令是存放在數據字典中,不會存放在這個文件中。在一些特殊場景下,比如實例還未啟動,這時,我可能需要以管理員的身份登入系統去執行一些恢復或者啟動操作,然而此時,數據字典由於實例還沒啟動是不存在的,這時就需要外部口令文件進行用戶身份的驗證。 3)歸檔日誌文件 ARCn將聯機重做日誌文件會備份歸檔到這類文件中去,歸檔日誌文件保留了數據更改的完整歷史信息。 三、Oracle資料庫的啟動流程 這一部分主要參考(抄襲): https://blog.csdn.net/huay_li/article/details/80545275 https://www.jianshu.com/p/4d388f148737 Oracle 的啟動需要經歷四個狀態,SHUTDOWN 、NOMOUNT 、MOUNT 、OPEN、 1.資料庫流程詳解 (1)startup nomount 啟動實例(不載入資料庫),這個過程,會讀取配置文件(spfile / pfile)文件的相關參數來創建實例,也就是一系列的進程,啟動完成後實例是 STARTED 狀態。 (2)alter database mount; 載入(關聯)資料庫,這個過程的時候,實例讀取控制文件,關聯到對應的資料庫,此時實例為MOUNTED狀態。 (3)alter database open; 打開資料庫,實例連接到數據文件,這個時候其他用戶就可以訪問到資料庫進行讀寫操作了,此時實例的狀態是OPEN。 所以,我們打開的過程中實例的狀態就是:Deaded(idle)>>Started >> Mounted >> Open。 2.資料庫啟動流程實踐 一般一臺機子上都會建立多個資料庫的,那麼怎麼啟動自己想啟動的那個實例呢?答案是:通過oracle_sid控制,oracle_sid是資料庫在操作系統的一個唯一標識,在演示資料庫啟動流程前,我們先設定oracle_sid,然後再啟動實例。 (1)準備工作如下: 1)設定要啟動的資料庫,可以不設,使用安裝時預設啟動的那個資料庫即可
1 C:\Users\anand>set oracle_sid=orcl
2)和資料庫建立連接(其實一般這樣就可以使用了)
1 C:\Users\anand>sqlplus / as sysdba 2 SQL*Plus: Release 11.2.0.1.0 Production on 星期六 6月 2 10:58:17 2018 3 Copyright (c) 1982, 2010, Oracle. All rights reserved. 4 連接到: 5 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production 6 With the Partitioning, OLAP, Data Mining and Real Application Testing options(2)測試資料庫啟動流程 1)啟動實例(不載入資料庫)
1 SQL> startup nomount 2 ORACLE 常式已經啟動。 3 4 Total System Global Area 1068937216 bytes 5 Fixed Size 2182592 bytes 6 Variable Size 624951872 bytes 7 Database Buffers 436207616 bytes 8 Redo Buffers 5595136 bytes2)載入(關聯)資料庫
1 SQL> alter database mount; 2 3 資料庫已更改。3)打開資料庫
1 SQL> alter database open; 2 3 資料庫已更改。4)驗證
1 SQL> select status from v$instance; 2 3 STATUS 4 ------------ 5 OPEN
四、ORACLE 的用戶、SCHEMA、資料庫、表空間、數據文件的相互關係 這一部分主要參考(抄襲): https://blog.csdn.net/kanon_lgt/article/details/4269135
在進入抽象的概念之前,可以先看下網上的這段比喻: “我們可以把Database(這裡應該指的是某一個sid對應的資料庫)看作是一個大倉庫,倉庫分了很多很多的房間,Schema就是其中的房間,一個Schema代表一個房間,Table可以看作是每個Schema中的床,Table(床)被放入每個房間中,不能放置在房間之外,那豈不是晚上睡覺無家可歸了,然後床上可以放置很多物品,就好比 Table上可以放置很多列和行一樣,資料庫中存儲數據的基本單元是Table,現實中每個倉庫放置物品的基本單位就是床, User就是每個Schema的主人,(所以Schema包含的是Object,而不是User),user和schema是一一對應的,每個user在沒有特別指定下只能使用自己schema(房間)的東西,如果一個user想使用其他schema(房間)的東西,那就要看那個schema(房間)的user(主人)有沒有給你這個許可權了,或者看這個倉庫的老大(DBA)有沒有給你這個許可權了。換句話說,如果你是某個倉庫的主人,那麼這個倉庫的使用權和倉庫中的所有東西都是你的(包括房間),你有完全的操作權,可以扔掉不用的東西從每個房間,也可以放置一些有用的東西到某一個房間,你還可以給每個User分配具體的許可權,也就是他到某一個房間能做些什麼,是只能看(Read-Only),還是可以像主人一樣有所有的控制權(R/W),這個就要看這個User所對應的角色Role了。”這些Oracle資料庫中具體的概念在前面已經介紹過了,下麵再簡述一下: (1)資料庫: Oracle資料庫是數據的物理存儲。這就包括(數據文件ORA或者DBF、控制文件、聯機日誌、參數文件)。其實Oracle資料庫的概念和其它資料庫不一樣,這裡的資料庫是一個操作系統只有一個庫。可以看作是Oracle就只有一個大資料庫。 (2)實例: 一個Oracle實例(Oracle Instance)有一系列的後臺進程(Backguound Processes)和記憶體結構(Memory Structures)組成。一個資料庫可以有n個實例。
資料庫和實例的關係: ORACLE實例與ORACLE資料庫,這個是比較混淆的一個概念,在很多觀念下,包括我以前也會認為一個實例等價於一個資料庫,其實這個應該說是在大部分情況下可以認為:一個實例對應一個資料庫, 實例是一個Instance,而數據是對外屏蔽的一些轉換後文件組合(學習過第四代資料庫就知道,如果你做過裸機文件也會明白原理),資料庫不是對外直接開放的,開放的規則是通過實例(Instance),Instance是一段記憶體,這個記憶體中包含很多個不同的版塊(主體上的分就是SGA和PGA了), 我們一切操作都是交給實例的,而不是直接操作資料庫文件系統,為什麼要有中間這個過程,ORACLE考慮到:安全、緩衝、效率、擴展性等問題;而為什麼是大部分情況下這樣說, 因為ORACLE還有集群的概念,對於ORACLE RAC真正集群使用後你會更加深刻認識實例和資料庫之間的關係,它使用多個分佈於不同主機上的實例,對同一個裸機文件系統上的資料庫進行操作,所以此時實例和資料庫就不是一對一了,而是多對一,但是一個實例只能用一個資料庫這是肯定的。(3)用戶(user) 用戶是在實例下建立的。不同實例可以建相同名字的用戶。 具體的創建用戶的方法是這樣的(再寫一遍):
1 --創建新用戶,同時指定表空間和臨時表空間(建議創建的時候指明表空間名) 2 CREATE USER testuser --創建用戶testuser 3 PROFILE "DEFAULT" --忽略對profile中的一些資源限制(什麼鬼,不明白) 4 IDENTIFIED BY "pwd123456" --