1、MySQL的複製原理以及流程 基本原理流程,3個線程以及之間的關聯; 主:binlog線程——記錄下所有改變了資料庫數據的語句,放進master上的binlog中; 從:io線程——在使用start slave 之後,負責從master上拉取 binlog 內容,放進 自己的relay log中 ...
1、MySQL的複製原理以及流程
基本原理流程,3個線程以及之間的關聯;
主:binlog線程——記錄下所有改變了資料庫數據的語句,放進master上的binlog中;
從:io線程——在使用start slave 之後,負責從master上拉取 binlog 內容,放進 自己的relay log中;
從:sql執行線程——執行relay log中的語句;
2、MySQL中myisam與innodb的區別,至少5點
(1)、問5點不同;
1>.InnoDB支持事物,而MyISAM不支持事物
2>.InnoDB支持行級鎖,而MyISAM支持表級鎖
3>.InnoDB支持MVCC, 而MyISAM不支持
4>.InnoDB支持外鍵,而MyISAM不支持
5>.InnoDB不支持全文索引,而MyISAM支持。
(2)、innodb引擎的4大特性
插入緩衝(insert buffer),二次寫(double write),自適應哈希索引(ahi),預讀(read ahead)
(3)、2者selectcount(*)哪個更快,為什麼
myisam更快,因為myisam內部維護了一個計數器,可以直接調取。
3、MySQL中varchar與char的區別以及varchar(50)中的50代表的涵義
(1)、varchar與char的區別
char是一種固定長度的類型,varchar則是一種可變長度的類型
(2)、varchar(50)中50的涵義
最多存放50個字元,varchar(50)和(200)存儲hello所占空間一樣,但後者在排序時會消耗更多記憶體,因為order by col採用fixed_length計算col長度(memory引擎也一樣)
(3)、int(20)中20的涵義
是指顯示字元的長度
但要加參數的,最大為255,比如它是記錄行數的id,插入10筆資料,它就顯示00000000001 ~~~00000000010,當字元的位數超過11,它也只顯示11位,如果你沒有加那個讓它未滿11位就前面加0的參數,它不會在前面加0
20表示最大顯示寬度為20,但仍占4位元組存儲,存儲範圍不變;
(4)、mysql為什麼這麼設計
對大多數應用沒有意義,只是規定一些工具用來顯示字元的個數;int(1)和int(20)存儲和計算均一樣;
4、問了innodb的事務與日誌的實現方式
(1)、有多少種日誌;
錯誤日誌:記錄出錯信息,也記錄一些警告信息或者正確的信息。
查詢日誌:記錄所有對資料庫請求的信息,不論這些請求是否得到了正確的執行。
慢查詢日誌:設置一個閾值,將運行時間超過該值的所有SQL語句都記錄到慢查詢的日誌文件中。
二進位日誌:記錄對資料庫執行更改的所有操作。
中繼日誌:
事務日誌:
(2)、事物的4種隔離級別
隔離級別
讀未提交(RU)
讀已提交(RC)
可重覆讀(RR)
串列
(3)、事務是如何通過日誌來實現的,說得越深入越好。
事務日誌是通過redo和innodb的存儲引擎日誌緩衝(Innodb log buffer)來實現的,當開始一個事務的時候,會記錄該事務的lsn(log sequence number)號; 當事務執行時,會往InnoDB存儲引擎的日誌的日誌緩存裡面插入事務日誌;當事務提交時,必須將存儲引擎的日誌緩衝寫入磁碟(通過innodb_flush_log_at_trx_commit來控制),也就是寫數據前,需要先寫日誌。這種方式稱為“預寫日誌方式”
5、MySQL binlog的幾種日誌錄入格式以及區別
Statement:每一條會修改數據的sql都會記錄在binlog中。
優點:不需要記錄每一行的變化,減少了binlog日誌量,節約了IO,提高性能。(相比row能節約多少性能 與日誌量,這個取決於應用的SQL情況,正常同一條記錄修改或者插入row格式所產生的日誌量還小於Statement產生的日誌量,但是考慮到如果帶條 件的update操作,以及整表刪除,alter表等操作,ROW格式會產生大量日誌,因此在考慮是否使用ROW格式日誌時應該跟據應用的實際情況,其所 產生的日誌量會增加多少,以及帶來的IO性能問題。)
缺點:由於記錄的只是執行語句,為了這些語句能在slave上正確運行,因此還必須記錄每條語句在執行的時候的 一些相關信息,以保證所有語句能在slave得到和在master端執行時候相同 的結果。另外mysql 的複製,像一些特定函數功能,slave可與master上要保持一致會有很多相關問題(如sleep()函數, last_insert_id(),以及user-defined functions(udf)會出現問題).
使用以下函數的語句也無法被覆制:
LOAD_FILE()
UUID()
USER()
FOUND_ROWS()
SYSDATE() (除非啟動時啟用了 --sysdate-is-now 選項)
同時在INSERT …SELECT 會產生比 RBR 更多的行級鎖
2.Row:不記錄sql語句上下文相關信息,僅保存哪條記錄被修改。
優點: binlog中可以不記錄執行的sql語句的上下文相關的信息,僅需要記錄那一條記錄被修改成什麼了。所以rowlevel的日誌內容會非常清楚的記錄下 每一行數據修改的細節。而且不會出現某些特定情況下的存儲過程,或function,以及trigger的調用和觸發無法被正確複製的問題
缺點:所有的執行的語句當記錄到日誌中的時候,都將以每行記錄的修改來記錄,這樣可能會產生大量的日誌內容,比 如一條update語句,修改多條記錄,則binlog中每一條修改都會有記錄,這樣造成binlog日誌量會很大,特別是當執行alter table之類的語句的時候,由於表結構修改,每條記錄都發生改變,那麼該表每一條記錄都會記錄到日誌中。
3.Mixedlevel: 是以上兩種level的混合使用,一般的語句修改使用statment格式保存binlog,如一些函數,statement無法完成主從複製的操作,則 採用row格式保存binlog,MySQL會根據執行的每一條具體的sql語句來區分對待記錄的日誌形式,也就是在Statement和Row之間選擇 一種.新版本的MySQL中隊row level模式也被做了優化,並不是所有的修改都會以row level來記錄,像遇到表結構變更的時候就會以statement模式來記錄。至於update或者delete等修改數據的語句,還是會記錄所有行的 變更。
6、MySQL資料庫cpu飆升到500%的話他怎麼處理?
1、列出所有進程 show processlist,觀察所有進程 ,多秒沒有狀態變化的(幹掉)
2、查看超時日誌或者錯誤日誌 (做了幾年開發,一般會是查詢以及大批量的插入會導致cpu與i/o上漲,當然不排除網路狀態突然斷了,,導致一個請求伺服器只接受到一半,比如where子句或分頁子句沒有發送,,當然的一次被坑經歷)
7、sql優化各種方法
(1)、explain出來的各種item的意義;
select_type
表示查詢中每個select子句的類型
type
表示MySQL在表中找到所需行的方式,又稱“訪問類型”
possible_keys
指出MySQL能使用哪個索引在表中找到行,查詢涉及到的欄位上若存在索引,則該索引將被列出,但不一定被查詢使用
key
顯示MySQL在查詢中實際使用的索引,若沒有使用索引,顯示為NULL
key_len
表示索引中使用的位元組數,可通過該列計算查詢中使用的索引的長度
ref
表示上述表的連接匹配條件,即哪些列或常量被用於查找索引列上的值
Extra
包含不適合在其他列中顯示但十分重要的額外信息
(2)、profile的意義以及使用場景;
查詢到 SQL 會執行多少時間, 並看出 CPU/Memory 使用量, 執行過程中 Systemlock, Table lock 花多少時間等等
8、備份計劃,mysqldump以及xtranbackup的實現原理
(1)、備份計劃;
這裡每個公司都不一樣,您別說那種1小時1全備什麼的就行
(2)、備份恢復時間;
這裡跟機器,尤其是硬碟的速率有關係,以下列舉幾個僅供參考
20G的2分鐘(mysqldump)
80G的30分鐘(mysqldump)
111G的30分鐘(mysqldump)
288G的3小時(xtra)
3T的4小時(xtra)
邏輯導入時間一般是備份時間的5倍以上
(3)、xtrabackup實現原理
在InnoDB內部會維護一個redo日誌文件,我們也可以叫做事務日誌文件。事務日誌會存儲每一個InnoDB表數據的記錄修改。當InnoDB啟動時,InnoDB會檢查數據文件和事務日誌,並執行兩個步驟:它應用(前滾)已經提交的事務日誌到數據文件,並將修改過但沒有提交的數據進行回滾操作。
9、mysqldump中備份出來的sql,如果我想sql文件中,一行只有一個insert….value()的話,怎麼辦?如果備份需要帶上master的複製點信息怎麼辦?
--skip-extended-insert
[root@helei-zhuanshu ~]# mysqldump -uroot -p helei --skip-extended-insert
Enter password:
KEY `idx_c1` (`c1`),
KEY `idx_c2` (`c2`)
) ENGINE=InnoDB AUTO_INCREMENT=51 DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;
--
-- Dumping data for table `helei`
--
LOCK TABLES `helei` WRITE;
/*!40000 ALTER TABLE `helei` DISABLE KEYS */;
INSERT INTO `helei` VALUES (1,32,37,38,'2016-10-18 06:19:24','susususususususususususu');
INSERT INTO `helei` VALUES (2,37,46,21,'2016-10-18 06:19:24','susususususu');
INSERT INTO `helei` VALUES (3,21,5,14,'2016-10-18 06:19:24','susu');
10、500台db,在最快時間之內重啟
puppet,dsh
11、innodb的讀寫參數優化
(1)、讀取參數
global buffer pool以及 local buffer;
(2)、寫入參數;
innodb_flush_log_at_trx_commit
innodb_buffer_pool_size
(3)、與IO相關的參數;
innodb_write_io_threads = 8
innodb_read_io_threads = 8
innodb_thread_concurrency = 0
(4)、緩存參數以及緩存的適用場景。
query cache/query_cache_type
並不是所有表都適合使用query cache。造成query cache失效的原因主要是相應的table發生了變更
第一個:讀操作多的話看看比例,簡單來說,如果是用戶清單表,或者說是數據比例比較固定,比如說商品列表,是可以打開的,前提是這些庫比較集中,資料庫中的實務比較小。
第二個:我們“行騙”的時候,比如說我們競標的時候壓測,把query cache打開,還是能收到qps激增的效果,當然前提示前端的連接池什麼的都配置一樣。大部分情況下如果寫入的居多,訪問量並不多,那麼就不要打開,例如社交網站的,10%的人產生內容,其餘的90%都在消費,打開還是效果很好的,但是你如果是qq消息,或者聊天,那就很要命。
第三個:小網站或者沒有高併發的無所謂,高併發下,會看到 很多 qcache 鎖 等待,所以一般高併發下,不建議打開query cache
12、你是如何監控你們的資料庫的?你們的慢日誌都是怎麼查詢的?
監控的工具有很多,例如zabbix,lepus,我這裡用的是lepus
13、你是否做過主從一致性校驗,如果有,怎麼做的,如果沒有,你打算怎麼做?
主從一致性校驗有多種工具 例如checksum、mysqldiff、pt-table-checksum等
14、你們資料庫是否支持emoji表情,如果不支持,如何操作?
如果是utf8字元集的話,需要升級至utf8_mb4方可支持
15、你是如何維護資料庫的數據字典的?
這個大家維護的方法都不同,我一般是直接在生產庫進行註釋,利用工具導出成excel方便流通。
16、表中有大欄位X(例如:text類型),且欄位X不會經常更新,以讀為為主,請問
拆帶來的問題:連接消耗 + 存儲拆分空間;不拆可能帶來的問題:查詢性能;
1、如果能容忍拆分帶來的空間問題,拆的話最好和經常要查詢的表的主鍵在物理結構上放置在一起(分區) 順序IO,減少連接消耗,最後這是一個文本列再加上一個全文索引來儘量抵消連接消耗
2、如果能容忍不拆分帶來的查詢性能損失的話:上面的方案在某個極致條件下肯定會出現問題,那麼不拆就是最好的選擇
17、MySQL中InnoDB引擎的行鎖是通過加在什麼上完成(或稱實現)的?為什麼是這樣子的?
InnoDB是基於索引來完成行鎖
例: select * from tab_with_index where id = 1 for update;
for update 可以根據條件來完成行鎖鎖定,並且 id 是有索引鍵的列,
如果 id 不是索引鍵那麼InnoDB將完成表鎖,,併發將無從談起
18、開放性問題:據說是騰訊的
一個6億的表a,一個3億的表b,通過外間tid關聯,你如何最快的查詢出滿足條件的第50000到第50200中的這200條數據記錄。
1、如果A表TID是自增長,並且是連續的,B表的ID為索引
select * from a,b where a.tid = b.id and a.tid>500000 limit 200;
2、如果A表的TID不是連續的,那麼就需要使用覆蓋索引.TID要麼是主鍵,要麼是輔助索引,B表ID也需要有索引。
select * from b , (select tid from a limit 50000,200) a where b.id = a .tid;
19、什麼是存儲過程?有哪些優缺點?
存儲過程是一些預編譯的SQL語句。
1、更加直白的理解:存儲過程可以說是一個記錄集,它是由一些T-SQL語句組成的代碼塊,這些T-SQL語句代碼像一個方法一樣實現一些功能(對單表或多表的增刪改查),然後再給這個代碼塊取一個名字,在用到這個功能的時候調用他就行了。
2、存儲過程是一個預編譯的代碼塊,執行效率比較高,一個存儲過程替代大量T_SQL語句 ,可以降低網路通信量,提高通信速率,可以一定程度上確保數據安全
20、索引是什麼?有什麼作用以及優缺點?
1、索引是對資料庫表中一或多個列的值進行排序的結構,是幫助MySQL高效獲取數據的數據結構
2、索引就是加快檢索表中數據的方法。資料庫的索引類似於書籍的索引。在書籍中,索引允許用戶不必翻閱完整個書就能迅速地找到所需要的信息。在資料庫中,索引也允許資料庫程式迅速地找到表中的數據,而不必掃描整個資料庫。
MySQL資料庫幾個基本的索引類型:普通索引、唯一索引、主鍵索引、全文索引
1、索引加快資料庫的檢索速度
2、索引降低了插入、刪除、修改等維護任務的速度
3、唯一索引可以確保每一行數據的唯一性
4、通過使用索引,可以在查詢的過程中使用優化隱藏器,提高系統的性能
5、索引需要占物理和數據空間
21、什麼是事務?
事務(Transaction)是併發控制的基本單位。所謂的事務,它是一個操作序列,這些操作要麼都執行,要麼都不執行,它是一個不可分割的工作單位。事務是資料庫維護數據一致性的單位,在每個事務結束時,都能保持數據一致性。
資料庫的樂觀鎖和悲觀鎖是什麼?
資料庫管理系統(DBMS)中的併發控制的任務是確保在多個事務同時存取資料庫中同一數據時不破壞事務的隔離性和統一性以及資料庫的統一性。樂觀併發控制(樂觀鎖)和悲觀併發控制(悲觀鎖)是併發控制主要採用的技術手段。
悲觀鎖:假定會發生併發衝突,屏蔽一切可能違反數據完整性的操作
樂觀鎖:假設不會發生併發衝突,只在提交操作時檢查是否違反數據完整性。
22、使用索引查詢一定能提高查詢的性能嗎?為什麼
通常,通過索引查詢數據比全表掃描要快.但是我們也必須註意到它的代價.
1、索引需要空間來存儲,也需要定期維護, 每當有記錄在表中增減或索引列被修改時,索引本身也會被修改. 這意味著每條記錄的INSERT,DELETE,UPDATE將為此多付出4,5 次的磁碟I/O. 因為索引需要額外的存儲空間和處理,那些不必要的索引反而會使查詢反應時間變慢.使用索引查詢不一定能提高查詢性能,索引範圍查詢(INDEX RANGE SCAN)適用於兩種情況:
2、基於一個範圍的檢索,一般查詢返回結果集小於表中記錄數的30%
3、基於非唯一性索引的檢索
23、簡單說一說drop、delete與truncate的區
SQL中的drop、delete、truncate都表示刪除,但是三者有一些差別
1、delete和truncate只刪除表的數據不刪除表的結構
2、速度,一般來說: drop> truncate >delete
3、delete語句是dml,這個操作會放到rollback segement中,事務提交之後才生效;
4、如果有相應的trigger,執行的時候將被觸發. truncate,drop是ddl, 操作立即生效,原數據不放到rollback segment中,不能回滾. 操作不觸發trigger.
24、drop、delete與truncate分別在什麼場景之下使用?
1、不再需要一張表的時候,用drop
2、想刪除部分數據行時候,用delete,並且帶上where子句
3、保留表而刪除所有數據的時候用truncate
25、超鍵、候選鍵、主鍵、外鍵分別是什麼?
1、超鍵:在關係中能唯一標識元組的屬性集稱為關係模式的超鍵。一個屬性可以為作為一個超鍵,多個屬性組合在一起也可以作為一個超鍵。超鍵包含候選鍵和主鍵。
2、候選鍵:是最小超鍵,即沒有冗餘元素的超鍵。
3、主鍵:資料庫表中對儲存數據對象予以唯一和完整標識的數據列或屬性的組合。一個數據列只能有一個主鍵,且主鍵的取值不能缺失,即不能為空值(Null)。
4、外鍵:在一個表中存在的另一個表的主鍵稱此表的外鍵。
26、什麼是視圖?以及視圖的使用場景有哪些?
1、視圖是一種虛擬的表,具有和物理表相同的功能。可以對視圖進行增,改,查,操作,試圖通常是有一個表或者多個表的行或列的子集。對視圖的修改不影響基本表。它使得我們獲取數據更容易,相比多表查詢。
2、只暴露部分欄位給訪問者,所以就建一個虛表,就是視圖。
3、查詢的數據來源於不同的表,而查詢者希望以統一的方式查詢,這樣也可以建立一個視圖,把多個表查詢結果聯合起來,查詢者只需要直接從視圖中獲取數據,不必考慮數據來源於不同表所帶來的差異
27、說一說三個範式。
第一範式(1NF):資料庫表中的欄位都是單一屬性的,不可再分。這個單一屬性由基本類型構成,包括整型、實數、字元型、邏輯型、日期型等。
第二範式(2NF):資料庫表中不存在非關鍵欄位對任一候選關鍵欄位的部分函數依賴(部分函數依賴指的是存在組合關鍵字中的某些欄位決定非關鍵欄位的情況),也即所有非關鍵欄位都完全依賴於任意一組候選關鍵字。
第三範式(3NF):在第二範式的基礎上,數據表中如果不存在非關鍵欄位對任一候選關鍵欄位的傳遞函數依賴則符合第三範式。所謂傳遞函數依賴,指的是如 果存在"A → B → C"的決定關係,則C傳遞函數依賴於A。因此,滿足第三範式的資料庫表應該不存在如下依賴關係: 關鍵欄位 → 非關鍵欄位 x → 非關鍵欄位y