大數據處理 1、資料庫 垂直拆分：根據業務把表放到不同的資料庫，解決表之間的IO競爭 水平拆分：根據某種規則把單表數據分成多張表存儲，解決單表數據量大的問題 索引：根據業務場景創建合理的索引，如果數據量很小建議使用索引（300條以內） 索引使用場景： 動作描述 聚集索引 非聚集索引 主鍵列 是 是 ...
大數據處理
1、資料庫
垂直拆分：根據業務把表放到不同的資料庫，解決表之間的IO競爭
水平拆分：根據某種規則把單表數據分成多張表存儲，解決單表數據量大的問題
索引：根據業務場景創建合理的索引，如果數據量很小建議使用索引（300條以內）
索引使用場景：
|
動作描述 |
聚集索引 |
非聚集索引 |
|
主鍵列 |
是 |
是 |
|
外鍵列 |
是 |
是 |
|
列經常被分組排序 |
是 |
是 |
|
返回某範圍內的數據 |
是 |
否 |
|
一個或極少不同值 |
否 |
否 |
|
小數目的不同值 |
是 |
否 |
|
大數目的不同值 |
否 |
是 |
|
頻繁更新的列 |
否 |
是 |
|
頻繁修改索引列 |
否 |
是 |
分離活躍數據：把常用的數據和不常用的數據分離，例如活躍用戶和不活躍用戶
讀寫分離：寫用主庫，讀用從庫
其它：表結構優化、SQL語句優化
2、緩存
讀數據時先從緩存中取，命中不到再讀庫
3、集群
使用hadoop做集群，可以同時處理相同的數據
