首先nosql可以被理解為not only sql 泛指非關係型資料庫，也就是說不僅僅是sql，所以它既包含了sql的一些東西，但是又和sql不同，併在其的基礎上改變或者說擴展了一些東西。 提到nosql，首先我們就要分析一下關係型資料庫的行式存儲和非關係型資料庫的列式存儲區別在哪？ 行式存儲我們都 ...
一、實驗環境
- 系統：window 10
- 配置：記憶體16GB；可用磁碟：300G；cpu核心數：8
- 使用軟體與版本：
vmware 15.5 pro
linux CentOS 7.5
- 如何查看cpu核心數：https://www.cnblogs.com/zhangchao0515/p/15250319.html
（完成難度：低）
二、學習探索內容
- 基本需求：完成linux虛擬機創建啟動，並使用linux虛擬機搭建Hadoop分散式大數據處理環境。
- 進階1：基於Hadoop環境，完成離線、實時數據處理任務。並使環境、任務穩定運行一段時間。
- 進階2：學習探索虛擬機搭建、大數據環境搭建過程中磁碟、記憶體、網路等指標的範圍與需求。
- 進階3：學習探索Hadoop大數據組件的基礎配置與配置調優。
- 進階4：搭建、維護k8s集群。
三、安裝vmware
參考博客：https://www.cnblogs.com/fuzongle/p/12760193.html
（完成難度：低）
四、使用vmware創建虛擬機
1. CentOS7.5鏡像下載：鏈接:https://pan.baidu.com/s/18hdcWE4tYQOxMov2w0IlBQ?pwd=486k 提取碼:486k
2. 安裝過程參考：https://blog.csdn.net/bdqn_zyjy/article/details/120975586
（完成難度：中等）
根據這篇博客，我們就可以搭建一個linux虛擬機。其中的記憶體、磁碟、cpu數、核心數可根據宿主機配置與需求修改，下麵會詳細分析一下。
3. 安裝位置與磁碟
安裝位置不建議放預設的C盤，可以在其他盤創建一個專門存放虛擬機的文件夾。關於虛擬機磁碟大小，即使給虛擬機分配了100GB磁碟，只是創建、啟動並不會占用多少宿主機磁碟（啟動會占用記憶體），但是再後續使用的過程中虛擬機下載安裝軟體、存放數據，會增大宿主機磁碟占用。
a. 虛擬機磁碟占用與宿主機占用
- CentOS 桌面版創建、啟動後的系統磁碟占用：
- 查看宿主機磁碟大小：發現可用容量減少了幾GB
- 關機後查看宿主機磁碟：可用容量增加4GB左右
- 安裝jdk、hadoop環境之後，開機與關機分別占用宿主機的磁碟大小
待補充
b. 虛擬機設定值過大會怎麼樣
- 將本來100GB的磁碟空間擴展為400GB。擴容後、啟動虛擬機，打開任務管理器。
結果顯示可以正常創建、使用。不過推測肯定不能存儲400GB數據（實際上我電腦所有盤的可用空間加起來都沒有400GB了），虛擬機理論上要小於宿主機的可用空間。
c. 小結
虛擬機磁碟大小隻是設置一個可用磁碟上限，並不是實際占用，也不是實際可用（所以可以隨便點，不要太小就可以）。這裡根據我們的需求，需創建3個虛擬機，每個100GB就可以了。
4. cpu數與核心數
cpu虛擬化
-
不考慮電腦虛擬化技術的話，虛擬機台數 * 虛擬機cpu個數 * cpu核心數 <= 宿主機cpu個數 * cpu核心數。我的電腦只有8核，要創建3個虛擬機，2 2 4是比較合理的分配。
-
但是既然cpu有虛擬化技術，我們試下多配置幾個核心。
不讓配！多次測試後發現最多只能配置8個。那我們多開個虛擬機試試。
創建、啟動虛擬機後，查看虛擬機的基本信息（這次是最小安裝，用命令行看一下）。
這裡測試了2個4核虛擬機，1個8核虛擬機可以同時正常運行。 -
小結
單個虛擬機配置有要求，多個虛擬機cpu內核總數可超過宿主機cpu核心數。根據我們需求，三各虛擬機，4 4 4分配，或者2 2 4都是可以的。
5. 記憶體
- 開啟虛擬機後，宿主機的記憶體變化時很明顯的。理論上來說，虛擬機占用記憶體+宿主機占用記憶體<宿主機物理記憶體。
- 但根據實踐，是有一些偏差的。
- 宿主機常用軟體與windows大概占用40%（6.4GB）左右。測試中開啟3個4GB記憶體的虛擬機（每個配置了4GB記憶體），宿主機記憶體占用70%-80%。
- 如果計算配置記憶體（每個虛擬機4GB），肯定超過了宿主機的實際記憶體，顯然並不是配置了多少記憶體開機就占用多少。
- 虛擬機實際占用記憶體 = 200MB（最小化安裝）+800MB（圖形化安裝）+200MB（最小化安裝）+虛擬機記憶體損耗，這樣比較合理。
- 小結：雖然配置記憶體並不代表實際占用記憶體，但是配置記憶體過高時，虛擬機使用到了，會導致宿主機記憶體不夠用。根據需求，三個虛擬機4GB 3GB 3GB這樣來配置。
6. 網路
這裡有兩個需要註意的地方：1.能連網 2.配置靜態ip（linux預設ip自動分配，被坑過，關、開機一次ip變了）
安裝時點了一下乙太網模塊的開啟按鈕，啟動虛擬機直接就連上了。但這是我之前配置好了VMware的結果。
總體來講需要配置3個地方：宿主機，VMware，虛擬機。
1.電腦(運行虛擬機的windows)(PS:網上很多博客缺少這部分)
設置->查找設置->網路連接->啟用VMnet8->滑鼠右鍵點擊VMnet8->屬性->ipv4設置
IP地址:使用下麵的IP地址
| 設置 | value |
|---|---|
| IP地址 | 192.168.10.15 |
| 子網掩碼 | 255.255.255.0 |
| 預設網關 | 192.168.10.2 |
dns設置:使用下麵的DNS地址
| 設置 | value |
|---|---|
| 首選DNS | 192.168.10.2 |
| 備用DNS | 8.8.8.8 |
2.vmware設置
編輯->虛擬網路編輯器->右下的'更改設置'
VMnet信息
- 選中NAT模式
- 子網IP:192.168.10.0
- 子網掩碼:255.255.255.0
編輯->虛擬網路編輯器->右下的'更改設置'->NAT設置
- 網關:192.168.10.2
3.虛擬機設置
vi /etc/sysconfig/network-scripts/ifcfg-ens33
#替換為以下內容
#註意這裡第四行配置了靜態ip
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2
#重啟網卡
/etc/init.d/network restart
7. 最小安裝與圖形化的使用體驗
GOME圖形化安裝：
- 使用方便。設置密碼、查看圖形化任務管理器、火狐瀏覽器、視頻播放器、文本編輯器等都很好用。喜歡命令行也可以隨時打開終端進行操作。
最小化安裝：
- 安裝快。 圖形化安裝1400個包，最小化安裝300個包。
- 占用記憶體小。最小安裝需要不到200MB記憶體，而圖形化系統需要多於800MB記憶體。
小結：這裡取捨有點難，記憶體緊張，用最小化吧。
8. 最終確認比較合理的虛擬機配置
記憶體4GB 4核心（2 * 2）磁碟100GB 最小化安裝 名稱：superPC01 ip：192.168.10.135
記憶體3GB 2核心（1 * 2）磁碟100GB 最小化安裝 名稱：superPC02 ip：192.168.10.136
記憶體3GB 2核心（1 * 2）磁碟100GB 最小化安裝 名稱：superPC03 ip：192.168.10.137
弄好一個，克隆，修改。
安裝個 network-tools.x86_64，可以使用ifconfig命令看ip地址。
配一下靜態ip，並確認網路暢通。
#使用命令行測試網路
ping www.baidu.com
