前言 只有光頭才能變強 本文 力求簡單講清每個知識點 ,希望大家看完能有所收穫 一、如何減少線程上下文切換 使用多線程時, 不是多線程能提升程式的執行速度 ,使用多線程是為了 更好地利用CPU資源 ! 程式在執行時,多線程是CPU通過給每個線程 分配CPU時間片來實現 的,時間片是CPU分配給每個線 ...
前言
只有光頭才能變強
本文力求簡單講清每個知識點,希望大家看完能有所收穫
一、如何減少線程上下文切換
使用多線程時,不是多線程能提升程式的執行速度,使用多線程是為了更好地利用CPU資源!
程式在執行時,多線程是CPU通過給每個線程分配CPU時間片來實現的,時間片是CPU分配給每個線程執行的時間,因時間片非常短,所以CPU通過不停地切換線程執行。
線程不是越多就越好的,因為線程上下文切換是有性能損耗的,在使用多線程的同時需要考慮如何減少上下文切換
一般來說有以下幾條經驗
- 無鎖併發編程。多線程競爭時,會引起上下文切換,所以多線程處理數據時,可以用一些辦法來避免使用鎖,如將數據的ID按照Hash取模分段,不同的線程處理不同段的數據
- CAS演算法。Java的Atomic包使用CAS演算法來更新數據,而不需要加鎖。
- 控制線程數量。避免創建不需要的線程,比如任務很少,但是創建了很多線程來處理,這樣會造成大量線程都處於等待狀態
- 協程。在單線程里實現多任務的調度,併在單線程里維持多個任務間的切換
- 協程可以看成是用戶態自管理的“線程”。不會參與CPU時間調度,沒有均衡分配到時間。非搶占式的
還可以考慮我們的應用是IO密集型的還是CPU密集型的。
- 如果是IO密集型的話,線程可以多一些。
- 如果是CPU密集型的話,線程不宜太多。
參考資料:
- 多線程編程-減少上下文切換(1):https://blog.csdn.net/yxpjx/article/details/52081034
- 多線程上下文切換優化與註意:https://www.cnblogs.com/signheart/p/3e3379943de1c36d5bcc7d8cee4b9825.html
二、電腦網路
2.1MAC地址已經是唯一了,為什麼需要IP地址?
或者可以反過來問:已經有IP地址了,為什麼需要MAC地址??在zhihu上還蠻多類似的問題的:
我來簡單總結一下為什麼有了MAC(IP)還需要IP(MAC):
- MAC是鏈路層,IP是網路層,每一層乾每一層的事兒,之所以在網路上分鏈路層、網路層(...,就是將問題簡單化。
- 歷史的相容問題。
已經有IP地址了,為什麼需要MAC地址??
- 現階段理由:DHCP基於MAC地址分配IP。
MAC地址已經是唯一了,為什麼需要IP地址?
- MAC無網段概念,非類聚,不好管理。
如果有更好的看法,不妨在評論區下留言哦~
參考資料:
- MAC地址唯一,不能滿足通信需求嗎?為什麼需要IP?https://www.wukong.com/answer/6549169419812077827/
- 有了 IP 地址,為什麼還要用 MAC 地址?https://www.zhihu.com/question/21546408
2.2TCP狀態
TCP 每個狀態說一下,TIME-WAIT狀態說一下
TCP總共有11個狀態,狀態之間的轉換是這樣的:
流程圖:
下麵我簡單總結一下每個狀態:
- CLOSED:初始狀態,表示TCP連接是“關閉著的”或“未打開的”。
- LISTEN:表示伺服器端的某個SOCKET處於監聽狀態,可以接受客戶端的連接。
- SYN-SENT:表示客戶端已發送SYN報文。當客戶端SOCKET執行connect()進行連接時,它首先發送SYN報文,然後隨即進入到SYN_SENT狀態。
- SYN_RCVD:表示伺服器接收到了來自客戶端請求連接的SYN報文。當TCP連接處於此狀態時,再收到客戶端的ACK報文,它就會進入到ESTABLISHED狀態。
- ESTABLISHED:表示TCP連接已經成功建立。
- FIN-WAIT-1:第一次主動請求關閉連接,等待對方的ACK響應。
- CLOSE_WAIT:對方發了一個FIN報文給自己,回應一個ACK報文給對方。此時進入CLOSE_WAIT狀態。
- 接下來呢,你需要檢查自己是否還有數據要發送給對方,如果沒有的話,那你也就可以
close()
這個SOCKET併發送FIN報文給對方,即關閉自己到對方這個方向的連接
- 接下來呢,你需要檢查自己是否還有數據要發送給對方,如果沒有的話,那你也就可以
- FIN-WAIT-2:主動關閉端接到ACK後,就進入了FIN-WAIT-2。在這個狀態下,應用程式還有接受數據的能力,但是已經無法發送數據。
- LAST_ACK:當被動關閉的一方在發送FIN報文後,等待對方的ACK報文的時候,就處於LAST_ACK 狀態
- CLOSED:當收到對方的ACK報文後,也就可以進入到CLOSED狀態了。
- TIME_WAIT:表示收到了對方的FIN報文,併發送出了ACK報文。TIME_WAIT狀態下的TCP連接會等待
2*MSL
- CLOSING:罕見的狀態。表示雙方都正在關閉SOCKET連接
TIME_WAIT狀態一般用來處理以下兩個問題:
- 關閉TCP連接時,確保最後一個ACK正常運輸(或者可以認為是:等待以便重傳ACK)
- 網路上可能會有殘餘的數據包,為了能夠正常處理這些殘餘的數據包。使用TIME-WAIT狀態可以確保在創建新連接時,先前網路中殘餘的數據都丟失了。
TIME_WAIT過多怎麼解決?
如果在高併發,多短鏈接情景下,TIME_WAIT就會過多。
可以通過調整內核參數解決:vi /etc/sysctl.conf
加入以下內容設置:
- reuse是表示是否允許重新應用處於TIME-WAIT狀態的socket用於新的TCP連接;
- recyse是加速TIME-WAIT sockets回收
我們可以知道TIME_WAIT狀態是主動關閉連接的一方出現的,我們不要輕易去使用上邊兩個參數。先看看是不是可以重用TCP連接來儘量避免這個問題(比如我們HTTP的KeepAlive)~
參考資料:
- TCP/IP詳解--TCP連接中TIME_WAIT狀態過多:https://blog.csdn.net/yusiguyuan/article/details/21445883
- TCP連接的狀態詳解以及故障排查:https://blog.csdn.net/hguisu/article/details/38700899
- TCP的11種狀態:https://www.cnblogs.com/qingergege/p/6603488.html
2.3TCP滑動視窗
TCP是一個可靠的傳輸協議,它要保證所有的數據包都可以到達,這需要重傳機制來支撐。
重傳機制有以下幾種:
- 超時重傳
- 快速重傳
- SACK 方法
滑動視窗可以說是TCP非常重要的一個知識點。TCP的滑動視窗主要有兩個作用:
- 提供TCP的可靠性
- 提供TCP的流控特性
簡略滑動視窗示意圖:
詳細滑動視窗示意圖:
#1已收到ack確認的數據。
#2發還沒收到ack的。
#3在視窗中還沒有發出的(接收方還有空間)。
#4視窗以外的數據(接收方沒空間)
接受端控制發送端的圖示:
2.4擁塞控制
TCP不是一個自私的協議,當擁塞發生的時候,要做自我犧牲。就像交通阻塞一樣,每個車都應該把路讓出來,而不要再去搶路了
擁塞控制主要是四個演算法:
- 1)慢啟動,
- 2)擁塞避免,
- 3)擁塞發生,
- 4)快速恢復
擁塞控制的作用:
擁塞的判斷:
- 重傳定時器超時
- 收到三個相同(重覆)的 ACK
強烈建議閱讀:
- TCP 的那些事兒(上):https://coolshell.cn/articles/11564.html
- TCP 的那些事兒(下):https://coolshell.cn/articles/11609.html
參考資料:
- TCP連續ARQ協議和滑動視窗協議:https://www.cnblogs.com/blythe/articles/7348812.html
- 運輸層
- TCP/IP(十一)TCP滑動視窗和擁塞控制:https://blog.csdn.net/endlu/article/details/51140213
- TCP-IP詳解:滑動視窗(Sliding Window):https://blog.csdn.net/wdscq1234/article/details/52444277
- TCP擁塞控制-慢啟動、擁塞避免、快重傳、快啟動:https://blog.csdn.net/jtracydy/article/details/52366461
- TCP協議的滑動視窗具體是怎樣控制流量的?https://www.zhihu.com/question/32255109
三、操作系統
3.1僵屍進程和孤兒進程是什麼(區別)
unix/linux環境下
僵屍進程:
- 父進程創建出子進程,子進程退出了,父進程沒有調用
wait
或waitId
獲取子進程的信息(狀態),子進程的描述符仍在系統中。
孤兒進程:
- 父進程退出,子進程仍在運行中。這些子進程就叫做孤兒進程,孤兒進程將被init進程(進程號為1)所收養,並由init進程對它們完成狀態收集工作
僵屍進程危害:
- 系統進程表是一項有限資源,如果系統進程表被僵屍進程耗盡的話,系統就可能無法創建新的進程。
- 一個父進程創建了很多子進程,就是不回收,會造成記憶體資源的浪費。
解決僵屍進程的手段:
- 殺掉父進程,餘下的僵屍進程會成為孤兒進程,最後被init進程管理
- 子進程退出時向父進程發送SIGCHILD信號,父進程處理SIGCHILD信號。在信號處理函數中調用wait進行處理僵屍進程
- fork兩次:原理是將子進程成為孤兒進程,從而其的父進程變為init進程,通過init進程可以處理僵屍進程
參考資料:
- 僵屍進程和僵死進程有什麼區別?https://www.zhihu.com/question/26432067/answer/70643183
- 孤兒進程與僵屍進程[總結]:http://www.cnblogs.com/Anker/p/3271773.html
3.2操作系統進程間通信的方式有哪些?
首先要知道的是:進程和線程的關註點是不一樣的:
- 進程間資源是獨立的,關註的是通訊問題。
- 線程間資源是共用的,關註的是安全問題。
操作系統進程間通信的方式有哪些?
- 管道(pipe):管道是一種半雙工的通信方式,數據只能單向流動,而且只能在具有親緣關係的進程間使用。進程的親緣關係通常是指父子進程關係。
- 有名管道(named pipe):有名管道也是半雙工的通信方式,但是它允許無親緣關係進程之間的通信。
- 消息隊列(message queue):消息隊列是消息的鏈表,存放在內核中並由消息隊列表示符標示。消息隊列剋服了信號傳遞信息少,管道只能承載無格式位元組流以及緩衝區大小受限制等缺點。
- 共用記憶體(shared memory):共用記憶體就是映射一段內被其它進程所訪問的記憶體,共用記憶體由一個進程創建,但是多個進程都可以訪問。共用記憶體是最快的IPC,它是針對其它進程通信方式運行效率低的而專門設計的。它往往與其它通信機制。如信號量,配合使用,來實現進程間的同步和通信。
- 套接字(socket):套接字也是進程間的通信機制,與其它通信機制不同的是,它可以用於不同機器間的進程通信。
- 信號(signal):信號是一種比較複雜的通信方式,用於通知接受進程進程某個時間已經發生。
- 信號量(semaphore):信號量是一個計數器,可以用來控制多個進程對共用資源的訪問。
- 它常作為一種鎖的機制,防止某進程正在訪問共用資源時,其它進程也訪問該資源。因此它主要作為不同進程或者同一進程之間不同線程之間同步的手段。
3.3操作系統線程間通信的方式有哪些?
操作系統線程間通信的方式有哪些?(可以直接理解成:線程之間同步的方式有哪些)
- 鎖機制:包括互斥鎖、條件變數、讀寫鎖
- 信號量機制(Semaphore):包括無名線程信號量和命名線程信號量
- 信號機制(Signal):類似進程間的信號處理
線程間的通信目的主要是用於線程同步。
參考資料:
- 線程通信與進程通信的區別:https://www.cnblogs.com/xh0102/p/5710074.html
- 操作系統——進程,線程,鎖:https://www.cnblogs.com/biterror/p/6909653.html
- 操作系統進程、線程:http://www.cnblogs.com/wxquare/p/5168745.html
- 進程間的五種通信方式介紹:https://blog.csdn.net/wh_sjc/article/details/70283843
擴展閱讀:
- 進程間的五種通信方式介紹(詳情介紹):https://blog.csdn.net/wh_sjc/article/details/70283843
- Linux內核調度分析(進程調度):https://cloud.tencent.com/developer/article/1027448
3.4操作系統進程調度演算法有哪些?
操作系統進程調度演算法有哪些?
- 先來先服務演算法(FCFS)
- 誰先來,就誰先執行
- 短進程/作業優先演算法(SJF)
- 誰用的時間少、就先執行誰
- 最高響應比優先演算法(HRN)
- 對FCFS方式和SJF方式的一種綜合平衡
- 最高優先數演算法
- 系統把處理機分配給就緒隊列中優先數最高的進程
- 基於時間片的輪轉調度演算法
- 每個進程所享受的CPU處理時間都是一致的
- 最短剩餘時間優先演算法
- 短作業優先演算法的升級版,只不過它是搶占式的
- 多級反饋排隊演算法
- 設置多個就緒隊列,分別賦予不同的優先順序,如逐級降低,隊列1的優先順序最高
參考筆記:
四、拓展閱讀
此部分是看別人的博文已經寫得很好了,分享給大家~
4.1ConcurrentHashMap中的擴容是否需要對整個表上鎖?
ConcurrentHashMap中的擴容是否需要對整個表上鎖?
總結(摘抄)要點:
- 通過給每個線程分配桶區間(預設一個線程分配的桶是16個),避免線程間的爭用。
- 通過為每個桶節點加鎖,避免 putVal 方法導致數據不一致。
- 同時,在擴容的時候,也會將鏈表拆成兩份,這點和 HashMap 的 resize 方法類似。
參考資料:
- 併發編程——ConcurrentHashMap擴容逐行分析https://www.jianshu.com/p/2829fe36a8dd
- 《Java源碼分析》:ConcurrentHashMap JDK1.8:https://blog.csdn.net/u010412719/article/details/52145145
4.2什麼是一致性Hash演算法(原理)?
什麼是一致性Hash演算法(原理)?
總結(摘抄)要點:
- 一致性Hash演算法將整個哈希值空間組織成一個虛擬的圓環,好處就是提高容錯性和可擴展性。
- 對於節點的增減都只需重定位環空間中的一小部分數據。
參考資料:
- 一致 Hash 演算法分析:https://crossoverjie.top/2018/01/08/Consistent-Hash/
- 面試必備:什麼是一致性Hash演算法?https://zhuanlan.zhihu.com/p/34985026
4.3MySQL date、datetime和timestamp類型的區別
MySQL date、datetime和timestamp類型的區別
總結(摘抄)要點:
- date精確到天,datetime和timestamp精確到秒
- datetime和timestamp的區別:
- timestamp會跟隨設置的時區變化而變化,而datetime保存的是絕對值不會變化
- timestamp儲存占用4個位元組,datetime儲存占用8個位元組
- 可表示的時間範圍不同,timestamp只能到表示到2038年,datetime可到9999年
參考資料:
- MySQL date、datetime和timestamp類型的區別:https://zhuanlan.zhihu.com/p/23663741
4.4判斷一個鏈表是否有環/相交
判斷一個鏈表是否有環(實際上就是看看有無遍歷到重覆的節點),解決方式(3種):
- for遍歷兩次
- 使用hashSet做緩存,記錄已遍歷過的節點
- 使用兩個指針,一前一後遍歷,總會出現
前指針==後指針
的情況
參考資料:
- 漫畫演算法:如何判斷鏈表有環?http://blog.jobbole.com/106227/
判斷兩個無環鏈表是否相交,解決方式(2種):
- 將第一個鏈表尾部的next指針指向第二個鏈表,兩個鏈表組成一個鏈表。
- 判斷這一個鏈表是否有環,有環則相交,無環則不相交
- 直接判斷兩個鏈表的尾節點是否相等,如果相等則相交,否則不相交
判斷兩個有環鏈表是否相交(註:當一個鏈表中有環,一個鏈表中沒有環時,兩個鏈表必不相交):
- 找到第一個鏈表的環點,然後將環斷開(當然不要忘記了保存它的下一個節點),然後再來遍歷第二個鏈表,如果發現第二個鏈表從有環變成了無環,那麼他們就是相交的嘛,否則就是不相交的了。
參考資料:
- 判斷兩個鏈表是否相交並找出交點:https://blog.csdn.net/jiary5201314/article/details/50990349
- 判斷單鏈表是否存在環,判斷兩個鏈表是否相交問題詳解:http://www.cppblog.com/humanchao/archive/2008/04/17/47357.html
4.5keepAlive含義
- HTTP協議的Keep-Alive意圖在於連接復用,同一個連接上串列方式傳遞請求-響應數據
- TCP的KeepAlive機制意圖在於保活、心跳,檢測連接錯誤
參考資料:
- 聊聊 TCP 中的 KeepAlive 機制:http://www.importnew.com/27624.html
最後
如果大家有更好的理解方式或者文章有錯誤的地方還請大家不吝在評論區留言,大家互相學習交流~~~
如果想看更多的原創技術文章,歡迎大家關註我的微信公眾號:Java3y。Java技術群討論:742919422。公眾號還有海量的視頻資源哦,關註即可免費領取。
可能感興趣的鏈接:
- 文章的目錄導航(微信公眾號端):https://zhongfucheng.bitcron.com/post/shou-ji/wen-zhang-dao-hang
- 文章的目錄導航(PC端):http://www.zhongfucheng.bitcron.com/post/shou-ji/pcduan-wen-zhang-dao-hang
- 海量精美腦圖:http://www.zhongfucheng.bitcron.com/post/shou-ji/nao-tu-da-quan