為什麼文件刪除了但磁碟空間沒有釋放?

来源:https://www.cnblogs.com/edisonfish/archive/2023/03/18/17229472.html
-Advertisement-
Play Games

案例現象 這天,監控系統發來一條告警消息,內容說某台伺服器根目錄磁碟占用空間達到閾值,超過百分之八十了 登上伺服器,df -Th 看一下,發現磁碟空間確實不夠用了 進入到根目錄,然後 du -sh * 可以看到,var 目錄下的磁碟空間已經占用了 75G 既然如此,刪除 var 目錄下一些占空間較大 ...


案例現象

這天,監控系統發來一條告警消息,內容說某台伺服器根目錄磁碟占用空間達到閾值,超過百分之八十了

 

登上伺服器,df -Th 看一下,發現磁碟空間確實不夠用了

 

 

 

 

進入到根目錄,然後 du -sh *

 

 

 

可以看到,var 目錄下的磁碟空間已經占用了 75G

 

 

既然如此,刪除 var 目錄下一些占空間較大的數據文件即可

 

 

繼續定位到占用空間較大的是 /var/log 目錄

 

最後排查到 /var/log/nginx/access_log這個文件占了 66G

 

這個文件是 Nginx 產生的訪問日誌文件,從日誌大小來看,一方面沒有做日誌切割,另一方面很久沒有清理這個文件

 

基本能夠判斷是這個文件造成的告警,執行如下刪除操作

 

 刪除完畢,我們再看下系統磁碟空間

 

 

 

咦?根分區空間怎麼還沒有釋放,不是刪除了文件了嗎?

 

案例現象

一般來講,很少出現刪除了文件但磁碟空間不釋放的現象

 

但是如果出現了,就要考慮到以下兩種情況:

  1. 文件被某一進程鎖定了

  2. 有進程一直在向這個文件寫數據

 

為什麼文件被進程占用之後刪除不會釋放磁碟空間呢?

 

我們來學習一下 Linux 的文件存儲結構

 

在 Linux 中,文件存儲在硬碟上,硬碟的最小存儲單位是扇區(Sector),然而扇區只有 512位元組大小,如果每次都讀寫這麼小的單位效率一定很低

 

 

 

 

所以當操作系統從硬碟讀取數據的時候,不會一個個扇區的地去讀取,而是一次性連續讀取多個扇區,即一次性讀取一個”塊“(block)

 

由多個 sector 組成的 block ,是文件存取的最小單位

 

block 常見大小的是 4KB,即連續 8 個 sector 組成一個 block

 

 

 

既然文件數據都存儲在 block 中,那麼我們指定讀取某個文件數據的時候,操作系統就需要知道這個文件存儲在哪個 block 上

 

而文件的數據存放位置信息被存放到了 inode 上,inode 中文名叫索引節點

 

我要打開 1.txt 這個文件並讀取內容,會經過以下步驟

1、系統根據文件名(1.txt)找到對應的 inode 號

2、通過 inode 號獲取到 inode 信息

3、根據 inode 信息找到文件數據所在的 block ,讀出數據

 

 

除了文件的數據存放信息,文件的創建者、文件的大小、文件的屬性等文件的元信息都被存儲到了 inode 上

 

文件元信息包含以下內容(可以通過 stat 命令查看)

  • 文件的位元組數

  • 文件擁有者的 User ID

  • 文件擁有者的 User ID

  • 文件擁有者的 User ID

  • 文件的時間戳

  • 鏈接數,即有多少文件名指向這個inode

  • 數據block的位置

 

inode 跟數據一樣會消耗硬碟空間,所以硬碟格式化的時候,系統自動將硬碟分成2個區域:

  • 一個是數據區,存放文件數據

  • 另一個是 inode 區,存放 inode 所包含的信息,即文件元信息

 

簡單來說在 Linux 下,文件由指針部分(inode)和數據部分(data)組成

 

在瞭解了文件的存儲結構之後,我們來看下對文件執 rm 行刪除操作之後,這兩個部分會發生什麼

 

文件被刪除的時候,文件對應的 inode 就被刪除掉了,而文件的數據部分在 inode 被清除掉之後,就會被覆蓋並寫入新的內容

 

但是如果文件在刪除的時候是被打開的(有一個進程正在使用該文件,文件被進程鎖定或者有進程一直在向這個文件寫數據等)狀態,那麼進程依舊可以讀取該文件,系統就會認為該文件的磁碟空間一直被占用

 

之所以出現刪除 access_log 文件後空間沒有釋放,是因為 nginx 進程還在一直向這個文件寫入內容

 

雖然刪除了 access_log 文件,但是由於 nginx 進程鎖定,文件的 inode 並沒有清除掉,而由於 inode 沒有清除,系統內核就認為文件並未刪除,這才出現空間不釋放的情況

 

解決問題

既然有了定位的思路,我們就來看看是不是有進程一直在向 access_log 文件寫數據

 

我們使用 lsof 命令

 

 

 

可以看到 /var/log/nginx/access_log被進程 nginx 鎖定,而且 nginx 進程一直在往這個文件寫數據,現在文件大小已經 68G 了

 

由此可見,這個文件就是導致系統根目錄空間耗盡的罪魁禍首,而最後一列的 deleted 狀態表示這個文件已經被刪除

 

但由於進程還在一直往裡面寫數據,導致磁碟空間並未釋放

 

  • 方法一

刪除掉日誌文件之後,重啟 nginx 進程或者重啟系統讓操作系統來回收磁碟空間

 

 

 

但是在生產環境下一般不建議重啟服務或者重啟系統

 

萬一齣問題了,這個鍋可背不起

 

 

  • 方法二(推薦)

像這種進程不停對文件寫數據的操作,如果你想要清空磁碟空間,推薦的辦法是線上清空這個文件

 

 

通過這種方法,磁碟空間不僅可以馬上釋放,也可以保證進程能夠一直往文件里寫數據

 

 


感謝閱讀,喜歡作者就動動小手[一鍵三連],這是我寫作最大的動力


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.在自己電腦中找到Viual Studio Installer這樣一個文件,我自己的是在"C:\ProgramData\Microsoft\Windows\Start Menu\Programs"路徑下 若是找不到,也可以下載一個"everything"工具進行搜索,(這個比windows自帶的文 ...
  • #[EF Core] EF Core Code-First 移除外鍵 —— 重寫SQL生成器 使用EF Core時最煩的就是生成的某些 SQL 其實並不是你想要的結果,例如外鍵約束等等。 一個最簡單的例子就是,因為EF Core會根據導航屬性生成外鍵約束等原因,導致很多開發者拋棄了更易維護的Code ...
  • 1、OpenGL有多個標準,如Open ES是為了移動設備,目前通常使用OpenTK.Graphics.OpenGL4對應OpenGL4.x版本,2010年是OpenGL分割領,之前是3版本,之後都是4版本,目前最新4.6,更新頻率不高 2、OpenGL的著色語言GLSL,對應的文件擴展名.vert ...
  • 最近寫了一個demo:demo的github地址 一. 簡單介紹 1. Server端 它是一個WebApi服務,把它當成一個黑盒就行了。 2. MiddleServer端 是重點,它是一個WebApi服務,包含一個GetValues介面和一個Query2介面。 Query2介面是一個簡單的介面。 ...
  • Watchtower 是一個用於自動更新 Docker 容器的工具。它可以監視 Docker Hub 或私有倉庫中的鏡像,併在發現新的鏡像版本時自動更新容器。 ...
  • (文章目錄) 01、首先配置文件地址改了 地址為 ` /etc/NetworkManager/system-connections/網卡名 ` 網卡名可以使用 ip a查看,紅框中就是網卡名 網卡名 ls命令可以看到有以下配置文件 ` es160.nmconnection ` vi編輯 ` [con ...
  • 一、共用記憶體是什麼 在Linux系統中,共用記憶體是一種IPC(進程間通信)方式,它可以讓多個進程在物理記憶體中共用一段記憶體區域。 這種共用記憶體區域被映射到多個進程的虛擬地址空間中,使得多個進程可以直接訪問同一段物理記憶體區域中的數據,從而實現進程間的高速數據交換和通信。 二、共用記憶體的原理 共用記憶體基於 ...
  • 前騰訊工程師,經歷過大廠,也經歷過創業! 我已奔四,但我還在持續學習,持續成長! 我非常樂意把我的經驗和心得分享給你! 我是阿銘,關註我,和我一起成長為技術大牛! ↓↓↓↓↓ 關於DevOps這個概念,可能100個人能給出100個說法,這是因為每個人所接觸到的環境有所差異,不同的公司要解決的問題自然 ...
一周排行
    -Advertisement-
    Play Games
  • 背景 在瀏覽器中訪問本地靜態資源html網頁時,可能會遇到跨域問題如圖。 是因為瀏覽器預設啟用了同源策略,即只允許載入與當前網頁具有相同源(協議、功能變數名稱和埠)的內容。 WebView2預設情況下啟用了瀏覽器的同源策略,即只允許載入與主機相同源的內容。所以如果我們把靜態資源發佈到iis或者通過node ...
  • 最近看幾個老項目的SQL條件中使用了1=1,想想自己也曾經這樣寫過,略有感觸,特別拿出來說道說道。編寫SQL語句就像炒菜,每一種調料的使用都會影響菜品的最終味道,每一個SQL條件的加入也會影響查詢的執行效率。那麼 1=1 存在什麼樣的問題呢?為什麼又會使用呢? ...
  • 好久不見,我又回來了。 給大家分享一個我最近使用c#代碼操作ftp伺服器的代碼示例: 1 public abstract class FtpOperation 2 { 3 /// <summary> 4 /// FTP伺服器地址 5 /// </summary> 6 private string f ...
  • 一:背景 1. 講故事 過年喝了不少酒,腦子不靈光了,停了將近一個月沒寫博客,今天就當新年開工寫一篇吧。 去年年初有位朋友找到我,說他們的系統會偶發性崩潰,在網上也發了不少帖子求助,沒找到自己滿意的答案,讓我看看有沒有什麼線索,看樣子這是一個牛皮蘚的問題,既然對方有了dump,那就分析起來吧。 二: ...
  • 自己製作的一個基於Entity Framework Core 的資料庫操作攔截器,可以列印資料庫執行sql,方便開發調試,代碼如下: /// <summary> /// EF Core 的資料庫操作攔截器,用於在資料庫操作過程中進行日誌記錄和監視。 /// </summary> /// <remar ...
  • 本文分享自華為雲社區《Go併發範式 流水線和優雅退出 Pipeline 與 Cancellation》,作者:張儉。 介紹 Go 的併發原語可以輕鬆構建流數據管道,從而高效利用 I/O 和多個 CPU。 本文展示了此類pipelines的示例,強調了操作失敗時出現的細微之處,並介紹了乾凈地處理失敗的 ...
  • 在上篇文章中,我們介紹到在多線程環境下,如果編程不當,可能會出現程式運行結果混亂的問題。出現這個原因主要是,JMM 中主記憶體和線程工作記憶體的數據不一致,以及多個線程執行時無序,共同導致的結果。 ...
  • 1、下載安裝包首先、進入官網下載安裝包網址:https://www.python.org/downloads/windows/下載步驟:進入下載地址,根據自己的電腦系統選擇相應的python版本 選擇適配64位操作系統的版本(查看自己的電腦操作系統版本), 點擊下載安裝包 也可以下載我百度雲分享的安 ...
  • 簡介 git-commit-id-maven-plugin 是一個maven 插件,用來在打包的時候將git-commit 信息打進jar中。 這樣做的好處是可以將發佈的某版本和對應的代碼關聯起來,方便查閱和線上項目的維護。至於它的作用,用官方說法,這個功能對於大型分散式項目來說是無價的。 功能 你 ...
  • 序言 在數字時代,圖像生成技術正日益成為人工智慧領域的熱點。 本討論將重點聚焦於兩個備受矚目的模型:DALL-E和其他主流AI繪圖方法。 我們將探討它們的優勢、局限性以及未來的發展方向。通過比較分析,我們期望能夠更全面地瞭解這些技術,為未來的研究和應用提供啟示。 Q: 介紹一下 dall-e Ope ...