深究標準IO的緩存

前言

　　在最近看了APUE的標準IO部分之後感覺對標準IO的緩存太模糊，沒有搞明白，APUE中關於緩存的部分一筆帶過，沒有深究緩存的實現原理，這樣一本被吹上天的書為什麼不講透徹呢？今天早上爬起來趕緊找了幾篇文章看看，直到發現了這篇博客:http://blog.sina.com.cn/s/blog_6592a07a0101gar7.html。講的很不錯。

一、IO緩存

　　系統調用：只操作系統提供給用戶程式調用的一組介面-------獲得內核提供的服務。

• 不帶緩存：open  read。posix標準，在用戶空間沒有緩衝，在內核空間還是進行了緩存的。數據-----內核緩存區----磁碟。假設內核緩存區長度為100位元組，你調用ssize_t write (int fd,const void * buf,size_t count);寫操作時，設每次寫入count=10位元組，那麼你要調用10次這個函數才能把這個緩存區寫滿，沒寫滿時數據還是在內核緩衝區中，並沒有寫入到磁碟中，內核緩存區滿了之後或者執行了fsync（強制寫入硬碟）之後，才進行實際的IO操作，吧數據寫入磁碟上。
• 帶緩存區：fopen fwrite fget 等，是c標準庫中定義的。數據-----流緩存區-----內核緩存區----磁碟。假設流緩存區長度為50位元組，內核緩存區100位元組，我們用標準c庫函數fwrite()將數據寫入到這個流緩存中，每次寫10位元組，需要寫5次流緩存區滿後調用write()(或調用fflush())，將數據寫到內核緩存區，直到內核緩存區滿了之後或者執行了fsync（強制寫入硬碟）之後，才進行實際的IO操作，吧數據寫入磁碟上。標準IO操作fwrite()最後還是要掉用無緩存IO操作write。

　　以fgetc / fputc 為例,當用戶程式第一次調用fgetc 讀一個位元組時,fgetc 函數可能通過系統調用 進入內核讀1K位元組到I/O緩衝區中,然後返回I/O緩衝區中的第一個位元組給用戶,把讀寫位置指 向I/O緩衝區中的第二個字元,以後用戶再調fgetc ,就直接從I/O緩衝區中讀取,而不需要進內核 了,當用戶把這1K位元組都讀完之後,再次調用fgetc 時,fgetc 函數會再次進入內核讀1K位元組 到I/O緩衝區中。在這個場景中用戶程式、C標準庫和內核之間的關係就像在“Memory Hierarchy”中 CPU、Cache和記憶體之間的關係一樣,C標準庫之所以會從內核預讀一些數據放 在I/O緩衝區中,是希望用戶程式隨後要用到這些數據,C標準庫的I/O緩衝區也在用戶空間,直接 從用戶空間讀取數據比進內核讀數據要快得多。另一方面,用戶程式調用fputc 通常只是寫到I/O緩 沖區中,這樣fputc 函數可以很快地返回,如果I/O緩衝區寫滿了,fputc 就通過系統調用把I/O緩衝 區中的數據傳給內核,內核最終把數據寫回磁碟或設備。有時候用戶程式希望把I/O緩衝區中的數據立刻 傳給內核,讓內核寫回設備或磁碟,這稱為Flush操作,對應的庫函數是fflush,fclose函數在關閉文件 之前也會做Flush操作。

　　雖然write 系統調用位於C標準庫I/O緩衝區的底 層,被稱為Unbuffered I/O函數,但在write 的底層也可以分配一個內核I/O緩衝區,所以write 也不一定是直接寫到文件的,也 可能寫到內核I/O緩衝區中,可以使用fsync函數同步至磁碟文件，至於究竟寫到了文件中還是內核緩衝區中對於進程來說是沒有差別 的,如果進程A和進程B打開同一文件,進程A寫到內核I/O緩衝區中的數據從進程B也能讀到,因為內核空間是進程共用的, 而c標準庫的I/O緩衝區則不具有這一特性,因為進程的用戶空間是完全獨立的.

#include <stdlib.h>
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

int main(void)
{
  char buf[5];
  FILE *myfile = stdin;
  fgets(buf, 5, myfile);
  fputs(buf, myfile);
  
  return 0;
}

　　buffered I/O中的"buffer"到底是指什麼呢?這個buffer在什麼地方呢?FILE是什麼呢?它的空間是怎麼分配的呢　　要弄清楚這些問題,就要看看FILE是如何定義和運作的了.(特別說明,在平時寫程式時,不用也不要關心FILE是如何定義和運作的,最好不要直接操作它,這裡使用它,只是為了說明buffered IO)下麵的這個是glibc給出的FILE的定義,它是實現相關的,別的平臺定義方式不同.

struct _IO_FILE {
int _flags;
#define _IO_file_flags _flags



char* _IO_read_ptr;
char* _IO_read_end;
char* _IO_read_base;
char* _IO_write_base;
char* _IO_write_ptr;
char* _IO_write_end;
char* _IO_buf_base;
char* _IO_buf_end;

char *_IO_save_base;
char *_IO_backup_base;
char *_IO_save_end;

struct _IO_marker *_markers;

struct _IO_FILE *_chain;

int _fileno;
};

　　上面的定義中有三組重要的欄位:

1.
char* _IO_read_ptr;
char* _IO_read_end;
char* _IO_read_base;
2.
char* _IO_write_base;
char* _IO_write_ptr;
char* _IO_write_end;
3.
char* _IO_buf_base;
char* _IO_buf_end;

#include <stdlib.h>
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

int main(void)
{
  char buf[5];
  FILE *myfile =stdin;
  printf("before reading/n");
  printf("read buffer base %p/n", myfile->_IO_read_base);
  printf("read buffer length %d/n", myfile->_IO_read_end - myfile->_IO_read_base);
  printf("write buffer base %p/n", myfile->_IO_write_base);
  printf("write buffer length %d/n", myfile->_IO_write_end - myfile->_IO_write_base);
  printf("buf buffer base %p/n", myfile->_IO_buf_base);
  printf("buf buffer length %d/n", myfile->_IO_buf_end - myfile->_IO_buf_base);
  printf("/n");
  fgets(buf, 5, myfile);
  fputs(buf, myfile);
  printf("/n");
  printf("after reading/n");
  printf("read buffer base %p/n", myfile->_IO_read_base);
  printf("read buffer length %d/n", myfile->_IO_read_end - myfile->_IO_read_base);
  printf("write buffer base %p/n", myfile->_IO_write_base);
  printf("write buffer length %d/n", myfile->_IO_write_end - myfile->_IO_write_base);
  printf("buf buffer base %p/n", myfile->_IO_buf_base);
  printf("buf buffer length %d/n", myfile->_IO_buf_end - myfile->_IO_buf_base);

  return 0;
}

　　可以看到,在讀操作之前,myfile的緩衝區是沒有被分配的,在一次讀之後,myfile的緩衝區才被分配.這個緩衝區既不是內核中的緩衝區,也不是用戶分配的緩衝區,而是有用戶進程空間中的由buffered I/O系統負責維護的緩衝區.(當然,用戶可以可以維護該緩衝區,這裡不做討論了)

#include <stdlib.h>
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

int main(void)
{
  char buf[5];
  char *cur;
  FILE *myfile;
  myfile = fopen("bbb.txt", "r");
  printf("before reading, myfile->_IO_read_ptr: %d/n", myfile->_IO_read_ptr - myfile->_IO_read_base);
  fgets(buf, 5, myfile); //僅僅讀4個字元
  cur = myfile->_IO_read_base;
  while (cur <</span> myfile->_IO_read_end) //實際上讀滿了這個緩衝區
  {
    printf("%c",*cur);
    cur++;
  }
  printf("/nafter reading, myfile->_IO_read_ptr: %d/n", myfile->_IO_read_ptr - myfile->_IO_read_base);
  return 0;
}

　　上面提到的bbb.txt文件的內容是由很多行的"123456789"組成上例中,fgets(buf, 5, myfile); 僅僅讀4個字元,但是,緩衝區已被寫滿,但是_IO_read_ptr卻向前移動了5位,下次再次調用讀操作時,只要要讀的位數不超過myfile->_IO_read_end - myfile->_IO_read_ptr那麼就不需要再次調用系統調用read,只要將數據從myfile的緩衝區拷貝到buf即可(從myfile->_IO_read_ptr開始拷貝)

#include <stdlib.h>
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

int main(void)
{
  char buf[2048]={0};
  int i;
  FILE *myfile;
  myfile = fopen("aaa.txt", "r+");
  i= 0;
  while (i<</span>2048)
  {
    fwrite(buf+i, 1, 512, myfile);
    i +=512;
    //註釋掉這句則可以寫入aaa.txt
    myfile->_IO_write_ptr = myfile->_IO_write_base;
    printf("%p write buffer base/n", myfile->_IO_write_base);
    printf("%p buf buffer base /n", myfile->_IO_buf_base);
    printf("%p read buffer base /n", myfile->_IO_read_base);
    printf("%p write buffer ptr /n", myfile->_IO_write_ptr);
    printf("/n");
  }
  return 0;
}

　　上面這個是關於全緩衝寫的例子.全緩衝時,只有當標準I/O自動flush(比如當緩衝區已滿時)或者手工調用fflush時,標準I/O才會調用一次write系統調用.例子中,fwrite(buf+i, 1, 512, myfile);這一句只是將buf+i接下來的512個位元組寫入緩衝區,由於緩衝區未滿,標準I/O並未調用write.此時,myfile->_IO_write_ptr = myfile->_IO_write_base;會導致標準I/O認為沒有數據寫入緩衝區,所以永遠不會調用write,這樣aaa.txt文件得不到寫入.註釋掉myfile->_IO_write_ptr = myfile->_IO_write_base;前後,看看效果

#include <stdlib.h>
#include <stdio.h>

int main(void)
{
  char buf[5];
  char buf2[10];
  
  fgets(buf, 5, stdin); //第一次輸入時,超過5個字元

  puts(stdin->_IO_read_ptr);//本句說明整行會被一次全部讀入緩衝區,

                                         //而非僅僅上面需要的個字元
  stdin->_IO_read_ptr = stdin->_IO_read_end; //標準I/O會認為緩衝區已空,再次調用read
                                             //註釋掉,再看看效果
  printf("/n");
  puts(buf);
  
  fgets(buf2, 10, stdin);
  puts(buf2);
  
  return 0;
}

　　上例中, fgets(buf, 5, stdin); 僅僅需要4個字元,但是,輸入行中的其他數據也被寫入緩衝區,但是_IO_read_ptr向前移動了5位,下次再次調用fgets操作時,就不需要再次調用系統調用read,只要將數據從stdin的緩衝區拷貝到buf2即可(從stdin->_IO_read_ptr開始拷貝)stdin->_IO_read_ptr = stdin->_IO_read_end;會導致標準I/O會認為緩衝區已空,再次fgets則需要再次調用read.比較一下將該句註釋掉前後的效果

#include <stdlib.h>
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

char buf[5]={'1','2', '3', '4', '5'}; //最後一個不要是/n,是/n的話,標準I/O會自動flush的
                                                    //這是行緩衝跟全緩衝的重要區別

void writeLog(FILE *ftmp)
{
  fprintf(ftmp, "%p write buffer base/n", stdout->_IO_write_base);
  fprintf(ftmp, "%p buf buffer base /n", stdout->_IO_buf_base);
  fprintf(ftmp, "%p read buffer base /n", stdout->_IO_read_base);
  fprintf(ftmp, "%p write buffer ptr /n", stdout->_IO_write_ptr);
  fprintf(ftmp, "/n");
}

int main(void)
{
  int i;
  FILE *ftmp;
  ftmp = fopen("ccc.txt", "w");
  i= 0;
  while (i<</span>4)
  {
    fwrite(buf, 1, 5, stdout);
    i++;
    *stdout->_IO_write_ptr++ = '/n';//可以單獨把這句打開,看看效果
    //getchar();//getchar()會標準I/O將緩衝區輸出
    //打開下麵的註釋,你就會發現屏幕上什麼輸出也沒有
    //stdout->_IO_write_ptr = stdout->_IO_write_base;
    writeLog(ftmp); //這個只是為了查看緩衝區指針的變化  
  }
  return 0;
}

　　這個例子將將FILE結構中指針的變化寫入的文件ccc.txt，

#include <</span>stdlib.h>
#include <</span>stdio.h>
#include <</span>sys/types.h>
#include <</span>sys/stat.h>
#include <</span>fcntl.h>

int main(void)
{
  fputs("stderr", stderr);
  printf("%d/n", stderr->_IO_buf_end - stderr->_IO_buf_base);

  return 0;
}

　　對無緩衝的流的每次讀寫操作都會引起系統調用

#include <stdlib.h>
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

int main(void)
{
  char buf[5];
  char buf2[10];

  fgets(buf, sizeof(buf), stdin);//輸入要於4個,少於13個字元才能看出效果
  puts(buf);

  //交替註釋下麵兩行
  //stdin->_IO_read_end = stdin->_IO_read_ptr+1;

  stdin->_IO_read_end = stdin->_IO_read_ptr + sizeof(buf2)-1;
   
  fgets(buf2, sizeof(buf2), stdin);
  puts(buf2);
  if (feof(stdin))
    printf("input end/n");
  return 0;
}