Java中用記憶體映射處理大文件

-Advertisement-

在處理大文件時，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 來進行頻繁的讀寫操作，都將導致進程因頻繁讀寫外存而降低速度.如下為一個對比實驗。 [java] view plain copy package test; imp ...

在處理大文件時，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 來進行頻繁的讀寫操作，都將導致進程因頻繁讀寫外存而降低速度.如下為一個對比實驗。

[java] view plain copy

package test;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
public class Test {
public static void main(String[] args) {
try {
FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
int sum=0;
int n;
long t1=System.currentTimeMillis();
try {
while((n=fis.read())>=0){
sum+=n;
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
long t=System.currentTimeMillis()-t1;
System.out.println("sum:"+sum+" time:"+t);
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
try {
FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
BufferedInputStream bis=new BufferedInputStream(fis);
int sum=0;
int n;
long t1=System.currentTimeMillis();
try {
while((n=bis.read())>=0){
sum+=n;
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
long t=System.currentTimeMillis()-t1;
System.out.println("sum:"+sum+" time:"+t);
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
MappedByteBuffer buffer=null;
try {
buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);
int sum=0;
int n;
long t1=System.currentTimeMillis();
for(int i=0;i<1253244;i++){
n=0x000000ff&buffer.get(i);
sum+=n;
}
long t=System.currentTimeMillis()-t1;
System.out.println("sum:"+sum+" time:"+t);
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}

測試文件為一個大小為1253244位元組的文件。測試結果：

sum:220152087 time:1464
sum:220152087 time:72
sum:220152087 time:25

說明讀數據無誤。刪去其中的數據處理部分。

[java] view plain copy

package test;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
public class Test {
public static void main(String[] args) {
try {
FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
int sum=0;
int n;
long t1=System.currentTimeMillis();
try {
while((n=fis.read())>=0){
//sum+=n;
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
long t=System.currentTimeMillis()-t1;
System.out.println("sum:"+sum+" time:"+t);
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
try {
FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
BufferedInputStream bis=new BufferedInputStream(fis);
int sum=0;
int n;
long t1=System.currentTimeMillis();
try {
while((n=bis.read())>=0){
//sum+=n;
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
long t=System.currentTimeMillis()-t1;
System.out.println("sum:"+sum+" time:"+t);
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
MappedByteBuffer buffer=null;
try {
buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);
int sum=0;
int n;
long t1=System.currentTimeMillis();
for(int i=0;i<1253244;i++){
//n=0x000000ff&buffer.get(i);
//sum+=n;
}
long t=System.currentTimeMillis()-t1;
System.out.println("sum:"+sum+" time:"+t);
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}

測試結果：

sum:0 time:1458
sum:0 time:67
sum:0 time:8

由此可見，將文件部分或者全部映射到記憶體後進行讀寫，速度將提高很多。

這是因為記憶體映射文件首先將外存上的文件映射到記憶體中的一塊連續區域，被當成一個位元組數組進行處理，讀寫操作直接對記憶體進行操作，而後再將記憶體區域重新映射到外存文件，這就節省了中間頻繁的對外存進行讀寫的時間，大大降低了讀寫時間。

您的分享是我們最大的動力!

-Advertisement-

更多相關文章

[javaSE] GUI（Action事件）

對自己定義的類規範化一下，事件和圖形化組件分離出來定義一個類FrameDemo 定義成員屬性Frame frame 定義成員屬性Botton 定義構造方法FrameDemo() 定義初始化方法init() 初始化方法中，new出來Frame()，參數：String的窗體名稱調用Frame對象的s ...
php 流程式控制制switch實例

switch允許對一個標量（表達式）的多個可能結果做選擇。語法：系統計算expr的值，根據計算結果（result1、result2等）來選擇下麵對應執行語句，如果所有的case結果都不符合，則會執行default里的語句。例子：運行提示可以有多個 case 條件判斷 case 後面結果也 ...
django-url調度器-高級篇

我們在中級篇中學會瞭如何進行反向解析，但是有這樣一個問題，在為 url 命名的時候，名字不能重覆，否則會導致各種各樣的問題。在 url 還少的時候保證不重名還是比較簡單的，但是 url 多起來以後就比較難了。為瞭解決這樣的問題，可以在 url 中加一個首碼。例如，我有一個 url 的名字叫做 'co ...
C++輸入輸出流

輸入輸出流 1. 用控制符輸出格式，例：控制符用法列表如下： 2. 用流對象cout中用於控制輸出格式的成員函數來控制輸出格式例如： cout.setf(iso::showbase) cout.setf(iOS::oct) cout.width(10) cout.setf(ios::intern ...
yii2源碼學習筆記(十二）

繼續瞭解controller基類。 ...
240. Search a 2D Matrix II

Write an efficient algorithm that searches for a value in an m x n matrix. This matrix has the following properties: Integers in each row are sorted i ...
面向對象

面向對象的概念經常會有一些特別的搭配，如：面向對象的分析、面向對象的設計、以及我們下麵講到的面向對象的編程實現。在我們編程的時候，經常會需要描述一些有特性的東西，這些特性是外在的或者可以表現的。而我們在編程的時候，需要根據這種東西的特性對其操作，也就是“抽象成一個類”的過程。 C++對於類內的成 ...
Java RandomAccessFile用法

RandomAccessFile RandomAccessFile是用來訪問那些保存數據記錄的文件的，你就可以用seek( )方法來訪問記錄，併進行讀寫了。這些記錄的大小不必相同；但是其大小和位置必須是可知的。但是該類僅限於操作文件。 RandomAccessFile不屬於InputStream和O ...