Java讀取Level-1行情dbf文件極致優化（1）

最近架構一個項目，實現行情的接入和分發，需要達到極致的低時延特性，這對於證券系統是非常重要的。接入的行情源是可以配置，既可以是Level-1，也可以是Level-2或其他第三方的源。雖然Level-1行情沒有Level-2快，但是作為系統支持的行情源，我們還是需要優化它，使得從文件讀取，到用戶通過socket收到行情，端到端的時延儘可能的低。本文主要介紹對level-1行情dbf文件讀取的極致優化方案。相信對其他的dbf文件讀取應該也有借鑒意義。

Level-1行情是由行情小站，定時每隔幾秒把dbf文件（上海是show2003.dbf，深圳是sjshq.dbf）更新一遍，用新的行情替換掉舊的。我們的目標就是，在新文件完成更新後，在最短時間內將文件讀取到記憶體，把每一行轉化為對象，把每個列轉化為對應的數據類型。

我們一共採用了6種優化方式。

優化一：採用記憶體硬碟（RamDisk）

記憶體硬碟可以極大地提高文件的讀寫速度，level-1行情的讀寫是應用記憶體硬碟的絕好情況：

1，我們可以把行情小站的行情文件地址配置在記憶體硬碟上。這樣可以加速行情小站寫文件的速度。

2，本系統再從記憶體硬碟讀取，又可以加快讀取速度。

3，記憶體硬碟掉電後會丟失文件，這裡我們基本不在乎這個缺點，因為行情文件本來就是臨時的，如果有持久化的需要，大部分記憶體硬碟也支持持久化的功能。

Windows上有很多虛擬記憶體硬碟的軟體（本系統部署在windows伺服器上，因為行情小站是在windows上的）。性能還是有差別的，我主要基於以下這篇文章《12 RAM Disk Software Benchmarked for Fastest Read and Write Speed》，自己再做了一點點測試，選擇了Bond Disc這個軟體。其地址是http://www.bonddisc.com/，使用挺簡單的，這裡就不詳細介紹了。

測試下來，採用RamDisk讀取並沒有比從普通的硬碟讀取快很多，可能是因為行情dbf文件本身就很小，只有1～2M，並且我們採用NIO形式的文件讀取本身就比較快。但是使用RamDisk還是很有意義的 --

1，由於行情小站直接把dbf文件寫入記憶體硬碟，可以加速不少。

2，如果在硬碟繁忙時，由於硬碟是串列的，採用記憶體硬碟在這種情況下可以避免瓶頸，保持穩定的讀取低時延。

優化二：採用JNotify，用通知替代輪詢

由於行情小站會不斷的更新行情dbf文件，我們的系統需要探測到一旦行情文件被更新，就立即讀取。傳統的策略是不斷輪詢行情文件的狀態，如果發現行情文件的最後修改日期（或者再加上文件大小）改變時，就認為文件被更新。但是這種方式既低效，時延又高且不穩定。假設即使把輪詢時間設置為10ms一次（這意味著1秒鐘就要輪詢100次）, 平均時延也要5ms。

我們可以用通知來替代輪詢。這裡我們採用JNotify庫，這個庫的下載地址是：

http://jnotify.sourceforge.net/

JNotify庫支持Windows，Linux和MacOS，允許我們監視一個文件夾，當這個文件夾下的文件被增刪改時，發起回調通知。代碼示例如下：

public void addWatcher(String hangqingFolder, String hangqingFile) throws Exception {

        // watch mask, specify events you care about,
        // or JNotify.FILE_ANY for all events.
        int mask = // JNotify.FILE_CREATED |
                    // JNotify.FILE_DELETED |
                JNotify.FILE_MODIFIED; // 我們只需要註冊修改事件
        // JNotify.FILE_RENAMED;

        // watch subtree?
        boolean watchSubtree = false;

        // add actual watch

        watchId = JNotify.addWatch(hangqingFolder, mask, watchSubtree, new JNotifyListener() {

            public void fileRenamed(int wd, String rootPath, String oldName, String newName) {
                // do nothing.
            }

            public void fileModified(int wd, String rootPath, String name) {

                if (!hangqingFile.equalsIgnoreCase(name)) //如果是修改的其他文件，則忽略
                    return;
                
                readHangqingFile(hangqingFolder + File.separator + hangqingFile);

            }

            public void fileDeleted(int wd, String rootPath, String name) {
                // do nothing
            }

            public void fileCreated(int wd, String rootPath, String name) {
                // do nothing
            }
        });
    }

以上代碼：

1，我們只要監視文件修改，因此只要設置mask = JNotify.FILE_MODIFIED

2，不需要遞歸地監視子目錄，設置watchSubtree = false

3，由於監視的是文件夾，而不是文件，在fileModified方法中，我們要判斷修改的是不是我們關心的文件（即行情文件），如果不是，則忽略。如果是，就調用readHangqingFile開始讀取。

JNotify是基於操作系統API實現的，即使用JNI實現的，因此除了jar文件，還包含.dll文件和.so文件。用eclipse開發時，我們需要指定這些本地庫的目錄，如下圖所示：

部署時，需要將本地庫放在執行根目錄下，或者用-Djava.library.path=/native/library/path 指定本地庫的位置。

採用JNotify，用（基於操作系統的）通知而不是輪詢，可以非常快地發現文件被更新，根據測試時間<1ms (我覺得應該遠小於1ms，但是由於文件修改時間單位是毫秒，沒辦法更精確的測量）。

待續。。。

Binhua Liu原創文章，轉載請註明原地址http://www.cnblogs.com/Binhua-Liu/p/5609396.html