ElasticSearch第4篇（億級中文數據量 ElasticSearch與Sphinx建索引速度、查詢速度、併發性能、實測對比）

經過實測：1.09億的數據量進行中文檢索。ElasticSearch單機的檢索性能在0.005~5.6秒之間，此檢索速度可滿足95%的業務場景（註意：每條ES文檔平均65個漢字，數據源取自幾千本小說，大部分文檔在15~300個漢字之間，不然字數太多索引太大電腦存不下）。

前置文章

由於本文章的前置操作強依賴於另一篇文章，推薦閱讀：
萬字詳解PHP+Sphinx中文億級數據全文檢索實戰（實測億級數據0.1秒搜索耗時）

運行配置

和Sphinx環境保持一致。
伺服器配置：CentOS7.6 16核4G記憶體。固態硬碟。
ES配置：ElasticSearch 8.14.1單機，預設配置，使用IK分詞器的ik_max_word配置。不設置分片和副本數量。

數據準備

和Sphinx用的數據源保持一致。
依舊是上次用的幾千本小說，整合後的單個txt文件9.57個G，用\n間隔，作為一個ES文檔。
數據量為109 450 000條數據。

數據插入

• 創建索引與映射，並修改max_result_window參數

$params = [
    'index' => 'performance_test',
    'body'  => [
        'settings' => [
            'analysis' => [
                'analyzer' => [
                    'ik_analyzer' => [
                        'type'      => 'ik_max_word',
                    ],
                ],
            ],
        ],
        'mappings' => [
            'properties' => [
                'id' => [
                    'type'     => 'integer',
                ],
                'content' => [
                    'type'     => 'text',
                    'analyzer' => 'ik_analyzer',
                ],
            ],
        ],
    ],
];

$response = $client->indices()->create($params);
dd($response->asBool());


$params = [
    'index' => 'performance_test',
    'body'  => [
        'index' => [
            'max_result_window' => 2147483647 //用於控制在搜索查詢中可以檢索到的最大文檔數，有符號int類型,最大可設置2^31 - 1，大了會有性能問題
        ]
    ]
];

$response = $client->indices()->putSettings($params);
dd($response->asBool());

• 插入數據

//這段代碼只確保可批量插入，忽略精準的數據處理高可用問題。
$start = microtime(true);
ini_set('memory_limit', '4096M');
set_time_limit(0);

include __DIR__ . './vendor/autoload.php';

$client = \Elasticsearch\ClientBuilder::create()->setHosts(['192.168.0.183:9200'])
    ->setBasicAuthentication('elastic', '123456')->build();


/**
 * @function 逐行讀取大文件
 * @param    $file_name string 文件名
 * @return   Generator|object
 */
function readLargeFile($file_name) {
    $file = fopen($file_name, 'rb');
    if (! $file) {
        return false;
    }

    while (! feof($file)) {
        $line = fgets($file);
        if ($line !== false) {
            yield $line;
        }
    }

    fclose($file);
}


// 使用生成器逐行讀取大文件
$file_resource = readLargeFile('E:/其它/一億行漢字文本.txt');
foreach ($file_resource as $loop => $line) {
    $loop ++;
    $from_charset = mb_detect_encoding($line, 'UTF-8, GBK, GB2312, BIG5, CP936, ASCII');
    $utf8_str     = @iconv($from_charset, 'UTF-8', $line);
    if(in_array($utf8_str, ["\n", "\r", "\n\r", "\r\n"])) {
        continue;
    }


    $params['body'][] = ['index' => ['_index' => 'performance_test', '_id' => $loop]];
    $params['body'][] = ['id' => $loop, 'content' => $utf8_str];


    if(count($params['body']) >= 100000) {
        $client->bulk($params); //忽略批量插入的錯誤
        $params = [];
    }
}

echo '插入耗時：' . bcsub(microtime(true), $start, 3) . '秒';

實測ES與Sphinx新增數據建索引速度對比

實測ES與Sphinx查詢性能對比

某些項，ElasticSearch搜索出來的結果遠超MySQL和Sphinx查詢的結果，這是分辭彙總的緣故。
而Sphinx使用的是SPH_MATCH_PHRASE格式，所以數量不會有ES那麼多，若用SPH_MATCH_ANY，可能有更多的檢索結果。

實測ES與Sphinx併發性能對比

• 壓測方式 ：ab -c 1 -n 10~1000 127.0.0.1/temp/es/test.php
• 中文定值關鍵字為華盛頓，英文定值關鍵字為XYZ，30位隨機中文或英文字元，由代碼生成（用代碼生成數據源，是避免引入更好的數據源帶來了性能誤差）。
• 由於ES IK分詞器比Sphinx中文分詞器分詞粒度更細，所以併發下30位隨機中文字元檢索性能極具下降。

生成任意正整數個中文字元
function generateRandomChinese($length) {
    $result = '';
    for ($i = 0; $i < $length; $i++) {
        $result .= mb_convert_encoding('&#' . mt_rand(0x3e00, 0x9fa5) . ';', 'UTF-8', 'HTML-ENTITIES');
    }
    return $result;
}

生成任意正整數個英文字元
function generateRandomEnglish($length) {
    $result = '';
    for ($i = 0; $i < $length; $i++) {
        $result .= chr(mt_rand(97, 122)); // 小寫字母ASCII碼範圍: 97~122；大寫字母：65~90
    }
    return $result;
}

ES與Sphinx各項優缺點直觀對比