Elasticsearch必知必會的乾貨知識二:ES索引操作技巧

来源:https://www.cnblogs.com/zuowj/archive/2020/07/27/13384701.html
-Advertisement-
Play Games

該系列上一篇文章《Elasticsearch必知必會的乾貨知識一:ES索引文檔的CRUD》 講瞭如何進行index的增刪改查,本篇則側重講解說明如何對index進行創建、更改、遷移、查詢配置信息等。 僅創建索引:PUT index PUT /index 添加欄位設置(mappings):PUT in ...


該系列上一篇文章《Elasticsearch必知必會的乾貨知識一:ES索引文檔的CRUD》 講瞭如何進行index的增刪改查,本篇則側重講解說明如何對index進行創建、更改、遷移、查詢配置信息等。

  1. 僅創建索引:PUT index

    PUT /index
    
  2. 添加欄位設置(mappings):PUT index/_mapping/type,如:(properties下均為索引欄位)

    PUT /index/_mapping/_doc 
    
    {
      "properties": {
        "email": {
          "type": "keyword"
        }
      }
    }
    
  3. 添加索引設置(settings):PUT /index/_settings,如:

    PUT /index/_settings
    
    {
        "number_of_shards":"8",
        "max_inner_result_window":"130000",
        "max_result_window":"130000",
        "analysis":{
            "analyzer":{
                "ngram_analyzer":{
                    "tokenizer":"ngram_tokenizer"
                }
            },
            "tokenizer":{
                "ngram_tokenizer":{
                    "token_chars":[
                        "letter",
                        "digit",
                        "punctuation"
                    ],
                    "type":"ngram",
                    "max_gram":"1"
                }
            }
        }
    }
    
  4. 添加別名或刪除別名:POST /_aliases 或 PUT /index/_alias/name ,如:(remove表示刪除別名,add表示添加別名)

POST  /_aliases
{
    "actions" : [
        { "remove" : { "index" : "test1", "alias" : "alias1" } },
        { "add" : { "index" : "test2", "alias" : "alias1" } }
    ]
}

PUT /index/_alias/name   exp:/index/_alias/index100 

  1. 一次性創建包含完整的別名(alias)、欄位(mappings)、設置(settings)的索引,如:

    PUT /index_name
    {
        "index_name":{
            "aliases":{
                "index_alias_name":{
    
                }
            },
            "mappings":{
                "index_type":{
                    "dynamic":"false",
                    "properties":{
                        "doubleField1":{
                            "type":"double",
                            "null_value":0
                        },
                        "keywordField2":{
                            "type":"keyword",
                            "null_value":""
                        },
                        "longField3":{
                            "type":"long",
                            "null_value":0
                        },
                        "textField4":{
                            "type":"text",
                            "fields":{
                                "raw":{
                                    "type":"keyword",
                                    "null_value":""
                                }
                            },
                            "analyzer":"ngram_analyzer"
                        },
                        "dateField5":{
                            "type":"date",
                            "null_value":"-62167420800000",
                            "format":"yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
                        }
                    }
                }
            },
            "settings":{
                "number_of_shards":"3",
                "number_of_replicas":"2",
                "max_inner_result_window":"130000",
                "max_result_window":"130000",
                "analysis":{
                    "analyzer":{
                        "ngram_analyzer":{
                            "tokenizer":"ngram_tokenizer"
                        }
                    },
                    "tokenizer":{
                        "ngram_tokenizer":{
                            "token_chars":[
                                "letter",
                                "digit",
                                "punctuation"
                            ],
                            "type":"ngram",
                            "max_gram":"1"
                        }
                    }
                }
            }
        }
    }
    
  2. index自動滾動【Rollover】,即:當索引達到預設的滾動條件時,會自動創建新的索引(index),並將別名(alias)指向最新的索引,原索引將被自動刪除映射,如:(先創建索引並指名索引別名,然後執行_rollover API 且設定滾動的條件值,最後正常的插入文檔數,當達到滾動條件後,則會自動觸發index _rollover)

    POST index_alias_name/_rollover/
    {
      "conditions": {
        "max_age": "7d", //設置:最大時間7天
        "max_docs": 10000,//設置:最大文檔記錄數
        "max_size":  "5gb" //設置:索引最大容量
      }
    }
    
    //Response:
    {
      "old_index": "舊索引名",
      "new_index": "新索引名",
      "rolled_over": true,
      "dry_run": false,
      "acknowledged": true,
      "shards_acknowledged": true,
      "conditions": {
        "[max_docs: 10000]": true,
        "[max_age: 7d]": false,
        "[max_size: 5gb]": false
      }
    }
    
    //POST index_alias_name/_doc -d {index文檔JSON}  插入10000以上的文檔記錄
    
  3. 重建索引(_reindex),即:一旦索引被創建,則無法直接修改索引欄位的mapping屬性,必需要重建索引然後將舊的索引數據遷移到新的索引中才行(遷移過程底層使用了scroll API ),如:

    POST _reindex
    {
      "conflicts": "proceed",//發生衝突繼續執行
      "source": {
        "index": "old_index",
        "type": "_doc",
        "size": 5000,  //設置每批遷移的文檔記錄數
        "_source": ["user", "_doc"], //可設置要遷移的索引欄位,不設置則預設所有欄位
        "query": { //可設置要遷移的文檔記錄過濾條件
          "match_all": { }
        }
      },
      "dest": {
        "index": "new_index",
        "type": "_doc",
        "version_type": "internal" //"internal"或者不設置,則Elasticsearch強制性的將文檔轉儲到目標中,覆蓋具有相同類型和ID的任何內容
      }
    }
    

    其它說明可參見:ES資料庫重建索引——Reindex(數據遷移)

  4. 查詢index的完整定義信息:GET /index ,如:

    GET /index
    
  5. 只查詢mapping欄位信息:GET /index/_mapping (帶s也可以)

    GET /index/_mapping OR /index/_mappings 
    OR /index/_mapping/_doc【如有多個type可以加上指定type】
    
  6. 只查詢settings信息:GET /index/_settings

    GET /index/_settings
    

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 很多開源軟體都支持include這個指令,把某個目錄下的文件導入到指定位置做配置文件的方式(最常見的就是把某個目錄下的以點conf結尾的文件導入到當前位置);以上紅框中的內容表示把/usrlocal/reds/conf.d/test.conf文件都導入到此處;這裡需要註意一點redis好像不支持以... ...
  • 本文更新於2020-05-04,使用MySQL 5.7,操作系統為Deepin 15.4。 忘記roo密碼 使用mysqld_safe --skip-grant-tables跳過許可權系統啟動服務。 不使用賬號密碼,直接使用mysql登錄。 使用UPDATE mysql.user SET authen ...
  • 在.net開發中我們經常會用到SQL Server,微軟的SQL Server其實還算不錯,而且其Developer(開發者版)也免費對用戶使用,但是在安裝的過程中,尤其是在沒有之前版本的全新安裝時,往往會出現很多問題,在本文中我將詳細再現整個安裝流程,並對出現的問題給出解決辦法。 ...
  • DECLARE @tbl nvarchar(265) SELECT @tbl = '' SELECT o.name,i.index_id, i.name, i.type_desc, substring(ikey.cols, 3, len(ikey.cols))AS key_cols, substri ...
  • SQL語句執行順序 From 表連接 on連接條件,形成新的虛擬表 where 篩選條件 group by 生成新的結果集合 group by 分組列表 having 分組後篩選 select 選出顯示的 order by 排序 limit 分頁/個數限制 子查詢順序 除了exists,先執行子查詢 ...
  • select c.unique_compiles as 將從該缺失索引組受益的編譯和重新編譯數, c.user_seeks as 建索引後可能的使用查找次數, c.user_scans as 建索引後可能的使用掃描次數, c.statement as 表名, c.equality_columns, ...
  • 為了更方便的操作elasticsearch,我們需要安裝kibana kibana提供了一個開發工具,可以很方便的操作elasticsearch 打開kibana官網下載頁面 https://www.elastic.co/cn/downloads/kibana 安裝kibana 修改kibana相關 ...
  • 最近登錄到Elasticsearch官網發現Elasticsearch已經更新到7.8的版本了,但是自己公司使用的還是6.4版本,查了下,發現7.X的版本與6.X的版本差別還挺大的,所以準備在自己的個人伺服器上搭建一個7.6的版本,提前瞭解一下新特性,為以後公司遷移到ES7.X提前做好準備,這裡把自 ...
一周排行
    -Advertisement-
    Play Games
  • 概述:在C#中,++i和i++都是自增運算符,其中++i先增加值再返回,而i++先返回值再增加。應用場景根據需求選擇,首碼適合先增後用,尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中,++i 和 i++ 都是自增運算符,但它們在操作上有細微的差異,主要體現在操作的 ...
  • 上次發佈了:Taurus.MVC 性能壓力測試(ap 壓測 和 linux 下wrk 壓測):.NET Core 版本,今天計劃準備壓測一下 .NET 版本,來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能,以便後續持續優化改進。 為了方便對比,本文章的電腦環境和測試思路,儘量和... ...
  • .NET WebAPI作為一種構建RESTful服務的強大工具,為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時,正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性,如[FromRoute]、[FromQuery]和[FromBody],用 ...
  • 原因:我之所以想做這個項目,是因為在之前查找關於C#/WPF相關資料時,我發現講解圖像濾鏡的資源非常稀缺。此外,我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時,會導致CPU的渲染負擔過重。因此,我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • 引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入,上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試,今天用這個示例來演示一下如何用Bogus創建模擬數據 ,和 EFCore 的種子數據生成 Bogus 的優 ...
  • 一、前言 在自己的項目中,涉及到實時心率曲線的繪製,項目上的曲線繪製,一般很難找到能直接用的第三方庫,而且有些還是定製化的功能,所以還是自己繪製比較方便。很多人一聽到自己畫就害怕,感覺很難,今天就分享一個完整的實時心率數據繪製心率曲線圖的例子;之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • 如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式,但發現 App.xaml 中定義的資源沒有被正確載入,那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣,當你創建 Ap ...
  • 一:背景 1. 講故事 上個月有個朋友在微信上找到我,說他們的軟體在客戶那邊隔幾天就要崩潰一次,一直都沒有找到原因,讓我幫忙看下怎麼回事,確實工控類的軟體環境複雜難搞,朋友手上有一個崩潰的dump,剛好丟給我來分析一下。 二:WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 前言 .NET生態中有許多依賴註入容器。在大多數情況下,微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器,使用很方便。 但是筆者在使用中一直有一個頭疼的問題:服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響,但是內置容器支持註冊開放泛型服 ...
  • 一、前言 在項目開發過程中,DataGrid是經常使用到的一個數據展示控制項,而通常表格的最後一列是作為操作列存在,比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中,預設只支持固定左側列,這跟大家習慣性操作列放最後不符,今天就來介紹一種簡單的方式實現固定右側列。(這裡的實現方式參考的大佬 ...