Redis簡介 Redis是一個基於C語言開發的開源(BSD許可),開源高性能的高級記憶體數據結構存儲,用作資料庫、緩存和消息代理。它支持數據結構,如 字元串、散列、列表、集合,帶有範圍查詢的排序集,點陣圖,超級日誌,具有半徑查詢和流的地理空間索引。Redis具有內置複製,Lua腳本,LRU驅逐,事務和 ...
Redis簡介
Redis是一個基於C語言開發的開源(BSD許可),開源高性能的高級記憶體數據結構存儲,用作資料庫、緩存和消息代理。它支持數據結構,如 字元串、散列、列表、集合,帶有範圍查詢的排序集,點陣圖,超級日誌,具有半徑查詢和流的地理空間索引。Redis具有內置複製,Lua腳本,LRU驅逐,事務和不同級別的磁碟持久性,並通過Redis Sentinel和Redis Cluster自動分區。
可以對這些數據類型進行原子性操作,例如 附加到字元串;遞增哈希值;將元素推送到列表中;計算集合交集,並集和差異;或則在排序中獲得排名最高的成員。為了實現其出色的性能,Redis使用記憶體數據集。根據您的配置情況,可以通過 每隔一段時間將數據集轉存儲到磁碟或通過每個命令附加到日誌文件來保存它。如果您只需要功能豐富的網路記憶體緩存,則可以選擇禁用持久性。
Redis還支持簡單到設置的主從非同步複製,具有非常快速的非阻塞第一次同步,自動重新連接以及在網路分割上的部分重新同步。
核心對象
RedisObject,圖片來源:一文讀懂redis
Redis五種數據結構對應的編碼,圖片來源:對象處理機制
五種數據結構類型,圖片來源:初識Redis
1. Redis中的字元串
Redis的STRING和其他編程語言或則其他鍵值存儲提供的字元串非常的相似。本文在使用圖片表示鍵值的時候,通常會將鍵名(key name)和值的類型放在方框的頂部,將值放在方框的裡面。
STRING擁有一些和其他鍵值存儲相似的命令,比如GET(獲得值)、SET(設置值)和DEL(刪除值)。
2. Redis中的列表
Redis對鏈表(linked-list)結構的支持使得它在鍵值存儲的世界中獨樹一幟。一個列表結構可以有序的存儲多個字元串,和表示字元串時使用的方法一樣。
list-key是一個包含三個元素的列表鍵,註意列表中的元素時可以重覆的。
Redis列表可執行的操作和很多編程語言李米娜的列表操作非常的相似:LPUSH命令和RPUSH命令分別用戶將元素推送至列表的左端(left end)和右端(right end);LPOP命令和RPOP命令分別用於從列表的左端和右端彈出元素;LINDEX命令用於獲取列表在給定位置上的一個元素;LRANGE命令用於獲取列表在給定範圍上的所有元素。
3. Redis中的集合
Redis的集合和列表都可以存儲多個字元串,它們之間的不同在於,列表可以存儲多個相同的字元串,而集合則通過使用散列表來保證自己存儲的每個字元都是各個相同的(這些散列表只有鍵,但沒有與鍵相關聯的值)。
因為Redis的集合使用無序(unordered)方式存儲元素,所以用戶不能像使用列表那樣,將元素推入到集合的某一端,或者從結合的某一端彈出元素。不過用戶可以使用SADD命令將元素添加到集合,或者使用SREM命令從集合裡面移除元素。另外,還使用SISMEMBER命令快速地檢查一個元素是否已經存在於集合中,或者使用SMEMBERS命令獲取集合包含的所有元素(如果集合包含的元素非常多,那麼SMEMBERS命令的執行速度可能會很慢,所以請謹慎地使用這個命令)。
4. Redis中的散列
Redis的散列可以存儲多個鍵值對之間的映射。和字元串一樣,散列存儲的值既可以時字元串又可以時數字值,並且用戶同樣可以對散列存儲的數字值執行自增操作或自減操作。
hash-key是一個包含兩個鍵值對的散列鍵。
散列在很多方面就像是一個微縮版的Redis,好幾個字元串命令都有相應的散列版本。其操作命令:HSET 在散列裡面關聯起給定的鍵值對;HGET 獲取指定散列鍵的值;HGETALL 獲取散列包含的所有鍵值對;HDEL 如果給定鍵存在於散列裡面,那麼移除這個鍵。
5. Redis中的有序集合
Redis有序集合和散列一樣,都用於存儲鍵值對,其中有序集合的每個鍵稱為成員(member),都是獨一無二的,而有序集合的每個值稱為分值(score),都必須是浮點數。有序集合是Redis裡面唯一既可以根據成員訪問元素(這一點和散列一樣),又可以根據分值以及分值的排列順序來訪問元素的結構。
zset-key是一個包含兩個元素的有序集合鍵。
和Redis的其他結構一樣,用戶可以對有序集合執行添加、移除和獲取等操作。
Redis集群安裝及配置
伺服器及節點:
192.168.56.101 7000、1001、7002;
192.168.56.102 7003、7004、7005
1. 安裝GCC編譯工具,不然可能會編譯的過程中出現編譯失敗情況
yum install gcc g++ gcc-c++ make
2. 下載並安裝Redis 官網下載
cd /opt 如果未找到wget命令:yum -y install wget wget http://download.redis.io/releases/redis-4.0.10.tar.gz tar xzf redis-4.0.10.tar.gz cd redis-4.0.10 make
3. 如果因為編譯失敗,又殘留的文件
make distclean
4. 創建節點
步驟 1:
首先在 192.168.56.101機器上 /opt/redis-4.0.10目錄下建 redis-cluster 目錄
mkdir /opt/redis-4.0.10/redis-cluster
步驟 2:
在 redis-cluster 目錄下,創建名為7000、7001、7002的目錄
mkdir 7000 7001 7002
步驟 3:
分別修改這三個配置文件,把如下redis.conf 配置內容粘貼進去
vi 7000/redis.conf vi 7001/redis.conf vi 7002/redis.conf
redis.conf 示例:
port 7000 bind 192.168.56.101 daemonize yes pidfile /var/run/redis_7000.pid logfile /var/log/redis/redis_7000.log cluster-enabled yes cluster-config-file nodes_7000.conf cluster-node-timeout 10100 dbfilename dump_7000.rdb appendonly yes appendfilename "appendonly_7000.aof"
說明:
#埠7000,7001,7002 port 7000 #預設ip為127.0.0.1,需要改為其他節點機器可訪問的ip,否則創建集群時無法訪問對應的埠,無法創建集群 bind 192.168.56.101 #redis後臺運行 daemonize yes #pidfile文件對應7000,7001,7002 pidfile /var/run/redis_7000.pid #開啟集群,把註釋#去掉 cluster-enabled yes #集群的配置,配置文件首次啟動自動生成 7000,7001,7002 cluster-config-file nodes_7000.conf #請求超時,預設15秒,可自行設置 cluster-node-timeout 10100 #aof日誌開啟,有需要就開啟,它會每次寫操作都記錄一條日誌 appendonly yes
步驟 4:
接著在另外一臺機器上(192.168.56.102)重覆以上三步,只是把目錄改為7003、7004、7005對應的配置文件也按照這個規則修改即可
5. 啟動節點
# 第一臺機器上執行 3個節點 for((i=0;i<=2;i++)); do /opt/redis-4.0.10/src/redis-server /opt/redis-4.0.10/redis-cluster/700$i/redis.conf; done # 第二台機器上執行 3個節點 for((i=3;i<=5;i++)); do /opt/redis-4.0.10/src/redis-server /opt/redis-4.0.10/redis-cluster/700$i/redis.conf; done # 啟動單個節點示例 /opt/redis-4.0.10/src/redis-server /opt/redis-4.0.10/redis-cluster/7000/redis.conf
6. 檢查服務
檢查各 Redis 各個節點啟動情況
ps -ef | grep redis //redis是否啟動成功 netstat -tnlp | grep redis //監聽redis埠
安裝 netstat :https://www.cnblogs.com/cocoajin/p/4064547.html
7. 安裝Ruby
yum -y install ruby ruby-devel rubygems rpm-build
gem install redis
安裝過程中可能會出現異常情況發生,比如:
解決辦法:https://blog.csdn.net/FengYe_YuLu/article/details/77628094
8. 創建集群
註意:
在任意一臺上運行 不要在每台機器上都運行,一臺就夠了。
Redis 官方提供了 redis-trib.rb 這個工具,就在解壓目錄的 src 目錄中
/opt/redis-4.0.10/src/redis-trib.rb create --replicas 1 192.168.56.101:7000 192.168.56.101:7001 192.168.56.101:7002 192.168.56.102:7003 192.168.56.102:7004 192.168.56.102:7005
出現以下內容,則表示集群創建成功了:
[root@master1 /]# /opt/redis-4.0.10/src/redis-trib.rb create --replicas 1 192.168.56.101:7000 192.168.56.101:7001 192.168.56.101:7002 192.168.56.102:7003 192.168.56.102:7004 192.168.56.102:7005 >>> Creating cluster >>> Performing hash slots allocation on 6 nodes... Using 3 masters: 192.168.56.101:7000 192.168.56.102:7003 192.168.56.101:7001 Adding replica 192.168.56.102:7005 to 192.168.56.101:7000 Adding replica 192.168.56.101:7002 to 192.168.56.102:7003 Adding replica 192.168.56.102:7004 to 192.168.56.101:7001 M: 6af67c2741b3001e6d328621ac8a2e539b65d683 192.168.56.101:7000 slots:0-5460 (5461 slots) master M: e2f298953141f46b255b0f35372af917afc16205 192.168.56.101:7001 slots:10923-16383 (5461 slots) master S: 3516ed59324a7421878b2c17aba44d91ec7e9439 192.168.56.101:7002 replicates ab5b4535f3382c13d7afb91d005e8a87d830eb46 M: ab5b4535f3382c13d7afb91d005e8a87d830eb46 192.168.56.102:7003 slots:5461-10922 (5462 slots) master S: 16822c6d58461f9edaf965aa53efdac59d1adce5 192.168.56.102:7004 replicates e2f298953141f46b255b0f35372af917afc16205 S: c00dea4a44e01e1f17b29f7b3b95e0c57b06a653 192.168.56.102:7005 replicates 6af67c2741b3001e6d328621ac8a2e539b65d683 Can I set the above configuration? (type 'yes' to accept): yes
輸入 yes
>>> Nodes configuration updated >>> Assign a different config epoch to each node >>> Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join.... >>> Performing Cluster Check (using node 192.168.56.101:7000) M: 6af67c2741b3001e6d328621ac8a2e539b65d683 192.168.56.101:7000 slots:0-5460 (5461 slots) master 1 additional replica(s) S: c00dea4a44e01e1f17b29f7b3b95e0c57b06a653 192.168.56.102:7005 slots: (0 slots) slave replicates 6af67c2741b3001e6d328621ac8a2e539b65d683 S: 3516ed59324a7421878b2c17aba44d91ec7e9439 192.168.56.101:7002 slots: (0 slots) slave replicates ab5b4535f3382c13d7afb91d005e8a87d830eb46 M: ab5b4535f3382c13d7afb91d005e8a87d830eb46 192.168.56.102:7003 slots:5461-10922 (5462 slots) master 1 additional replica(s) S: 16822c6d58461f9edaf965aa53efdac59d1adce5 192.168.56.102:7004 slots: (0 slots) slave replicates e2f298953141f46b255b0f35372af917afc16205 M: e2f298953141f46b255b0f35372af917afc16205 192.168.56.101:7001 slots:10923-16383 (5461 slots) master 1 additional replica(s) [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered.
重啟集群過程中,可能出現問題:
[ERR] Node 192.168.56.101:7000 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.
解決:
需要將redis-cluster數據文件清空,執行腳本如下:
rm -rf /opt/redis-4.0.10/redis-cluster/dump.rdb /opt/redis-4.0.10/redis-cluster/nodes_*.conf /opt/redis-4.0.10/redis-cluster/appendonly.aof
9. 關閉集群
推薦:
pkill redis
也可以通過迴圈節點方式,逐個關閉:
for((i=0;i<=2;i++)); do /opt/redis-4.0.10/src/redis-cli -c -h 192.168.56.101 -p 700$i shutdown; done for((i=3;i<=5;i++)); do /opt/redis-4.0.10/src/redis-cli -c -h 192.168.56.102 -p 700$i shutdown; done
關閉單個節點:
/opt/redis-4.0.10/src/redis-cli -c -h 192.168.56.101 -p 7000 shutdown
10. 集群驗證
步驟1 . 連接集群測試
參數 -C 可連接到集群,因為 redis.conf 將 bind 改為了ip地址,所以 -h 參數不可以省略,-p 參數為埠號
我們在192.168.256.101機器redis 7000 的節點set 一個key
/opt/redis-4.0.10/src/redis-cli -h 192.168.56.101 -c -p 7000
執行如下:
set name xushuyi
get name
我們在192.168.56.102機器redis 7000 的節點get一個key
/opt/redis-4.0.10/src/redis-cli -h 192.168.56.102 -c -p 7000
執行如下:
get name
步驟2 . 檢查集群狀態
/opt/redis-4.0.10/src/redis-trib.rb check 192.168.56.101:7000
步驟3 . 列出集群節點
/opt/redis-4.0.10/src/redis-cli -h 192.168.56.101 -c -p 7000
更詳細的,請參考:https://segmentfault.com/a/1190000010682551
11. spring boot 2.0.x 服務集成Redis集群
1. 引入依賴
<!-- redis --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <!-- redis 依賴 commons-pool --> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-pool2</artifactId> </dependency>
2. 配置文件
# redis 集群配置 spring: redis: cluster: nodes: 192.168.56.101:7000,192.168.56.101:7001,192.168.56.101:7002,192.168.56.102:7003,192.168.56.102:7004,192.168.56.102:7005 timeout: 6000ms # 連接池超時時間(毫秒) # 密碼沒有可以不填 password: database: 0 # 資料庫索引 lettuce: pool: max-active: 8 # 連接池最大活躍連接數(使用負值表示沒有限制) max-idle: 8 # 連接池最大空閑連接數 max-wait: -1ms # 連接池最大阻塞等待時間 毫秒(使用負值表示沒有限制) min-idle: 0 # 最小空閑連接數
3. 創建RedisConfig配置文件
package com.sinosoft.config; import com.fasterxml.jackson.annotation.JsonAutoDetect; import com.fasterxml.jackson.annotation.PropertyAccessor; import com.fasterxml.jackson.databind.ObjectMapper; import org.springframework.boot.autoconfigure.AutoConfigureAfter; import org.springframework.boot.autoconfigure.data.redis.RedisAutoConfiguration; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.data.redis.connection.lettuce.LettuceConnectionFactory; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer; import org.springframework.data.redis.serializer.StringRedisSerializer; /** * @ClassName: RedisConfig * @Description: Redis配置 * @author: Created by xushuyi <a href="[email protected]">Contact author</a> * @date: 2019/2/28 16:01 * @Version: V1.0 */ @Configuration @AutoConfigureAfter(RedisAutoConfiguration.class) public class RedisConfig { /** * 註入自定義的RedisTemplate * * @param redisConnectFactory LettuceConnectionFactory * @return RedisTemplate */ @Bean public RedisTemplate<String, Object> redisTemplate(LettuceConnectionFactory redisConnectFactory) { RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>(); redisTemplate.setConnectionFactory(redisConnectFactory); // 使用Jackson2JsonRedisSerializer來序列化和反序列化redis的value值 Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class); ObjectMapper objectMapper = new ObjectMapper(); objectMapper.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY); objectMapper.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL); jackson2JsonRedisSerializer.setObjectMapper(objectMapper); redisTemplate.setValueSerializer(jackson2JsonRedisSerializer); // 使用StringRedisSerializer來序列化和反序列化redis的key值 redisTemplate.setKeySerializer(new StringRedisSerializer()); redisTemplate.setHashKeySerializer(new StringRedisSerializer()); redisTemplate.setHashValueSerializer(new StringRedisSerializer()); redisTemplate.afterPropertiesSet(); return redisTemplate; } }
4. 啟動入口增加 @EnableCaching
5. 單元測試
package com.sinosoft.redis; import com.sinosoft.AccountApplication; import lombok.extern.slf4j.Slf4j; import org.junit.After; import org.junit.Before; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.boot.test.context.SpringBootTest; import org.springframework.cache.annotation.Cacheable; import org.springframework.context.annotation.Import; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.test.context.ActiveProfiles; import org.springframework.test.context.junit4.SpringJUnit4ClassRunner; import org.springframework.test.context.web.WebAppConfiguration; /** * @ClassName: RedisTest * @Description: Redis測試 * @author: Created by xushuyi <a href="[email protected]">Contact author</a> * @date: 2019/2/28 16:18 * @Version: V1.0 */ @Slf4j @RunWith(SpringJUnit4ClassRunner.class) // SpringJUnit支持,由此引入Spring-Test框架支持! @SpringBootTest @Import(AccountApplication.class) // 指定我們SpringBoot工程的Application啟動類 @ActiveProfiles(profiles = "dev") // 指定Application啟動需要引用的配置文件 @WebAppConfiguration // 由於是Web項目,Junit需要模擬ServletContext,因此我們需要給我們的測試類加上@WebAppConfiguration public class RedisTest { /** * 獲取RedisTemplate */ @Autowired private RedisTemplate redisTemplate; /** * 測試前 */ @Before public void before() { log.info("測試前..."); } /** * 開始測試 */ @Test public void redisTest() { // 測試通過RedisTemplate操作 redisTemplate.opsForValue().set("name", "huachunjie"); Object name = redisTemplate.opsForValue().get("name"); log.info("獲取Redis集群中key為name對應的值:{}", name); } @After public void after() { log.info("測試後..."); } }
6. 基於註解的方式實現
/** * 測試Redis緩存 * * @param requestInfo 入參 * @return */ @Override @Cacheable(value = "cacheInfo", key = "#requestInfo.token", condition = "#requestInfo != null") public ResponseInfo testRedis(RequestInfo<String> requestInfo) { log.info("如果沒有進來,則說明啟用了Redis緩存..."); return new ResponseInfo<>(true, "success", 200, null); }