Python全棧開發之---redis資料庫

1、redis簡介

redis是一個key-value存儲系統。和Memcached類似，它支持存儲的value類型相對更多，包括string(字元串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash（哈希類型）。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支持各種不同方式的排序。與memcached一樣，為了保證效率，數據都是緩存在記憶體中。區別的是redis會周期性的把更新的數據寫入磁碟或者把修改操作寫入追加的記錄文件，並且在此基礎上實現了master-slave(主從)同步。


1. 使用Redis有哪些好處？

(1) 速度快，因為數據存在記憶體中，類似於HashMap，HashMap的優勢就是查找和操作的時間複雜度都是O(1)

(2) 支持豐富數據類型，支持string，list，set，sorted set，hash

(3) 支持事務，操作都是原子性，所謂的原子性就是對數據的更改要麼全部執行，要麼全部不執行

(4) 豐富的特性：可用於緩存，消息，按key設置過期時間，過期後將會自動刪除


2. redis相比memcached有哪些優勢？

(1) memcached所有的值均是簡單的字元串，redis作為其替代者，支持更為豐富的數據類型

(2) redis的速度比memcached快很多

(3) redis可以持久化其數據


3. redis常見性能問題和解決方案：

(1) Master最好不要做任何持久化工作，如RDB記憶體快照和AOF日誌文件

(2) 如果數據比較重要，某個Slave開啟AOF備份數據，策略設置為每秒同步一次

(3) 為了主從複製的速度和連接的穩定性，Master和Slave最好在同一個區域網內

(4) 儘量避免在壓力很大的主庫上增加從庫

(5) 主從複製不要用圖狀結構，用單向鏈表結構更為穩定，即：Master <- Slave1 <- Slave2 <- Slave3...

這樣的結構方便解決單點故障問題，實現Slave對Master的替換。如果Master掛了，可以立刻啟用Slave1做Master，其他不變。



 

4. MySQL里有2000w數據，redis中只存20w的數據，如何保證redis中的數據都是熱點數據

 相關知識：redis 記憶體數據集大小上升到一定大小的時候，就會施行數據淘汰策略。redis 提供 6種數據淘汰策略：

voltile-lru：從已設置過期時間的數據集（server.db[i].expires）中挑選最近最少使用的數據淘汰

volatile-ttl：從已設置過期時間的數據集（server.db[i].expires）中挑選將要過期的數據淘汰

volatile-random：從已設置過期時間的數據集（server.db[i].expires）中任意選擇數據淘汰

allkeys-lru：從數據集（server.db[i].dict）中挑選最近最少使用的數據淘汰

allkeys-random：從數據集（server.db[i].dict）中任意選擇數據淘汰

no-enviction（驅逐）：禁止驅逐數據

 

5. Memcache與Redis的區別都有哪些？

1)、存儲方式

Memecache把數據全部存在記憶體之中，斷電後會掛掉，數據不能超過記憶體大小。

Redis有部份存在硬碟上，這樣能保證數據的持久性。

2)、數據支持類型

Memcache對數據類型支持相對簡單。

Redis有複雜的數據類型。


3），value大小

redis最大可以達到1GB，而memcache只有1MB



6. Redis 常見的性能問題都有哪些？如何解決？

 

1).Master寫記憶體快照，save命令調度rdbSave函數，會阻塞主線程的工作，當快照比較大時對性能影響是非常大的，會間斷性暫停服務，所以Master最好不要寫記憶體快照。


2).Master AOF持久化，如果不重寫AOF文件，這個持久化方式對性能的影響是最小的，但是AOF文件會不斷增大，AOF文件過大會影響Master重啟的恢復速度。Master最好不要做任何持久化工作，包括記憶體快照和AOF日誌文件，特別是不要啟用記憶體快照做持久化,如果數據比較關鍵，某個Slave開啟AOF備份數據，策略為每秒同步一次。

 
3).Master調用BGREWRITEAOF重寫AOF文件，AOF在重寫的時候會占大量的CPU和記憶體資源，導致服務load過高，出現短暫服務暫停現象。

4). Redis主從複製的性能問題，為了主從複製的速度和連接的穩定性，Slave和Master最好在同一個區域網內




7, redis 最適合的場景


Redis最適合所有數據in-momory的場景，雖然Redis也提供持久化功能，但實際更多的是一個disk-backed的功能，跟傳統意義上的持久化有比較大的差別，那麼可能大家就會有疑問，似乎Redis更像一個加強版的Memcached，那麼何時使用Memcached,何時使用Redis呢?

       如果簡單地比較Redis與Memcached的區別，大多數都會得到以下觀點：
、Redis不僅僅支持簡單的k/v類型的數據，同時還提供list，set，zset，hash等數據結構的存儲。
、Redis支持數據的備份，即master-slave模式的數據備份。
、Redis支持數據的持久化，可以將記憶體中的數據保持在磁碟中，重啟的時候可以再次載入進行使用。

（1）、會話緩存（Session Cache）

最常用的一種使用Redis的情景是會話緩存（session cache）。用Redis緩存會話比其他存儲（如Memcached）的優勢在於：Redis提供持久化。當維護一個不是嚴格要求一致性的緩存時，如果用戶的購物車信息全部丟失，大部分人都會不高興的，現在，他們還會這樣嗎？

幸運的是，隨著 Redis 這些年的改進，很容易找到怎麼恰當的使用Redis來緩存會話的文檔。甚至廣為人知的商業平臺Magento也提供Redis的插件。

（2）、全頁緩存（FPC）

除基本的會話token之外，Redis還提供很簡便的FPC平臺。回到一致性問題，即使重啟了Redis實例，因為有磁碟的持久化，用戶也不會看到頁面載入速度的下降，這是一個極大改進，類似PHP本地FPC。

再次以Magento為例，Magento提供一個插件來使用Redis作為全頁緩存後端。

此外，對WordPress的用戶來說，Pantheon有一個非常好的插件  wp-redis，這個插件能幫助你以最快速度載入你曾瀏覽過的頁面。

（3）、隊列

Reids在記憶體存儲引擎領域的一大優點是提供 list 和 set 操作，這使得Redis能作為一個很好的消息隊列平臺來使用。Redis作為隊列使用的操作，就類似於本地程式語言（如Python）對 list 的 push/pop 操作。

如果你快速的在Google中搜索“Redis queues”，你馬上就能找到大量的開源項目，這些項目的目的就是利用Redis創建非常好的後端工具，以滿足各種隊列需求。例如，Celery有一個後臺就是使用Redis作為broker，你可以從這裡去查看。

（4），排行榜/計數器

Redis在記憶體中對數字進行遞增或遞減的操作實現的非常好。集合（Set）和有序集合（Sorted Set）也使得我們在執行這些操作的時候變的非常簡單，Redis只是正好提供了這兩種數據結構。所以，我們要從排序集合中獲取到排名最靠前的10個用戶–我們稱之為“user_scores”，我們只需要像下麵一樣執行即可：

當然，這是假定你是根據你用戶的分數做遞增的排序。如果你想返回用戶及用戶的分數，你需要這樣執行：

ZRANGE user_scores 0 10 WITHSCORES

Agora Games就是一個很好的例子，用Ruby實現的，它的排行榜就是使用Redis來存儲數據的，你可以在這裡看到。

（5）、發佈/訂閱

最後（但肯定不是最不重要的）是Redis的發佈/訂閱功能。發佈/訂閱的使用場景確實非常多。我已看見人們在社交網路連接中使用，還可作為基於發佈/訂閱的腳本觸發器，甚至用Redis的發佈/訂閱功能來建立聊天系統！（不，這是真的，你可以去核實）。

 2、Redis安裝和基本使用

一、安裝、啟動Redis

1、redis安裝

wget http://download.redis.io/releases/redis-3.0.6.tar.gz
tar xzf redis-3.0.6.tar.gz
cd redis-3.0.6
make

 2、啟動服務端

src/redis-server

3、啟動客戶端

src/redis-cli
redis> set foo bar
OK
redis> get foo
"bar"

二、Python操作Redis

1、連接redis伺服器

#/usr/bin/python
# -*- coding:utf-8 -*-
import redis
r = redis.Redis(host="192.168.48.128", port=6379)
r.set("shang", "I love you!")
print(r.get("shang"))

2、String操作

1 set(name, value, ex=None, px=None, nx=False, xx=False)
2      ex，過期時間（秒）
3      px，過期時間（毫秒）
4      nx，如果設置為True，則只有name不存在時，當前set操作才執行,同setnx(name, value)
5      xx，如果設置為True，則只有name存在時，當前set操作才執行'''
6 get(name)   　　獲取值
7 mset(name1=“ling”)        批量設置值,()為dict類型
8 mget(‘name1’, ‘name2’)    批量獲取key的值，()為tuple類型
9 append(name, value)

3、List操作

 1 Redis中存儲list類型的數據是在記憶體中，一個name對應一個list
 2 lpush(name, value)
 3 r.lpush("list_name",2)
 4 r.lpush("list_name",3,4,5)#保存在列表中的順序為5，4，3，2
 5 
 6 rpush(name, value)
 7 llen(name)
 8 # name對應的list元素的個數
 9 
10 # linsert(name,where,refvalue,value)
11 # name   代表的是list對應的key值
12 # where     AFTER   BEFORE
13 # refvalue    list中的某個元素
14 # value      你要增加的值是什麼
15 r.linsert("list1", "AFTER",  "test2", "hello")
16 
17 
18 r.lset(name,index,value)：對name對應的list中的某一個索引位置重新賦值。
19 # 參數：
20     # name，redis的name
21     # index，list的索引位置
22 # value，要設置的值
23 r.lrem(name,value,num):在name對應的list中刪除指定的值
24 # 參數：
25     # name，redis的name
26     # value，要刪除的值
27     # num，  num=0，刪除列表中所有的指定值；
28            # num=2,從前到後，刪除2個；
29            # num=-2,從後向前，刪除2個

lpop(name) 在name對應的列表的左側獲取第一個元素併在列表中移除，返回值刪除那個元素的值

擴展： rpop(name)表示從右向左操作

lindex(name,index)：在name對應的列表中根據索引取列表元素

lrange(name,start,end)：在name對應的列表分片獲取數據

4、Set操作

 1 Set 不重覆的list
 2 sadd(name, values)
 3 r.sadd("set_name","aa","bb")
 4 smembers(name)
 5 #獲取name對應的集合的所有成員
 6 scard(name)
 7 #獲取name對應的集合中的元素個數
 8 sismember(name, value)
 9 #檢查value是否是name對應的集合內的元素
10 spop(name)
11 #從集合的右側移除一個元素，並將其返回
12 srem(name, value)  刪除集合中的某個元素
13 r.srem("set_name", "aa")

5、Hash操作

 1 Redis在記憶體中存儲hash類型是以name對應一個字典形式存儲的
 2 hset(name,key,value)
 3 #name對應的hash中設置一個鍵值對(不存在，則創建；否則，修改)
 4 #參數：
 5     #name:redis的name
 6     #key:key1對應的hash中的key
 7     #value:value1對應的hash中的value
 8 hget(name,key)
 9 #在name對應的hash中獲取根據key獲取value
10 
11 hmset(name,mapping)
12 #在name對應的hash中批量設置鍵值對
13 #參數：
14      #name：redis的name
15      #mapping：字典，如{'k1':'v1','k2','v2'}
16 hmget(name,keys,*args)
17 #在name對應的hash中獲取多個key的值
18 #參數：
19     #name：redis對應的name
20     #keys：要獲取key的集合，如：['k1','k2','k3']
21     #*args：要獲取的key,如：k1,k2,k3
22 print(r.hmget('test','k1','k2'))   #獲取多個值

hgetall(name)：獲取name對應hash的所有鍵值

hlen(name)：獲取name對應的hash中鍵值的個數

hkeys(name)：獲取name對應的hash中所有的key的值

hvals(name)：獲取name對應的hash中所有的value的值

hexists(name,key)：檢查name對應的hash是否存在當前傳入的key

hdel(name,*keys)：將name對應的hash中指定key的鍵值對刪除

6、其他操作

 1 delete(*names)
 2 #根據name刪除redis中的任意數據類型
 3 exists(name)
 4 #檢測redis的name是否存在
 5 keys(pattern='*')
 6 #根據* ？等通配符匹配獲取redis的name
 7 expire(name ,time)
 8 # 為某個name設置過期時間
 9 rename(src, dst)
10 # 重命名