緩存 前言: 大家都聽過緩存,緩存是幹啥的呢?我們可以和json和pickle來說,兩個程式之間實現信息交互,可以通過在A程式中把數據改成json ,然後傳給B程式,通過文件這個介質。文件這個效率很低。 比方說一個是QQ,一個是微信,我們想要實現二者的交互,我們之前學了rabbitMQ,可以實現消息 ...
緩存
前言:
大家都聽過緩存,緩存是幹啥的呢?我們可以和json和pickle來說,兩個程式之間實現信息交互,可以通過在A程式中把數據改成json ,然後傳給B程式,通過文件這個介質。文件這個效率很低。
比方說一個是QQ,一個是微信,我們想要實現二者的交互,我們之前學了rabbitMQ,可以實現消息的傳遞;對於數據的共用,qq存儲的數據微信可以直接拿到,這個數據是放在記憶體中的,那我們怎麼實現兩個記憶體共用呢?我們要有一個中間商,中間商再啟動一個獨立的程式,自己開闢一塊記憶體,QQ和中間商建立一個socket,微信和中間商業建立一個socket,這樣就實現了數據共用。這個中間商就是緩存。
主流的緩存:mongodb,redis,memcache。
Redis
redis是一個key-value存儲系統,支持存儲的value類型相對較多,包括:string,list(鏈表),set(集合),zset(sorted set -- 有序集合)和hash(哈希類型)。這些數據類型都支持push/pop,add/remove以及交並差集等豐富的操作,並且這些操作都是原子性的。在此基礎上redis支持各種不同排序的方法。為了保證效率,數據是保存在記憶體中的。同時redis會周期性的把更新的數據寫入磁碟或者把修改操作寫入追加的記錄文件,並且在此基礎上實現master-slave(主從)同步
安裝:
wget http://download.redis.io/releases/redis-3.0.6.tar.gz tar xzf redis-3.0.6.tar.gz cd redis-3.0.6 make
啟動服務端:
src/redis-server
啟動客戶端:
src/redis-cli
使用:
127.0.0.1:6379> set name xiaoming OK 127.0.0.1:6379> set age 22 OK 127.0.0.1:6379> keys * 1) "name" 2) "age" 127.0.0.1:6379> get name "xiaoming" 127.0.0.1:6379> get age "22"
keys * :查看系統中存了多少個key
set key value:設置變數值; set key value ex 2:設置變數,並且只能存活2秒鐘
python使用redis
安裝redis模塊:
sudo pip install redis or sudo easy_install redis
redis-py的API使用可以分為:
連接方式,連接池,操作(String操作,Hash操作,List操作,Set操作,Sort Set 操作),管道,發佈訂閱
1.操作模式
兩個類:Redis和StrictRedis用於實現redis命令,StrictRedis用於實現大部分官方的命令,並使用官方語法和命令,Redis是StrictRedis的子類,
import redis r = redis.Redis(host='192.168.1.103',port=6379) r.set('foo','Bar') print(r.get('foo'))
2.連接池
redis-py使用連接池來管理對一個redis server的所有連接,避免每次建立,釋放連接的開銷。預設每個redis實例都會維護一個自己的連接池,可以直接建立一個連接池,然後作為參數Redis,這樣可以實現多個redis實例共用一個連接池
import redis pool = redis.ConnectionPool(host = '192.168.1.103',port=6379) r = redis.Redis(connection_pool=pool) r.set('xu',123) print(r.get('xu'))
3.操作
String操作,redis中的String在記憶體中按照key---value方式進行存儲:
set(name, value, ex=None, px=None, nx=False, xx=False):
在Redis中設置值,預設,不存在則創建,存在則修改
參數:
ex,過期時間(秒)
px,過期時間(毫秒)
nx,如果設置為True,則只有name不存在時,當前set操作才執行
xx,如果設置為True,則只有name存在時,崗前set操作才執行
setnx(name, value):設置值,只有name不存在時,執行設置操作(添加)
setex(name, time,value):設置值,time 過期時間,數字秒 psetex(name, time_ms, value):設置值,毫秒
mset(*args, **kwargs):
批量設置值 如: mset(k1='v1', k2='v2') 或 mget({'k1': 'v1', 'k2': 'v2'})
mget(keys, *args):
批量獲取 如: mget('ylr', 'wupeiqi') 或 r.mget(['ylr', 'wupeiqi'])
getset(name, value):設置新值並獲取原來的值
getrange(key, start, end):
# 獲取子序列(根據位元組獲取,非字元) # 參數: # name,Redis 的 name # start,起始位置(位元組) # end,結束位置(位元組) # 如: "ming" ,0-2表示 "min"
setrange(name, offset, value):
修改字元串內容,從指定字元串索引開始向後替換(新值太長時,則向後添加) # 參數: # offset,字元串的索引,位元組(一個漢字三個位元組) # value,要設置的值
setbit(name, offset, value):
對name對應值的二進位表示的位進行操作 參數: # name,redis的name # offset,位的索引(將值變換成二進位後再進行索引) # value,值只能是 1 或 0 註:如果在Redis中有一個對應: n1 = "foo", 那麼字元串foo的二進位表示為:01100110 01101111 01101111 所以,如果執行 setbit('n1', 7, 1),則就會將第7位設置為1, 那麼最終二進位則變成 01100111 01101111 01101111,即:"goo"
在python中如果想要知道一個字母的二進位是多少,可以先用ord()轉為ASCII 值,然後在用bin()轉換位二進位,然後從後往前數8位,不足補0,就是這個字母的二進位值
什麼時候會用呢?
新浪微博線上用戶會有很多,如果做數據分析,想要看當前有哪些用戶線上,用資料庫的效率是不高的。我們先看一下和命令bitcount,用來計數變數的二進位中有幾個1,如a:0b1100001,bitcount的結果就是3
bitcount(key, start=None, end=None)
獲取name對應的值的二進位表示中 1 的個數 參數: # key,Redis的name # start,位起始位置 # end,位結束位置
那麼資料庫中每個用戶的id是唯一的,從1開始自動累加,加入我們有2億的用戶,有1億線上,我們要統計這1億用戶到底是誰線上,我們可以通過改二進位位來實現,即: (n2是一個新的變數)
加入有一個用戶id為1000的用戶登錄,我們設置:setbit n2 1000 1 ,又登錄了一個id為555的用戶:setbit n2 555 1;用戶id為6000的用戶:setbit n2 6000 1;我們用bitcount來看看n2:
說明線上用戶有3個,這就實現了統計了線上用戶人數,然後我們要看看究竟是誰線上了,用戶id是多少我就取多少位,我們迴圈這個二進位的值就可以看到是對應的那個人線上,比如
我們想看用戶55在不線上,我們用getbit:
我們想看看用戶555在不線上:
我們有2億用戶,最多也就占用2億位,沒有占多大空間,如果是用查看資料庫的方式去看誰線上的話,那表的記錄就非常大,查詢起來也非常慢。
strlen(name):返回name對應值的位元組長度(一個漢字占3個位元組)
incr(self, name, amount=1):
自增 name對應的值,當name不存在時,則創建name=amount,否則,則自增。 參數: # name,Redis的name # amount,自增數(必須是整數)
decr(self, name, amount=1)
# 自減 name對應的值,當name不存在時,則創建name=amount,否則,則自減。 # 參數: # name,Redis的name # amount,自減數(整數)
如果我們不想統計所有用戶線上的列表,你只想統計有多少用戶線上,那隻需要一個計數器,來一個加一個,同樣也可以用redis實現,如果先來了一個用戶,我們就直接:
再來一個用戶:
所以一直來一直來:
如果這個用戶掉線了,就用decr
也就是說使用incr 和decr 能夠實現自增自減
incrbyfloat(self, name, amount=1.0)
# 自增 name對應的值,當name不存在時,則創建name=amount,否則,則自增。 # 參數: # name,Redis的name # amount,自增數(浮點型)
append(key, value):
# 在redis name對應的值後面追加內容 # 參數: key, redis的name value, 要追加的字元串
Hash操作,在redis中hash存在於記憶體中格式是這樣的:
hset(name, key, value)
# name對應的hash中設置一個鍵值對(不存在,則創建;否則,修改) # 參數: # name,redis的name # key,name對應的hash中的key # value,name對應的hash中的value # 註: # hsetnx(name, key, value),當name對應的hash中不存在當前key時則創建(相當於添加)
設置一個info變數,裡面包含name,age,id 等key
hmset(name, mapping)
在name對應的hash中批量設置鍵值對 # 參數: # name,redis的name # mapping,字典,如:{'k1':'v1', 'k2': 'v2'} # 如: # r.hmset('xx', {'k1':'v1', 'k2': 'v2'})
hget(name,key):
在name對應的hash中獲取根據key獲取value
獲得info裡面的name值和age值
hmget(name, keys, *args)
在name對應的hash中獲取多個key的值 # 參數: # name,reids對應的name # keys,要獲取key集合,如:['k1', 'k2', 'k3'] # *args,要獲取的key,如:k1,k2,k3
hgetall(name):獲取name對應
hash
的所有鍵值
如獲取info的所有鍵值:
hlen(name):獲取name對應的hash中鍵值對的個數
hkeys(name):獲取name對應的hash中所有的key的值
查看這個變數下的所有key,“屬性”
hvals(name):獲取name對應的hash中所有的value的值
hexists(name, key):檢查name對應的hash是否存在當前傳入的key,如果存在返回1,不存在返回0
hdel(name,*keys):將name對應的hash中指定key的鍵值對刪除
hincrby(name, key, amount=1):
自增name對應的hash中的指定key的值,不存在則創建key=amount # 參數: # name,redis中的name # key, hash對應的key # amount,自增數(整數)
hincrbyfloat(name, key, amount=1.0)
自增name對應的hash中的指定key的值,不存在則創建key=amount # 參數: # name,redis中的name # key, hash對應的key # amount,自增數(浮點數) # 自增name對應的hash中的指定key的值,不存在則創建key=amount
hscan(name, cursor=0, match=None, count=None)
增量式迭代獲取,對於數據大的數據非常有用,hscan可以實現分片的獲取數據,並非一次性將數據全部獲取完,從而放置記憶體被撐爆 # 參數: # name,redis的name # cursor,游標(基於游標分批取獲取數據) # match,匹配指定key,預設None 表示所有的key # count,每次分片最少獲取個數,預設None表示採用Redis的預設分片個數
在hash中,一個name能存200多億個key,如果我們存了過多的key,然後通過hkeys name取出數據,就會非常的慢,那我們用hscan就起到一個過濾的作用。
這個意思就是在info2中從第0個key開始匹配到以k開頭的鍵值對取出來
這個意思就是說想要把包含a的取出來
hscan_iter(name, match=None, count=None):
利用yield封裝hscan創建生成器,實現分批去redis中獲取數據 # 參數: # match,匹配指定key,預設None 表示所有的key # count,每次分片最少獲取個數,預設None表示採用Redis的預設分片個數 # 如: # for item in r.hscan_iter('xx'): # print item
list操作,redis中的list在記憶體中按照一個name對應一個List來存儲
lpush(name,values)
# 在name對應的list中添加元素,每個新的元素都添加到列表的最左邊 # 如: # r.lpush('oo', 11,22,33) # 保存順序為: 33,22,11 # 擴展: # rpush(name, values) 表示從右向左操作
設置names列表,裡面有3個元素,放在列表的最左邊
有lpush,就有rpush,就是存元素是放在列表的右端:rpush names xixi haha hehe
我們可以看到我們新存的xixi,haha,hehe是在後面依次存放的
lpushx(name,value)
在name對應的list中添加元素,只有name已經存在時,值添加到列表的最左邊 # 更多: # rpushx(name, value) 表示從右向左操作
llen(name):name對應的list元素的個數
linsert(name, where, refvalue, value)):
在name對應的列表的某一個值前或後插入一個新值 # 參數: # name,redis的name # where,BEFORE或AFTER # refvalue,標桿值,即:在它前後插入數據 # value,要插入的數據
在names中往xiaoming前面插入meimei這個新的元素
r.lset(name, index, value):
對name對應的list中的某一個索引位置重新賦值 # 參數: # name,redis的name # index,list的索引位置 # value,要設置的值
就是做一個修改數據的操作,把第6個元素更改值
r.lrem(name, value, num):
在name對應的list中刪除指定的值 # 參數: # name,redis的name # value,要刪除的值 # num, num=0,刪除列表中所有的指定值; # num=2,從前到後,刪除2個; # num=-2,從後向前,刪除2個
在linux中先數據要刪除的個數,然後在輸入刪除的值
lpop(name):
在name對應的列表的左側獲取第一個元素併在列表中移除,返回值則是第一個元素 # 更多: # rpop(name) 表示從右向左操作
把names列表中的第一個元素移出了
lindex(name, index):在name對應的列表中根據索引獲取列表元素
lrange(name, start, end):
在name對應的列表分片獲取數據 # 參數: # name,redis的name # start,索引的起始位置 # end,索引結束位置
把names列表中所有的元素都取出來就是0,-1.然後我們可以看到我們後面存進去的先取出來,說明列表是先入後出
獲取names中從第二個到第四個元素,預設是從0算起的,
ltrim(name, start, end):
在name對應的列表中移除沒有在start-end索引之間的值 # 參數: # name,redis的name # start,索引的起始位置 # end,索引結束位置
移出除了第2第三個元素之外的所有的元素
rpoplpush(src, dst)
從一個列表取出最右邊的元素,同時將其添加至另一個列表的最左邊 # 參數: # src,要取數據的列表的name # dst,要添加數據的列表的name
把names中的最右邊的xiaoming 移到了names2的最左邊
blpop(keys, timeout):
將多個列表排列,按照從左到右去pop對應列表的元素 # 參數: # keys,redis的name的集合 # timeout,超時時間,當元素所有列表的元素獲取完之後,阻塞等待列表內有數據的時間(秒), 0 表示永遠阻塞 # 更多: # r.brpop(keys, timeout),從右向左獲取數據
把names中的數據每次從左往右刪除,如果names裡面有元素就立刻刪除,負責就等待4s。
這裡有一個應用:我把時間設置成40,然後在啟動一個redis客戶端,然後在這40s之內我在給names添加一個新的元素,然後那邊等待的客戶端就立刻把這個值取出來了
現在相當於啟動了兩個進程,一個可以往列表中放入值,一個可以從列表中取值,有點像隊列,想生產者消費者,因為刪除的時候會返回刪除的值就相當於取出來數據
brpoplpush(src, dst, timeout=0)
從一個列表的右側移除一個元素並將其添加到另一個列表的左側 # 參數: # src,取出並要移除元素的列表對應的name # dst,要插入元素的列表對應的name # timeout,當src對應的列表中沒有數據時,阻塞等待其有數據的超時時間(秒),0 表示永遠阻塞
就是把names2的元素移到names中,從右端移到了左端
自定義增量迭代
由於redis類庫中沒有提供對列表元素的增量迭代,如果想要迴圈name對應的列表的所有元素,那麼就需要: # 1、獲取name對應的所有列表 # 2、迴圈列表 # 但是,如果列表非常大,那麼就有可能在第一步時就將程式的內容撐爆,所有有必要自定義一個增量迭代的功能: def list_iter(name): """ 自定義redis列表增量迭代 :param name: redis中的name,即:迭代name對應的列表 :return: yield 返回 列表元素 """ list_count = r.llen(name) for index in xrange(list_count): yield r.lindex(name, index) # 使用 for item in list_iter('pp'): print item
Set操作,Set集合就是不允許重覆的列表
上圖可以看到,我往names中插入了6個值,但是在集合中實際就只有3個值,所以說集合是不允許重覆的列表
sadd(name,values):name對應的集合中添加元素
scard(name): 獲取name對應的集合中元素的個數
sdiff(keys, *args):在第一個name集合中且不再其他name對應的集合中的元素集合(差集:不含B集合元素的所有A元素)
sdiffstore(dest, keys, *args):獲取第一個name對應的集合中且其他不再name對應的集合,再講其加入新的dest集合中
把差集的結果存到集合n6中,
sinter(keys, *args):(數學里的交集)
sinterstore(dest, keys, *args):獲取集合之間的交集,再講其加入到dest對應的集合中
sismember(name, value):檢查value是否是name對應的集合的成員
smembers(name): 獲取name對應的集合的所有成員,集合不能用切塊去取,因為它是無序的
獲取集合names3的所有值
smove(src, dst, value):將某個成員從一個集合中移動到另外一個集合
spop(name):從集合的右側(尾部)移除一個成員,並將其返回
srandmember(name, numbers):從name對應的集合中隨機獲取 numbers 個元素
srem(name, values):在name對應的集合中刪除某些值
sunion(keys, *args):獲取多一個name對應的集合的並集
sunionstore(dest,keys, *args):獲取多一個name對應的集合的並集,並將結果保存到dest對應的集合中
sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None):同字元串的操作,用於增量迭代分批獲取元素,避免記憶體消耗太大
有序集合,在集合的基礎上,為每元素排序;元素的排序需要根據另外一個值來進行比較,所以,對於有序集合,每一個元素有兩個值,即:值和分數,分數專門用來做排序。
zadd(name, *args, **kwargs)
在name對應的有序集合中添加元素 # 如: # zadd('zz', 'n1', 1, 'n2', 2) # 或 # zadd('zz', n1=11, n2=22)
給對應的元素設置權值,用來排序;先權值後值
zcard(name):獲取name對應的有序集合元素的數量
zcount(name, min, max):獲取name對應的有序集合中分數 在 [min,max] 之間的個數
zincrby(name, value, amount):自增name對應的有序集合的 name 對應的分數
r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)
# 按照索引範圍獲取name對應的有序集合的元素 # 參數: # name,redis的name # start,有序集合索引起始位置(非分數) # end,有序集合索引結束位置(非分數) # desc,排序規則,預設按照分數從小到大排序 # withscores,是否獲取元素的分數,預設只獲取元素的值 # score_cast_func,對分數進行數據轉換的函數 # 更多: # 從大到小排序 # zrevrange(name, start, end, withscores=False, score_cast_func=float) # 按照分數範圍獲取name對應的有序集合的元素 # zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float) # 從大到小排序 # zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)
zrank(name, value):
獲取某個值在 name對應的有序集合中的排行(從 0 開始) # 更多: # zrevrank(name, value),從大到小排序
zrangebylex(name, min, max, start=None, num=None)
# 當有序集合的所有成員都具有相同的分值時,有序集合的元素會根據成員的 值 (lexicographical ordering)來進行排序,而這個命令則可以返回給定的有序集合鍵 key 中, 元素的值介於 min 和 max 之間的成員 # 對集合中的每個成員進行逐個位元組的對比(byte-by-byte compare), 並按照從低到高的順序, 返回排序後的集合成員。 如果兩個字元串有一部分內容是相同的話, 那麼命令會認為較長的字元串比較短的字元串要大 # 參數: # name,redis的name # min,左區間(值)。 + 表示正無限; - 表示負無限; ( 表示開區間; [ 則表示閉區間 # min,右區間(值) # start,對結果進行分片處理,索引位置 # num,對結果進行分片處理,索引後面的num個元素 # 如: # ZADD myzset 0 aa 0 ba 0 ca 0 da 0 ea 0 fa 0 ga # r.zrangebylex('myzset', "-", "[ca") 結果為:['aa', 'ba', 'ca'] # 更多: # 從大到小排序 # zrevrangebylex(name, max, min, start=None, num=None)
zrem(name, values)
# 刪除name對應的有序集合中值是values的成員 # 如:zrem('zz', ['s1', 's2'])
zremrangebyrank(name, min, max):根據排行範圍刪除
zremrangebyscore(name, min, max):根據分數範圍刪除
zremrangebylex(name, min, max):根據值返回刪除
zscore(name, value):獲取name對應有序集合中 value 對應的分數
zinterstore(dest, keys, aggregate=None):
# 獲取兩個有序集合的交集,如果遇到相同值不同分數,則按照aggregate進行操作 # aggregate的值為: SUM MIN MAX
zunionstore(dest, keys, aggregate=None):
# 獲取兩個有序集合的並集,如果遇到相同值不同分數,則按照aggregate進行操作 # aggregate的值為: SUM MIN MAX
zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)
# 同字元串相似,相較於字元串新增score_cast_func,用來對分數進行操作
其他常用操作
delete(*names):根據刪除redis中的任意數據類型
exists(name): 檢測redis的name是否存在
keys(pattern='*'):
# 根據模型獲取redis的name # 更多: # KEYS * 匹配資料庫中所有 key 。 # KEYS h?llo 匹配 hello , hallo 和 hxllo 等。 # KEYS h*llo 匹配 hllo 和 heeeeello 等。 # KEYS h[ae]llo 匹配 hello 和 hallo ,但不匹配 hillo
expire(name ,time):為某個redis的某個name設置超時時間
rename(src, dst):對redis的name重命名為
move(name, db)):將redis的某個值移動到指定的db下
redis預設有16個db,從0-15 ,可以用select 進行切換
randomkey():隨機獲取一個redis的name(不刪除)
type(name):獲取name對應值的類型
scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)
同字元串操作,用於增量迭代獲取key
4.管道:
redis-py預設在執行每次請求都會創建(連接池申請連接)和斷開(歸還連接池)一次連接操作,如果想要在一次請求中指定多個命令,則可以使用pipline實現一次請求指定多個命令,並且預設情況下一次pipline 是原子性操作。
import redis pool = redis.ConnectionPool(host='192.168.1.101', port=6379) r = redis.Redis(connection_pool=pool) # pipe = r.pipeline(transaction=False) pipe = r.pipeline(transaction=True) pipe.set('name', 'alex') pipe.set('role', 'teacher') pipe.execute()
5.發佈訂閱
那這個怎麼實現的呢?
1 import redis 2 class RedisHelper: 3 def __init__(self): 4 self.__conn = redis.Redis(host='192.168.1.101') 5 self.chan_sub = 'fm104.7' 6 self.chan_pub = 'fm104.7' 7 8 def public(self, msg): 9 self.__conn.publish(self.chan_pub, msg) 10 return True 11 12 def subscribe(self): 13 pub = self.__conn.pubsub()#打開收音機 14 pub.subscribe(self.chan_sub)#調頻道 15 pub.parse_response()#準備接收 16 return pub
訂閱:
from RedisHelper import RedisHelper obj = RedisHelper() redis_sub = obj.subscribe() while True: msg = redis_sub.parse_response() print(msg)
發佈:
from RedisHelper import RedisHelper obj = RedisHelper() obj.public('hello,i am testing')
可以多個發佈信息,通過同一個頻道傳給一個人: