首先說一下背景,在雙十一的時候,我們系統接受X寶的訂單推送,同事原先的實現方式是使用redis的List作為推送數據的承載,在非大促的場景下, 一切運行正常,記憶體占用大概3-4G,機器是16G記憶體。由於提前預計不足,在雙十一來臨的時候,訂單瞬時量達到了平時的10X倍,記憶體非常吃緊,情況算 是非常緊急 ...
首先說一下背景,在雙十一的時候,我們系統接受X寶的訂單推送,同事原先的實現方式是使用redis的List作為推送數據的承載,在非大促的場景下,
一切運行正常,記憶體占用大概3-4G,機器是16G記憶體。由於提前預計不足,在雙十一來臨的時候,訂單瞬時量達到了平時的10X倍,記憶體非常吃緊,情況算
是非常緊急了,採取的臨時解決方案就是再開一個redis,將程式中的redis地址指向這台新的,重啟一下程式,把數據暫時引導過去。
一:分析
redis確實是一個好東西,一個如此強大的記憶體數據結構伺服器,全記憶體存儲,有些場景,恰恰你會死在全記憶體上,而且相對ssd硬碟來說,記憶體還是
太小了。記憶體很便宜,但是記憶體和ssd比起來很貴,況且有些場景你可能根本不需要使用全記憶體,使用硬碟也許會更能幫助我們節省成本,你可能會說,現
在業界標準已經差不多是kafka了,有時候我們還需要redis裡面的hash,也就是說我現在需要kafka + redis 的一個綜合體的產品,這就是本篇和大家說到的
ssdb,當然ssdb和kafka還是不能相提並論的哈,畢竟我是在選擇一個輕量級的解決方案。
二:ssdb說明
ssdb是一個使用leveldb做為底層存儲的nosql資料庫,好處就是可以利用redis中的所有數據結構,而且數據還是基於硬碟的,所以可以存儲的數據比
redis大的不要太多,官方文檔的說法就是用來替代redis的,而且讓你眼前一亮的就是,它對.net還是比較友好的,一個很不錯的解決方案,不過成熟度不
如redis,大家前期可以當緩存用用,或者存儲一些非關鍵性數據,節省節省記憶體空間。目前我在項目中用起來了。
1. 使用hash來存customerID 和customerNick的映射關係。
2. 使用List來承載X寶的訂單推送。
三:快速搭建
官方下載:http://ssdb.io, 有一點要註意的就是官方文檔明確表示,CentOS7的文件句柄設置問題,建議不要在centos7上進行搭建,具體的說明
可以看看這個:http://ssdb.io/docs/zh_cn/config.html ,大家可以用用centos6.5或者ubantu吧。
1. wget下載和unzip解壓。
[root@localhost apps]# wget https://codeload.github.com/ideawu/ssdb/zip/master --2017-12-02 03:02:18-- https://codeload.github.com/ideawu/ssdb/zip/master Resolving codeload.github.com (codeload.github.com)... 192.30.255.120, 192.30.255.121 Connecting to codeload.github.com (codeload.github.com)|192.30.255.120|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 1595060 (1.5M) [application/zip] Saving to: ‘master’ 100%[==================================================================>] 1,595,060 69.3KB/s in 36s 2017-12-02 03:02:57 (43.7 KB/s) - ‘master’ saved [1595060/1595060] [root@localhost apps]#unzip master [root@localhost apps]# ls master ssdb-master
2. 使用make對C++代碼進行編譯
[root@localhost ssdb-master]# make
3. 編譯完之後,一泡尿的功夫,這個ssdb-server可執行文件就出來了。
[root@localhost ssdb-master]# ls api ChangeLog Dockerfile Makefile ssdb.conf tools version build_config.mk data docs README.md ssdb-server var build.sh deps LICENSE src ssdb_slave.conf var_slave
4.然後我們把ssdb.conf配置一下
這裡面有三個配置要註意下:
<1> work_dir: 存放data和meta的目錄,可以在ssdb-master文件夾下mkdir data文件夾。
<2> ip:設為0.0.0.0,讓所有的主機都能夠連接上來。
<3> port 8888 :這個是預設的ssdbserver埠號,大家可以看情況修改。
完整配置如下:
# ssdb-server config # MUST indent by TAB! # absolute path, or relative to path of this file, directory must exists work_dir = /usr/apps/ssdb-master/data pidfile = ./var/ssdb.pid server: ip: 0.0.0.0 port: 8888 # bind to public ip #ip: 0.0.0.0 # format: allow|deny: all|ip_prefix # multiple allows or denys is supported #deny: all #allow: 127.0.0.1 #allow: 192.168 # auth password must be at least 32 characters #auth: very-strong-password #readonly: yes # in ms, to log slowlog with WARN level #slowlog_timeout: 5 replication: binlog: yes # Limit sync speed to *MB/s, -1: no limit sync_speed: -1 slaveof: # to identify a master even if it moved(ip, port changed) # if set to empty or not defined, ip:port will be used. #id: svc_2 # sync|mirror, default is sync #type: sync #host: localhost #port: 8889 logger: level: debug output: log.txt rotate: size: 1000000000 leveldb: # in MB cache_size: 500 # in MB write_buffer_size: 64 # in MB/s compaction_speed: 1000 # yes|no compression: yes
5. 啟動ssdb-server,指定一下配置文件,採取靜默啟動
[root@localhost ssdb-master]# ./ssdb-server ./ssdb.conf -d ssdb-server 1.9.6 Copyright (c) 2012-2015 ssdb.io [root@localhost ssdb-master]# netstat -tlnp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 192.168.122.1:53 0.0.0.0:* LISTEN 1869/dnsmasq tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1115/sshd tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN 1117/cupsd tcp 0 0 0.0.0.0:8888 0.0.0.0:* LISTEN 12994/./ssdb-server tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1627/master tcp6 0 0 :::22 :::* LISTEN 1115/sshd tcp6 0 0 ::1:631 :::* LISTEN 1117/cupsd tcp6 0 0 ::1:25 :::* LISTEN 1627/master [root@localhost ssdb-master]#
可以看到,上面的8888埠已經成功開啟,沒毛病。
四:使用C#客戶端
在http://ssdb.io/docs/zh_cn/clients.html上面列出了各個語言的客戶端SDK,這裡我就選擇C#的SDK:https://github.com/ssdb/dotnetssdb。
可以看到,裡面沒啥東西,就三個破文件,裡面並沒有實現ssdb應該有的所有功能,所以大家可以根據自己的需要進行封裝,連接池啥的都要
你自己根據需要實現吧,好了,接下來我用hash簡單的測試一下:
class Program { static void Main(string[] args) { Client client = new Client("192.168.23.153", 8888); client.hset("customerHash", "customerID", "1000"); string val = string.Empty; client.hget("customerHash", "customerID", out val); Debug.WriteLine("customerID= " + val); client.close(); } }
好了,本篇先就說到這裡,希望對你有幫助。