工作需要,从零开始学习redis,这里把我的一篇工作日志共享一下,希望和大家共同学习。
Redis(linux)
**********************************************************************
Install:
Download Address: http://redis.io
解压以后到解压目录:
make
启动redis server:
redis-server
备注:make install的时候permission detied,使用sudo
**********************************************************************
Data Types:
key的
限制:
1. 使用分离器构成key => cache:blog:custmor
2. 尽量短小
3. 兼可读性和常规长度
Strings:
任何string,甚至存储二进制数据,或者
缓存图片,但是单个value不应该超过 512MB
Lists:
向链表头和尾增加element比较快,适合做
队列
Hashes:
存储
复杂对象,一个value中有几个field
Sets and Sorted Set:
Set不允许element重复.允许典型的操作,比如交集,合集.但是
内存使用比list高
Sorted Set是set的一个特例,允许排序
**********************************************************************
Client:
1.命令行对数据进行操作:
连接
远程服务器
redis-cli -h <serverip:eg:127.0.0.1>
redis-cli --version //查看
版本为2.2.11
非默认端口连接本地服务器
redis-cli -p 6380
本机测试,结果为not connected,如果改为默认的6379则可以登录
2.使用Ruby进行对数据进行操作
gem install redis //安装redis-rb library,版本为2.2.2,注意不要装两个版本的redis,最新的为2.4.8,如果你已经安装了redis,就不要进行这步操作了
>require 'redis' //测试
=>true //good to go
>r = Redis.new //建立一个新的连接
>r.set 'key','value'
>r.get 'key' //=>value
>r.sadd 'key', 'value1'
>r.sadd 'key', 'value2'
>r.smember 'key' //=>[value1,value2]
3.在RoR应用程序中,使用Redis存储读取数据
在
Gemfile中,增加 gem 'redis' ,删除Gemfile.lock,重新bundle install
在/appname/config/initializers/下建立一个文件filename.rb并加入如下字段:$redis = Redis.new, 则在rails中产生了一个
全局变量$redis连接数据库的对象,可以在rails console中调试
使用它的时候,在控制器中调用$redis就可以了
**********************************************************************
Leveraging Redis:
1.将Redis用作
KEY/VALUE存储器
increment
storing in
hash //Redis official documentation for hash
commands
hset/hget/hgetall/
hmset hash-name key1 value1 key2 value2..
hget hash-name key
hdel hash-name key
storing in sets
sadd/smembers/sinter/sunion
inpecting data //检查数据:
keys *
type keyname
keys h*llo //key with h as head and with llo as end
keys h?llo //key with one charactor inside
keys h[ac]llo //key between hallo and hcllo
//keys命令会查询整个服务器,因此一般做法时把我们需要的的键列表加入到一个set,然后query它
**********************************************************************
Some Functions In Redis
1.Redis顶部实现OAuth: //功能貌似无关
______________________________________________________________________
2.使用Redis的Pub/Sub功能创建一个聊天系统:
command line方式实现 :
一个终端启动redis-server
一个终端连接服务器,并作为消息订阅: psubscribe news.share //选择单个通道接收,多个通道接收,可以定义为news.*
另一个终端连接服务器,并作为消息发布:publish news.share "share a link http://baidu.com"
在消息订阅端,就可以接收到redis server广播过来的消息
______________________________________________________________________
3.实现反向索引法的text查找
______________________________________________________________________
4.分析和时间的数据(作为大型数据库的缓存使用):
使用哈西表来存储计数器,使用hincrby来进行增长,通过hget和hmget来获取这些计数器,通过使用sort命令,来获取顶端的元素也是相当容易的:
______________________________________________________________________
5.实现工作队列 :
使用list实现任务队列
______________________________________________________________________
6.扩展Redis (it won’t be included in Redis 2.4)
Redis
脚本在2.4版本中不会包含
*********************************************************************
Redis 管理员和维护:
1.配置数据持久化 Configure Persistence
在redis.conf文件中,
databases default=16
redis>select <dbid> //选择不同数据库
持久化方式:snapshotting和append-only file
i) snapshotting:
save 900 1 //900秒后如果至少1个key变化,则保存到dump.rdb
save 300 10 //300秒后如果至少10个key变化
save 60 10000 //60秒后如果至少10000个key变化
//可以根据项目需求进行配置save为主
线程功能,会造成主线程阻塞,bgsave命令在后台运行
client端也可以使用save命令,但是操作结果是内存中的数据全部写入db而不是增量写入,导致内存中有大量数据的时候,会严重影响性能.
注意:快照方式是在一定间隔时间做一次的,所以如果redis意外down掉的话,就会丢失最后一次快照后的所有修改.如果应用要求不能丢失任何修改的话,可以采用aof持久化方式.
ii)append-only file
该方式时每一个写命令都会通过write函数追加到文件中.在redis
重启的时候,会将整个文件中的数据,重建到内存当中appendonly.aof.
appendonly yes //启用aof持久化方式
# appendfsync al
ways //每次收到写命令就立即强制写入磁盘,最慢的,但是保证完全的持久化,不推荐使用
appendfsync everysec //每秒钟强制写入磁盘一次,在性能和持久化方面做了很好的折中,推荐
# appendfsync no //完全依赖os,性能最好,持久化没保证
快照和appendonly比较:
快照为间歇性将内存数据写入磁盘,dump.rdb可以设置为1小时快照一次,作为
数据库备份.如果快照给redis server的负担过大的话,那么考虑使用从站.
append only file将内存数据写入磁盘,redis重启后内存中重建数据库.如果有庞大的数据,并且这些数据不经常改变的话,那么考虑使用AOF.
数据库的恢复:
默认保存的dump.rdb和appendonly.aof均可以作为
数据库恢复的源,重新启动server的时候,自动根据conf文件中配置的地址,调用这些文件来恢复
内存数据库.
2.
开启一个Redis从站(Redis支持1主N从的方式)
简单来说就是使用不同配置文件启动两个服务
主server的conf文件中配置:
slaveof <masterip:eg:127.0.0.1> <slaveport:6379>
3.处理大于物理内存的数据集:
Redis VM //弃用
4.Redis的升级
方案from 《Redis Cookbook》
1)不重启现有服务的情况下,安装新的Redis版本
2)创建新的redis.conf文件,指定redis在6380端口运行(因为默认主server在6379启动)和一个不同的DB路径
3)开启新的服务
4)连接到新服务,并且输入如下命令:
SLAVEOF localhost 6379 //
同步数据,使用INFO命令查看6380的连接状态,如果master_link_status:up,则复制时有效的
5)目前位置新的服务已经升级完成,你可以开始将客户端移动到新的服务.你可以通过INFO命令检查连接到一个服务的客户端数量,检查connected_clients
6)当所有的客户端都连接到了从服务,你仍然有两个任务需要完成:disable复制并且关闭主服务:
6-1)连接到从服务,输入如下命令: SLAVEOF NO ONE
6-2)连接到旧的主服务,输入如下命令: SHUTDOWN //如果出现如下
错误:(error) ERR Errors trying to SHUTDOWN. Check
logs.则可能是权限问题,因为在shutdown命令的时候,会进行save操作,而save需要操作dump.rdb文件,如果没有权限则会报这个错.
6-3)你的新Redis系统
上线运行了,但是要确认你所有的配置,初始脚本,备份等,均要只想正确的位置并开启正确的服务.忘记那些常规的操作很容易,但是你应该至少确认万一服务重启的时候不会出问题.
//以上操作结束后,通过INFO命令查看,从服务已经切换位主服务,并且是升级以后的版本.
关于配置文件的另一些有用的设置:
最大可使用内存
最大可连接客户端数
***********************************************************
Redis 命令总结
连接操作相关的命令
? quit:关闭连接(connection)
? auth:简单密码认证
对value操作的命令
? exists(key):确认一个key是否存在
? del(key):删除一个key
? type(key):返回值的类型
? keys(pattern):返回满足给定pattern的所有key
? randomkey:随机返回key空间的一个key
? rename(oldname, newname):将key由oldname重命名为newname,若newname存在则删除newname表示的key
? dbsize:返回当前数据库中key的数目
? expire:设定一个key的活动时间(s)
? ttl:获得一个key的活动时间
? select(index):按索引查询
? move(key, dbindex):将当前数据库中的key转移到有dbindex索引的数据库
? flushdb:删除当前选择数据库中的所有key
? flushall:删除所有数据库中的所有key
对String操作的命令
? set(key, value):给数据库中名称为key的string赋予值value
? get(key):返回数据库中名称为key的string的value
? getset(key, value):给名称为key的string赋予上一次的value
? mget(key1, key2,…, key N):返回库中多个string(它们的名称为key1,key2…)的value
? setnx(key, value):如果不存在名称为key的string,则向库中添加string,名称为key,值为value
? setex(key, time, value):向库中添加string(名称为key,值为value)同时,设定过期时间time
? mset(key1, value1, key2, value2,…key N, value N):同时给多个string赋值,名称为key i的string赋值value i
? msetnx(key1, value1, key2, value2,…key N, value N):如果所有名称为key i的string都不存在,则向库中添加string,名称key i赋值为value i
? incr(key):名称为key的string增1操作
? incrby(key, integer):名称为key的string增加integer
? decr(key):名称为key的string减1操作
? decrby(key, integer):名称为key的string减少integer
? append(key, value):名称为key的string的值附加value
? substr(key, start, end):返回名称为key的string的value的子串
对List操作的命令
? rpush(key, value):在名称为key的list尾添加一个值为value的元素
? lpush(key, value):在名称为key的list头添加一个值为value的 元素
? llen(key):返回名称为key的list的长度
? lrange(key, start, end):返回名称为key的list中start至end之间的元素(下标从0开始,下同)
? ltrim(key, start, end):截取名称为key的list,保留start至end之间的元素
? lindex(key, index):返回名称为key的list中index位置的元素
? lset(key, index, value):给名称为key的list中index位置的元素赋值为value
? lrem(key, count, value):删除count个名称为key的list中值为value的元素。count为0,删除所有值为value的元素,count>0从头至尾删除count个值为value的元素,count<0从尾到头删除|count|个值为value的元素。
? lpop(key):返回并删除名称为key的list中的首元素
? rpop(key):返回并删除名称为key的list中的尾元素
? blpop(key1, key2,… key N, timeout):lpop命令的block版本。即当timeout为0时,若遇到名称为key i的list不存在或该list为空,则命令结束。如果timeout>0,则遇到上述情况时,等待timeout秒,如果问题没有解决,则对key i+1开始的list执行pop操作。
? brpop(key1, key2,… key N, timeout):rpop的block版本。参考上一命令。
? rpoplpush(srckey, dstkey):返回并删除名称为srckey的list的尾元素,并将该元素添加到名称为dstkey的list的头部
对Set操作的命令
? sadd(key, member):向名称为key的set中添加元素member
? srem(key, member) :删除名称为key的set中的元素member
? spop(key) :随机返回并删除名称为key的set中一个元素
? smove(srckey, dstkey, member) :将member元素从名称为srckey的集合移到名称为dstkey的集合
? scard(key) :返回名称为key的set的基数
? sismember(key, member) :测试member是否是名称为key的set的元素
? sinter(key1, key2,…key N) :求交集
? sinterstore(dstkey, key1, key2,…key N) :求交集并将交集保存到dstkey的集合
? sunion(key1, key2,…key N) :求并集
? sunionstore(dstkey, key1, key2,…key N) :求并集并将并集保存到dstkey的集合
? sdiff(key1, key2,…key N) :求差集
? sdiffstore(dstkey, key1, key2,…key N) :求差集并将差集保存到dstkey的集合
? smembers(key) :返回名称为key的set的所有元素
? srandmember(key) :随机返回名称为key的set的一个元素
对zset(sorted set)操作的命令
? zadd(key, score, member):向名称为key的zset中添加元素member,score用于排序。如果该元素已经存在,则根据score更新该元素的顺序。
? zrem(key, member) :删除名称为key的zset中的元素member
? zincrby(key, increment, member) :如果在名称为key的zset中已经存在元素member,则该元素的score增加increment;否则向集合中添加该元素,其score的值为increment
? zrank(key, member) :返回名称为key的zset(元素已按score从小到大排序)中member元素的rank(即index,从0开始),若没有member元素,返回“nil”
? zrevrank(key, member) :返回名称为key的zset(元素已按score从大到小排序)中member元素的rank(即index,从0开始),若没有member元素,返回“nil”
? zrange(key, start, end):返回名称为key的zset(元素已按score从小到大排序)中的index从start到end的所有元素
? zrevrange(key, start, end):返回名称为key的zset(元素已按score从大到小排序)中的index从start到end的所有元素
? zrangebyscore(key, min, max):返回名称为key的zset中score >= min且score <= max的所有元素
? zcard(key):返回名称为key的zset的基数
? zscore(key, element):返回名称为key的zset中元素element的score
? zremrangebyrank(key, min, max):删除名称为key的zset中rank >= min且rank <= max的所有元素
? zremrangebyscore(key, min, max) :删除名称为key的zset中score >= min且score <= max的所有元素
? zunionstore / zinterstore(dstkeyN, key1,…,keyN, WEIGHTS w1,…wN, AGGREGATE SUM|MIN|MAX):对N个zset求并集和交集,并将最后的集合保存在dstkeyN中。对于集合中每一个元素的score,在进行AGGREGATE运算前,都要乘以对于的WEIGHT参数。如果没有提供WEIGHT,默认为1。默认的AGGREGATE是SUM,即结果集合中元素的score是所有集合对应元素进行SUM运算的值,而MIN和MAX是指,结果集合中元素的score是所有集合对应元素中最小值和最大值。
对Hash操作的命令
? hset(key, field, value):向名称为key的hash中添加元素field<—>value
? hget(key, field):返回名称为key的hash中field对应的value
? hmget(key, field1, …,field N):返回名称为key的hash中field i对应的value
? hmset(key, field1, value1,…,field N, value N):向名称为key的hash中添加元素field i<—>value i
? hincrby(key, field, integer):将名称为key的hash中field的value增加integer
? hexists(key, field):名称为key的hash中是否存在键为field的域
? hdel(key, field):删除名称为key的hash中键为field的域
? hlen(key):返回名称为key的hash中元素个数
? hkeys(key):返回名称为key的hash中所有键
? hvals(key):返回名称为key的hash中所有键对应的value
? hgetall(key):返回名称为key的hash中所有的键(field)及其对应的value
持久化
? save:将数据同步保存到磁盘
? bgsave:将数据
异步保存到磁盘
? lastsave:返回上次成功将数据保存到磁盘的Unix时戳
? shundown:将数据同步保存到磁盘,然后关闭服务
远程服务控制
? info:提供服务器的信息和统计
? monitor:实时转储收到的请求
? slaveof:改变复制策略设置
? config:在运行时配置Redis服务器