Redis(Remote Dictionary Server)远程字典数据服务的缩写,由意大利
人开发的是一款内存高速缓存数据库。使用ANSI C语言编写、支持网络、可基于内
存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API并提供多种语言
的 API的非关系型数据库。
Redis和Memcache对比?
成都创新互联主营琼结网站建设的网络公司,主营网站建设方案,成都App制作,琼结h5微信小程序搭建,琼结网站营销推广欢迎琼结等地区企业咨询
set 'a' '123'
• string 类型 是二进制安全的。可以包含任何数据(eg: jpg 图片或者序列化的对象)。
从内部实现来看其实 string 可以看作 byte 数组,最大上限是 1G 字节。
• hash类型 是一个 string 类型的 field 和 value 的映射表.它的添加、删除操作都是
O(1)(平均)。
• list类型 是一个 string 类型的双向链表。最大长度是(2 32 )。
• set 类型 是 string 类型的通过 hash table 实现的无序集合。添加、删除和查找的复
杂度都是 O(1)。最大长度是(2 32 )。
Redis内置指令: http://doc.redisfans.com/
Redis应用场景
Redis 是一个内存数据库,与传统的MySQL,Oracle等关系型数据库直接将内容保存到硬盘
中相比,内存数据库的读写效率比传统数据库要快的多(内存的读写效率远远大于硬盘的读写
效率)。但是保存在内存中也随之带来了一个缺点,一旦断电或者宕机,那么内存数据库中的
数据将会全部丢失。
目标: 持久化就是把内存的数据写到磁盘中去,防止服务宕机了内存数据丢失。
Redis 提供了两种持久化方式:RDB(默认) 和AOF
Redis持久化: RDB
RDB是Redis用来进行持久化的一种方式,是把当前内存中的数据集快照写入
磁盘,也就是 Snapshot 快照(数据库中所有键值对数据)。恢复时是将快
照文件直接读到内存里。
我们可以配置 redis在 n 秒内如果超过 m 个 key 被修改就自动做快照,下面是默认的快照保
存配置:
dbfilename dump.rdb
save 900 1
save 300 10
#持久化存储文件名为 dump.rdb
#900 秒内如果超过 1 个 key 被修改,则发起快照保存
#300 秒内容如超过 10 个 key 被修改,则发起快照保
存
save 60 10000 # 600 秒内容如超过 10000 个 key 被修改,则发起快照保存
Redis持久化: AOF
• RDB 持久化存是一定时间内做一次备份,如果
redis意外down掉的话,就会丢失最后一次快照后
的所有修改(数据有丢失)。
• 工作原理: 当 redis 重启时会通过重新执行文件中
保存的写命令来在内存中重建整个数据库的内容。
通过配置文件告诉 redis 我们想要通过 fsync 函数强制 os 写入到磁盘的时机。有三
种方式如下(默认是:每秒 fsync 一次), 通过BGREWRITEAOF指令压缩/优化命令
//启用 aof 持久化方式
appendonly yes
//收到写命令就立即写入磁盘,最慢,但是保证完全的持久化
#appendfsync always
//每秒钟写入磁盘一次,在性能和持久化方面做了很好的折中
appendfsync everysec
//完全依赖 os,性能最好,持久化没保证
#appendfsync no
配置：修改redis配置文件
vim /etc/redis/6379.conf
appendonly yes #修改appendonly为yes
cd /var/lib/redis/6379/ #进入目录生成aof文件
ls
appendonly.aof dump.rdb
python批量插入数据发现appendonly.aof文件大小发生变化
import redis
redis_client = redis.StrictRedis(host='localhost',port=6379)
redis_client.mset({'name':'westos','age':10})
name = redis_client.get('name').decode('utf-8')
name_len = redis_client.strlen('name')
print('用户名称:',name,'用户名长度：',name_len)
age_add = redis_client.incr('age')
for i in range(1000):
redis_client.incr('age')单机版
特点:简单
问题:1、内存容量有限 2、处理能力有限 3、无法高可用。
主从复制
主从复制
Redis 的复制(replication)功能允许用户根据一个 Redis 服务器来创建任意多个该
服务器的复制品,其中被复制的服务器为主服务器(master),而通过复制创建出来
的服务器复制品则为从服务器(slave)。 只要主从服务器之间的网络连接正常,主从
服务器两者会具有相同的数据,主服务器就会一直将发生在自己身上的数据更新同步 给
从服务器,从而一直保证主从服务器的数据相同。
特点:
1、master/slave 角色
2、master/slave 数据相同
3、降低 master 读压力在转交从库
问题:
"""
import redis
redis_client = redis.StrictRedis(host='172.25.254.18', port=6379)
#对于字符串的操作
"""
get
mget
set
mset
incr
incrby
decr
decrby
strlen
"""
redis_client.mset({'name':'westos', 'age':10})
name = redis_client.get('name').decode('utf-8')
name_len = redis_client.strlen('name')
print("用户名称: ", name, "用户名称长度: ", name_len)
age_add = redis_client.incr('age')
print("当前年龄为: ", redis_client.get('age'))
for i in range(10000):
redis_client.incr('age')限制某段时间内的访问次数，就比如我们登录的功能可以用手机获取验证码登录，但是我们发送验证码使用的第三方，是多少钱多少条的，
肯定不能让他一直点，一直发短信，就算前端js做了校验，若有些人用fiddler拦截绕过前台就麻烦了，
这时候可以用redis的incr命令和expire结合起来做一个解决方案
import time
def send_msg(phone):
"""模拟给手机发送验证码"""
import string
import random
#['4', '1', '5', '9']
nums_list = random.sample(string.digits, 4)
nums_code = "".join(nums_list)
print("%s验证码：%s[公司]" %(phone, nums_code))
return nums_code
def phone_code(phone):
"""
电话验证码模拟, 3秒之后可以再次发送验证码
:param phone:
:return:
"""
import redis
client = redis.StrictRedis()
#可以从缓存中查询验证码已经发送。
if client.get(phone):
print("验证码发送频繁， 请稍后再试")
return False
else:
code = send_msg(phone)
client.set(phone, code, 3)
print("发送验证码成功")
if __name__ == '__main__':
print("第一次发送")
phone_code('110')
print("第二次发送")
phone_code('110')
time.sleep(4)
print("第三次发送")
phone_code('110')"""
IP限制频繁访问:
如果你运行 HTTP 服务，并且希望限制 HTTP 的访问频率，那么你可以借助一些比较稳定的工具，
例如： github.com/didip/tollbooth。不过如果你构建的应用比较简单，也可以自己来实现。
IP限制的规则:
每分钟访问次数不能超过60次。
"""
def ip_limit(IP):
"""
每分钟访问次数不能超过60次。
key: value = IP:count
:param IP:
:return:
"""
import redis
client = redis.StrictRedis()
#1). 判断是否访问过本服务器;
if client.exists(IP):
count = client.get(IP).decode('utf-8')
if int(count) >= 60:
print("%s访问频繁" %(IP))
else:
client.incr(IP)
print("访问+1")
else:
client.set(IP, 1, 60)
print("%s第一次访问" %(IP))
if __name__ == '__main__':
ip_limit('127.0.0.1')
for i in range(100):
ip_limit('172.25.254.197')
"""Redis: 内存缓存数据库， 消息队列(kafka、RabbitMQ)
#如何实现高并发场景下抢红包的设计。
import queue
class RedisQueue(object):
"""左边为队头， 右边为队尾的消息队列"""
def __init__(self, name, **conf):
import redis
self.__client = redis.Redis(**conf)
self.key = name
def qsize(self):
return self.__client.llen(self.key)
def put(self, item):
"""入队操作"""
self.__client.rpush(self.key, item)
def get(self, timeout=5):
"""获取对头， 如果没有到， 等待时间为timeout"""
item = self.__client.blpop(self.key, timeout=timeout)
return item
def get_nowait(self):
item = self.__client.blpop(self.key)
return item
if __name__ == '__main__':
q = RedisQueue('scores', host='172.25.254.18', port=6380)
for i in range(10):
q.put(i)
while True:
result = q.get(timeout=100)
print(result)
if not result:
break
项目实战: 分布式缓存服务实践: Redis实现排行榜功能
在网页和APP中常常需要用到榜单的功能，对某个key-value的列表进行降序显示。当操作和查询并发大的时候，
使用传统数据库就会遇到性能瓶颈，造成较大的时延。使用分布式缓存服务Redis，可以实现一个
商品热销排行榜的功能。它的优势在于：
- 数据保存在缓存中，读写速度非常快。
- 提供字符串（String）、链表（List）、集合（Set）、哈希（Hash）等多种数据结构类型的存储。
"""
import random
def productSalesRankDemo():
import redis
import uuid
PRODUCT_KINDS = 30
host = "127.0.0.1"
port = 6379
password = ''
key = "商品热销排行榜"
client = redis.StrictRedis(host=host, port=port, password=password)
if not client.exists(key):
products = {}
for count in range(PRODUCT_KINDS):
product_name = 'product-' + str(uuid.uuid4())
product_sale = random.randint(1000, 20000)
products[product_name] = product_sale
client.zadd(key, products)
productSalesRankDemo()"""import redis
redis_client = redis.StrictRedis(host='172.25.254.18', port=6380)
pipe = redis_client.pipeline()
pipe.set('name', 'westos')
pipe.set('name', 'westos')
pipe.set('name', 'westos')
pipe.set('name', 'westos')
pipe.set('name', 'westos')
pipe.execute()
"""#设置服务器,用户名、口令以及邮箱的后缀
import smtplib
from email.mime.text import MIMEText
from email.utils import formataddr
smtp_server = "smtp.163.com"
from_username = '技术中心'
mail_user = "xc@163.com"
#是开启smtp的授权吗不是真实的密码。
mail_password = "westos123"
#邮件主题的前缀
mail_prefix = "[运维开发部]-"
def send_email(to_addrs, subject, msg):
try:
# 将要发送的文本信息做MIME封装
msg = MIMEText(msg)
#格式化发件人名称
msg['From'] = formataddr([from_username, mail_user])
msg['To'] = to_addrs
msg['Subject'] = mail_prefix + subject
#1. 实例化smtp对象
server = smtplib.SMTP()
#2. 连接邮件服务器
server.connect(smtp_server)
#3. 登录
server.login(mail_user, mail_password)
#4. 发送邮件内容
server.sendmail(mail_user, to_addrs, msg.as_string())
#5. 关闭连接
server.quit()
except Exception as e:
print(str(e))
return False
else:
return True
if __name__ == '__main__':
send_email('976131@qq.com','寒假作业', '请与3月2日之前提交')
print("发送成功.....")