请选择 进入手机版 | 继续访问电脑版

Redis中国用户组(CRUG)论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

搜索
热搜: 活动 交友 discuz
查看: 14794|回复: 6

高性能网站架构之缓存篇—Redis集群搭建

[复制链接]
  • TA的每日心情
    开心
    2016-9-7 09:37
  • 签到天数: 7 天

    [LV.3]偶尔看看II

    22

    主题

    32

    帖子

    241

    积分

    中级会员

    Rank: 3Rank: 3

    积分
    241
    发表于 2016-3-10 16:07:00 | 显示全部楼层 |阅读模式

    看过 高性能网站架构之缓存篇--Redis安装配置高性能网站架构之缓存篇--Redis使用配置端口转发 这两篇文章的,相信你已经对redis有一定的了解,并能够安装上,进行简单的使用了,但是在咱们的实际应用中,使用redis肯定不会使用单机版,不光是redis不能使用单机版,其他的也不会使用,所以今天我们来说一下redis cluster的安装。      

    1.  Redis Cluster的架构图。         

             (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

             (2)节点的fail是通过集群中超过半数的节点检测失效时才生效.

             (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。

             (4)redis-cluster把所有的物理节点映射到[0-16383]slot上(哈希槽),cluster 负责维护

    Redis 集群中内置了 16384 个哈希槽,当需要在Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。

    2.  redis-cluster投票:容错

             

             (1)领着投票过程是集群中所有master参与,如果半数以上master节点与其中一个master节点通信超时(cluster-node-timeout),认为当前master节点挂掉.

             (2):什么时候整个集群不可用(cluster_state:fail)?

             a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.

            b:如果集群超过半数以上master挂掉,无论是否有slave集群进入fail状态.

            ps:当集群不可用时,所有对集群的操作做都不可用,收到((error)CLUSTERDOWN The cluster is down)错误。

    3.  安装环境

            Redis Cluster的安装需要的环境我们需要准备好,最重要的最难解决的就是ruby环境,在这里,给大家一个连接,如至直接安装ruby,安装不上的话,大家可以参考这篇文章RubyGems镜像,淘宝的ruby镜像。他是没15分钟更新一次,所以跟国外的基本一样。

    4.  集群搭建

            本次为实验教程,所以在一台虚拟机中进行搭建,跟在多台真机上搭建其实没有什么区别,只要保证网络通信ok就可以了!

            我们在几台机器上通过端口号的不同,搭建一个伪集群。在一个服务器上创建多个redis实例。端口号如下所示

    主节点:127.0.0.1:7001 127.0.0.1:7002127.0.0.1:7003

    从节点:127.0.0.1:7004127.0.0.1:7005127.0.0.1:7006

    在/usr/local下创建redis-cluster目录,其下创建redis01、redis02。。redis06目录,如下:

            

             然后我们将redis 安装到redis01中,安装完以后我们在将Redis编译目录中的redis。Conf文件复制到redis01目录下,就会看到在redis01目录下会有如下的文件。

            

             然后我们将redis01文件夹的文件分别复制到redis02……redis06文件夹中。同时将redis源码目录src下的redis-trib.rb拷贝到redis-cluster目录下。

            修改每个文件夹下的配置文件,有三点需要修改,每个配置文件都要配置自己的端口号,不能重复。

            

            准备好以上工作以后,我们分别启动每个redis进行的实例。如果麻烦的话,可以自己写一个执行脚本。启动完毕以后我们输入命令ps ax|grep redis ,查看实例是否启动,出现如下所以图片,表示所有的实例都启动了。

          

           实例启动完以后,我们要开始创建集群,在redis-cluter文件夹下执行如下命令。

    1. ./redis-trib.rbcreate --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004127.0.0.1:7005 127.0.0.1:7006。
    2. >>> Creating cluster

    3. Connecting to node 127.0.0.1:7001: OK

    4. Connecting to node 127.0.0.1:7002: OK

    5. Connecting to node 127.0.0.1:7003: OK

    6. Connecting to node 127.0.0.1:7004: OK

    7. Connecting to node 127.0.0.1:7005: OK

    8. Connecting to node 127.0.0.1:7006: OK

    9. >>> Performing hash slotsallocation on 6 nodes...

    10. Using 3 masters:

    11. 127.0.0.1:7001

    12. 127.0.0.1:7002

    13. 127.0.0.1:7003

    14. Adding replica 127.0.0.1:7004 to 127.0.0.1:7001

    15. Adding replica 127.0.0.1:7005 to 127.0.0.1:7002

    16. Adding replica 127.0.0.1:7006 to 127.0.0.1:7003

    17. M: 5a8523db7e12ca600dc82901ced06741b3010076127.0.0.1:7001

    18. slots:0-5460 (5461 slots) master

    19. M: bf6f0929044db485dea9b565bb51e0c917d20a53127.0.0.1:7002

    20. slots:5461-10922 (5462 slots) master

    21. M: c5e334dc4a53f655cb98fa3c3bdef8a808a693ca127.0.0.1:7003

    22. slots:10923-16383 (5461 slots) master

    23. S: 2a61b87b49e5b1c84092918fa2467dd70fec115f127.0.0.1:7004

    24. replicates 5a8523db7e12ca600dc82901ced06741b3010076

    25. S: 14848b8c813766387cfd77229bd2d1ffd6ac8d65127.0.0.1:7005

    26. replicates bf6f0929044db485dea9b565bb51e0c917d20a53

    27. S: 3192cbe437fe67bbde9062f59d5a77dabcd0d632127.0.0.1:7006

    28. replicates c5e334dc4a53f655cb98fa3c3bdef8a808a693ca

    29. Can I set the above configuration? (type'yes' to accept): yes

    30. >>> Nodes configuration updated

    31. >>> Assign a different configepoch to each node

    32. >>> Sending CLUSTER MEET messagesto join the cluster

    33. Waiting for the cluster to join.....

    34. >>> Performing Cluster Check(using node 127.0.0.1:7001)

    35. M: 5a8523db7e12ca600dc82901ced06741b3010076127.0.0.1:7001

    36. slots:0-5460 (5461 slots) master

    37. M: bf6f0929044db485dea9b565bb51e0c917d20a53127.0.0.1:7002

    38. slots:5461-10922 (5462 slots) master

    39. M: c5e334dc4a53f655cb98fa3c3bdef8a808a693ca127.0.0.1:7003

    40. slots:10923-16383 (5461 slots) master

    41. M: 2a61b87b49e5b1c84092918fa2467dd70fec115f127.0.0.1:7004

    42. slots: (0 slots) master

    43. replicates 5a8523db7e12ca600dc82901ced06741b3010076

    44. M: 14848b8c813766387cfd77229bd2d1ffd6ac8d65127.0.0.1:7005

    45. slots: (0 slots) master

    46. replicates bf6f0929044db485dea9b565bb51e0c917d20a53

    47. M: 3192cbe437fe67bbde9062f59d5a77dabcd0d632127.0.0.1:7006

    48. slots: (0 slots) master

    49. replicates c5e334dc4a53f655cb98fa3c3bdef8a808a693ca

    50. [OK] All nodes agree about slotsconfiguration.

    51. >>> Check for open slots...

    52. >>> Check slots coverage...

    53. [OK] All 16384 slots covered.
    复制代码

    这样就表示我们的集群创建成功了!

    5.  集群测试

            我们输入redis01/redis-cli -h 127.0.0.1  -p 7002–c命令后,切忌要加入-c,否则我们进入的不是集群环境。进入客户端以后,我们输入set a 100 发现他会进行跳转,这就是因为他经过计算以后,要存储100的hash槽在7003 实例上。这样就表示我们的集群成功了!

            

             关闭redis集群不能直接kill掉进程,或者关机,我们要通过命令redis01/redis-cli -p 7001 shutdown进行关闭,这样在关闭之前,数据才能够进行保存。


    本文转自:http://blog.csdn.net/zhanghongjie0302/article/details/50835607
  • TA的每日心情
    开心
    2016-5-22 00:11
  • 签到天数: 1 天

    [LV.1]初来乍到

    1

    主题

    13

    帖子

    64

    积分

    注册会员

    Rank: 2

    积分
    64
    发表于 2016-5-22 01:28:44 | 显示全部楼层
    谢谢分享!!!
    回复

    使用道具 举报

  • TA的每日心情
    郁闷
    2016-9-7 14:53
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    1

    主题

    4

    帖子

    80

    积分

    注册会员

    Rank: 2

    积分
    80
    发表于 2016-9-4 19:24:57 | 显示全部楼层
    谢谢分享,学习中

    该用户从未签到

    0

    主题

    1

    帖子

    19

    积分

    新手上路

    Rank: 1

    积分
    19
    发表于 2016-9-9 15:37:32 | 显示全部楼层
    顶顶顶顶顶顶顶顶顶顶大大大
  • TA的每日心情
    开心
    2016-12-16 10:16
  • 签到天数: 2 天

    [LV.1]初来乍到

    0

    主题

    5

    帖子

    58

    积分

    注册会员

    Rank: 2

    积分
    58
    发表于 2016-12-15 15:15:38 | 显示全部楼层
    我想为cluster设置访问密码。但看网上帖子说cluster好像不支持密码设置。然后我就想直接把各个分片的密码都设置为一样,但是jedis连接时又出现了那个moved to xxx 不能认证的问题,请问怎么绕过这个坑。

    该用户从未签到

    0

    主题

    1

    帖子

    16

    积分

    新手上路

    Rank: 1

    积分
    16
    发表于 2017-6-2 20:13:06 | 显示全部楼层
    问一下各位,为什么我的redis只能启动一个实例,redis01、redis02、redis03、redis04、redis05、redis06中只能启动一个,再启动一个没有任何反应,端口都改了,求各位大神解决!急!

    该用户从未签到

    0

    主题

    1

    帖子

    22

    积分

    新手上路

    Rank: 1

    积分
    22
    发表于 2017-6-22 12:24:36 | 显示全部楼层
    如果的多台服务器怎么搞呢?还有配置里的持久化文件竟然公用同一个文件,跨多台机器就没法整了
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    阿里云
    阿里云

    Archiver|手机版|小黑屋|Redis中国用户组 ( 京ICP备15003959号

    GMT+8, 2017-7-28 14:51 , Processed in 0.116010 second(s), 29 queries .

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表