请选择 进入手机版 | 继续访问电脑版

Redis中国用户组(CRUG)论坛

 找回密码
 立即注册

扫一扫,访问微社区

搜索
热搜: 活动 交友 discuz
查看: 2910|回复: 0

Redis源码解析(十六)--- config配置文件

[复制链接]
  • TA的每日心情
    开心
    2019-4-19 23:07
  • 签到天数: 95 天

    [LV.6]常住居民II

    406

    主题

    515

    帖子

    3981

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    3981

    最佳新人活跃会员宣传达人突出贡献优秀版主荣誉管理论坛元老

    发表于 2016-4-6 09:42:38 | 显示全部楼层 |阅读模式

    每个系统都会有类似一个config配置文件,config文件里的内容想想都知道,一定就是那么一些固定的一行行的属性代码了,今天在看redis代码中的config属性,那拉下来的一笔,的确多,目测在50至100个属性左右。如果就此将config每个属性代表什么意思不是我的风格,也一定是很乏味的,所以我的特点就是在代码中去理解程序员在写这类代码时的思路,和茫茫代码中的亮点。我们知道,redis运行的环境包括很多种的,windows,Linux,mac os等等,不同的操作系统,当然有些属性就不能支持了,所以在redis中的config.h头文件中跟据计算机所属于的操作系统,做了很多的预处理,比如说,在Linux等系统上,是可以支持修改进程名称的:

    1. /* Check if we can use setproctitle().
    2. * BSD systems have support for it, we provide an implementation for
    3. * Linux and osx. */  
    4. /* 检查是否能调用setproctitle(),这个方法是Linux上修改进程名称的方法 */  
    5. /* 这里通过判断是否是BSD系统,BSD是Berkeley Systems Distrobution的缩写,是一种UNIX版本 */  
    6. #if (defined __NetBSD__ || defined __FreeBSD__ || defined __OpenBSD__)  
    7. #define USE_SETPROCTITLE  
    8. #endif  
    9.   
    10. #if (defined __linux || defined __APPLE__)  
    11. #define USE_SETPROCTITLE  
    12. #define INIT_SETPROCTITLE_REPLACEMENT  
    13. void spt_init(int argc, char *argv[]);  
    14. void setproctitle(const char *fmt, ...);  
    15. #endif  
    复制代码

    当然这只是我提到的一点,也就是说,redis在异构系统的处理上,考虑的还是非常周全的。我们主要看看config主要的操作文件,先看看里面的一些API:
    1. /* Config file API */  
    2. int yesnotoi(char *s) /* 判断字符是否为yes */  
    3. void appendServerSaveParams(time_t seconds, int changes) /* 追加server save参数 */  
    4. void resetServerSaveParams(void) /* 重置server的save参数,即释放server的serverParams */  
    5. void loadServerConfigFromString(char *config) /* 从字符串中加载server属性配置 */  
    6. void loadServerConfig(char *filename, char *options) /* 从文件中加载server配置 */  
    7. void configSetCommand(redisClient *c) /* 根据redisClient中的参数设置server的配置 */  
    8. #define config_get_string_field(_name,_var) /* 宏定义了获取字符串值域的方法 */  
    9. #define config_get_bool_field(_name,_var) /* 宏定义了获取布尔值域的方法,值在这里值为yes或no */  
    10. #define config_get_numerical_field(_name,_var) /* 宏定义了获取数字类型值域的方法 */  
    11. void configGetCommand(redisClient *c) /* 获取配置信息命令,以Replay给客户端的方式 */  
    12. void rewriteConfigAppendLine(struct rewriteConfigState *state, sds line) /* 添加配置字符串行 */  
    13. void rewriteConfigAddLineNumberToOption(struct rewriteConfigState *state, sds option, int linenum) /* 添加字典line-option */  
    14. void rewriteConfigMarkAsProcessed(struct rewriteConfigState *state, char *option) /* rewriteConfigState重写option选项 */  
    15. struct rewriteConfigState *rewriteConfigReadOldFile(char *path) /* 读取老配置文件信息,文件如果不可读或不存在,返回NULL */  
    16. void rewriteConfigRewriteLine(struct rewriteConfigState *state, char *option, sds line, int force) /* 是否覆盖configline */  
    17. int rewriteConfigFormatMemory(char *buf, size_t len, long long bytes) /* 格式化byte大小的显示,避免long long 类型超长的显示 */  
    18. void rewriteConfigBytesOption(struct rewriteConfigState *state, char *option, long long value, long long defvalue) /* 往config中写入某类型配置,后面的几个方法类似 */  
    19. void rewriteConfigYesNoOption(struct rewriteConfigState *state, char *option, int value, int defvalue) /* 同上 */  
    20. void rewriteConfigStringOption(struct rewriteConfigState *state, char *option, char *value, char *defvalue) /* 同上 */  
    21. void rewriteConfigNumericalOption(struct rewriteConfigState *state, char *option, long long value, long long defvalue) /* 同上 */  
    22. void rewriteConfigOctalOption(struct rewriteConfigState *state, char *option, int value, int defvalue) /* 同上 */  
    23. void rewriteConfigEnumOption(struct rewriteConfigState *state, char *option, int value, ...) /* 同上 */  
    24. void rewriteConfigSyslogfacilityOption(struct rewriteConfigState *state) /* 同上 */  
    25. void rewriteConfigSaveOption(struct rewriteConfigState *state) /* 同上 */  
    26. void rewriteConfigDirOption(struct rewriteConfigState *state) /* 同上 */  
    27. void rewriteConfigSlaveofOption(struct rewriteConfigState *state) /* 同上 */  
    28. void rewriteConfigNotifykeyspaceeventsOption(struct rewriteConfigState *state) /* 同上 */  
    29. void rewriteConfigClientoutputbufferlimitOption(struct rewriteConfigState *state) /* 同上 */  
    30. void rewriteConfigBindOption(struct rewriteConfigState *state) /* 同上 */  
    31. sds rewriteConfigGetContentFromState(struct rewriteConfigState *state) /* confifstate中获取配置信息字符串 */  
    32. void rewriteConfigReleaseState(struct rewriteConfigState *state) /* configstate释放空间 */  
    33. void rewriteConfigRemoveOrphaned(struct rewriteConfigState *state) /* 置空state 的line配置 */  
    34. int rewriteConfigOverwriteFile(char *configfile, sds content) /* 字符串属性写入覆盖源文件 */  
    35. int rewriteConfig(char *path) /* 将当前的属性读入到文件中,步骤:(1).将当前server属性读入configstate(2).configstate属性变为字符串(3).将字符串写入文件 */  
    36. void configCommand(redisClient *c) /* 客户端config命令调用方法 */
    复制代码

    上面的API的数量确实有点恐怖,我大体总结一下,在config.c中的主要操作:

    1.从config配置文件中读取配置到server属性中

    2.将当前server的设置的属性写入配置中

    上面的其他方法都是为上面的2个要求服务的。所以redis在这里设计一个叫rewriteConfigState的结构体角色,里面保存了属性配置的字符串数组,一个字符串数组代表一种属性设置。比如现在要把当前的配置读入配置文件中操作:

    1. int rewriteConfig(char *path) /* 将当前的属性读入到文件中,步骤:(1).将当前server属性读入configstate(2).configstate属性变为字符串(3).将字符串写入文件 */  
    复制代码

    下面看看redis代码中的这个configstate结构体的构造:
    1. /* The config rewrite state. */  
    2. struct rewriteConfigState {  
    3.     //这里存放着option-line的映射  
    4.     dict *option_to_line; /* Option -> list of config file lines map */  
    5.     dict *rewritten;      /* Dictionary of already processed options */  
    6.     //当前配置文件中的行数  
    7.     int numlines;         /* Number of lines in current config */  
    8.     //当前行字符串  
    9.     sds *lines;           /* Current lines as an array of sds strings */  
    10.     int has_tail;         /* True if we already added directives that were
    11.                              not present in the original config file. */  
    12. };  
    复制代码

    其中的lines就是具体的属性,第一个opition-line的映射指的是哪行对应什么属性名称。在config操作文件中,还提到了一个“maxmemory”的概念,中文意思可以了解为“最大记忆‘:
    1. /* We use the following dictionary type to store where a configuration
    2. * option is mentioned in the old configuration file, so it's
    3. * like "maxmemory" -> list of line numbers (first line is zero). */  
    4. /* 下面定义了几个字典类型用来保存老的配置文件中的一些信息,像历史记录类似,like "maxmemory" */  
    复制代码

    也就是在redis文件中,可以存在老的配置文件,旧的属性可以通过老文件读入再次写入新配置中,达到了记录历史配置记录的作用。老配置文件读出的属性同样是存在于中间的configstate结构体中:
    1. /* Read the old file, split it into lines to populate a newly created
    2. * config rewrite state, and return it to the caller.
    3. *
    4. * If it is impossible to read the old file, NULL is returned.
    5. * If the old file does not exist at all, an empty state is returned. */  
    6. /* 读取老配置文件信息,文件如果不可读或不存在,返回NULL */  
    7. struct rewriteConfigState *rewriteConfigReadOldFile(char *path) {  
    8.     FILE *fp = fopen(path,"r");  
    9.     struct rewriteConfigState *state = zmalloc(sizeof(*state));  
    10.     char buf[REDIS_CONFIGLINE_MAX+1];  
    11.     int linenum = -1;  
    12.   
    13.     if (fp == NULL && errno != ENOENT) return NULL;  
    14.   
    15.     state->option_to_line = dictCreate(&optionToLineDictType,NULL);  
    16.     state->rewritten = dictCreate(&optionSetDictType,NULL);  
    17.     state->numlines = 0;  
    18.     state->lines = NULL;  
    19.     state->has_tail = 0;  
    20.     if (fp == NULL) return state;  
    21.   
    22.     /* Read the old file line by line, populate the state. */  
    23.     while(fgets(buf,REDIS_CONFIGLINE_MAX+1,fp) != NULL) {  
    24.         int argc;  
    25.         sds *argv;  
    26.         sds line = sdstrim(sdsnew(buf),"\r\n\t ");  
    27.   
    28.         linenum++; /* Zero based, so we init at -1 */  
    29.   
    30.         /* Handle comments and empty lines. */  
    31.         //处理注释和空行  
    32.         if (line[0] == '#' || line[0] == '\0') {  
    33.             if (!state->has_tail && !strcmp(line,REDIS_CONFIG_REWRITE_SIGNATURE))  
    34.                 state->has_tail = 1;  
    35.             rewriteConfigAppendLine(state,line);  
    36.             continue;  
    37.         }  
    38.   
    39.         /* Not a comment, split into arguments. */  
    40.         argv = sdssplitargs(line,&argc);  
    41.         if (argv == NULL) {  
    42.             /* Apparently the line is unparsable for some reason, for
    43.              * instance it may have unbalanced quotes. Load it as a
    44.              * comment. */  
    45.             sds aux = sdsnew("# ??? ");  
    46.             aux = sdscatsds(aux,line);  
    47.             sdsfree(line);  
    48.             //将老的配置属性读入configstate结构体  
    49.             rewriteConfigAppendLine(state,aux);  
    50.             continue;  
    51.         }  
    52.   
    53.         sdstolower(argv[0]); /* We only want lowercase config directives. */  
    54.   
    55.         /* Now we populate the state according to the content of this line.
    56.          * Append the line and populate the option -> line numbers map. */  
    57.         rewriteConfigAppendLine(state,line);  
    58.         rewriteConfigAddLineNumberToOption(state,argv[0],linenum);  
    59.   
    60.         sdsfreesplitres(argv,argc);  
    61.     }  
    62.     fclose(fp);  
    63.       
    64.     //返回configstate,里面记录了一些老的配置文件中的配置行信息  
    65.     return state;  
    66. }  
    复制代码

    又一次用到了configstate的结构体。小小config文件也存在我们意想不到的的设计。


    转自:http://blog.csdn.net/androidlushangderen/article/details/40380769


    上一篇:Redis源码解析(十五)--- aof-append only file解析
    下一篇:Redis源码分析(十七)--- multi事务操作

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    Archiver|手机版|小黑屋|Redis中国用户组 ( 京ICP备15003959号

    GMT+8, 2019-12-6 03:21 , Processed in 0.117467 second(s), 33 queries .

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表