269 lines
14 KiB
Plaintext
269 lines
14 KiB
Plaintext
|
** 此文件为配置tinatest.json的编写说明 **
|
|||
|
|
|
|||
|
|
目录:
|
|||
|
|
1. 简介
|
|||
|
|
2. 配置树
|
|||
|
|
3. 系统默认配置值
|
|||
|
|
4. 定制 - 简介
|
|||
|
|
5. 定制 - 节点配置
|
|||
|
|
6. 定制 - 全局限制
|
|||
|
|
7. 定制 - 全局信息
|
|||
|
|
8. 定制 - 局部限制
|
|||
|
|
9. 定制 - 局部信息
|
|||
|
|
10. 配置示例
|
|||
|
|
11. 可视化配置(menucofig)
|
|||
|
|
|
|||
|
|
============================分割线===========================
|
|||
|
|
|
|||
|
|
1. 简介
|
|||
|
|
----------------------------------------------
|
|||
|
|
配置文件定义所有有效的测试用例(testcase),控制了所有测试用例以及tinatest的所有行为
|
|||
|
|
因此要定制自己的规则,只需要修改配置文件"tinatest.json"
|
|||
|
|
-------------
|
|||
|
|
配置文件路径:
|
|||
|
|
(小机端) /etc/tinatest.json
|
|||
|
|
(电脑端) tinatest/src/config/tinatest.json
|
|||
|
|
-------------
|
|||
|
|
需要注意的是,tinatest支持`make menuconfig`的界面配置,最终执行`convert_json.sh`脚本,
|
|||
|
|
根据menuconfig的配置项重新生成'tinatest.json'文件
|
|||
|
|
(仅当`make menucofig`使能了`Customize TinaTest options`才会执行`convert_json.sh`脚本)
|
|||
|
|
(否则只会拷贝电脑端的tinatest.json到小机端)
|
|||
|
|
-------------
|
|||
|
|
只要节点存在配置项command,即会判定此节点为用例节点
|
|||
|
|
-------------
|
|||
|
|
用例执行顺序是根据配置文件从上往下依次执行
|
|||
|
|
run_alone: 则等待前面的测试用例结束后再执行此用例,且当此用例结束后才执行下一个用例
|
|||
|
|
run_times: 单个测试用例的执行次数,默认执行完一次再执行下一次
|
|||
|
|
run_parallel: 并行执行单个用例的所有次数,即不等待上一次完成,直接启动run_times个测试进程
|
|||
|
|
|
|||
|
|
|
|||
|
|
2. 配置树
|
|||
|
|
----------------------------------------------
|
|||
|
|
配置树为tinatest.json的结构图,例如:
|
|||
|
|
"/stress/reboot" 对应配置文件的路径为:
|
|||
|
|
| "/" : {
|
|||
|
|
| "stress" : {
|
|||
|
|
| "reboot" : {
|
|||
|
|
| "enable" : true,
|
|||
|
|
| "command" : "echo \"===== Going to reboot =====\"; reboot -f",
|
|||
|
|
| "run_times" : 1000,
|
|||
|
|
| "may_reboot" : true
|
|||
|
|
| }
|
|||
|
|
| }
|
|||
|
|
| }
|
|||
|
|
|
|||
|
|
|
|||
|
|
3. 系统默认配置值
|
|||
|
|
----------------------------------------------
|
|||
|
|
系统默认配置值是固化在代码中的测试用例环境值,用于保证当tinatest.json中缺少关
|
|||
|
|
键项配置时能用默认值正常执行.
|
|||
|
|
因此,配置值优先级为:
|
|||
|
|
默认值 < tinatest.json内/sys配置节点 < 测试用例节点个性配置
|
|||
|
|
|
|||
|
|
系统默认配置值如下:
|
|||
|
|
(非下表说明的其他配置项默认值为0/false)
|
|||
|
|
(当/sys下无run_times的配置且用例无run_times的个性配置时,默认值才生效)
|
|||
|
|
---------------------
|
|||
|
|
| 关键字 | 默认值 | 其他说明
|
|||
|
|
| run_cnt_up_to | 10 | 最多同时执行任务数
|
|||
|
|
| outdir | "/mnt/UDISK/collectd" | collectd输出目录
|
|||
|
|
| collectd_interval_sec | 2 | collectd收集环境时间间隔
|
|||
|
|
| run_times | 1 | 默认执行次数
|
|||
|
|
| date | 1 | 记录用例执行日期
|
|||
|
|
| resource | 1 | 记录用例执行占用资源
|
|||
|
|
| run_time_sec | 10000 | 限制用例执行时间
|
|||
|
|
|
|||
|
|
4. 定制 - 简介
|
|||
|
|
---------------------------------------------
|
|||
|
|
1) 系统配置(/sys)分为4类:
|
|||
|
|
节点-配置 : 测试用例节点配置项
|
|||
|
|
全局-限制 : /sys/global/limit - 控制tinatest的行为
|
|||
|
|
全局-信息 : /sys/global/info - 配置collectd采集的系统环境信息
|
|||
|
|
局部-限制 : /sys/local/limit - 测试用例可个性定制的用例限制
|
|||
|
|
局部-信息 : /sys/local/info - 测试用例可个性定制的用例信息采集
|
|||
|
|
---------------------
|
|||
|
|
Note: 全局 指 只能在/sys/global中修改,测试用例配置节点中配置无效,作用范围为所有测试用例
|
|||
|
|
局部 指 既能在/sys/global中修改,也能在测试用例配置节点中配置,且测试用例节点中的配置
|
|||
|
|
会覆盖/sys/global中的配置,作用范围为配置项所在的测试用例
|
|||
|
|
---------------------
|
|||
|
|
|
|||
|
|
2) 对一个测试用例而言,用例个性配置的优先级：
|
|||
|
|
默认值 < tinatest.json内/sys配置节点 < 测试用例节点个性配置
|
|||
|
|
例如:
|
|||
|
|
| "/" : { (在syskey.h中run_times的默认宏值为10)
|
|||
|
|
| "sys" : {
|
|||
|
|
| "local" : {
|
|||
|
|
| "info" : {
|
|||
|
|
| "run_times" : 5, (/sys下配置run_times为5)
|
|||
|
|
| ...
|
|||
|
|
| }
|
|||
|
|
| }
|
|||
|
|
| "demo" : {
|
|||
|
|
| "demo-c" : {
|
|||
|
|
| "command" : "demo-c"
|
|||
|
|
| "run_times" : 100 (测试用例个性配置run_times为100)
|
|||
|
|
| }
|
|||
|
|
| "demo-sh" : {
|
|||
|
|
| "command" : "demo-sh" (测试用例无run_times的个性配置)
|
|||
|
|
| }
|
|||
|
|
| }
|
|||
|
|
| }
|
|||
|
|
最终,根据优先级,
|
|||
|
|
/demo/demo-c 节点被执行100次(个性配置)
|
|||
|
|
/demo/demo-sh 节点被执行5次(tinatest.json内/sys配置节点)
|
|||
|
|
|
|||
|
|
3) 怎样才是一个有效的测试节点？
|
|||
|
|
当节点存在配置 "command" 时为一个有效节点,且本节点无设置enable为false时才能执行
|
|||
|
|
例如:
|
|||
|
|
配置文件如下:
|
|||
|
|
| "/" : {
|
|||
|
|
| "demo" : {
|
|||
|
|
| "enable" : false,
|
|||
|
|
| "demo-c" : {
|
|||
|
|
| "command" : "demo-c"
|
|||
|
|
| }
|
|||
|
|
| "demo-sh" : {
|
|||
|
|
| "command" : "demo-sh"
|
|||
|
|
| }
|
|||
|
|
| }
|
|||
|
|
| }
|
|||
|
|
命令: tinatest /demo
|
|||
|
|
效果: 从/demo节点开始遍历,由于/demo节点设置了enable为false,因此无有效测试节点
|
|||
|
|
命令: tinatest /demo/demo-c
|
|||
|
|
效果: 从/demo/demo-c节点开始遍历(非/demo开始),因此会执行测试用例demo-c
|
|||
|
|
|
|||
|
|
5. 定制 - 节点配置
|
|||
|
|
----------------------------------------------
|
|||
|
|
|
|||
|
|
| 分类 | 配置关键字 | 类型 | 说明
|
|||
|
|
| ======== | ======================= | ====== | ===============================================
|
|||
|
|
| 节点配置 | command | string | 执行用例的shell命令(用例节点标识)
|
|||
|
|
| 节点配置 | enable | bool | 此树节点及树叉下所有节点使能标识(默认为true)
|
|||
|
|
| 节点配置 | stdin | array | 字符串数组的每个元素为对测试用例的一次输入
|
|||
|
|
| 节点配置 | fstdin | string | 重定向文件为用例的标准输入(优先级：fstdin < stdin)
|
|||
|
|
|
|||
|
|
6. 定制 - 全局限制
|
|||
|
|
----------------------------------------------
|
|||
|
|
|
|||
|
|
| 分类 | 配置关键字 | 类型 | 说明
|
|||
|
|
| ======== | ======================= | ====== | ===============================================
|
|||
|
|
| 全局限制 | run_cnt_up_to | int | 最大同时执行任务数(<=0无效)
|
|||
|
|
|
|||
|
|
7. 定制 - 全局信息
|
|||
|
|
----------------------------------------------
|
|||
|
|
|
|||
|
|
| 分类 | 子分类 | 配置关键字 | 类型 | 说明
|
|||
|
|
| ======== | ======== | ======================= | ====== | ======================================
|
|||
|
|
| 全局信息 | 通用 | collectd_interval_sec | int | 系统环境信息采集周期(<=0无效)
|
|||
|
|
| 全局信息 | 通用 | enable | bool | collectd单项环境采集使能
|
|||
|
|
| 全局信息 | 通用 | match | NULL | 并非配置项,选中后出现具体匹配项
|
|||
|
|
| 全局信息 | csv | outdir | string | 采集结果以csv数据格式输出的目录
|
|||
|
|
| 全局信息 | rrdtool | outdir | string | 采集结果以rrd数据格式输出的目录
|
|||
|
|
| 全局信息 | cpu | report_to_percentage | bool | 以百分比形式记录采集数据
|
|||
|
|
| 全局信息 | memory | report_to_absolute | bool | 以绝对值形式记录采集数据
|
|||
|
|
| 全局信息 | memory | report_to_percentage | bool | 以百分比形式记录采集数据
|
|||
|
|
| 全局信息 | df | report_to_absolute | bool | 以绝对值形式记录采集数据
|
|||
|
|
| 全局信息 | df | report_to_percentage | bool | 以百分比形式记录采集数据
|
|||
|
|
| 全局信息 | df | sellect_or_ignore | string | 忽略匹配项(ignore)or选择匹配项(select)
|
|||
|
|
| 全局信息 | df | device | string | df - 匹配的设备名, "ALL"表示所有
|
|||
|
|
| 全局信息 | df | mountpoint | string | df - 匹配的挂载点, "ALL"表示所有
|
|||
|
|
| 全局信息 | df | fstype | string | df - 匹配的文件系统, "ALL"表示所有
|
|||
|
|
| 全局信息 | disk | sellect_or_ignore | string | 忽略匹配项(ignore)or选择匹配项(select)
|
|||
|
|
| 全局信息 | disk | disk_regular_expression | string | disk - 支持正则表达的设备名
|
|||
|
|
| 全局信息 | filecount | directory | string | 统计的文件夹
|
|||
|
|
| 全局信息 | filecount | include_hidden | bool | 是否包含隐藏文件
|
|||
|
|
| 全局信息 | filecount | include_subdir | bool | 是否遍历子目录
|
|||
|
|
| 全局信息 | filecount | name | string | 匹配文件名(支持通配) (参考find命令)
|
|||
|
|
| 全局信息 | filecount | size | string | 匹配文件大小 (参考find命令)
|
|||
|
|
| 全局信息 | filecount | mtime | string | 匹配文件修改时间 (参考find命令)
|
|||
|
|
| 全局信息 | ping | host | string | ping - ping的ip
|
|||
|
|
| 全局信息 | ping | send_interval_sec | string | ping - pint一次的时间间隔(<=0无效)
|
|||
|
|
(务必小于collectd_interval_sec)
|
|||
|
|
| 全局信息 | ping | timeout | string | ping - ping一次的超时时间
|
|||
|
|
| 全局信息 | ping | max_ttl | string | ping - ping一次的ttl上限(0-255)
|
|||
|
|
|
|||
|
|
8. 定制 - 局部限制
|
|||
|
|
----------------------------------------------
|
|||
|
|
|
|||
|
|
| 分类 | 配置关键字 | 类型 | 说明
|
|||
|
|
| ======== | ======================= | ====== | ======================================
|
|||
|
|
| 本地限制 | run_times | int | 用例执行次数限制(<=0无效)
|
|||
|
|
| 本地限制 | run_alone | bool | 用例单独执行(等待之前的任务完成)
|
|||
|
|
| 本地限制 | run_parallel | bool | 并行执行(同时执行run_times个用例)
|
|||
|
|
| 本地限制 | may_reboot | bool | 有可能重启(非易失地保存用例数据)
|
|||
|
|
| 本地限制 | run_time_sec | int | 用例执行时长限制(秒)
|
|||
|
|
| 本地限制 | run_time_min | int | 用例执行时长限制(分)
|
|||
|
|
| 本地限制 | run_time_hour | int | 用例执行时长限制(时)
|
|||
|
|
(最终限制时间为 [时*60*60 + 分*60 + 秒])
|
|||
|
|
9. 定制 - 局部信息
|
|||
|
|
|
|||
|
|
| 分类 | 配置关键字 | 类型 | 说明
|
|||
|
|
| ======== | ======================= | ====== | ======================================
|
|||
|
|
| 本地信息 | date | bool | 记录用例开始日期和结束日期
|
|||
|
|
| 本地信息 | resource | bool | 记录用例使用资源情况
|
|||
|
|
|
|||
|
|
10. 配置示例
|
|||
|
|
----------------------------------------------
|
|||
|
|
(1)=================
|
|||
|
|
"reboot" : {
|
|||
|
|
"command" : "echo \"Going to reboot\"; reboot -f", ==> 测试命令
|
|||
|
|
"may_reboot" : true, ==> 此用例会重启(且单独执行)
|
|||
|
|
"run_times" : 1000 ==> 此用例需要执行1000次
|
|||
|
|
}
|
|||
|
|
|
|||
|
|
(2)=================
|
|||
|
|
"sys" : {
|
|||
|
|
"global" : {
|
|||
|
|
"info" : {
|
|||
|
|
"collectd_interval_sec" : 2, ==> collectd的采集间隔为2秒
|
|||
|
|
"collectd_csv" : {
|
|||
|
|
"enable" : true, ==> 使能csv输出格式
|
|||
|
|
"outdir" : "/mnt/UDISK/collectd" ==> 输出目录路径
|
|||
|
|
},
|
|||
|
|
"collectd_rrdtool" : {
|
|||
|
|
"enable" : false, ==> 关闭rrdtool输出格式
|
|||
|
|
},
|
|||
|
|
"collectd_cpu" : {
|
|||
|
|
"enable" : true, ==> 使能collectd的cpu模块
|
|||
|
|
"report_to_percentage" : true ==> 以百分比的形式记录数据
|
|||
|
|
},
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
"local" : {
|
|||
|
|
"info" : {
|
|||
|
|
"date" : true, ==> 使能记录用例的开始日期和结束日期
|
|||
|
|
"resource" : true ==> 使能记录用例的使用资源
|
|||
|
|
},
|
|||
|
|
"limit" : {
|
|||
|
|
"run_times" : 1, ==> 默认执行次数为1
|
|||
|
|
"run_time_sec" : 10000, ==> 默认执行时长限制为10000秒
|
|||
|
|
"run_time_min" : 0,
|
|||
|
|
"run_time_hour" : 0
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
},
|
|||
|
|
"demo" : {
|
|||
|
|
"demo-c" : {
|
|||
|
|
"enable" : false, ==> 取消使能此用例
|
|||
|
|
"date" : false, ==> 此用例取消日期记录
|
|||
|
|
"resource" : false, ==> 此用例取消资源记录
|
|||
|
|
"command" : "demo-c", ==> 测试用例的调用shell命令
|
|||
|
|
"run_times" : 100 ==> 此用例执行100次(串行)
|
|||
|
|
},
|
|||
|
|
"demo-sh" : {
|
|||
|
|
"command" : "demo-sh.sh"
|
|||
|
|
"run_parallel" : true, ==> 并行调用测试用例
|
|||
|
|
"run_times" : 10 ==> 此用例执行10次(并行)
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
此时执行命令: `tt /demo`,则只会并行调用demo-sh测试用例(demo-c没使能),
|
|||
|
|
且由于demo-sh没定制date和resource,而/sys/local/info中默认使能date和resource,因此
|
|||
|
|
demo-sh会记录开始/结束日期和用例使用资源.
|
|||
|
|
|
|||
|
|
11. 可视化配置(menucofig)
|
|||
|
|
----------------------------------------------
|
|||
|
|
在tina根目录执行`make menuconfig`进入界面配置,路径为:
|
|||
|
|
DragonTools --> tinatest
|
|||
|
|
当且仅当使能了`Customize TinaTest Options`才会执行`convert_json.sh`脚本根据menuconfig
|
|||
|
|
的配置重新自动生成'tinatest.json'
|