回归测试在TESSY里做得顺不顺,取决于两件事,一是触发方式是否稳定可复现,二是回归测试集是否能跟着版本演进而不失控。很多团队的痛点并不是不会点执行,而是同一套用例在不同配置下跑出不同结果,或者用例越攒越多却没人知道该跑哪一批。下面按现场可直接照做的步骤,把触发与维护拆开讲清楚。
一、TESSY回归测试怎么触发
要把回归触发做稳定,先明确你要跑的是全量回归还是指定范围回归,再把触发入口固定到同一套工程配置与同一套构建参数上。触发动作建议尽量少靠人工临时选择,更多依赖测试集和批处理入口,这样每次结果才可对比。TESSY本身支持用命令行接口控制项目内多种操作,适合做批量回归触发。
1、用固定配置触发一次全量回归
打开TESSY后先加载目标工程,再在工程树中选中要执行的顶层节点,确认当前激活的是同一份编译器与构建配置;点击【Execute】选择【Run All】或【Execute All】,等待执行完成后再进入结果视图核对总数与失败数,避免执行到一半切配置导致结果口径变化。
2、用回归测试集触发指定范围回归
在工程树中定位到测试集区域,点击【New】新建一个回归测试集,例如按模块或按功能域分组;把需要纳入回归的Test Object通过拖拽或右键【Add to Collection】加入该测试集;执行时选中该测试集后点击【Execute】并选择【Run Selected】,保证每次跑的范围一致。
3、以变更为入口触发增量回归
当你只想验证改动影响范围时,先把变更涉及的模块对应Test Object加入一个专用测试集,例如命名为当次迭代回归集;每次提交后只更新这个测试集的成员,不在执行时临时勾选文件;执行时固定用【Execute】→【Run Selected】跑该测试集,跑完再决定是否升级到全量回归。
4、在持续集成里用命令行触发无人值守回归
在CI机器上准备TESSY运行环境后,用命令行工具触发执行与报表生成,常见做法是启动TESSY后台实例,再用tessycmd.exe发起执行命令并导出报告。
5、触发前后各做一次口径核对,避免看似回归其实跑空
触发前核对工程是否已重新构建并指向正确的目标文件与包含路径,触发后在结果列表按严重度或失败类型筛一次,确认失败不是来自环境缺失或编译失败;若出现大量解析或构建类错误,先修复环境再谈回归结论,避免把环境问题当成代码回归缺陷。
二、TESSY回归测试集怎么维护
回归测试集的维护重点,是让它既能覆盖关键路径,又不会因为堆积而失去可执行性。维护时建议把测试集分层,明确每层的触发频率与准入规则,并把用例的依赖条件与测试数据一并纳入管理,这样回归集才不会越跑越不稳定。
1、按执行频率分层管理回归集
建立冒烟回归集用于每次合入后快速验证,建立日构建回归集用于夜间或每日执行,建立里程碑回归集用于发布前全量覆盖;在TESSY里分别用不同测试集命名区分,并把每个测试集的执行入口固定为【Execute】→【Run Selected】或CI脚本入口。
2、给测试集与用例建立清晰命名与标签规则
测试集命名建议包含模块名与用途,例如网络栈冒烟回归集;对Test Object在描述字段中写清接口版本与依赖条件,便于后续筛选与复用;当同一用例被多个回归集引用时,优先通过标签筛选加入,避免人工重复维护两份清单。
3、把测试数据与桩配置当成回归资产一起维护
回归失败常见不是逻辑变了,而是桩函数、驱动层模拟或输入数据被悄悄改动。维护时把测试数据变更写进版本记录,对关键用例的输入数据与期望结果建立基线,并在每次调整后先跑一轮冒烟回归验证稳定性,再把变更合入主回归集。
4、为新用例设准入门槛,避免把不稳定用例带进回归
新用例进入回归集前,先在本机完成两次以上稳定通过并记录环境前提,再在CI环境跑一轮确认可复现;满足准入后再通过【Add to Collection】加入目标回归集,并在变更记录里写清加入原因与覆盖点。
5、对长期波动用例建立隔离区并定期复审
当某些用例偶发失败且短期内难以修复时,不要让它持续污染回归结论。做法是在TESSY里新建隔离测试集,将这些用例从主回归集中移出并加入隔离集,隔离集可按周执行并在复审通过后再回归主集,保证主回归集的信噪比。
三、TESSY回归结果怎么留档复核
回归跑完不代表事情结束,评审与审计更关心你如何证明这次回归覆盖了什么、基于什么配置、对应哪个版本、失败如何处置。留档时要把执行结果与版本信息绑定,把报告输出路径固定,把可复核材料做成最小集合,后续任何人都能按同一路径复跑与对照。
1、导出报告并固定输出目录与命名规则
执行完成后在TESSY里进入报告生成入口,点击【Report】选择【Generate】并指定输出目录;命名中至少包含工程名、回归集名、构建号与日期,确保同一目录下可横向对比;若走CI,报告生成也可通过命令行方式自动完成,减少人工遗漏。
2、把回归结果与提交版本绑定到同一条记录
在流水线产物中写入提交号、分支名、编译器版本与关键编译选项,并把这些信息写进回归报告摘要页或同目录的说明文件;这样当出现回归失败争议时,可以直接确认是不是不同配置导致的差异。
3、把需求编号与测试对象编号统一到可检索口径
在Test Object的描述或自定义字段里写入需求编号或安全需求编号,并保持格式统一;导出报表时就能按编号检索覆盖情况,评审抽样也能从需求直接下钻到对应用例与执行结果。
4、失败复盘时准备最小可复现包
当回归失败需要定位时,优先打包失败用例所属的测试集、失败用例的输入数据、桩配置、构建日志与报告摘要;在TESSY里可通过选中对象后点击【Export】导出相关配置,再由复盘人员在同版本环境中导入复现,减少口头描述带来的偏差。
5、把通过线写成门禁规则并持续收敛
对冒烟回归集要求失败数为零,对日构建回归集允许在限定时窗内修复,对里程碑回归集要求关键规则类失败为零并完成复测;门禁规则写入CI脚本与评审清单,确保每次回归结论都能按同一标准判定。
总结
TESSY回归测试怎么触发,建议用固定工程配置配合回归测试集来执行,并在需要自动化时用命令行入口把执行与报表生成接入CI,从而让每次回归范围与口径稳定可复现。TESSY回归测试集怎么维护,要按频率分层、设准入门槛、管理测试数据与桩配置,并把不稳定用例隔离治理,最后用统一的留档与版本绑定方式保证结果可复核、可追溯。