在文档审核、源代码审核、配置脚本审核、测试程序或脚本审核都顺利完成,就可以进行验收测试的最后一个步骤——可执行程序的测试,它包括功能、性能等方面的测试,每种测试也都包括目标、启动标准、活动、完成标准和度量等五部分。
一、测试的前提条件
在真正进行用户验收测试之前一般应该已经完成了以下工作(也可以根据实际情况有选择地采用或增加):
(1) 软件开发已经完成,并全部解决了已知的软件缺陷。
(2) 验收测试计划已经过评审并批准,并且置于文档控制之下。
(3) 对软件需求说明书的审查已经完成。
(4) 对概要设计、详细设计的审查已经完成。
(5) 对所有关键模块的代码审查已经完成。
(6) 对单元、集成、系统测试计划和报告的审查已经完成。
(7) 所有的测试脚本已完成,并至少执行过一次,且通过评审。
(8) 使用配置管理工具且代码置于配置控制之下。
(9) 软件问题处理流程已经就绪。
(10) 已经制定、评审并批准验收测试完成标准。
二、测试工作实施
要注意的是不能直接使用承建单位提供的可执行程序用于测试,而要按照承建单位提供的编译步骤,从源代码重新生成可执行程序。
具体的测试内容通常可以包括:安装(升级)、启动与关机、功能测试(正例、重要算法、边界、时序、反例、错误处理)、性能测试(正常的负载、容量变化)、压力测试(临界的负载、容量变化)、配置测试、平台测试、安全性测试、恢复测试(在出现掉电、硬件故障或切换、网络故障等情况时,系统是否能够正常运行)、可靠性测试等。
性能测试和压力测试一般情况下是在一起进行,通常还需要辅助工具的支持。在进行性能测试和压力测试时,测试范围必须限定在那些使用频度高的和时间要求苛刻的软件功能子集中。由于承建单位已经事先进行过性能测试和压力测试,因此可以直接使用承建单位的辅助工具。也可以通过购买或自己开发来获得辅助工具。具体的测试方法可以参考相关的软件工程书籍。
如果执行了所有的测试案例、测试程序或脚本,验收测试中发现的所有软件问题都已解决,而且所有的软件配置均已更新和审核,可以反映出软件在验收测试中所发生的变化,验收测试就完成了。
一、评审会
在完成验收测试和配置审核的基础上,召开评审会,进行综合评价。
二、验收准则
(1) 软件产品符合“合同”或“验收标准”规定的全部功能和质量要求;
(2) 不同安全性关键等级的软件均通过《软件测试细则》文档所要求的各项测试;
(3) 文档齐全,符合“合同”或“验收标准”要求及有关标准的规定;
(4) 文档和文档一致,程序和文档相符;
(5) 对被验收软件的可执行代码,在验收测试中查出的错误总数,依错误严重性不超过业主单位事先约定的限定值;
(6) 配置审核时查出的交付文档中的错误总数不超过业主单位事先约定的限定值。
三、评审结论
评审会在综合评价验收测试和配置审计结果的基础上,根据验收准则,给出验收结论。
验收结论分为两种:
(1) 通过。表示同意通过验收的委员人数超过按事先约定人数(重要系统由全体验收委员协商一致同意;一般系统需有三分之二以上的委员同意)。
(2) 不通过。表示同意通过验收的委员人数达不到通过的要求。