信息化 频道

软件评测:软件系统对比测试分析模型

  【IT168 评测】当前,对于同类软件的对比测试需求越来越多,例如某甲方需要在几家提供同种类的数据库厂商中选择一家采购的选型测试,某一家开发操作系统的公司计划将其下操作系统与目前流行的操作系统进行一下对比,找出其之间的优势和差距等。但是如何将多个测试结果中快速分析结果,直观得出优略差距好了结论,目前还未有好的解决方法。针对这个问题本文提出了软件系统对比测试分析模型。

  1、软件系统对比测试分析模型原理

  软件系统对比测试分析模型采用单位元作为基准坐标系。单位圆指的是半径为1的圆。在三角学中,单位圆通常是指欧几里德平面直角坐标系中圆心为(0,0)、半径为 1 的圆。

  假设在对比测试过程中,考察了n个测试内容,那么就需要将单位圆平均分成n等分。如下图所示:

软件评测:软件系统对比测试分析模型
▲图1 对比分析模型示意图

  在这个对比坐标系之上,可以对一款被测将进行详细的描述,设本次考察的被测件分别问S和R,并且在n个测试内容的评测结果分别为{s1,s2,…,sn}和{r1,r2,…rn}

  评价S和R被测件的整体能力描述如下

软件评测:软件系统对比测试分析模型

  通过S:R就可以比较出两个被测件的整体特性。单个测试内容i可以通过si:ri进行结果分析。但是有些测试内容是有固定的上限范围的,也就是说可以计算出其相对100%符合要求的百分比,例如SQL92标准符合性等测试。而大部分测试内容无上限要求,因此本对比分析模型引出了如下单位化转换方法。对于某个测试内容x,需要进行单位化转化后,在对比坐标系上描点。单位化公式如下:

  Tsx=sx/Max(sx,rx)

  经过单位化后的评测结果分别为{Ts1,Ts2,…,Tsn}和{Tr1,Tr2,…Trn},因此可以得出最后单位化后的能描述方法如下:

软件评测:软件系统对比测试分析模型

  因此可以得出通过TS:TR就可以比较出两个被测件的整体特性。单个测试内容i可以通过Tsi:Tri进行结果分析。

  2、对比分析模型应用

  2.1浏览器性能对比测试分析结果

  2.1.1 浏览器性能对比测试内容

  浏览器性能测试所有数据结果均来自中国软件评测中心国家科技专项测评服务项目,其中隐藏了关键信息。结合在浏览器

  性能对比测试中通用方法和准则,总结归纳出10项浏览器性能对比评价指标,如下表所示。

标号种类种类别名性能测试评价指标性性能测试评价指标别名
1启动测试R冷启动时间特性P1
2热启动时间特性P2
3标准符合测试SAcid2P3
4Acid3P4
5标准符合测试SHTML5P5
6
标准符合测试

S
avaScript1P6
7avaScript2P7
8标准符合测试SCSS渲染P8
9页面加载测试P标准页面加载速度测试P9
10硬件加速测试H硬件加速P10

▲表1 浏览器性能对比测试评价指标

  启动类测试中主要考察冷启动时间特性和热启动时间特性,而对启动过程中资源(例如:内存、CPU等)的消耗,作为辅助考察项,被记录在测试结果中。这是因为目前硬件发展越来越快速,目前市场上浏览器对在启动测试时消耗相对于都很小,因此资源消耗并不在本次的具体评价标准中。

  标准符合测试类主要考察浏览器对标准的支持,JavaScript的解释速度以及CSS的渲染速度。 JavaScript基准测试方面有两款公认的测试工具,分别是SunSpider和V8 JavaScript。

  SunSpider:Mozilla公司开发的JavaScript引擎性能基准测试工具,屏蔽了浏览器类型和语言的差别,仅针对JavaScript进行测试,与Dom和浏览器接口均无关。SunSpider主要协助开发者解决现实世界的问题,拥有对象、函数调用、数学、递归等测试类型,共测试3d、access、bitops、controlflow、crypto、date、math、regexp、string九项内容,执行时间越短,代表浏览器的JavaScript解码速度越快。

  V8 JavaScript:Google公司开发的JavaScript引擎性能基准测试工具,分别对Richards、DeltaBlue、Crypto、RayTrace和EarleyBoyer五项内容进行测试,running times/s值越高,表明浏览器的JavaScript解码速度越快,分值也相应越高。

  这两款测试工具考察角度存在一定的差异,因此将JavaScript测试分成两部分Javascript,JavaScript1是应用SunSpider测试结果,JavaScript2是V8 JavaScript测试结果,这些都和普通用户使用浏览器的日常行为息息相关,既能考察浏览器是否能够为用户正常提供展示、交互等的能力,又能考察被测浏览器对脚本语言和样式表渲染的速度。

  页面加载类测试是对标准页面Nontroppo访问的时间特性,访问标准页面能够分析出浏览器对目前互联网主流web技术的支持能力以及解析显示速度,也是从最终受众角度进行的测试。

  硬件加速类测试主要是对浏览器的硬件加速功能进行的测试,该项技术在浏览器领域中越来越重要,能够加快浏览器在图像合成、图像缩放等方面的显示。

0
相关文章