说实话,已惯用数据来分析产品功能好坏之后,也很难适应只有“通过”与“不通过”这种没有技术性的事情。但是这种观点,在Testin云测举办的全新AI产品iTestin发布会上,被完全推翻了。Testin云测 总裁徐琨的讲解,让我真正体会到了功能性测试的重要作用。
细一想,作者从事第三方的媒体测试工作,也有快二十年的时间了,但基本上从事的都是性能方面的测试与分析。说实话,已惯用数据来分析产品功能好坏之后,也很难适应只有“通过”与“不通过”这种没有技术性的事情。但是这种观点,在Testin云测举办的全新AI产品iTestin发布会上,被完全推翻了。Testin云测 总裁徐琨的讲解,让我真正体会到了功能性测试的重要作用。
性能测试与功能测试的优劣之处
测试,关系到企业产品的质量,虽然站在风口上的猪都可以飞起来,但是只有真正有技术有质量的产品才可以飞得更高,走得更稳。而在产品测试中,又可以分为对产品性能的测试与功能的测试,下面就是对这两种测试的一些个人看法。
提起性能测试,通俗点讲,用两个词就可以概括,一个是“跑分”另一个是“比数”。“跑分”对产品关键性的性能指标进行测试,“比数”对测试结果进行分析。当然现在“比数”更多被用在和一些友商的同类产品进行对比之中。
可是“数”好的就一定是好产品吗?测试的产品越多,这个答案就变得越不肯定。随着当前软件可实现功能项的逐年提升,目前软件产品的开发复杂度也变得越来越高。在性能测试中,对有限的一些基础性能指标的测试,越来越无法对软件整体应用性进行评估。为了解决此类问题,作者所在的第三方媒体,也正在尝试着在性能测试的基础上,对产品的可用性、易用性等应用性进行评估分析。
这部分的测试内容实际上与软件的功能测试已经十分相近了。可是功能测试只是功能上的“通过”与“不通过”那么简单吗?随着软件复杂性的提升,软件的功能点也在迅速增加,不同模块,不同接口间的功能性测试也是纷繁复杂,即便是对软件所有功能进行一个遍历,都是一个非常庞大的工程。更可怕的是,现在软件升级的频率从以前的以“年”为单位,已经发展到了以“周”或者“天”来计算,这就对功能性测试提出了更大的挑战。从x86个人用户最常用的操作系统,现在每次升级都会出现各式不同问题,补丁落补丁的情况来看,即便是世界最顶级的软件企业,在软件功能测试上都有可能出现重大纰漏。由此可知,功能测试也并不是简单动动手、点点鼠标就可以顺利完成的任务。
测试的自动与手动
正是由于功能测试的项目多,任务重,催生了自动化测试技术。力图用机器代替人工,自动的对软件功能进行测试。自动化测试的用意确实不错,将人工从繁重的重复劳动中解放出来。然而自动化测试同样也需要编写大量的可执行脚本,一但软件的功能或界面出现了变化,还需要同时对这些脚本进行相应的修改,一但软件升级频率过快、功能变化较多的时候,处理效率反而会比手工测试更低。因此Testin 云测总裁徐琨将自动化测试形容成一个“伪命题”。
人工智能让测试从自动向智能升级
那么如何才能让功能测试变得真正“自动”从而减少企业相关工作强度呢?为此,Testin 云测将AI智能化作为测试技术升级的重要推动力,正式发布了测试业务Testin云测的全新AI产品iTestin。
为了降低测试人员的使用门槛,提升测试脚本录制的效率,iTestin 推出了业界首款基于自然语言的脚本录制功能,支持用自然语言的交互方式,完成测试自动化操作。例如,用户只需要输入“点击搜索”,iTestin 就能自动在App当前页面中检测并识别出搜索图标,并完成该图标的点击操作。传统的测试脚本需要大量的人工介入,通过手工框选目标控件来实现脚本录制和维护,而 iTestin 这种全新的自然语言脚本大幅降低了脚本录制的难度,也极大提升了产品易用性和脚本维护效率。
为了解决传统基于UI控件树获取文字、图标方法兼容性差、稳定性差的问题,Testin 打造了基于深度学习的OCR文字识别和图标识别引擎。Testin 的图标识别引擎对常见的“搜索、分享、返回、菜单”等类型图标实现了95%以上的识别精度。针对自定义图标,Testin实现了基于深度学习的“以图找图”算法,通过图标智能匹配实现了95%以上的自定义图标识别精度。基于Testin数据的数据标注服务,标注了百万级别的文字和图标,再结合数据增强技术,构建了测试业界最大规模的千万级数据集用于模型训练。随着iTestin的推出,Testin会继续推进AI在各类测试产品上的应用落地。
而且不仅局限于功能测试,目前Testin云测已经实现了从应用测试到软件测试再到兼容性测试的全向拓展。测试范围变得越来越广泛,除了产品功能测试之外,性能测试,回归测试都可以实现。看来在今后作者很有可能有机会利用Testin云测的测试工具,出具有关的测试报告了。
同时在测试模式上,Testin云测也在由传统测试模式转变为测试咨询结合人工智能工具与测试人员相配合的新一代测试服务模式。从而使Testin云测的客户范围拓展到从泛IT到全行业的全面发展,不但具有企、事业单位的用户,甚至在为一些政府机构也同样在提供着测试服务。
由此可知,随着AI技术的加入,未来的产品测试会变得更智能,更简单,更易用。在这里,不妨也对iTestin提出一个小小的建议,在进行功能测试的时候,能否顺便将测试时的响应反馈时间也做一下记录,如果能精确到毫秒级别就会更加理想,这样测试的工程狮在与码农PK的时候,就会更加的有理、有力、有节了……