Testin云测CTO陈冠诚:AI让测试越来越“聪明”

2019年12月19日

12 月 19 日,主题为“测思未来”的TICA 2019阿里巴巴质量创新大会于杭州举办,作为云测试领域的开创者及下一代测试的代表,Testin云测公司受邀出席会议,CTO陈冠诚做《AI在自动化测试领域的应用》主题分享,介绍AI技术与自动化测试的结合方式,以及如何借助融合自然语言处理、文本识别、图标识别等技术的下一代AI测试产品iTestin,提升测试的易用性和工作效率。

此次会议通过智能化、无线、稳定性、IoT以及线下智能5大会场,24+精彩议题,以及涵盖Google、腾讯、Testin云测等国内外领先互联网公司,平安银行、新奥集团、工商银行等知名传统企业,北大、新加坡国立大学等国内外知名学府的35+国内外顶尖测试专家的豪华讲师阵容,与700位与会嘉宾共话测试的未来,为业界提供了一个前瞻而领先的学术、技术与工业碰撞的分享舞台。

AI渗透了技术领域,它是一种能够理解,感知和学习的技术,通过使用计算机来解决通常需要人类智能和理解的问题。根据Forrester的调研显示:全球有53%的数据和分析决策者表示,他们已经实施、正在实施、正在扩展或者升级某种形式的人工智能。在过去的一年中,全球有29%的开发人员(经理或者更高级别)开发了人工智能或机器学习软件。Forrester预计,到2020年所谓的“技术精英”会提升自身的人工智能能力,将以人为本的设计能力,与人工智能开发能力相结合将是关键。

AI加持测试自动化:更智能,更简单,更易用

通过自动化测试来补充现有的手动测试过程,是CICD和DevOps的重要组成部分,大多数团队正在遵循这些,使其软件开发生命周期流程更加精简和有效。AI正在以各种方式影响测试自动化,从而在设计和执行测试中节省大量时间,更快地发布软件以满足客户需求。

测试智能化是未来几年测试行业最大的技术趋势之一,测试界对该趋势有很积极的反馈,一方面,我们已看到实际的落地案例,另一方面,该方向还会不断涌现新的技术进展。陈冠诚指出,“AI技术可以解决自动化测试学习成本高、维护成本高、Hybird识别差、跨应用能力差,以及不支持跨平台等方面的问题。目前,AI技术主要从三个方面助力自动化测试,分别是测试用例的智能生成,测试的智能执行,以及测试结果的智能分析。”

iTestin推出业界首款基于自然语言的脚本录制功能,支持用自然语言的交互方式,完成测试自动化操作,全面提升测试产品的易用性和自动化效率,通过人工智能技术,大大降低脚本调试和脚本维护成本。

具体来说:

1. 自然语言录入文字即可生成自动化脚本

通过iTestin,想实现向下滑动APP,就可以写“向下滑动”,如果想实现APP登录,就可以写“点击登录”,不像以前需要设置各种参数才能完成这些操作,降低操作门槛。

2. 不依赖控件信息,进行控件定位识别

为了支撑自然语言撰写的自动化测试脚本语言的稳定与高效执行,需要高精度、高效率的AI算法提供可靠的识别效果。为了解决识别精度的挑战,Testin云测打造了业界最大规模的APP截图的字符识别数据集,并通过算法自动生成上千万条数据用于字符识别模型的构建。

陈冠诚说道,“现实世界的数据和传统方法就像深度模型的老师,我们可以从这些数据和方法中提取智能。通过图像处理技术,模型各种变换,使数据变得更全面,帮助模型达到更好的泛化能力。”

为了提升OCR深度学习的效率,Testin云测与英特尔联合进行了探索,并重点从基础设施平台配以工具套件来构建解决方案,用软件加速以及硬件支撑两个角度对OCR方案进行优化。借此,将AI测试中的OCR识别时间从2秒降低到0.3秒左右,实现了6倍的性能提升,且不影响测试的效果和结果。

3.以图找图和图标识别

Testin云测的自动化测试中主要从图像的角度来识别和定位控件元素。目前大部分应用采用简约设计的线条形图标,这样导致原本可靠的模板匹配和特征点匹配技术都失效了。在实际测试中,现有最好的图标识别技术,正样本的准确率只有66.87%,负样本准确率为91.16%,单个图标识别耗时为1532ms。

Testin云测对简约设计的线条图标的识别,进行了集中攻关,并且专门设计了图标相似度判别算法,大大提高了图标识别的准确率和对正负样本的分辨能力,最终的正样本准确率通过率为97.34%,负样本的准确率为97.16%,单个图标识别平均耗时为319ms,达到了业界领先水平。

结语

未来几年中,我们将看到人工智能与新兴的计算机视觉、自然语言处理和手势用户界面嵌入到各种类型的产品和设备中。AI和机器学习技术不断成熟和发展,它们正在越来越多地应对软件测试中的挑战。Testin云测为应用、软件、网站、小程序等提供全方位测试服务,致力于将领先技术落地于测试行业,提升跨终端执行通过率,通过AI深度学习算法使自动化脚本越来越“聪明”,采用智能的、自适应的测试自动化方案让自动化变得更加“智能”。

免费获取Testin云测产品体验

立即咨询