集成测试复杂度的挑战

1. 饿了么使用面向服务的架构（Service-oriented architectures， SOA）

和Thrift 来构建基础的服务

2. SOA 和Thrift间相互调用

随着模块的增加，这些测试分支的组合，将会呈现几何级的增长

3.异地多活

复杂的路由规则

项目中人员之间沟通复杂度的挑战

1.开发跟测试之间的接口变动挑战

2.前段开发工程师跟后端开发工程师的接口变动挑战

3.相互依赖的项目之间的接口变动挑战

4.各业务线各自测试，Mock提供方的接口

5.多路由规则的挑战

项目中人员之间沟通复杂度的解决方案

1.即时的扫描代码，把接口的变动通知给测试，开发和前端

2.自动的回归相关源码变动的APP，回归完后将结果通知本项目中的所有人员

3.回归项目中有相互接口依赖的所有的APP，回归完后将结果通知本项目及涉及项目的所有人员

主要的策略，将变动通过邮件的方式，由之前的没有变动提醒，变为主动推送让项目中的人员及时的了解接口的变化

测试人员的效率的挑战

1.黑盒测试人员做不了白盒测试人员的事情

2.好的白盒人员市场上很难招聘到

3.测试人员很难及时跟上开发的变动，对接口进行全面的回归

4.接口的覆盖场景是否全面

5.不同项目间的测试人员的沟通和交流

6.缺少自动化的工具来辅助测试人员测试多路由

7.缺少对接口的等级划分

测试人员的效率的解决方案

1.让黑盒人员可以做白盒测试人员的事情（可视化的API的测试工具）

2.针对接口测试引入代码覆盖率，来衡量API的接入质量

3.将开发编写的文档，自动化扫描接口，让测试人员可以明确的知道每一个API的用途，及每一个参数的意义

4.提供手工组装API的Case，和通过HAR批量的生成Case的功能

5.提供了基于Log批量生成SOA接口的功能

6.旧有的Case移植的问题，通过提供SDK，让有代码编写能力的，继续编写代码进行测试

7.提供SOA和Thrift的可视化测试工具且不需要他们编写代码，像业务人员录入订单一样，只需要填入参数便可进行接口测试

8.尽可能多的移除业务上Mock，多增加分层系统的Mock

9. 80 20 法则，80%的问题出在20%的代码上，如果识别这20%的代码对应的接口上

API的接入步骤-手工组装

API的接入步骤-批量生成

如何动态的测试SOA-SOA设计

基于Log的 SOA接口-批量生成

如何动态的测试Thrift

通过日志生成Case的可复用率

如何提高通过日志生成Case的可复用率

随机测试的流程

通过代码覆盖率来评定测试用例

1.类的覆盖率，方法的覆盖率，语句的覆盖率，分支的覆盖率

2.比较覆盖率

通过代码覆盖率来筛选有效Case

代码覆盖率跟bug的关系

如何识别关键接口-被依赖

如何识别关键接口-依赖其它应用

静态工具和动态的工具结合

1.Swagger

2.Jacoco

多样化的完善和补充接口方法

1.随机测试

2.基于ELK的日志测试

随机测试的理论和方法

1.蒙特卡罗方法或算法

Monte Carlo algorithm will return an answer that is not necessarilycorrect within a reasonable amount of time

2.拉斯维加斯

Las Vegas algorithm may take infinite time to compute an answer, butthe answer is guaranteed to be correct.

随机测试

随机测试的工具

1.JCrasher https://code.google.com/archive/p/jcrasher/

2.Jartege http://www.eecs.ucf.edu/~leavens/JML//index.shtml

http://www.openjml.org/documentation/

3.Eclat

4.Randoop https://randoop.github.io/randoop/manual/index.html

5.QuickCheck https://github.com/nick8325/quickcheck

6.AutoTest https://github.com/autotest

7. TestEra

8. Korat

基于ELK的日志测试

1. https://github.com/SkeltonThatcher/event-tracing-demo

安全性的挑战

1.系统部署了多少端口，多少个的服务

2.测试人员是否进行过安全性的测试

流程的标准化

1.有无统一的Case管理和维护流程

2.有无统一的工作流程

3.有无统一的测试账号管理工具

4.有无统一的测试数据生成工具

5.有无统一的项目提测流程

自动化

1.自动化的回归

2.自动化的分发和执行

3.自动化的报告

框架的发展及规划