Android App性能自动化评测方法

前言

App运行在设备上的性能表现也是质量保障的一个重要环节。因此，当我们确保了基本功能的准确之后，还需要有一定的方法评测App在不同设备上的性能表现。本文将从性能指标，评测方法，自动化体系建设等三个方面，介绍Android App的性能测试方法。

性能指标

传统Android App的性能测试都是通过测试工具获取App运行过程中的各项指标数据，然后取平均值，最大值，最小值等统计值作为结果分析。主要采集的指标有：

1. CPU，CPU使用率过高，会使整个手机无法响应用户，整体性能降低，影响用户体验，也容易引起ANR等问题
2. 内存，内存占用偏高，尤其是内存泄露是Android开发者十分关心的问题，因为内存泄露可能导致的后果是应用进程直接被kill掉。
3. 流量，对于APP用户来说，流量=钱，通过流量的实时监测，帮开发者分析应用的资源加载大小、网络请求是否合理
4. 启动时间，App启动到首页加载完成的耗时，如果太慢，直接导致用户卸载App
5. 包大小，安装包中资源冗余、文件未做压缩，都将导致APK包偏大，增加下载流量和安装时间
6. 流畅度，应用的帧率和流畅度是最直接影响用户体验的。通过帧率和流畅度曲线，帮开发者分析是否存在UI问题。

指标

当指标确定之后，我们就是需要根据这些指标来一一评测App的性能，我们将从基础性能和深度性能两个维度分别介绍评测方法。

基础评测体系

基础性能评测是指我们通过工具获取App运行过程中的性能数据，然后对性能数据进行统计分析，从而得到性能好坏的结论。下面我们将介绍基础性能评测的整体流程。

1. 制定性能基线

性能基线有两种形式：前后版本对比，新版本的数据原则上不能高于旧版本数据的5%；行业竞品库，通过大量竞品分析得到行业竞品基线库，从而确定产品的性能在行业内的竞争力。

2. 确立测试场景

测试场景的选取一般根据用户行为分析得到，选取20-30个核心场景，每个场景的路径不要超过5个步长。

3. 测试方法

我们可以直接通过Android自带的adb工具获取，也可以通过系统API获取，下面介绍几种常用的adb命令获取性能数据方法。

1. CPU：adb shell top
2. 内存：adb dumpsys meminfo
3. 流量：cat /proc/net/xt_qtaguid/stats
4. FPS：adb dumpsys gfxinfo
5. 启动时间：adb logcat -s ActivityManager

4. 生成测试报告

根据操作具体场景获取到的性能数据，我们可以进行统计分析，从而生成测试报告。报告的样板如下：

深度性能评测体系

我们知道，基础性能评测只是从统计学的角度来评测App的性能，但具体影响性能的问题点并没有挖掘出来，力度太粗。因此，我们需要进一步深化我们的性能评测。下面将介绍深度性能评测的方法。
深度性能评测主要从以下三个维度进行：

1. 内存泄漏分析

对LeakCanary进行二次开发，并引入到App代码中，从而生成可自动检测内存泄漏的安装包，结合UI自动化测试，Monkey测试进行页面的跳转，同时上报泄漏信息。

内存泄漏报告

2.卡顿分析

在App代码中引入BlockCanary工具，使用UI自动化，Monkey工具进行页面遍历，收集卡顿信息，并上报到管理平台，生成报告。

卡顿报告

3. 安装包瘦身分析

对Android Apk包的资源文件进行解析，分析冗余资源文件，可压缩资源文件，并计算可压缩的比例。

瘦身报告

性能自动化测试体系建设

有了前面基础性能评测和深度性能评测的方案，我们将整个流程通过自动化串联，报告聚合，就可以形成一套性能自动化测试系统。
流程如下：首先从打包平台自动下载最新安装包，然后启动Apk分析线程，并保存结果，然后启动UI自动化测试对App进行操作，同时采集基础性能数据和深度性能数据，同时将测试结果保存到数据库，最后从数据库中汇总所有的测试数据，聚合生成测试报告。

性能自动化流程

该系统有三个核心功能点：

1.UI自动化驱动测试场景

通过自动化测试遍历App功能模块，主要采用UI自动化和Monkey遍历相结合，即可覆盖核心场景，也具有一定随机性。

2. 多线程数据采集

自动化线程负责UI的遍历，另外启动多个线程采集基础性能和进行深度性能分析，数据实时同步到数据库。

3.报告聚合分析

对测试数据进行统计和分析，与制定的基线指标结合给出测试结论或者评分，最后通过报告形式展示在Web端。

总结

性能评测的最终目的还是为了发现App在不同设备上的性能问题，同时协助开发解决问题。因此，我们做性能测试的时候，不仅要发现问题，也要定位问题，深入挖掘性能问题的根源才是我们需要持续努力的方向。