APP测试规范
-
app
客户端测试规范
APP
测试流程
目录
1.
2.
测试基本流程图
.
< br>............................................... .................................................. .................
3
测试要点
.
..................................................
..................................................
..........................
4
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
3.
测试资源
.
..................................................
..................................................
............... 4
接收版本
.
..................................................
..................................................
............... 4
UI
测试
............
..................................................
..................................................
....... 4
功能测试
.
.............................
..................................................
.................................... 4
兼容测试
/
性能测试
< br> .............................................. .................................................. .. 5
后台数据统计测试
.
..............................
..................................................
................... 5
用户行为统计测试
.
..............................................
..................................................
... 5
回归测试
.
.................................
..................................................
................................ 6
App
测试点
..........
..................................................
..................................................
.............
6
3.1
安全测试
.
....................................
..................................................
.................................. 6
3.1.1
软件权限
.......
..................................................
..................................................
....... 6
3.1.2
安装与卸载安全性
...
..................................................
.............................................
7
3.1.3
数据安全性
......
..................................................
..................................................
.... 7
3.1.4
通讯安全性
......
..................................................
..................................................
.... 8
3.1.5
人机接口安全性
....
..................................................
................................................
8
3.2
安装、卸载测试
......
..................................................
..................................................
... 8
3.2.1
安装
.........
..................................................
..................................................
........... 9
3.2.2
卸载
.........
..................................................
..................................................
........... 9
3.3
UI
测试
.......................
..................................................
..................................................
. 9
3.3.1
导航测试
.......
..................................................
..................................................
... 10
3.3.2
图形测试
.......
..................................................
..................................................
... 10
3.3.3
内容测试
.......
..................................................
..................................................
... 10
3.4
功能测试
.
....................................
..................................................
................................ 10
3.4.1
运行
.........
..................................................
..................................................
......... 11
3.4.2
应用的前后台切换
...
..................................................
.........................................
12
3.4.3
免登录
........
..................................................
..................................................
...... 12
3.4.4
数据更新
.......
..................................................
..................................................
... 13
3.4.5
离线浏览（无网测试）
.
..................................................
................................... 13
3.4.6 App
更新
.....
..................................................
..................................................
..... 13
3.4.7
定位、照相机服务
...
..................................................
.........................................
13
3.4.8
时间测试
.......
..................................................
..................................................
... 14
3.4.9
PUSH
测试
.....................
..................................................
.....................................
14
3.5
性能测试
.
....................................
..................................................
................................ 14
3.6
交叉事件测试
.......
..................................................
..................................................
.... 14
3.7
兼容测试
.
....................................
..................................................
................................ 15
3.8
回归测试
.
....................................
..................................................
................................ 15
3.9
升级、更新测试
......
..................................................
..................................................
. 15
3.10
用户体验测试
......
..................................................
..................................................
... 16
3.11
硬件环境测试
......
..................................................
..................................................
... 16
3.11.1
手势操作测试
....
..................................................
..............................................
16
3.11.2
网络环境
......
..................................................
..................................................
.. 17
3.11.3
服务器宕机
或出现
404
、
502
等情况下的测试
..............................................
17
3.12
接口测试
< br>.
...................................
..................................................
............................... 17
3.13
客户端数据库测试
...
..................................................
...............................................
17
1.
测试基本流程图
接收版本
不符
APP
版本送测规
范
符合
UI
测试：核对
< br>原型图
/
效果图
功能测试：核<
/p>
对需求文档
兼容性测试、
性能压力测试<
/p>
仍在测试环境
申请到正式环
境下测试
进入正式环境
后台数据统计
回归测试
用户行为统计
Fail
Pass
发送上线报告
2.
测试要点
2.1
测试资源
测试任务开始前，检查各项测试资源。
1)
产品功能需求文档
2)
产品原型图
3)
产品效果图
4)
测试设备（
ios3.1.3-ios5.0.1
；
Android1
.6-Android4.0
；
Winphone7.1
及
以上等）
5)
其他（例如支付宝
/
银联支付功能，需要提前申请支付宝
/
银联账户等等）
2.2
接收版本
6)
接收测试版本的同时，
需要查看
APP
版本送测规范，
若符合则开始测试任务，
若不符合规范，可拒绝测试。
7)
日常接收版本时需要注意测试版
本规范，如不符合，请开发人员重新修改合
适的版本号后再次提交测试。
2.3
UI
测试
1)
确保手头的原型图与效果图为当前最新版本。
2)
确保产品
UI
符合产品经理制定的原型图与效果图。
3)
一切界面问题以效果图为准，若
有用户体验方面的建议，必须先以邮件或口
头的形式询问产品经理。
4)
由于测试环境中的数据为
模拟数据，
测试时必须预先考虑到正式环境中可能
出现的数据类
型
2.4
功能测试
1)
确保手头的功能需求文档为当前最新版本。
2)
确保所有的软件功能都已实现且逻辑正常。
3)
一切功能问题以需求文档为准，
若有用户体验方面的建议，必须先以邮件或
口头的形式询问产品经理。
< br>
4)
若有些功能在技术上难
以实现或者由于排期的原因无法在短时间内实现，
必
须得到产品
经理的确认，而不是单单只听开发人员的技术解释。
5)
禅道上所有的“外部原因”问题
，都需要尽早地督促开发人员与客户服务端
人员联系协调解决。
6)
禅道上所有的“设计如此”
、
“延期处理”问题，都需要和产品经理确认后再
< br>进行验证。
7)
测试发标、借款、投资时，所有测试人员必须严格遵守规范。注册的测试账
号必须符合公司规范；借款标标题必须包含“测试”关键字等。
8)
测试细节可参考且必须遵守《公司客户端通用测试用例》文档。
2.5
兼容测试
/
性能测试
1)
确保软件在所有兼容机型上都能正常使用
2)
对于低端性能兼容机上独有的问
题（例如
ios7.0
、
Androi
d4.0
）
，若在技术
上难以修改或者
由于排期的原因无法在短时间内改进，
必须得到技术平台主
管、
产品经理以及运营人员的确认。
3)
性能测试方面必须满足硬件压力条件下的测试需要（例如多线程）
4)
网络响应用户体验方面的性
能测试，请参考且遵守《
Mobile
app
可用性能标
准》
。
2.6
后台数据统计测试
1)
核对“客户端相关
启动查询”项，此项数据就是经常说的“激活量”
，非
常重要。测试时必须保证该项中的各数据均正确，且每次启动软件都会有相
应的统计记录。
2)
核对“借款查询”项，测试时必须保证各数据均正确，且每次成功借款后都
会有相应的统计记录。
3)
需要注意的是，
在成功借款之后，
BI
后台会做判断将该记录划到测试
单范围，
测试人员必须到“借款标查询（测试）
”模块中核对借
款标统计记录信息。
2.7
用户行为统计测试
1)
确保手头的行为统计分析定义文
档为最新版本，
且与开发人员手中的文档一
致。
2)
确保产品经理在文档中所定义的页面在该产品中都是存在的。
3)
尽可能真实地模拟用户行为。
4)
核对统计日志，确保各项操作所
对应的页面
ID
以及操作
ID
都是正确的。
2.8
回归测试
1)
软件最终上线前，需对产品进行
回归测试，测试内容包含之前所有的测试项
目
2)
回归测试不再对细节进行测试，
而是类似于对产品进行验收，从客户正常使
用的角度对产品进行再一轮的整体测试。
3)
只有在回归测试通过之后，才对产品进行提交。
3.
App
测试点
3.1
安全测试
3.1.1
软件权限
1)
扣费风险：包括发送短信、拨打电话、连接网络等（询问权限）
2)
隐私泄露风险：包括访问手机信息、访问联系人信息等
3)
对
Ap
p
的输入有效性校验、认证、授权、敏感数据存储、数据加密等方面进
< br>行检测
4)
限制
/
允许使用手机功能接人互联网
< br>
5)
限制
< br>/
允许使用手机发送接受信息功能（短信分享
,
验证码短信，推送消息）
6)
限制
/
允许应用程序来注册自动启动应用程序（暂无）
7)
限制
/
允许使用手机拍照或录音（上传头像等）
8)
限制或使用本地连接
9)
限制
/
允许使用手机读取用户数据
10)
限制
/
允许使用手机写人用户数据
11)
检测
App
的用户授权级别、数据泄漏、非法授权访问等
3.1.2
安装与卸载安全性
1)
应用程序应能正确安装到设备驱动程序上
2)
能够在安装设备驱动程序上找到
应用程序的相应图标（桌面图标）
3)
是否包含数字签名信息（银行卡充值、提现）
4)
JAD
文件显示的资料内容与应用程序显示的资料内容应一致
5)
安装路径应能指定
6)
没有用户的允许
,
应用程序不能预先设定自动启动
7)
卸载是否安全
,
其安装进去的文件是否全部卸载
8)
卸载用户使用过程中产生的文件是否有提示
9)
其修改的配置信息是否复原
10)
卸载是否影响其他软件的功能
11)
卸载应该移除所有的文件
3.1.3
数据安全性
1)
当将密码或其他的敏感数据输人到应用程序时
,
其不会被储存在设备中
,
同时密码也不会被解码
2)
输人的密码将不以明文形式进行
显示（用户可选择，默认不显示）
3)
密码或其他的敏感数据将不被储存在它们预输人的位置上
4)
验证码或密码长度必需至少在<
/p>
4-8
个数字长度之间
5)
当应用程序处理敏感数据时
,
不以明
文形式将数据写到其它单独的文件或
者临时文件中。
6)
应用程序应考虑系统产生的用户提示信息或安全警告
7)
在数据删除之前，应用程序应当
通知用户或者应用程序提供一个“取消”命
令的操作
8)
“取消”
&
“后退”命令操作能够按照设计要求实现其功能
9)
应用程序应当能够处理当不允许
应用软件连接到个人信息管理的情况
10)
能合理地处理出现的错误（不能闪退）
11)
意外情况下提示用户
3.1.4
通讯安全性
1
）在运行其软件过程中
,
如果有来电、
SMS
、
EMS
、
MMS
、蓝牙、红外等通讯或
充
电时
,
是否能暂停程序，
优先处理通信
,
并在处理完毕后能正常恢复软件
,
继续
其原来的功能
2
）当创立连接时
,
应用程序能够处理因为网络连接中断
,
进而告诉用户连接中
断的情况
3
）应能处理通讯延时或中断（弱网或无网络处理）
< br>
4
）应用程序将保持工作到通讯超时
,
进而发送给用户一个错误信息指示有连接
错误
< br>
5
）应能处理网络异常和及时将异常情况通报用户
6
）应用程序关闭或网络连接不再使用时
应及时关闭
断开
7)
HTTP
、
HTTPS
覆盖测试（
H5
页面）
--App
和后台服务一般都是通过
HTTP
来交互的，验证
HTTP
环境下是否正常；
--
< br>公共免费网络环境中（如：麦当劳、星巴克等）都要输入用户名和密码，通过
SS
L
认证来访问网络，需要对使用
HTTP Client
的
library
异常作捕获处理。
3.1.5
人机接口安全性
1
）返回菜单总保持可用
2
）命令有优先权顺序
3
）声音的设置不影响应用程序的功能
4
）应用程序必需利用目标设备适用的全屏尺寸来显示上述内容
5
）应用程序必需能够处理不可预知
的用户操作
,
例如错误的操作和同时按下多
< br>个键（快速多次重复查看大图和返回，容易引起崩溃）
3.2
安装、卸载测试
验证
App
是否能正确安装、运行、卸载