科技猎工具型产品可用性测试怎么做？
编辑导读：可用性测试，能够让产品经理借助用户，更加客观理性地理解产品功能以及交互，并结合测试结果予以改进。本文作者从项目实践出发，结合案例分享了工具型产品可用性测试的具体流程，供大家一起参考和学习。
打造一款产品的过程中，我们需要时刻保持警惕：功能是否满足用户核心需求？交互流程能否做到简单流畅？是否还有未知领域可以由用户带来启发？进行一次准备充分的可用性测试，无疑是解答上述问题快捷有效的方式。
下面我将结合本次针对酷家乐旗下云端建模工具——酷大师所做的可用性测试，说明工具型产品如何去做可用性测试。
01 准备阶段
第一步：明确测试目的
测试目的不同，安排的测试任务就不同，进而就会影响最终得到的结果。所以测试之初需要考虑清楚测试目的。国际标准化组织在人体工程学设计的人机交互部分（ ISO9241） 把【可用性】规定为 3 个指标：
- 有效性：用户使用该系统完成任务的精度和完整性；
- 效率：用户使用该系统完成任务需要耗费的资源；
- 用户满意度：用户对该系统的舒适度和认可接受程度。
结合这3个指标，我将本次测试目的设定为：
- 了解用户对酷大师现有主流程的使用现状；
- 了解用户对酷大师的体验满意度及需求满足情况。
第二步：确定测试时间和环境
测试时间：
- 测试准备时间：建议为期2天。准备相关文档、设备、场地、任务等。
- 用户测试时间：建议为期3-5天。可短时间内容集中进行用户测试，或在工作日穿插进行测试。
- 结果整理时间：建议为期5天。用于整理测试信息、落实产品迭代任务、撰写总结报告等。
测试环境：
- 线下环境：邀约用户到公司办公室现场测试；
- 线上环境：考虑到用户路程及时间等限制性因素，也可在线上进行测试。
第三步：安排测试设备
- 操作设备：取决于目标用户群体主要使用的设备，假如用户都使用ipad，就要将ipad列为主要操作设备。
- 录音设备：测试结束后需要进行详细的信息整理，录音资料可以帮助回忆沟通内容。可使用手机自带录音功能或专业录音笔。录音前必须告知用户，在征得许可后方能进行录音。
- 录屏设备：工具型产品的操作过程中涉及很多细节，录屏资料可以帮助工作人员进行问题定位。可使用电脑自带录屏功能，或录屏工具。
- 远程设备：由于部分用户需在线上测试，可使用在线工具进行远程协作，比如：zoom、腾讯会议等。
- 记录本和笔：测试过程中进行表格填写时需要使用。
- 文档资料：主要包括测试过程中需要填写的表格。建议打印n+2套，n是测试样本数量，另外2套备用。
- 场地准备：提前预约会议室，给用户独立的操作环境。
- 测试酬劳：具体可根据公司政策进行准备。
第四步：邀约测试样本
Nielsen在理论中认为5-8位用户可以测试出85%的可用性问题，实践下来确实如此，样本数量建议控制在这个范围。
在同一个产品的用户中，新手用户、永久的的中间用户、专家用户这三类角色通常是共存的。我们需要让新手用户快速和无痛苦地成为中间用户；避免为那些想成为专家的用户设置障碍；最为重要的是，让永久的中间用户感到愉快，因为他们的技能将稳定地处于中间层。
本次测试中，我尽量使样本中包含这3类用户，比例为2：3：3。测试之后，就可以大概知道对于不同类型用户来说，产品可用性和易用性情况，也可以得到多维度差异化的反馈。
第五步：设计测试文档
测试中需要使用一些管理用户信息或记录用户反馈的表格，在准备阶段就要做好表格设计和打印工作。下面是具体的表格，可根据具体需求做相应调整。
（1）《用户信息&排期表》
在这张表中管理测试用户信息【姓名、职业】、测试安排【时间、地点】、测试工作人员【主持人、观察员】。一场测试尽量安排一位主持人和一位观察员作为工作人员相互配合。
主持人负责与用户沟通互动，推进测试进程；观察员负责设备和资料保障，以及测试过程中的行为观察和记录。一个人独自承担主持人+观察员角色的话，在用户反馈密集而现场又出现临时状况时就会手忙脚乱，所以建议两个角色分工协作。
（2）《用户基本信息问卷》
在这张问卷中可以设计与产品相关的用户基本信息问题，问卷设计原则为：
- 关联性：与需要测试的内容相关；
- 层级性：问题层级依次递进，使用户回答问题时能够思维连贯，由浅入深；
- 隐私性：尽量避免涉及用户敏感信息，必须涉及时需解释原因，尊重用户意愿。比如有些用户不愿透露年龄、收入等信息。
这张问卷使用在线工具呈现，比如腾讯问卷；也可现场打印纸质问卷进行询问填写。大多数用户比较喜欢现场填写。
（3）《单任务满意度问卷》
测试过程中，我们需要让用户完成一个完整任务，该任务需要拆解成若干单任务。在每个单任务结束后，立刻对用户进行该单任务的满意度询问。
（4）《SUS系统可用性量表》
用户结束完整任务后，填写该量表。该量表由10个题目组成，包括奇数项的正面陈述和偶数项的反面陈述。在结果整理阶段，我们再对该量表进行分值计算。
第六步：规划测试脚本
从开始到结束，需要主持人将整场测试的各个环节串联起来，引导用户操作，推动测试进程向前发展。为防止意外状况出现，可以预设测试脚本，规划情境和话术，并在预测试环节验证及优化该话术。
比如可以这样开场：“首先非常感谢您今天能来参加我们的可用性测试，我是主持人XXX，这位是观察员XXX。我们这次是对酷大师建模工具进行可用性测试，想了解您使用时的体验和感受。
在这里需要强调的是：我们测试的对象是工具，而不是您，所以您不必感到紧张……当您使用工具时，我们会观察和记录。今天的测试大概需要一个小时，测试过程中会有休息时间。测试过程中，请您将手机保持静音状态……“
比如可以这样进行两个单任务环节串场：“好的，我们已经完成了第一个单任务。现在有一份简单的问卷，填完后可以稍微休息一下。
【出示问卷，并作简要填写说明】【问卷完成后进行简单访谈，用户也稍稍休息后继续】现在，我们开始进行第二个单任务【要清晰且大声地说出这句话，以“鼓励”测试参加者和提示记录人员】……”
具体话术依据需要测试的内容和情境展开，尽量做到专业、友好。
第七步：设计测试任务
可用性测试往往带有一定目的性，而这些目的能不能达成，取决于任务与目的的关联性以及用户是否能够给到对应反馈。通常，测试用户是愿意给予反馈的，那么测试任务的设计就成为整个准备阶段最重要的环节。
做好测试任务的设计和拆解：需要具备从全局高度理解产品的能力；需要知道产品全链路的过去起源、现状细节、未来走向；需要精确把控重点，拎出骨架；需要去繁就简，以较少的任务成本测出最有价值的信息。
本次测试中，我设计的主流程是：模型创建——材质铺贴——模型渲染——模型发布——模型分享，并且我还希望测到拉伸、阵列、组编辑、移动、旋转这样的主功能。所以我将这两块有机结合，给到用户创建一个【楼梯踏步模型】的任务。
我将任务按照主流程拆解为5个单任务，主功能分布到其中几个单任务中，且尽量做到两个单任务中不重复使用同一个主功能。
02 预测试阶段
大多数产品都存在一些限制因素导致的尚未解决的已知问题。这些问题在测试中出现的话，会转移用户注意力，削弱本次测试的价值，偏移本次测试的目的。
另外，我们准备阶段进行的种种规划也需要得到验证。结合这两个原因，正式测试之前建议进行内部的用户预测试。找出并修复测试环节中的漏洞，准备好各类突发状况下的planB，以及修复影响正式测试的已知问题，提高正式测试的执行效率。
03 正式测试阶段
第一步：测试开场，填写《用户基本信息问卷》
本次测试是在工作日穿插进行8场一对一用户测试。这样可以放缓测试节奏，在两场测试间隙有充足时间简单整理上一场收集的信息，与下一场用户确认测试安排，以及对突发状况及时处理。
正式开始前半小时，观察员需确认设备都已调试妥当，资料都已打印完成。主持人可与用户进行联系，带领用户进入测试场所。主持人可以通过填写《用户基本信息问卷》了解用户基本信息，帮助用户消除在陌生环境下的沟通障碍。也可以使用户以放松状态完成测试任务，以开放心态为后续拓展性话题的展开做好准备。
无论是填写《用户基本信息问卷》还是后续的问卷，建议采用主持人提问、用户回答的方式收集信息。用户的注意力集中于思考和沟通，就能够提供更多有价值的信息，而不是忙于撰写问卷。
第二步：完成单任务，填写《单任务满意度问卷》
主持人按照顺序分步解说单任务。单任务测试过程中，工作人员不要去打扰用户，也不要给用户任何提示，所有的问题都等到测试结束再进行解答。
观察员需仔细观察用户操作，记录用户是否很容易判断出如何操作，完成某个重要功能点时是否顺畅；需随时关注用户表情，记录下明显表情相关联的流程或功能点等等细节。
一个单任务完成后，提示用户稍事休息，然后提问《单任务满意度问卷》中的问题。此时可以回答用户操作过程中的疑问，也可以藉由操作中的细节做延展发散，询问用户操作感受。通常可以获得很多针对该单任务的意见和建议。这些意见和建议后续就需要记录整理，作为优化任务帮助提升产品可用性和易用性。
第三步：填写《SUS系统可用性量表》，了解整体评估
整个任务完成后，可以藉由填写《SUS系统可用性量表》，了解用户对整体的评估。由于量表的10个题目中，包括奇数项的正面陈述和偶数项的反面陈述，所以在提问过程中一定要陈述清楚题目。如果用户认为有些问题无法回答，则视为其选择中间值。在后续的结果整理阶段，再对量表总分进行计算。
在问题询问过程中，可以有针对性地询问原因。比如针对第2个问题“我认为酷大师建模工具的操作较为复杂，其实没必要这么复杂”。
如果用户认为不复杂，则可以询问哪些点非常简单易用；如果用户觉得复杂，则可以询问哪些点觉得复杂。用户告知原因的同时，常常会说出他认为比较简单的解决方案。这些解决方案或者来自于竞品，或者来自于实践，或者来自于创新，常常可以帮助我们开拓思路，走出认知盲区。
第四步：拓展性访谈，测试收尾
在这个环节可以不必拘泥于原定的测试任务。建议预留一定时间，大到行业发展，小到产品细节，与用户进行一番深度探讨。这些来自于一线的用户常常会带来一些新鲜的灵感，为产品未来的拓展提供一些线索，解决产品当下的一些困惑。
由于我们一开始就对测试样本进行了分类，所以也可以结合前面几个环节的信息，对各分类下的用户诉求和行为习惯进一步验证、区分、归纳。
04 结果整理阶段
第一步：SUS量表分值计算
首先，我们需要计算SUS量表总分。奇数项计分采用“原始得分-1”，偶数项计分采用“5-原始得分”。由于是5点量表，每个题目的得分范围记为0~4（最大值为40），而SUS的范围在0~100，故需要把所有项的转换分相加，最终再乘以2.5，即可获得SUS分数。
其次，我们可以获得分量表得分。SUS量表中，第4和第10项构成的子量表为“易学性”（Learnability），其他8项构成的子量表为“可用性”（Usability）。
为了使易学性和可用性分数能够与整体SUS分数兼容，范围也是0~100，需要对原始分数进行转换：易学性量表转换分数的总和乘以12.5，可用性量表乘以3.125。
最后，我们可以将SUS量表分数换算成百分等级来解释，找到对应评级。百分等级的意思是指测量的产品或系统相对于总数据库里其他产品或系统的可用性程度。比如SUS得分是73分，其百分等级大约为67，意味着比大约66%的产品可用性更好。
第二步：整理问题列表，推进迭代优化
做完所有用户的测试之后，我们一定会收集到很多涉及具体功能点的反馈。对于正向反馈，我们可以谦虚地接受，并且思考这些打动用户的点如何复用；对于非正向反馈，我们应该冷静地思考，它们将是本次可用性测试中最直接而有效的收获！
对这些反馈可以进行分类归纳，将其中能够立即应用于产品的内容整理出来，按照优先级，放入产品迭代优化任务中。这些任务将提高产品可用性，在数据层面能够帮助提升留存率。我们这次可用性测试中总共获取97个有效反馈，其中62个整理进产品迭代任务，并且取得了用户使用数据上的相应提升。
第三步：撰写测试报告
整个测试环节通常只有2-3位工作人员，如果希望能和团队一起分享测试的收获，建议整理一份总结报告。可以使用word或者ppt形式，说明测试背景、测试用户信息、主要结论、发现的问题、以及解决问题的行动项。
05 总结升级
经过几场颇具收获的工具型产品的可用性测试之后，我做了一些总结，希望能够形成适应于工具型产品的可用性测试体系：
（1）目的性
工具型产品的可用性测试目的比较统一：帮助团队优化体验路径；帮助团队明确用户使用产品时的体验感受；帮助设计师验证设计指标。
（2）专业性
完整的可用性测试全程都需要专业支撑，从筹备到进行，从任务到结果，每一个细节都需要考虑到位。在这过程中我们要尽量保证：流程规划清晰；文档整理完整；分工明确到位。
（3）参与性
大多数可用性测试是用户体验相关岗位人员发起，但是用户对于产品的反馈与团队每位成员息息相关，所以建议团队共同参与。比如在这次可用性测试中，就邀请了产品经理和研发人员担当观察员或主持人；邀请用研人员给予专业指导培训；在对测试反馈的问题进行优化过程中，也是团队通力合作，推进迭代快速进行。
（4）周期性
可用性测试不是进行一次就结束的一场表演。而是结合产品进展情况，可持续实施的一种有效的快速验证方式。
可以在新产品上线后进行，可以在重要功能上线前进行，也可以在迭代优化后进行。建议周期性进行可用性测试，取得一些结果后立即应用于产品，隔段时间再次验证，形成良性循环。亦趋近于精益用户体验中倡导的基本MVP理念。
当然，每次可用性测试都需要工作人员投入大量时间和精力，所以专业赋能可以成为很好的解决方案。即团队成员可以学习使用该方法，轮流进行周期性操作。
06 写在最后
我们日常其实接触并积累了大量专业方法，可用性测试只是其中一种。在不断实践的过程中才能真正体会到这些方法的魅力之处，在不断落地的过程中才能打磨自身的方法论体系，形成属于自己的一套打法，给产品设计带来新颖的专业思路。
作者：怀瑾；公众号：酷家乐用户体验设计，欢迎关注，交流探讨。
本文由 @酷家乐用户体验设计 原创发布于人人都是产品经理，未经许可，禁止转载
题图来自 Unsplash，基于 CC0 协议