神策数据：教育行业渠道效果评估问题定位、策略迭代与实战解读

《教育从业者必须要懂的「渠道效果评估」三大维度》一文中,从渠道效果的评估维度展开了详细阐述,本篇作为渠道效果评估的后续,将围绕渠道效果解决方案,从评估问题定位以及如何进行迭代策略实战展开。

关注神策数据公众号,了解神策在教育行业的更多数字化实践。

一、如何通过渠道效果评估定位问题

当前,媒介渠道纷繁多样、企业流量来源复杂,不同渠道的投放效果评估愈发困难,如何量化投放效果、定位核心问题成为每个教育企业关注且困惑的重要课题。在上篇中,针对如何量化渠道投放效果这一问题,从渠道目标定义及评估、渠道指标评估体系搭建(核心、关键指标)、渠道综合效果评分进行了深入探讨。本篇将各个渠道核心问题路径拆解如下:

任何主题的数据分析均需重视“逻辑”和“层次”,但是大部分教育企业很多时候只重视逻辑,极容易忽视层次性。无论渠道投放的目的是整个公司品牌推广,还是围绕某个产品的推广,均包含了分属不同层级的多个子任务,比如:

● 指标层:投放效果如何

● 执行层:影响投放效果的因素

● 策略层:定位投放迭代的策略调整方向,沉淀优秀成功的策略方法等

只有通过层次分级,才更容易了解问题出在哪个层级、此层级是否可以独立把控分析、是否需要其他角色的协助等。

围绕问题界定,从指标、执行层综合评估渠道投放效果时,如何定义效果“好”还是“不好”?当前数据展现究竟是否可以定义为“问题”?具体是哪些环节导致了结果问题?分析角度归属于指标层还是执行层……

举个例子:某教育公司想要提高低价体验课程的拉新数量,选择了多个渠道进行该课程的广告投放,两周后发现拉新效果低于预期。针对此,业务同学需要定位原因并加以分析验证,具体的问题定位和分析思路如下:

1、定义渠道核心目标,以终为始开展业务

不同的业务发展阶段存在不同的目标,需要根据业务实际情况,明晰获客定义,教育机构常见的获客核心指标包括:下载量、注册量、App 激活量、留资量、低价体验课报名量、 微信 添加量、获客成本、ROI、付费转化率等,对比上述案例,可以明确其核心结果指标为低价体验课报名数量。

2、界定“问题”真伪,从源头把控分析方向

大家或多或少都了解辛普森悖论的魅力,不同维度的核心结果数据会呈现不一样的“景色”。数据指标对齐统计口径是一切正确分析的基础。如下图所示,3% 的结果数据是否会被定义为真正的问题,需要综合时间、渠道、定义等维度,配合科学合理的对比方法判断其真实身份;然后,综合目标设置逻辑判断预测标准的合理性。只有确保源头没有问题,才可以真正界定“问题”的真伪。

3、多层级视角出发,归纳因素假设

单一核心指标评估法也叫一维评估方法,指的是仅通过核心结果指标评估渠道效果。

评估渠道质量的指标选择是有要求、有技巧的,这个指标一定要能够全面衡量渠道的价值,比如 ROI。但实际操作中一维评估方法有很大的局限性,比如全面成本数据获取延迟、指标角度单一等等……因此,为了更全面地衡量渠道价值,渠道效果评估指标体系应兼顾“量”“质”和“收益”。

界定核心指标表现具备问题的特征后,围绕核心目标,定位各层级可能产生异常的方向,以 4P 理论法做内外部因素拆解,如下:

围绕拆解出的 4P 核心方向,结合具体业务场景、不同层级枚举的影响因素,包括策略层的渠道定向人群包、投放策略、定价策略、产品页面交互设计等;执行层的人工执行策略流程、技术交互错误等(上述场景中假设此执行层不存在问题),从内部影响因素业务流程及产品页面交互角度出发,围绕低价课报名数量指标,可以拆解关键业务流程,进行落地页转化流程漏斗分析,计算出每个环节的转化率、跳出率、停留时长、页面交互情况等,从而判断用户在哪个环节流失,定位可能影响用户页面操作、流失的原因。

明晰核心目标 → 界定问题“真伪” → 归纳多层级影响因素,以终为始,发现渠道是否真正存在问题,结合逻辑和层次分析视角,归纳影响渠道效果的因素。

以上三个步骤是实现渠道投放优质效果的第一步。

二、业务策略迭代及效果验证

1、基于假设因素,合理验证分析

基于 4P 理论拆解影响因素为渠道分析提供了普适性的思考方向,但不同形式的渠道投放评估,在因素衡量的选择和验证深度上会存在稍许差异。不可否认的是,在确定渠道投放有问题或存在优化空间后,最关键的步骤是定位影响因素并进行归因。

如何围绕渠道定向人群匹配、投放物料选择、产品页面设计、渠道竞价等方向做异常分析,具体方法与数据异常定位分析基本一致,包括分组分析法、对比分析法、象限分析法、矩阵关联分析法、MECE 等。

结合上述案例场景,可以梳理渠道投放的核心业务流程为:展示广告 → 点击广告进入落地页 → 访问报名页面 → 提交订单。其中,选取浏览量、转化率作为核心指标进行象限分析如下图所示:

结合四象限结果,提出可能的发展方向和因素假设如下:

高浏览量:

● 投放物料包装命中用户偏好,引起点击兴趣

● 渠道用户调性与物料内容匹配性较高

高转化率:

● 渠道定向人群包筛选精准

● 产品设计符合用户 get 价值路径

基于上述假设采取控制变量法,对不同投放策略组合进行单变量比较,并进行合理假设验证。进一步来看,可以将上述案例场景赋予数值进行对比说明:假设 4 个渠道的用户调性基本一致,数据统计周期为 2 周,控制的变量为渠道中投放时间策略和渠道竞价。

关注神策数据公众号,了解神策在教育行业的更多数字化实践。

由上述数据对比可知:

(1)同定向人群包下,A 渠道浏览量低于 B 渠道,C 渠道浏览量低于 D 渠道,可以猜测物料 ②(A/C 渠道)更能吸引用户点击广告;

(2)同物料下,A 渠道转化率高于 C 渠道,B 渠道转化率高于 D 渠道,可以猜测上述渠道中人群包 I 筛选更精准,与渠道调性更匹配。

基于上述核心指标对比,验证正负向的相关影响因素,可以做初步策略迭代,具体跟进下一步效果验证该策略是否值得大范围、长期推广。

2、策略迭代及效果验证

渠道引流物料质量的好坏会直接影响过程转化率、目标及获客成本,合理科学的评估方式是通过 A/B 测试,结合自身业务特点,实现物料、策略的快速迭代和优化。

投放物料的内容直接决定用户对产品的第一印象,所以投放物料是否符合目标用户需求,是否能够吸引用户的注意力,对用户发生第一步行为(点击广告)至关重要。

定向人群包作为渠道投放实施前期的关键一环,在此过程中承担协同关系,人群包精准画像可以提升广告物料的命中率,实现精细化效果投放。

在上述变量不变的前提下,围绕投放物料及人群包匹配的相关猜测,可通过 A/B 测试做进一步策略调整和效果验证,其中涉及页面的 A/B 测试中,页面必须在同一个主题下产生微调,通过测试的结果可以知道是哪些变化导致了转化率不同,而不只是单纯为了了解哪一版页面能带来多少业绩、多少提升等。

结合上述案例中的正向影响因素提炼,对物料及人群包迭代做示例对比,根据数据结论,对投放物料和人群包组合分别进行调整,并观察调整后 1 周(其他变量保持不变,如投放时间策略、渠道竞价等)的数据反馈。具体如下:

调整方案 1:

A/C 渠道:将物料 ① 调整为物料 ②

B/D 渠道:将物料 ② 调整为物料 ①

△ 方案 1 调整后数据

调整方案 2:

A/B 渠道:将人群包 Ⅰ 调整为人群包 Ⅱ

C/D 渠道:将人群包 Ⅱ 调整为人群包 Ⅰ

△ 方案 2 调整后数据

将 2 种方案调整后数据与对照组(方案调整前)进行数据对比,发现调整方案 1 的物料 ② 所在渠道的浏览量仍高于物料 ① 所在渠道;调整方案 2 中的人群包 Ⅰ 所在渠道的转化率高于人群包 Ⅱ 所在渠道。

可以得出以下结论:

物料 ② 较物料 ① 更有吸引力,能够高效吸引更多用户点击广告进入落地页

人群包 Ⅰ 较人群包 Ⅱ 对产品价值认可度更高,人群包画像更匹配投放产品

接下来,根据验证后的迭代结果可制定相应的优化策略并进行效果追踪。

第一,将投放物料调整为物料 ②,人群包调整为人群包 Ⅰ,进行重点投放并对其他因素进行假设验证和策略迭代。

第二,制定并落地渠道长期投放策略。投放环节效率较优时,结合渠道竞价以及拉新课用户后续的付费留存等指标进行综合对比,找到综合留存效率高,且成本更加可控的投放组合。

关注神策数据公众号,了解神策在教育行业的更多数字化实践。