方法论：如何搭建内容评估体系

编辑导语：持续的内容迭代创新是平台重要的生存法则，而优质内容的筛选能力则是平台的核心能力。因此对于文娱平台来说，搭建一个内容评估体系是非常重要的，那要怎么搭建呢？一起来看一下吧。

对文娱平台来说，持续的内容迭代创新是平台重要的生存法则，优质内容筛选能力是平台的核心能力。只有建立科学的内容评估体系，持续满足用户对于“好”内容的需求，用户才会持续地使用和留存。因此，搭建内容评估体系，打造健壮的内容生态，对于文娱平台来说势在必行。

一、为什么搭建内容评估体系？

之所以进行内容评估，区别文娱平台上的内容好坏，原因有三：

1）用户需要消费“好”内容

在吸引新用户方面，“好”内容有优势，比如有趣的投放素材可以吸引新用户下载，内容出圈可以带来自然流量的增长。同时，只有持续满足用户对于“好”内容的需求，用户才会持续地使用和留存。

2）应该让“好”内容拿到“对”的流量

内容行业的本质是创新，追求内容新鲜感是用户的天性，持续的内容迭代创新是内容平台最重要的生存法则，优质新内容筛选的能力是平台的核心能力。加之，流量资源是宝贵且稀缺的，只有精细化运营流量，才能把这些流量尽可能给到最适合的内容。

3）内容有成本与收益

一方面，内容的引入往往是伴随着金钱的投入、员工的精力投入、用户的流量投入，因此在创作内容时需要一套筛选机制，在投入资源的早期识别优质内容，高效扶持内容；另一方面，内容是可以获得收益的，比如用户为了看内容购买会员增值服务、吸引转化自然新用户、用户消费更多流量也会间接为平台带来经济价值。有了内容评估体系，可以厘清内容的 ROI 辅助决策，实现内容精细化运营。

二、如何搭建内容评估体系

常用的内容评估方式主要有人工评估和数据评估两种方式。

1. 人工评估

人工评估是要求为内容定性的，在没有数据或者强依赖人工审美的场景下我们会优先选择人工评估，但是在定性的过程中也应当尽量有程度上的量化，这样可以在后期应用人工评估结果的时候分类更清晰、应用更准确。比如说我们人工评估某个内容的声音优美，那可能又要分为三个等级的优美，是专业级别中的天籁之音，还是普通专业级别的优美，再或者是普通人中的优美声音。

人工评估有人工审美参与，可以解决很多没有数据量化的评估场景，但也存在主观判断偏差大的特点，即便标准明确，人跟人的感受也会不同，每一名审核员对于内容的理解非常容易产生偏差，一般会 采用抽样复审的方式保证最终结果符合预期， 但是人工审核整体要 对偏差有一定的包容心。

人工评估通常包括内容初审评估、内容归类评估及内容观感评估三种。

2. 数据评估

数据评估是为内容定量评价的，依托于海量的用户行为，用户对内容的各种反馈是最客观公正的一种评估，也是各文娱平台内部最关切的内容实战效果。

数据评估具有更强的科学性、客观性和可比较性、反馈及时可以配合改进流量分配的优势。内容的价值可拆分从以下维度进行具体评估：

1）营收价值

内容可以直接带来营收，用户会为了某个内容而付费，通常分为单篇收益和会员收益，这些收入可以归因到每一个内容个体上。

2）增长价值

优质内容在平台外部传播可以带来新用户，也可以帮助流失用户回流到平台，这些用户用其他方式获取也是有一定成本的，因此内容带来的新回用户是内容的价值。可以通过拉新用户量、拉回用户量、新回用户价值评估、留存及时长等指标进行评估。

3）社区价值

• 消费价值：优质的内容有消费价值，用户会喜欢看甚至反复看，所以可以用完播率、深度消费率、消费时长、收藏率和点赞率等进行评估（不同产品指标不一样）。
• 促生产价值：内容有促生产的作用，抖音、快手上明星使用过的魔法表情，普通用户看到之后争相试用；小红书、微博上达人发表自己的穿搭心得，用户往往也会模仿着来生产自己的内容。这些内容都是用户生产的一种激励，内容的这种促生产价值也是“优质”的一个代表维度。
• 社交价值：用户在站内有社交行为，可以增加用户粘性，内容附属的社交属性帮助用户加深和平台之间的链接，内容的社交价值也需要被量化。

需要注意的是，数据评估的评价指标往往比较繁杂，需要结合评价目标提炼有效信息。通常，文娱平台完整的内容评估体系由人工评估和数据评估两种方式互相组合补充形成。

三、内容评估模型介绍

1. 量化模型

内容是否优质可以从多个角度进行评估。对于文娱平台来说，在面对多维度数据常常会有困惑，这个内容到底好不好，这些内容中间到底谁是最好的，因此需要一个统一量化的模型来评价内容。统一的量化模型最终将多个维度的评价指标凝结成一个 综合评价分数。

什么是量化模型？它指的是以应用统计学、计量经济学为基础，采用数学统计方法建立模型，建立模型的目标是建立指标之间的函数关系。统计模型最终得到的是变量之间关系的一种描述，是真实数据的近似估计。

在搭建文娱内容评估体系时， 最核心的目标是留存， 那么我们做内容质量评估就需要找出能促进用户留存的内容，内容的消费价值、生产价值、社交价值都是用户留存在站内的影响因素，所以在这个拟合模型当中，y 是留存，x 是三大价值中的具体的指标，比如说收听时长、点赞个数、生产个数、评论个数、关注个数等，模型的 x、y 都得到了确定，在数理统计模型应用中最适合用于这个模型的回归方程就是 logit regression。我们最终拟合的公式会得到这样一个结果：

内容质量评估综合分 = a*播放时长 + b*生产内容个数 + c*关注数 +……

内容质量评估综合分越高，代表这个内容对用户留存的贡献越高。因此，在这个模型体系下，我们可以认为分数越高的内容就是更加“优质”等内容。

但同时，这套模型也有应用的局限性，因为数据是用当前站内的用户行为数据拟合的，这意味着它只代表当前站内的情况，这个数量关系是不可以拿到其他站外的 App 应用的；而且如果我们站内的产品形态、给用户分发内容的逻辑有变化，那么这个数量关系都会有改变，因此在这个局限性下需要定期地更新这个模型。

2. 统一度量——货币化

有了模型的质量评估综合分之后，在某些场景仍会觉得不够用，比如说我们在采购内容时，知道了这个内容的质量评估综合分是 100 分，但是 100 分的内容如果需要我们花 10 万块钱去采购，那这件事情到底值不值得？对于这样的问题我们就需要把内容价值进一步量化，把分数的单位定位到货币，比如这个内容在站内创造的价值是 100 万元，那么我们就可以更容易感知到该内容的价值。

从货币角度来拆解内容价值会有以下最核心的三个层级：营收价值、增长价值、社区价值。每个内容可以在固定时间区间得到一个具体的价值金额数字。需要注意的是，这个价值金额在计算财务数据时不足够严谨，它并不能代表每个内容真的给业务赚了多少钱。

计算这样的量化价值是为了帮助业务衡量每一个内容的相对价值，目的是在迭代内容时更加清晰明确，价值可量化，辅助决策。

3. 模型修正

不同发展阶段对于内容优质的定义可能会有区别，比如说早期更注重内容本身的价值，中后期更注重社区价值。各项指标的系数可以在特定场景下做一定的调整。

模型是基于用户留存为目标拟合的，但是不一定适用于所有的场景，比如说我们在调整社区氛围的时候，会倾向以社交互动数据来评估内容质量，此时不一定非要沿用这套模型，也可以对相关指标直接加权使用。

模型总结出的内容价值排序可能会跟 App 运营同学的认知不一致，需要依照具体情况逐一进行分析。

有了内容评估模型和体系，不管是内容引入评估、不同人群的精细化运营及分发还是内容 ROI 评估，对文娱平台都有一定的应用和助力。要想提升优质内容供给，文娱平台需要流量激励，扶持流量转化为更多的粉丝、更高的互动，促使创作者生产更多优质内容；同时，也要对负向内容做打压，避免劣币驱良币，反哺内容引入策略，最终帮助文娱平台真正落地精细化运营，给用户带来更好的体验，促进平台良性发展。

 

作者：神策数据文娱经营单元负责人

本文由 @乔一鸭 原创发布于人人都是产品经理，未经许可，禁止转载

题图来自 Unsplash，基于 CC0 协议