内容风控体系-如何做好内容审核

编辑导语：众所周知，对内容产品来说，内容审核是绕不开一环。而最近几年频频出现网信办约谈各种网站平台的新闻，更是反映了内容审核的重要性。本篇文章里，作者将结合自身经验，探讨内容审核的流程、不同类型的内容以及对用户体验的影响，一起来看看吧。

最近几年，屡屡报出网信办约谈各种网站平台的新闻，一些平台被要求限期整改，严重的则是无限期下架。

对内容产品来说，内容审核是绕不开一环。用户上传的海量内容，需要经过严格的审核之后才能呈现在消费者面前。对UGC产品来说，内容风控是底线，底线之上才能去讨论内容的优质与否、产品的优质与否。

本文将结合笔者的经验，探讨内容审核的流程、不同类型的内容以及对用户体验的影响。

一、完整的审核流程

1）机器审核

利用AI技术，对用户上传的内容进行第一层过滤，或者提供一些能帮助审核的信息。

机审的结果分为两种，一种是AI能准确作出判断的，另一种是模棱两可，机器无法判定的。后者需要流入人工审核，这一部分一般不超过总量的5%，前者则需要通过抽检来评估准确率。

机器识别的好处是处理效率高，能短时间处理大批量内容。缺点是不够灵活，人可以钻各种规则的漏洞，但机器要学会识别他们，往往需要海量的数据和算法来覆盖。

2）人工审核

机器审核无法判定的内容，会流入人工审核。人工审核的好处是灵活，比起机器一刀切的标准，人工能大大降低误伤。缺点也是显而易见，依赖于人工，审核效率太低。

2019年，快手新增招聘3000名内容审核编辑，将目前的审核团队从2000人扩大至5000人。 而在国外，Facebook在自有算法的情况下，人工审核团队规模达到1.5万人；youtube在谷歌大脑算法支持的情况下，审核团队的人数也达到了1万+。由此可见，哪怕是机审已经过滤了大部分内容，剩下5%的内容量也是巨大的。人机协同审核仍是未来很长一段时间的审核模式。

另外人工审核的结果，最好能反过来完善、提高机审的准确度，在流程上形成闭环。毕竟人工审核的量只能靠招更多人的来达到，机器审核的效率却是很容易就能提上去的。

3）质量抽检

按一定比例抽检机器审核和人工审核的结果。抽检机审的目的是判断机审的准确度，以及调整机审的尺度。人审抽检主要是看是否按照标准执行，已经绩效考核。

4）高风险复审

在主流程的基础上，对“重点关注对象”再进行一次审核。高风险内容包括：高曝光的内容、高曝光的用户、有历史违规行为的劣迹用户等。类似于直播审核中，平台会在超高流量的直播间设置常驻的超管一样。

5）存量回扫

定期将存量内容过一遍机器审核。需要做定期回扫的原因是，机器审核的标准随时都在变动，而新的规则覆盖不了旧的内容。同时存量回扫也能发现一些产品、代码的漏洞。

6）用户举报

用户举报也是各个UGC平台必备的风控手段。用户举报不仅能借助用户的力量来发现漏出的违规内容，还能从用户的角度来审视内容的质量。现在网信等监管部门也非常重视举报是否被处理。如果平台被发现了违规内容，但没有举报或举报了没处理，那么后果都会挺严重的。这两天被约谈的金山毒霸，就是因为被举报后没及时处理，导致事情被放大的。

7）违规用户判罚

对违规用户进行判罚，是禁言、还是封号，判罚是有期徒刑还是无期徒刑。这需要有一套完整的判罚体系，对不同类型的违规，按照某个梯度规则来惩罚。比如触碰底线问题的，一次违规直接封号；而低俗、辱骂这类低风险的违规，先进行警告、禁言，多次违规屡教不改再封号。

另外，如果平台违规情况比较严重，可以考虑公示处罚结果，有助于建立良好的社区氛围。

二、审核时机

根据内容的不同可以分为：先发后审和先审后发

先审后发适用于：风险较高的内容，但对时效性要求不高。如内容量比较大博客、文章、音视频作品等。

先发后审适用于：时效性要求极高，或风险较低的内容。如直播、IM、弹幕。

除了风险和时效的考虑之外，也可以做用户分层，比如历史行为良好的优质用户，理论上不存在什么风险，可以考虑先发后审之类的。

三、内容类型

1）文字

文字内容的审核说简单也简单，说难也难。很好绕过各种规则，比如说形近字、音近字、拼音、各种字符夹杂在中间。一些恶意发布有害内容的用户，会尝试各种变体，直到能发出去为止。很难从规则上完全禁止。

某直播平台的私聊截图

所以监测用户行为，对命中次数过多的用户进行报警，重点筛查就很有必要了。

另外对文本内容的处理也有很多种方式，比如禁止发布、命中送审、替换等方式，可以适用于不同的场景。

2）图片

依赖于图像识别技术和OCR技术，分析图像内容以及图像中的文本内容。但图像识别的精准度一直到现在也不是太高，例如机器会根据黄色面积来判定是否是色情内容。这样的识别精准度必定不会太高。

3）音频

音频识别可以做一些预处理：比如将无声、音量极小或无意义的音频，通过音频识别技术标注出来，再加上音转文+敏感词匹配，为人工审核提供尽可能多的帮助。因为音频的审核不同于其他内容，时间成本是比较高的。

4）直播

由于直播是流内容，只能先发后审。

现在业内通用的都是多屏滚动监控，也就是直播墙的形式，保障出问题时第一时间发现并处理。

四、审核后的处理意见

审核判定问题的内容，通常有以下几种处理方式：

1. 下架：有安全问题，既不允许传播，也不允许发布的内容。
2. 自见：无安全问题，但不允许传播的内容。用户可以发布在个人主页，自己欣赏。
3. 降权：无安全问题，但不符合平台调性，与平台无关的内容。
4. 不可分发：无安全问题，有质量问题的内容。如音频音质差、视频卡顿、断帧之类的问题。

五、用户体验

在把控内容风险的同时，一定会对用户体验带来负面影响，如何降低影响：

1. 尽量让用户的发布流程完整，体验更好。非必要时不去打断用户，比如禁止发布这样的设计就要谨慎使用，更好的替代方案是：允许用户发布，在之后的审核流程中进行下架或其他操作。
2. 白名单机制：保障核心用户的体验不受影响，甚至更好。比如对白名单用户发布的内容优先审核，或先发后审。
3. 提高审核时效，让用户对审核时间有预期。审核时效的提高仰赖于审核技术和审核流程的完善，审核时间的预期则可以从产品设计上下手，缓解用户等待审核期间的焦躁情绪。

上面三点都是优化发布者的体验，对消费者来说，可能重点应该就在推荐系统上了，比如：

1. 如何隐式、显式的收敛用户兴趣，从而推荐用户更喜爱的内容
2. 从用户使用感受的角度设计举报功能，听取用户的意见。发动用户来共建内容氛围。

六、例子：文本审核

笔者所在的公司搭建了自有的文本审核体系。在此记录下我的经验：

1）词库管理

除了基本的增删改查功能，还需要注意以下几点：

1. 敏感词是否需要做细分，比如我们将敏感词分为高、中、低危三个等级，高危敏感词大多是明确涉政的，在各个业务线都是禁止发布的，中、低危敏感词则流入人审。分级的目的是降低误杀，保障用户体验，因为高危的敏感词其实只占很小一部分。
2. 是否需要分词库，这通常取决于业务线的多少，差异有多大。笔者一开始的需求方案是分默认词库+业务线特殊词库，但后来发现并没这个必要，因为我们的业务线差异最大的也就是直播（对一些低俗内容放的比较宽），分完级之后完全可以支撑。

2）匹配规则

为了尽可能捕捉到违规内容的变种，文本审核要支持多种匹配规则，这里举一些例子：

• 英文字母转大小写：所有字母转小写后再匹配
• 特殊字符清洗：除中文、英文、数字之外的其他字符，一律视作特殊字符，在匹配之前应该清洗掉
• 中文转拼音：中文转换成拼音，能匹配到同音字的变种
• 通配符*：通配符可以用来模糊匹配任何字符，比如“办*证”，就能匹配到“办假证”、“办伪证”
• 繁体转简体：繁体转换成简体后再匹配
• …

3）业务接入

审核业务作为中台定位的服务，应该要方便各个业务线接入。所以尽量把可配置的业务抽象出来，方便各个业务线灵活的接入。

4）黑白名单

其实更确切的是名单管理，名单里可以灵活的配置，匹配到某个词时，想要返回什么样的结果。名单可以启用和关闭，特定时期的敏感词用名单来管理就很方便。

白名单中的敏感词就是在匹配过程中应该忽略的，比如“中国”是敏感词，而“中国好声音”、“我爱你中国”是没有风险，那么“我爱你中国，我为你自豪”就不应该被命中。

5）在线检测

提供在线检测的功能。一是改动敏感词后，可以检测是否生效；二是不确定的内容，可以通过检测确定有无风险。

6）数据统计

敏感词的拦截量、拦截率：敏感词拦截情况如何，可以看出敏感词设置的是否合理，对业务造成的影响如何。比较合理的拦截量应该在3%～5%。

具体拦截情况，比如拦截量最大的敏感词是哪些，这些敏感词设置的是否合理，针对这些敏感词是否有更好的方式。

总之，数据能够暴露出挺多问题的，也能给后续迭代提供思路。

 

本文由 @挪威的浆糊 原创发布于人人都是产品经理。未经许可，禁止转载

题图来自Unsplash，基于CC0协议