一点资讯王元元：追着效率跑的算法如何兼顾内容？

由CSDN 打造的年终技术盛会“2016 中国软件开发者大会”（SDCC 2016）日前在京举行。ThoughtWorks中国区CTO徐昊、Erlang之父JoeArmstrong、华为PaaS首席系统工程师俞岳、一点资讯算法总监王元元等参会并做主题演讲。

科技边角料在大会现场发现，一点资讯算法总监王元元详细阐述了算法对个性化内容分发带来的强大助力及其存在的瓶颈，并以一点资讯为案例为在座嘉宾解读了兴趣引擎如何在流量主题不变的情况下，使效率与价值并行。

他表示，个性化分发时代，基于海量数据的机器学习算法让分发效率显著提高，但往往算法提供的内容对用户的价值并没有相应的提高，一点资讯通过全球首创的“搜索+推荐”兴趣引擎沉淀高质量内容，并使用机器+人工的“人机智能”技术引领价值阅读，从而实现用户体验的提升。

一点资讯算法总监王元元现场发表演讲

　　 以下为主要演讲内容 ：

人工智能在整个内容分发行业，正在发挥越来越重要的作用。目前，一点资讯的DAU日活达到4800万，用户日均阅读20万的文章。在这如此大规模的日活和用户操作行为下，我们收集了海量的用户数据。这些数据也构成了利用人工智能技术提升内容分发效率的重要的数据基础。

　　 流量时代追求效率背后隐藏着价值危机

从传统门户时代演变到现在算法驱动的个性化分发时代，流量是不变的主题。无论是流量获取，还是流量变现，效率始终是这场流量战争中的关健。

从过去的实践中可以看到，随着用户规模的不断增加，我们使用的算法，包括特征和模型的复杂度不断地提升，可以明显地看到一点：用户的使用时长，包括次日留存率，都有一个非常稳定的上升过程。效率可以被我们定义的各种各样的数据指标来描述，比如点击率、停留时长。这些指标在一定程度上反映了用户的满意度，但是这些指标与也经常与用户体验背离。事实上，我们很难去获取用户对当前向其分发的内容的全面感受，这是算法需要优化但又看不到的目标。

　　 迎合人性弱点的算法推荐不利于 内容价值 延伸及用户留存

我们选择了某个月里面的所有新增用户作为数据采集目标。经过充分的冷启动之后，根据这些用户在月末的画像将他们分为普通和高端两个用户群体，在第一个月里面，那些更倾向于关注“原配打小三”“车祸现场”等热点、娱乐八卦资讯的普通用户在停留时长上高于高端用户，也就是说，这些社会、娱乐、热点等内容在短期内吸引力远高于长尾内容但如果我们再把时间放长一点，在接下来一个月的第一天开始，普通用户在不断的流失。在第30-60日之间，留存率方面高端用户已经反超普通用户，长期来看，高端内容用户的忠诚度更高。

这个给我们的启示就是，我们需要做一个更有价值，对于用户来说更容易满足它多元化需求的产品，不仅包括有趣、有料的爆点内容，也包括有用、有品的细分内容平台。

　　 那么是什么原因导致算法在获得效率的时候巨大提升，同时带来了价值的降低 ?

影响算法结果的最根本的两个要素是数据和目标。

先从数据谈起，海量数据来源于用户与内容的交互行为，海量数据不一定意味着特别高的价值，如果我们每天仅提供几十篇最热门的文章，基于一点资讯上的2.9亿用户，这也会产生海量的数据。但仅基于这些数据，效率提升的天花板非常明显，再怎么优化，用户关心的就那么几条内容。在整个优化过程中，我们需要不断引入各个领域的专家、专业知识，引导用户生成更具价值的数据，再通过算法或者模型学习到这些价值，再提供给用户。除了专家知识，也需要积极引导用户表达兴趣，完全基于人性弱点的被动反馈往往很慢也很获取到用户真正的兴趣，综合考虑了短期成本和长期收益的满足和试探机制，是增加海量数据价值的又一关键。

算法的第二个要素是它学习的目标。算法特别擅长优化单一指标，比如点击率，但事实上用户对内容有多种反馈，比如停留、分享、收藏等，当然还有一些负向的反馈，比如“不喜欢”、“踩”，甚至投诉。一个标题党的文章往往有很高的点击率，但它的不喜欢，踩也很多，只优化点击很容易让标题党泛滥，结合多种目标同时优化可以显著降低标题党的流行程度。

另外，算法容易预测短期指标，难以预测长期指标。长期留存率是个特别好的优化目标，但基于当前数据你很难预测准。单纯优化短期指标，会带来短期流量的显著增加，但用户的次日或者7日留存不一定能有相应幅度的提升。而将长期的指标拆解成一些可优化的目标或者目标序列则是解决长期指标优化的关键。还有，现在大部分情况下，业绩追求的是用户指标的优化，但是内容平台是一个非常庞大的生态系统，尤其在自媒体的加入并参与后。如果只考虑用户，忽略了自媒体作者的话，很容易造成劣币驱良币，好的写手不再发文，伴随而至的，是有多元化需求的用户也会慢慢流失，最终系统留下的可能就是一些忠诚度较低的用户。

　　 充分利用海量数据和 专家 知识提升效率和价值

一次推荐一般需要经过召回，排序，策略几个阶段，召回是指从特别大的一个内容候选集合中挑选出用户可能感兴趣的文章，排序需要对这些用户感兴趣的文章做精确的估计，判断用户的点击可能性，策略阶段更多从用户的体验出发进行的一些规则控制，在排序阶段我们更多的关注是提升我们的效率，在召回阶段需要更多的考虑价值。

一点的排序模型最早使用的是基于海量动态特征的GBDT，GBDT没有特别好的实时更新方法，我们使用了实时的动态特征来弥补这一点，动态特征更新非常容易并行，使用也非常的方便。除了更新慢以外，GBDT的特征维度不能太高，这对GBDT的特征工程有了更高的要求，在GBDT里面实现的特征大部分都是一些基于动态特征组合而来的超级特征，不能使用大量的ID特征，这非常不利用精确捕捉和区分一些长尾信号。

为了解决这些问题，我们开始使用了基于大规模离散特征的在线逻辑回归，之前放在动态特征里面的组合特征直接作为模型的特征实时进行更新，从效果上看，尤其在点击率这块，提升还是非常显著的。这两个模型或者说原始的特征最终被我们融合在一起使用，融合的方法我们也经过了一些的摸索，从简单的线性组合，到将GBDT的叶子节点特征加入在线线性模型，再到利用DNN直接将GBDT使用的超级特征，一些重要的ID特征embedding表示，和海量的交叉特征一块使用，超级特征和一些embedding特征先经过几层的神经网络充分交叉，最后再与海量的交叉特征放在一块做出最后的预测。

在召回阶段，我们更多的是以价值为导向，我们把问题分解成兴趣定义、兴趣发现和兴趣满足。以兴趣为核心，每个问题我们都积极引入专家和知识库知识，包括产品上鼓励用户的主动表达，这些高质量的先验知识和用户主动表达形成的高质量特征直接参与到了内容的召回和排序。

　　 算法还需 被动反馈和主动引导相结合

　　 上图可以看到用户画像的强度和点击的关系。用户表达的兴趣越多，最后停留时长、点击数越多，它们两个之间有非常强的正相关的关系。快速发现用户兴趣意义重大，这里面有三个问题要解决，第一个是当前要试探什么，第二个是拿什么试探，第三个是如何控制试探的成本。

第一个问题，我们需要试探的的兴趣一定是目前不确定性最大，确定以后又对用户的收益最大的兴趣，我们结合了自顶向下和顺藤摸瓜的策略，根据整体人群画像的特点训练了这样的一个试探模型；第二个问题，我们优先选择了在兴趣区分上信息增益比较大的内容；第三个问题，我们用经典的linUCB来平衡试探的收益和代价，事实上，我们可以按照用户切分流量，使用所有的用户行为，独立更新每个用户的兴趣偏好。

现在我们整个内容分发行业，很多公司都在做同样的事情，有很多的方法和技巧。在现阶段，我们在关注流量本身的同时，需要更多的关注流量的构成，思考如何能够提供给用户更多元，更有价值的内容。