数据运营实操案例:信息流feeds产品优化
编辑导读:本文作者带领大家对信息流的基础推荐引擎和影响因子有了初步了解,并通过信息流feeds数据运营中的一个实际案例梳理总结了数据运营的价值,供大家一共学习和参考。
一、信息流引言
信息流(Feeds)的形态已经近乎无所不在,贯穿在我们24小时的互联网生活的当中。当你通勤时在地铁刷刷今日头条了解最新资讯,信息流已经把一篇篇时事热文整齐地排成队列等待你的阅读;当你想要好好美餐一顿,大众点评的信息流给你“种草”了不少同城餐厅;夜不能寐想剁手来犒劳下辛苦工作一天的自己,淘宝上琳琅满目的推荐商品流怎么那么精准,刷得停不下来……
尽管信息流这种形态已经广泛应用,但其实最早的应用是在资讯内容场景,始于Facebook在2006年发布的资讯信息流(News Feed)功能。
平台通过既定的算法、规则排序后聚合内容,用户可以在单页面内进行流畅而高效的内容消费。用户不再需要如移动互动网史前时代那样,在门户网站、博客站点之间进行频繁地跳转;平台也通过提供聚合的内容展示平台,更高效地把用户留在了自己的辖区内。
信息流的英文是“Feed”,实在是用得很妙的一词了。Feed在英文里是“喂养”的意思,生动地刻画了信息流场景里,用户被平台按一定的顺序“投喂”内容的场景。
用户消费的内容时间是有限的,平台如何在有限的时间内,给用户投喂TA最喜欢消费的内容、从而让TA在平台消费更多的内容(从而给平台带来更高的潜在商业价值),就是所有Feed场景运营人员经年累月在不断钻研的“推荐排序”问题了。
二、信息流的基础:推荐引擎
推荐引擎的核心,是“如何把合适的物品推荐给合适的用户”,所以“物品”和“用户”之间联系的建立,是推荐算法里最核心的命题。整个推荐的过程基本可以总结为“召回”→“排序”→“调权”→“输出结果”的过程,对这个过程进行一个简单的比喻,来帮助大家理解这个过程。
大家应该都曾经在学生时代参加过军训,军训最后的分列式检阅是整个军训过程的高光时刻。那该如何对队列进行合理的排布呢?
- 首先,教官会需要先“召回”A班的所有学生来到操场上,等待进行排列,只能是A班的学生,其他B、C班的同学先不需要参与;
- 紧接着,教官会要求同学们按从高到矮的规则进行“排序”,这样队伍看起来就不会参差不齐;这时,虽然同学们已经按从高到矮排好了,但可能有个别学生汇演时需要在军乐团做演奏,教官就需要对这些学生进行“调权”,把他们排除在外;
- 最后,按这样的规则排列下来的队伍,就是最后汇演时A班的队伍排布了。
推荐算法是一门颇深的学问,技术性也很强,但因为本书面向的读者主要是运营人员,所以笔者尝试从更显性的层面总结如今影响信息流排序的主要影响因子:
- 时间因子。 时间是比较基础的一个排序影响因子,很多内容产品最初都以时间为第一排序因子,比如公众号最初则是完全的时间排序。但随着内容不断增多,如何利用推荐算法帮助用户找到其最关注的内容,则是其他因子的命题。
- 用户画像因子。 这个因子的假设前提很直观,“萝卜青菜,各有所爱”。虽然我们常说不能把人“标签化”,但对于算法来说的确只有“标签化”才能更好地认识一个人。打个比方,如果你有“互联网从业人员”的标签,那给你推荐的内容自然会更多地倾向于互联网行业资讯、科技新动向等;如果你有“孕期妈妈”的标签,那给你推荐的内容也会有更多育儿类资讯。
- 兴趣因子。 同样是对人的理解,用户画像更多关注的是人的“属性”,兴趣则更多关注的是人的“爱好”。部分产品对用户的兴趣理解方式比较直接,让用户在新进时勾选自己的兴趣领域,从而推荐给用户对应内容;其次还可以通过一些侧面的办法,比如“用户在某条资讯中阅读的时长”、“用户点击某类资讯的概率”等方式侧面去了解用户的兴趣。
- 正负反馈因子。 顾名思义,即是用户对平台推荐的内容作出的正面或负面的反馈行为。正面反馈,如“点赞”、“一键三连”行为;负面反馈,如“举报”、“不愿再看到”等行为。许多用户也深谙此道,在接触一个新的信息流产品时会用这个方式去“驯化”信息流,“调教”出最适合自己的内容。
- 互动因子。 可以认为是正负反馈因子的进一步细化,比如B站许多UP主常说的“转评赞”,则是希望通过用户的转发分享、评论、点赞等互动指标,帮助其内容被算法认为是优质的内容,从而获得更高的曝光。另外,用户的一些具体行为,比如“购买”,对推荐算法来说也是一个很重要的对相关物品提权的信号。
- 社交因子。 对于具有社交关系的产品来说,推荐算法就有更多的可发挥空间了。具有最得天独厚优势的莫过于微信,沉淀了中国十多亿用户的深厚社交关系信息。比如“看一看”的内容排序,则用到了用户的社交关系做算法推荐,某个内容如果有越多我们的好友“在看”,那其在我们的“看一看”中的排序则会更优。
- 热度因子。 时事变化瞬息万变,当下的突发新闻事件往往会引起更多人的关注,导致热门的时事事件得到更高的推荐排序。社会潮流不断更迭,最近热播的影视剧或最新潮流风向,也会使一些商品成为最近热门,从而获得更高推荐排序。
- 人工运营干预因子。 基于推荐算法的排序基本能解决大部分的效率问题,但对于部分劣质内容,如虚假消息、低俗内容,则需要人工运营的干预,对其进行降权或过滤。
三、难题:资讯Feeds如何做冷启动?
讲到这里,给大家分享笔者此前运营一款工具产品的经历。大多工具产品的困境大家可能都有所了解:用户停留时间长、粘性差,从而导致变现的效率和方式都很有限。市场上竞品众多,如果不能快速从数据指标上证明我们产品的价值,那整个产品都面临着被砍掉的风险。
于是,如何提高用户提高时长,成了我们团队内一个很重要的命题。我们这款工具产品具有WiFi连接的功能,此前用户在连接WiFi成功后跳转的落地页就是一个“连接成功”的页面,除此之外,没有别的承接;
但此时用户处在操作完成的情绪高点、且在流量不敏感的WiFi场景,我们想,是不是可以通过承接资讯Feeds的内容,从而提供给用户一些内容消费的价值,同时还创造了一个商业化变现的场景?
但我们是工具产品的团队,此前完全没有内容运营的经验,要如何从0到1做一个资讯Feeds出来?分析了我们团队的现状,我们决定从以下几个方面快速启动:首先,资讯内容从哪儿来?我们的一些兄弟产品有现成的资讯内容,但具体的推荐算法需要我们自研;我们的算法团队虽然没有内容推荐的经验,但在软件分发上推荐的经验,也有异曲同工可借鉴复用的地方。
巧妇难为无米之炊,“米”和“巧妇”都已具备,但要做成“炒饭”还是“汤饭”我们的用户才觉得最好吃,我们得多尝试才能得出结论。
推荐排序的因子那么多,但对于我们来说,因为工具产品的属性,所以能用的并不多。根据我们的情况,我们决定做如下三组的A/Btest实验:
- 基于用户画像排序。我们可以获得的用户属性数据有:用户的软件安装列表数据,可以一定程度推测用户的喜好;用户的地理位置数据,可以推荐一些本地新闻、附近景点等资讯。综合这两方面的用户数据,混合给用户推荐合适的资讯内容。
- 基于热度排序。因为我们拿到的资讯内容并没有附带在其他平台的热度数据,所以热度排序在我们产品中是相对滞后的过程,需要用户不断通过点击行为去“投喂”给算法进行学习,从而把产品内更热门的内容推荐给更多的用户阅读。
- 基于资讯发布时间排序。相当于是一个基础对照组,不对资讯做太多算法排序上的干预,用于对比前两组实验的效果。
基于三组实验的设定,我们选定了三组随机测试的用户群进行策略的投放,并且设定了“平均资讯消费时长”作为关键评估指标。等待实验效果回收的时间有三天那么漫长,这三天的期间我们团队内也在打赌哪个策略表现会最优。读者们,你们也来猜猜哪个策略的表现会最好呢?
四、分析:找到问题更深层的原因
团队内的打赌,基本都集中认为是前两组的策略会更优。认为用户画像更好的同事的观点直截了当,用户会对与自己更相关的内容更感兴趣。认为热度排序效果会更好的同事也很在理,更多人点击的内容往往是猎奇新鲜的,自然也会吸引更多人阅读。
但我们运营人员回收整理了实验数据后,却有点大跌眼镜:最不为大家青睐的基于时间排序的方案三,竟然“平均资讯消费时长”都要优于前两个方案。团队内一时间有点泄气,对算法团队同事的技术能力质疑也在暗暗有声。
作为运营人员,此时我们需要通过数据分析去多走一步看看:数据指标所呈现的,就是全部的真相了吗?
为了分析这个问题,首先我们对问题进行了拆解。
实验的数据指标上:
- 我们设定的数据指标有没有问题?
- 数据指标的计算有没有问题?
- 各实验方案的数据指标计算是否都在同一个口径上?
实验的方案设计上:
- 实验组用户的选择上是否足够随机?
- 实验策略所需要的数据需要齐全?
- 实验策略是否对其用户组完全生效?
拆解分析后发现,我们看到前两组方案数据指标不好的现状,并不尽然是全部的真相。首先我们发现,“平均资讯消费时长”的指标设定存在一定问题。因为我们的产品属性毕竟是工具产品,大部分用户在连接上WiFi后是用完即走,资讯Feeds注定只是给一部分相对有闲的用户的功能。
所以,实验组之间用户的“平均资讯消费时长”十分离散,方案三中存在个别极端值用户拉高了整体平均时长数据。为了解决这个问题,我们在计算时可以对极端值做一定处理,并增加“平均资讯点击率”的数据指标,可以更客观地评估各方案之间的效果。
其次通过分析还发现,方案一和方案二由于数据采集上的原因,并没有完全实现其策略各自的效果。比如方案一“基于用户画像排序”,许多实验组用户由于安卓权限限制,安装列表数据不全;对部分用户IP的地理位置识别也不够精准,测试发现给有的在广州的用户推荐了北京的本地新闻,自然也会影响策略的效果。
比如方案二,由于部分“标题党”内容点击率很高,所以导致实验组用户首屏全是“标题党”内容,内容质量很低,用户点击后也很快跳出,导致策略的实验效果很差。
五、数据运营思维的重要性
如果我们没有对数据指标呈现出来的情况做进一步分析,单看实验的结果,我们可能直接就会认为对于我们的用户,“时间排序”就是最好的方案了,以后都应该往这个方向去发展,所谓模型算法的优化也都没有必要了。但只有通过分析,才能更清晰地看到事实的全貌,不断提出优化方案进行迭代。
这里体现出的,是问题拆解思维的重要性,是有逻辑的问题分析思维的重要性。希望通过本书,可以跟读者你分享这些思维框架,成为一个更优秀的运营。
写在后面
后续在平台上会分享更多数据运营、互联网产品(或夹带一些个人的艺术爱好私货)的文章,欢迎各位交流!
本文由 @黄一元 原创发布于人人都是产品经理,未经作者许可,禁止转载。
题图来自Unsplash,基于CC0协议。