怎么做好一个推荐系统

我一直自诩是菜刀流的工程师,作为一个非科班出身的数据小码农,竟也操刀过三个推荐系统的项目了。这三个推荐系统,用户群不同,业务场景不同,连地域和文化也有些差别。所以近来总在琢磨,推荐系统的缘起千人千面,纷繁万变的细节当中,能不能汇聚出一些普遍共性?有没有一个普适的标准,回答什么是一个真正出色的推荐系统?有没有哪些不二法则,是构造一个推荐系统所不可或缺的?我希望迈出这一步,把之前想过的梗、跳过的坑以及卑微的沉思亮出来,等待真正的高人点拨一二。

推荐系统的先决条件

这其实是最容易被忽视的一个问题。尤其在这几年大数据的概念炒得火热,推荐系统也就成了某些人眼中的仙丹妙药,不管三七二十一,先上了再说。在我看来,推荐系统至少需要评估下面三个可行性:

要有足够的数据

一种常见的错误思路是,我的社区不够活跃,上个用户推荐系统加强活跃吧。如果你抱着这样的想法,我只能恭喜你选择了一种艰苦卓绝的逻辑。推荐系统是数据挖掘的一种应用,而没有数据,通常都不会产生什么有价值的挖掘。

要有丰富的内容

推荐系统起源于亚马逊的图书推荐。但有没有人细想过,为什么亚马逊是第一个吃螃蟹的人?因为贝佐斯把书店搬到网上后,他发现自己拥有了全世界最多的图书,在一家库存数百万种图书的虚拟书店里,你根本无法依赖任何一个店员帮你的顾客推荐新书。而另一种常见的错误思路是,在内容未丰富的前提下就急着上推荐系统。事实上,只有内容极大丰富的时候,才可能有被无用户差别排行榜埋没的优质内容,个性化需求才能体现出商业价值。如果你的内容在一万以下,我会建议你使用单一的热门排行榜;十万以下,我会建议你使用分类的热门排行榜,十万以上,才慢慢有推荐系统的可行性。

要有用户分众

数据充分了、内容丰富了,还得掂量下用户的口味能不能产生足够的分众。推荐系统之所以在电商、音乐和社区等领域有成功的应用,最主要的因素是这类产品的用户有足够的分众。而越是大而全的领域,用户的分众越明显,推荐的效果越好。好比淘宝的推荐颇受赞赏,而唯品会的推荐多被吐槽,道理就在这儿。如果你说你正在做同志社区或情趣电商,我会心里一凉。

推荐系统的问题

先决条件通过了,我们来讨论「术」的问题,你可以把这节的内容当作「跳坑实录」来读。

热门和长尾的矛盾

第三种错误的思路在于,推荐系统以提升点击率为目标,而往往横向对比之下,个性化推荐的指标往往不如热门排行榜。对此一小部分算法人员铤而走险,希望用热门混杂长尾的方法去得江山抱美人,而在我看来,推荐系统有且仅有一个目标,满足用户的个性化需求。至于你说点击不如推热门?那把排行榜留着呗,那才是赚点击率的地方。

基于内容还是协同过滤

推荐系统的本质在于加强联结,或者说,给用户源源不绝发现新东西的机会。所以协同过滤(或者往更宽泛的范围,矩阵分解也算)都是在利用联结的信息,从而取得比基于内容更好的推荐效果。但是,了解你所拥有的内容,作为辅助的算法,绝对能使推荐的质量大幅上升。但是算法人员面临的现状往往是,很难得到格式化的内容标签,一个可行的思路是,请用户来为内容打标签,参照豆瓣和淘宝。另一个决定选择的因素是数据特征,如果用户行为集中而稀疏,那么意味着你必须更多依赖内容的信息。

负样本的问题

协同过滤是基于统计的算法,并不需要负样本的信息,但如果是基于机器学习的算法,训练的过程是需要负样本的。有的产品只有用户的隐反馈(比如播放、购买),即用户无法表达对一个内容的厌恶,那么你只有创造负样本了。在这一块,最好的思路是,选择热门的但用户没有行为的样本,因为热门的内容更有机会让用户看到,用户看到多次但没点击,那就更可能是不喜欢。

冷启动的问题

应对冷启动的策略要按照业务场景区分,如果是用户看了一个内容,要给他推荐其他的内容,那么可以利用内容特征的相似度;如果是对一个新用户推荐,条件允许的话,可以请用户表达自己的偏好,或者依赖社交网络的信息,实在不行,只能推热门了。

推荐系统的实施

我希望把实施中的一些Keypoint单独罗列,大家都懂的东西,暂时不讲。

借助更多信息

我的风格是做推荐之前一定要把产品用坏,来确定能获取到哪些用户行为和用户数据,能获取的尽量获取。比如,用QQ邮箱的和用Gmail邮箱的用户肯定有些不一样,对不?

研究数据之间的相关性

这就是熵的概念。如果两个数据相关性是1,那么肯定有一个没什么用处。用好回归,你会少很多运算量。

弄清你的业务场景

有的人会把业务场景叫做「推荐的上下文」,事实上推荐算法的许多细节都会被业务场景影响,比如以物推物的场景就会更适合采用ItemBased,一个一个展现的可以考虑加入点随机性,首页推荐应该多放新品,等等。

定义好你的目标

我习惯了做事之前目标先行,目标错了跑得再快也没用。推荐算法的长期目标应该是提升用户的活跃(注意,不是活跃率),而对于短期指标,应该着重在几点:有没有更多的内容被发现?热门排行榜的更新是否加快?用户对于推荐的点击是否在一个比较活跃的水平(再次,我反对一概而论)?如果是UGC的产品,用户有没有因为更容易被发现而积极地上传内容?当然,这些指标都必须被量化。

良好的引导

记得之前去听百分点科技的演讲时,他们提到会有人专门去研究推荐系统的引导,甚至有时候引导比推荐的内容更重要,深有同感。这也是社交推荐为什么不需要什么模型却效果很好的原因。记住一点,如果推荐的区域有任何的图片或数字时,想办法让它们更有诱惑力。

收集更多反馈

推荐系统一前一后的数据流都不容轻视,我同样倾向于收集一切与推荐系统有关的数据,比如推荐区域的停留与点击、推荐内容的消费、连续点击推荐内容的链条等等。如果可能的话,请用户对你的推荐给予评价,这也能让你的推荐更有温度。

离线实验

不要迷信离线实验的结果,通常和线上都会差很远。如果之前不存在推荐系统,那么用户很可能根本就没有机会接触到你推荐的内容,也就无从证实。

耐心

推荐系统并不是一个立竿见影的产品,上线之后多花点时间收集数据、调整参数、做更多的分组测试,更重要的是,让你的老板也有耐心。

2shou wechat
更多精彩内容,欢迎关注微信公众号「极客思享」