四个步骤，构建个性推荐产品内容池

2017-01-20 09:18:00

文章介绍了通过建大池、粗筛、细筛、精筛，四个步骤搭建内容池的一个过程，与大家分享，希望可以給大家带来启发。

个性化推荐产品有三个核心要素：用户、内容和数据。今天专门分享一下构建内容池方面的一些心得。个性化推荐产品的算法是相似的，差别就在于内容上。视频，商品，新闻，音乐，形态各异，消费方式各异，但构建内容池的思路是相通的。

对于一款个性化推荐产品来说，构建一个好的内容池一般分为四个步骤：大池->粗筛->细筛->精筛。构建过程和使用过程刚好互逆：优先召回精筛池，随后才可能是细筛、粗筛、大池。

下面以构建一个视频类个性化推荐产品为例，分别详细说明。

建大池

首当其冲就是粗略规划好自己的内容的原始来源。要干推荐这活，首先要问自己：内容哪里来？内容原始来源一般有三种：生，买，借。

第一种，生。

也就是自食其力，鼓励用户在自己产品平台上创建内容，俗称UGC，比如快手就属于这种，以及自己组建编辑团队创建内容，大多数媒体型网站都属于这类，俗称PGC。这一类内容都是自己的，算是站内资源。如果站内资源较为丰富的话，那就好办了。当站内资源都足够优质时，则可以直接作为内容池，但实际上大部分网站的内容都有不少杂质，尤其是UGC内容。

从站内资源中找到符合要求的内容，不外乎两个思路。一个是做减法；一个是做加法。做减法就是找那少部分不入流的将其去掉，适合大部分内容都是优质的情况；做加法就是从鸡群中找立鹤。什么样的内容会是好内容？通常有几种：

经得起时间检验的内容，通常是专业编辑们过目之后的内容，比如：各个网站的首页、频道首页、专题等
数据效果好的内容，比如：推荐/搜索模块点击量、点击率较高的（好坏的衡量指标根据产品目标而定，可以是点击率、UP值等）
可信任的内容源产生的内容，比如：视频网站的优质PGC

第二种，买。

通过公司之间的合作，得到好的内容，例如淘宝的商品被推荐在微博上。这个多是商业合作，此处不讲。

第三种，借。

站外抓取这件事是一个风险极高的事。第一个就是版权问题，当然可以通过避风港原则来规避这一点；第二个就是技术问题，如一旦抓取目标网站页面结构变化，就影响抓取的效果，页面转码以统一成自己平台的风格；第三个是基因问题，某个站的内容已有一定的基因，是否适合自己的平台，一股脑放出去可能是有违和感。那为什么这么多风险，我们还是建议要“借”呢？高风险，高收益嘛，你懂的。

当拿到初始化的内容后，推荐的大池就完成了。

粗筛池

我们已经“警告”过，构建大池，势必会引入一些杂质。杂质是没有资格在一个应用内流转的。我们所说的杂质包含：

背离产品价值观的，如低俗擦边球，色情的；
干扰用户正常消费的，如骗点击内容，垃圾内容；
威胁平台存活的，如政治类内容。

构建粗筛池，就是从大池中将这些没有资格的内容分拣出来扔掉，同时进行初步的质量评价。

识别这些杂质，一般是机器+人工的模式。我们可以根据内容本身、内容提供商、抓取源等维度进一步对内容池去噪。

对内容质量打分，主要就是构建一个打分模型，利用相关特征拟合一个分数。对于一个视频网站，可以用到的特征有：内容的发布时间、视频长度、视频热度、非广告/政治敏感/色情/黑名单、标题质量，以及视频的历史表现，如点击率、点击量、停留时长等。

对内容提供者打分方法类似，主要区别在于特征，对于视频应用来说，可能有：上传者历史视频的播放量、点击率、播放完成率、赞/踩等；上传者的等级、活跃度、社会影响力等。

最终，根据内容质量分数和内容上传者分数，就建立了一个内容池优选模型，对已有的视频做一个排序，其中低质和劣质的内容可以直接过滤掉。

细筛池

细筛池是在粗筛池之上，结合具体的推荐场景和业务目标，进行一些人为干预：人工调权、调整多样性等。

先说人工调权，需要首先增加一个字段，专门用于设置人工权重。大家不要觉得一提到人工调权就有点“拿不出手”，其实人工权重是必不可少的，某些信息无法通过自有产品数据及时反馈到当前内容上来，如上传者是微博上的KOL，或是视频网站的PGC，这些站外信息虽然人知道，但是没有数据就无法让机器知道，这样就可以通过人工对其调权，以此将其反应到自己的内容池中。

再说多样性。内容池在各个主体上分布一定是不均衡的，某些热门的主题会内容较多，而某些冷门的主题会内容较少。这也需要人工干预多样性，适当帮助补充一些冷门主题的内容池。