推荐系统本质与网易严选实践

2017-02-27 09:34:00

本文对推荐的本质和实现思路进行了深入的探讨，并介绍了网易严选的推荐系统实践，让您充分领略个性化推荐的魅力。

大数据在网易内部的应用丰富多彩，在《让机器读懂用户–大数据中的用户画像》一文中，网易工程师对用户画像进行了较为系统的介绍，并提到用户画像的一个重要作用在于个性化推荐。但企业怎样才能正确认识和利用推荐系统来拓展业务？本文对推荐的本质和实现思路进行了深入的探讨，并介绍了网易严选的推荐系统实践，让您充分领略个性化推荐的魅力。

电商推荐系统的特点

电影是一种文化艺术商品，直接与人的感性感受相关；同时它有比较精深的空间，从数学的角度来说，它具有多个维度的属性，多到可以产生非常丰富的变化，但不至于多到让人脑难以理解。人对电影的兴趣，具有一定的稳定性，不太会发生快速的转变。

在电影的世界里，人与电影都比较容易做embedding。

与电影推荐不同，电商推荐就复杂得多了。主要有如下几点：

商品种类数巨大，不同的商品需要不同的embedding。
放在电商的世界里，电影就相当于一种商品。如果要做embedding，用户与每一物品都要做一组embedding，不同的物品无法统一。比如，喜欢白色T-shirt的用户，不见得会喜欢白皮鞋；喜欢咸豆浆的用户，不一定会喜欢咸豆腐脑。而商品的种类可能是数以10万记的。即始可以针对每种商品做embedding，也很难将它们统一起来。
单种商品深度不够，难以有效embedding。
描述物品的空间维度一般很浅，除了少数的商品（如女士包等）称得上博大精深，大多数是很简单的。
人对商品的兴趣大都建立在短期或者瞬时需求之上。
大部分情况下，人对商品有兴趣是因为正好需要商品，而非中长期的喜好。很多情况下，买了某种耐用品之后，人对它的兴趣（指购买它的欲望）在很长时间内会降到最低。想要embbeding这种转瞬即逝的变化，是一件不容易的事情。当然，也有一些商品及一些情况下，用户的确是对商品有中长期的兴趣，比如刚生小孩的父母，很长时间内会对母婴用品感兴趣。在海量的商品与情景中把这些case都找出来，本身是一件不容易的事情。
大量耐消品的影响。
上面的论述中可能已经包含这部分。但有必要单独强调一下：电影是一种极佳的快消品，而在商品的世界里，充满了海量的慢消品 - 慢消品的特点是一旦满足用户兴趣就转移了。
用户理论上对所有商品都会有兴趣。
人在一生中，会在不同的时间对大部分商品产生兴趣。用户对商品的大部分情况是短期兴趣。一般情况下，用户短期的兴趣难以预测，只能根据用户明确指时的对哪些商品感兴趣；中长期兴趣在某些情况下可以挖掘。

基于以上的原因，在电商领域难以找到完美的embedding方式来实现推荐。其实我们在看各大电商的个性化推荐时，无论宣称背后用怎样复杂的模型融合，从结果看，用户近期行为的权重是非常大的，使得结果非常像itemCF推荐出来的。很容易看到，很多大型电商网站首页的“猜你喜欢”模块，推荐的都是与用户最近浏览相似的物品。

因此，现代电商的推荐往往用机器学习的方法来实现。对于推荐来说，算法与模型并不是最主要的，重要的是对需求、业务目标、平台用户、平台数据的理解及与之对应的特征工程。

网易严选推荐实践

网易严选推荐的基础模型采用的是CTR模型，基于LR（逻辑回归）。

图3.网易严选推荐模型

在核心的特征工程方面，网易严选推荐团队将用户的具体属性（性别、收入水平、地域等）、用户在网易严选的行为属性（短期，长期）、及时间上下文（季节、上次购买时间间隔等）作为属性空间，从1层迪卡尔积开始往上构造N层迪卡尔积形成复杂属性空间P，挖掘属性空间与商品的相关，对有明显相关（正相关或负相关）的（属性、物品）对构造特征。

图4.用户属性空间

图5.具体属性应用

图6.行为属性作为抽象属性与具体属性置以相同的地位

图7.二阶属性（属性的2重迪卡尔积）

从结果来看，这一套特征工程方法可以挖出比较全的特征集，在鲁棒性与效果上都有不错的效果，自上线以来各项指标均在稳步提升。

易小云说：

网易基础技术的云化，以及大数据技术的平台化，支撑着网易互联网业务快速发展，其中网易严选在电商领域发展得有声有色。业务的成功，强化了网易人对技术的信仰，基于大数据的个性化推荐功能作为当前电商平台的标配，网易严选也进行了自己的探索。当然，网易工程师并未奉行唯技术论，不认为算法/模型至上，而是秉承业务导向的思想，从全局的角度深入思考推荐系统的角色，从实用的角度分析推荐在不同业务场景下实现方式和性能提升的关键（并重点解释网易严选的核心工作 - 特征工程），这其实和网易云提倡场景化云服务的理念一脉相承，而文章最后一段的阐述，也证明了这个理念的正确性。2017年，网易云将继续深耕场景化的云计算和大数据解决方案，助力互联网企业及传统行业成功实现业务的创新和升级。