推荐系统从入门到放弃-概述

前言公司在做跨境电商，需要负责独立站的推荐系统。由于之前没有过相关经验，是以一个业务小白的身份来接触推荐系统。故在网络利用强大的搜索引擎来了解 推荐系统 的相关知识。发现这是一门非常有意思的领域，几乎涵盖了人们生活中的方方面面。现在几乎所有的网站和应用里最显眼最重要的位置都是推荐系统。电商软件 得物 京东 淘宝 ; 在首页和商品附近的页面都会有 推荐商品 和 猜你喜欢 视频软件 腾讯视频 优酷视频 爱奇艺 B站 ;他们的首页和搜索页中也会有推荐和猜你喜欢看的影片。甚至美团，高德等等的一系列软件都有推荐系统的影子本系列以一个业务小白的视角和行业的整体趋势变化来去帮助技术人员更好的理解 #推荐系统的必备知识

1. 为什么要学习推荐系统 ?

职位很重要

推荐系统的改进可以创造巨大的收入，甚至决定企业的成败；
头条、抖音、快手，都是以推荐系统作为流量分发的主要手段；
淘宝、京东、亚马逊等商城，为你推荐、猜你喜欢、看了又看、买了又买 等页面随处可见；
据报道，推荐系统给亚马逊带来了 35%的销售收入，给 Netflix 带来了高达 75%的消费，并且 Youtube 主页上 60%的浏览来自推荐服务，Google 新闻有 38%的点击量来自推荐服务；

发展广阔

技术方向涉及大数据处理、流式计算、数据挖掘、机器学习、高并发服务、用户体验等领域，不论是想广度发展或者深度发展都能满足

2. 推荐系统是什么 ?

简单来说：推荐系统是根据用户的历史行为，向用户推荐他感兴趣的内容。基本任务就是联系用户和信息，解决信息过载的问题。

随着当今时代的飞速发展, 信息量爆炸式增长, 人们越来越感觉在面对海量数据时显得束手无策, 正是因为要解决 信息过载 的问题, 人们提出了推荐系统的概念

举个栗子

如果有一位你喜欢的女士约你一起外出，肯定不需要别人推荐你是否赴约吧？
(信息量太小则不需要被推荐, 用户自己决定)

那么, 如果有一百位呢？
(CPU 要被干烧了, 出现了，太多了挑不过来，根本挑不过来)

你肯定会检查下你最心仪的那位女士有没有约你。如果她也约你了，你照样不需要别人推荐。
(有明确的目标则使用搜索系统)

但如果这一百位女士中没有你熟悉的人呢？你是不是需要被推荐一位最合适的女士呢？
(没有明确目标则使用推荐系统)

这就是推荐系统。当你遇到信息过载时，而你有没有明确的目标，这时你需要一个向自动化的专家描述你的需求。

他可以分析你的历史兴趣、分析信息流中的信息内容、分析当前的情况、分析网络环境上下文等等相关的一系列信息，从而挑选出符合你要求的信息给你。推荐是基于用户的兴趣，平台主动去探索为用户推荐可能感兴趣的商品

注意，这里是说分析历史兴趣，那么如果作为一个新用户，是没有任何的历史信息的，这个时候需要通过冷启动的方式来解决这个问题，一般会使用当前系统的热点数据，做随机

1.主要是指应用协同智能（Collaborative intelligence）做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤（Collaborative Filtering）。另外还有基于知识的推荐系统（包括基于本体和基于案例的推荐系统）是一类特殊的推荐系统，这类系统更加注重知识表征和推理。

3.对用户而言，推荐系统能帮助用户找到喜欢的物品/服务，帮忙进行决策；对服务提供方而言，推荐系统可以给用户提供个性化的服务，提高用户信任度和粘性，增加营收

2.1 推荐系统在国内的兴起由来

以当下的视角看, 推荐系统在各行各业上都得到了广泛的应用, 美团, 得物, 抖音, 今日头条, 京东, 淘宝, 拼多多, 小红书等等. 站在国内互联网行业发展的视角, 推荐系统在国内兴起有着几个标志性事件的

2.1.1 2012 年的今日头条

2012 年张一鸣带着自己沉淀多年的推荐算法开始了创业-- 字节跳动, 第一个应用就是今日头条。在 2012 年的时间节点上，张一鸣就认识到未来是移动互联网的时代，而移动互联网时代会给人们带来爆炸式信息，使得人们面对的选择越来越多，面对 #信息超载，人们常常无所适从。在这个大背景下, 人工编辑信息分发发放的形式已经跟不上时代的步伐, 原因有二一方面效率低下, 一方面人工成本太高. 而通过推荐系统来实现更加智能和个性的推荐就是最好的方式.

今日头条的上线, 标志着国内的搜索推荐系统走上了舞台前方.

2.1.2 2015 年的淘宝全面进化 #千人千面

蒋凡在阿里主导搭建了 千人千面 推荐系统，以及成功布局了淘宝直播。2015 年淘宝双 11 全面开启千人千面时代，以往大家在淘宝的首页，推荐页，看到的商品基本都是一样的，并没有按照用户的兴趣进行个性化分发商品推荐。而在 2015 年的双 11，淘宝正式宣布开启 千人千面 的时代, 当年双 11 的成交额无线占比 74.83%。从此以后蒋凡带领着阿里，从月活跃用户 4 亿多，一直提升到巅峰期接近 9 亿。

淘宝在开启千人千面的时代标志着推荐系统在电商领域的分发效率远远超过了人工配置和 BI (商业智能) 的方式, 推荐系统已经渗透到人们生活的各个领域行业当中, 从阅读新闻到衣食住行的

2.1.3 2020 年的淘宝, 板块改版, 焦点图下移, 推荐模块上提

淘宝的产品经理为什么要这么做?

2020 年双 11 前夕淘宝首页发生了一个大改版，就是原本首页最上方的横版焦点图下移到了下方推荐信息流模块的第一坑，而中间的各种频道和运营楼层全部下线，最下方的“猜你喜欢”模块大幅上移。而淘宝为什么这么做？核心原因其实也就只有一个，以往的这种信息分发方式已经不能适应当前用户的需求了，已经不是最优的信息分发模式。各种运营手动配置的楼层下线，大幅提升基于推荐模型千人千面分发的“猜你喜欢”模块的位置。

2.2. 推荐系统为什么会兴起

推荐系统在 2010 年后才开始兴起, 早在上世纪 90 年代就已经有了各类推荐算法协同过滤等. 为什么那时候没有发展起来

2.2.1 时代的变化

2010 年时智能手机刚开始普及, 互联网慢慢从 PC 时代进入到移动时代, 用户可以无时无刻拿着手机上网, 同时 4 G 网络的普及网速更快流量更便宜. 人们开始有更多时间在网上漫无目的的冲浪，同时人们也不断地在网上生产更多的内容。爆炸式的信息增长和爆炸式的用户增长，二者之间如何实现更好的匹配。就需要一种更加智能的方式，也就是推荐系统。

2.2.2 数据的积累

因为移动互联网的到来, 数据量的爆发式增长, 用户在网络上表达的越多, 计算机能够采集到用户的信息就越多. 推荐模型基于这些用户基础数据就有了更多的模型训练和学习能力, 了解了用户的兴趣和需求就能做到更准确的推荐.

2.2.3 技术的进步

大规模机器学习和深度学习在推荐系统领域的应用。2010 年以前推荐系统主要使用的还是传统的协同过滤和基于内容推荐的算法。2010 年以后随着算法科学家们在推荐系统领域的不断研究，将大规模机器学习框架引入到了推荐系统领域，大幅提升了推荐系统模型分发的效率和效果。后面又随着深度学习模型的应用，推荐系统的推荐效果也越来越好，对于用户和物品的特征挖掘的更深更广。

3. 推荐系统解决了什么问题 ?

3.1 推荐系统能干什么? (推荐系统在业务上的体现)

这里分为手段和目的,

尿布与啤酒的故事 (手段)
1. 上世纪 90 年代，美国沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中.
2. 按常规思维，尿布与啤酒风马牛不相及，沃尔玛正是借助了关联规则分析的数据挖掘技术对海量交易数据进行挖掘和分析，发现这一藏在数据背后的奇特价值的（据说，在美国有婴儿的家庭中，一般是母亲在家中照看婴儿，年轻的父亲前去超市购买尿布。父亲下班之后去购买尿布的同时，往往会顺便为自己购买啤酒）。
推荐系统带来的 GMV (目的)
1. 美国《连线》杂志主编 Chris anderson 曾在《长尾理论》中指出过 28 原则（80%的销售额来自于 20%的热门商品），在互联网出世之后受到了极大的挑战，由于在互联网条件下，货架的成本极端低廉，电子商务往往能够出售比传统零售店更多的商品。虽然这些商品绝大多数都不热门，但是这些商品的数目极其庞大，因此这些非热门商品的总销售额也是一笔很大的 GMV。因此如果想要提升这些非热门商品的销售额，就必须充分了解用户的兴趣，而这正是推荐系统主要解决的问题。
2. Netflix 有 2/3 被观看的电影来自推荐系统，Google 新闻有 38%的点击量来自推荐系统；Amazon 电商有 35%的销量来自推荐系统的推荐

以电商系统为例, 不管是独立站还是 APP, 它的流量场域不会完全都是基于推荐系统. 一般划分为 搜索结果页、 频道专题页、 推荐信息流