3 最好的专家也不如计算机

在NetFlix横空出世之前,人们到音像店买光盘、或者去地下市场买盗版光盘。那时候,音像店的店员会根据你之前的喜好和当时的心情,热情地为你推荐影片,甚至可能向你介绍一部与众不同的电影。由于音像店的库存较少,而你对电影的认识也有限,所以店员——卖盗版盘的——对你很有帮助。

NetFlix成立于1997年,最初是通过网络进行DVD租赁的公司。它很早就意识到,将用户和影片进行匹配,是用户满意度的核心问题,也是业务活力的关键。2000年,NetFlix推出Cinematch服务,这是一种匹配观众和影片的算法程序。Cinematch基于用户反馈,迅速提高了预测消用户品味的能力,能够让用户更满意、并减少对新片发行讯息的依赖。

很快,NetFlix超过一半的业务由Cinematch产生。但NetFlix意识到,Cinematch的算法还不够完善,不能得到全面的答案。于是在2006年,他们发起一项挑战赛:如果有人能设计出预测用户偏好优于Cinematch 10%的程序,NetFlix奖励100万美金。没多久,出现优于Cinematch 9.8%的程序。经过许多团队参与的锦标式角逐,一支来自中国的小团队最后赢得了胜利。

NetFlix吃亏了吗?绝对没有!

  1. 由全球的杰出人才一起来思考推荐算法,其成功可能性远大于Netflix自身的团队;

  2. 他们所创造的价值,对于Netflix的意义远大于对他们自己。NetFlix承认,任何成功的参赛算法都价值百万;

  3. Cinematch也好、把把它比下去的程序也罢,都远远优于音像店店员。

Netflix推荐算法和音像店店员存在着鲜明的差别,其质量和效果天上地下。这代表着第一个决策错误:用专家代替数学模型

早在1954年,心理学家保罗·米尔(Paul Meehl)就进行了心理学家和精神病学家等专家能力与线性统计模型的比较研究。通过认真、公正的反复研究,他确认,统计方法胜过专家表现,至少不输给专家。

心理学家菲利普·泰特劳克(Philip Tetlock)也进行了一项关于专家预测的详尽研究,时间跨度长达15年。泰特劳克邀请全球60个国家的300名专家进行了多达28000次预测,他请专家们进行政治、经济及范围广泛的概率预测。结果发现,在任何领域,都没有任何人的预测能力明显胜过粗略推断算法,更不用说复杂的统计算法了。

尽管专家不及算法的发现已有数十年历史、并得到了充分证明,但人们广泛依赖专家的现实并没有发生多大改变。确实,很少有人能够将统计证据直接融入判断。

当你面临决策时,是否可以扪心自问:你愿意通过Cinematch之类的算法得到推荐,还是喜欢求助于音像店柜台后面的店员?答案不言自明。

 

4 专家也比不上群体智慧

百思买案例显示,一群知识储备不够充分的普通人表现得比专家好。这代表着另一个决策错误:依靠专家而不是群体智慧

为什么集体为什么经常比较明智、有时候又很不明智?这需要深入了解群体智慧的运作原理。不过,不妨先简单思考一下:一群普通人,怎么会比专家预测得更准确呢?

社会科学家斯科特·佩吉(Scott Page)对团体如何解决问题进行了研究,提出一种理解集体决策的方法,他称之为多样性预测定理

集体误差 = 平均个人误差 – 预测多样性

该定理使用平方误差作为准确性度量,这是社会科学和统计学研究人员通常采用的方法,因为它可以确保负误差和正误差不会抵消。

平均个人误差代表个人猜测的准确性,你可以把它作为对能力的衡量;预测多样性反映了猜测的离差,也就是猜测的差异性;集体误差其实是正确答案与平均猜测的差。

可以通过这样的一个简单试验,来解释集体误差、平均个人误差和预测多样性,从而加深对多样性预测定理的理解:假设一个玻璃罐子装满M&M糖豆,让一群学生猜测糖豆的数量。如果学生的平均猜测结果是1151颗糖豆,而实际数量为1116颗,大约有3%的误差。平均个人猜测结果的差距大约是700颗,但高度的多样性却足以抵消大部分个人误差,从而留下一个小范围的集体误差。

多样性预测定理的精妙之处在于,一个多样化的群体总是比群体中的普通人预测得更准确。虽然有时不会更准,但总体如此。这表明,人应该保持谦虚的态度。但是,大多数人并不认为自己水平一般,肯定不会低于平均水平。然而实际上,必定有一半的人低于平均水平,你必须弄清楚自己是否可能是其中之一。

同样重要的是,集体的准确度与集体组成部分的能力与多样性是对等的。你既可以通过提高能力,也可以通过增加多样性来减少集体误差。能力和多样性都是至关重要的,它关系到可否准确评估市场健康程度、能否构建成功的团队之类的问题。

最后,集体通常甚至比最优秀的个人表现得更好。因此,多样化的集体总是可以击败普通人,而且经常击败每个人。在糖豆实验中,73名学生中只有两名表现得比集体更好。这确实让专家和决策者甚为难堪。

理解多样性预测定理之后,你就明白何时群体能够更准确预测了。必须具备三个条件:多样性;整体性;诱因。每个条件在公式中都不可或缺。多样性可以减少集体误差;整体性可以确保考虑到每个人的信息;诱因则有助于减少个人误差,因为人们只有认为自己具备洞察时才会乐于参与。

当然,集体并不能解决所有问题。如果你的水管需要修理,你最好去找一个水管工,而不是找一个文科生、一个志愿者和一个天体物理学家。但是,当问题比较复杂、且特定规则不能解决时,集体通常比专家更有价值。

 

5 直觉源于反复的实践

调查显示,接近一半的财富1000强的高级经理人表示,他们依靠直觉是作出决策的。畅销书力捧直觉,商业和医学知识也十分推崇直觉决策。

问题是,直觉并不总是起作用。这就是第三种决策错误:不适当地依靠直觉。直觉可以在决策中扮演明确而积极的角色。你必须识别直觉什么时候有帮助、什么时候会将你引入歧途。

丹尼尔·卡尼曼(Daniel Kahneman)在其2002年诺奖演讲及《思考,快与慢》一书中,描述了两套决策系统:

  • 系统1,即经验系统:快速的、自动的、毫不费力的和联想式的,同时也是难以控制或修改的;

  • 系统2,即分析系统:缓慢的、连续的、需要努力的,同时也是可以有意控制的。

在卡尼曼的模型中,系统1利用知觉和直觉来形成关于对象或问题的印象。这些印象是无意识的,你可能无法解释它们。卡尼曼认为,不论个人是否有意识地做出决策,系统2都会参与所有判断,因此直觉是反映了某种印象的判断。

在某一特定的领域中,专家可以通过大量有意识的练习,训练和强化自己的经验系统。因此,象棋大师可以非常迅速地判断一盘棋的局势,运动员也知道在某种比赛情境下需要付出什么行动。实际上,专家能内化正在处理的系统的显著特征,从而省出精力去关注更高水平的、分析式的思维。这就解释了专家的许多普遍特征:

  • 专家可以在自己的专业领域感知到模式;

  • 专家解决问题的速度比新手快很多;

  • 专家可以比新手解释更深层次的问题;

  • 专家可以定性地解决问题。

因此,直觉在稳定的环境中效果很好,因为稳定环境中条件基本保持不变(例如棋盘和棋子),反馈清晰明了、因果关系非常直接。但当你处理变化的系统、尤其是存在相变的系统时,直觉就会失灵。尽管直觉近乎不可思议,但在日益复杂的世界中,直觉越来越难以切中要害。

其实,直觉并不神奇。通过刻意练习来训练经验系统,你就能成为专家。刻意练习具有非常特殊的含义:帮助提高效能的活动;重复执行的任务;高质量的反馈;乐趣并不太多。大多数人、甚至是所谓的专家,都无法满足刻意练习的条件,因此未能发展出必要的能力来获得可靠的直觉。