Posts Tagged ‘ 概率

【概率世界】04 概率:一种数学化的判断力

人类决策的制定是基于对当前情形和未来情况的判断,人类心理会自发地对其中的不确定做出估计。一个篮球运动员运球进攻,他要决定是外线投三分还是突破上篮。外线投篮命中率比较低,可是如果进了能拿3分;突破上篮的成功率稍微高一些,不过只能拿2分。根据对手实时阵容和防守阵型,成功率随时在发生变化。最优秀的运动员他每时每刻都在衡量不同进攻手段的成功率和得分,做出最佳的选择。如果这个运动员平时训练中的三分球老是投不进,那么比赛中他选择外线投三分球就不是一个明智的选择。通过概率的计算,这样的决策方式就能够得到理论的支持。特别是在决策中,当两个选项看起来特别接近的时候,精确的概率计算能够提供更优的决策,在大量决策序列中这样的优势会进行累计,最后产生明显的效果。这就是为什么赌场庄家总是赢家。而那些被誉为有洞见、意见靠谱的人,就是源于他们对未来或者当前不确定事件的判断更加靠近实际情况。所以我一直在思考洞察力或者判断力能否训练习得?应该是可行的。

人类心理对于不确定性的估计并不总是正确的,精确的概率计算还能够修正人类心理的偏见。人们倾向于用模式来取代可能性。比如某地的出租车司机特别的凶悍,每十万公里会出10次车祸,但是开私家车的人通常都比较小心谨慎,平均每十万公里会出1次车祸。如果某天听到一则新闻出现重大车祸,那么人们自然地想,九成就是出租车干的。可是人们经常会忽略私家车比出租车多的事实。虽然私家车的车祸率低,可是如果基数够大,那么发生车祸的数量也是可观的。用模式来取代可能性,这是很常见的一种心理偏见的例子。类似的心理偏见的例子还有“以貌取人”。近年由于房地产市场的火爆,马路上经常可以看到房产中介,这些中介都穿着西装打着领带,连大热天也没有丝毫放松。人们心理会产生一种印象,即穿着西装革履的人很可能就是房产中介。但是有其他行业的人也穿西装,只不过没有那么普遍。有的教授也穿西装,有的坐办公室的行政人员也穿西装,有的IT码农也穿西装,但是他们穿西装的形象不是整个行业共有的形象,人们便倾向于把西装和中介画上等号。但是房产中介只是整个社会中很小的一个部分,其他行业就算只有5%的人穿西装,那合起来也比房产中介的总人数多的多,因此这种用模式代替精确概率的做法很容易产生偏见。诺贝尔奖获得者丹妮尔·卡尼曼在他的研究中也指出,人类对概率的估计可以说是非常的差,特别是在金融投资、对业绩的评估等方面。卡尼曼对这种模式偏见起名为“相似性的偏见”,并且用各种实验证明,人类的直觉能很好地处理相似性,但是对于概率的估计却不怎么在行。

这也是为什么贝叶斯后验概率难以理解的原因——因为它否定了相似性,也就否认了直觉。在普通概率公式中,事件甲导致事件乙的概率是50%,那么1000个事件甲会产生出500个事件乙,非常直观非常连贯;但是贝叶斯后验概率说的是什么呢?事件甲导致事件乙的概率是99%,那么多少事件乙是由事件甲导致的呢?不一定是99%!这听起来真是反直觉了。也正是因为直觉的不可靠,才更需要用数学化的手段来帮助做决策。

【概率世界】03 修正的归纳法

逻辑入门第一课:归纳法很常用。逻辑入门第二课:归纳法不是那么有效。归纳法是从众多观测的现象中总结规律,寻找现象背后等原因,以便推广到一般化的情况。这是最常用、浅显而且符合直觉的方法,而且在相当长的时间内,被视为是人类科学知识的来源。但是归纳法有致命的弱点:它无法确保正确的知识。归纳法所总结的规律是基于已经观测到的现象;而对于没有观测到的那些现象,归纳法需要假设(或者推断)它们和已经观测到的现象是一样的,这个假设是无法且不可能被归纳法所证实的。归纳法的失效最为人所知的例子就是黑天鹅的出现。在欧洲,所有的天鹅都是白色的,因此人们一直相信所有的天鹅都是白色的——直到澳大利亚发现了黑色的天鹅。若归纳法会失效,那么所有的人类知识都有可能是错误的。人们相信万有引力之所以是万有的,有可能只是因为还没有观测到不存在引力的情况。

上面所说的归纳法其实是弱归纳法,与此区别的是强归纳法,而强归纳法是能够保证正确的知识的。强归纳法通常出现在数学的证明中。强归纳法和弱归纳法的区别在于,强归纳法不需要引入那个致命的假设(未观测到的现象与已观测到的现象是一样的),因为它事实上是全体的枚举法,它将所有的现象都包含在了观测范围中,以确保没有漏网之鱼。然而强归纳法在现实中的应用非常有限,并非所有事情都能够全体枚举。特别对于未来的事情,若未发生,如何观测?

可是否定归纳法的有效性又是反直觉的。试想对于“所有的天鹅都是白色”这个说法,如果人们只看到十只天鹅都是白色的,他们或许会对这个说法产生怀疑;但是人们若看到十万只天鹅都是白色的,那么这个说法拥有更高的可信度。因此如果由于归纳法是无效的,所以不管看到多少只天鹅都不会对人们的观念的确定性产生影响,又欠缺妥当。所以又有了修正的归纳法。修正的归纳法承认知识不可能绝对正确,但是可以在“某种程度上”是正确的。如果人们只看到十只白天鹅,则有99.9%的可能性超过万分之一的天鹅不是白色的,所以人们基本都会对这个说法产生怀疑;而如果人们看到十万只白天鹅,则错误的可能性下降到万分之0.5。如果预测未来见到的下一只天鹅,那么它是白色的可能性也更大了。如此我们可以将知识从观测的部分现象有概率地推广到全体,而且不确定性也能够精确地衡量了。

确定性也只是不确定性的特例,是发生概率等于100%的特例。让我们重新审视确定性下的观念,会发生他们都是不严谨的。当我们在谈“因为A所以B”的时候,甚至不是表示因果必然性,而是在说P(B|A)趋近于1。既然只是趋近而不是相等,那就意味着凡事没有绝对,必然的因果联系下也会有特殊情况的产生。

—————

附:“已知的未知”和“未知的未知”

美国国防部长拉姆斯菲尔德说过:“据我们所知,有已知的已知;我们也知道,有已知的未知。但是同样存在未知的未知——有些事情我们根本不知道我们不知道”。这段话原本只是一位深陷伊战危机的政治家应对新闻记者的政治说辞,不过它恰好指出了修正的归纳法的弱点。修正的归纳法还是没有真正解决有效性的问题。这是后话。

【概率世界】02 实体和观测

我相信创立和研究概率论的人一定从骨子里是一个本体论者,因为概率论所展现出来的逻辑就是一种清晰的实体-现象的二元区分。也就是说,任何事件和物体都有一个“实体”,而人类要通过观测这个实体的的现象,来推断实体的性质。人类是无法直接了解实体本身的,只能通过想象和假设来创造实体的性质,然后推断应当产生的现象,与实际观测的结果进行比较。与其他的人类知识不同,概率论在实体和人类理解中间多插入了一层现象,使得人类无法直接研究实体本身,所以这导致了某些困难。

譬如化学说电解水生成氢气和氧气。所以我们做实验拿了水去电解,真的生成了氢气和氧气。我们说这个理论和观测是相符的。概率论则不然。比如在一叠充分洗匀的不含大小怪的扑克牌中随机盲抽一张牌,理论上抽到红桃牌的概率是1/4。接着我们做一个实验抽一张牌,结果可能是红桃或者非红桃,我们无法看到1/4这个数字在单次实验结果中如何体现。另外,“充分洗匀的扑克牌”在现实中存在吗?要洗匀到什么程度才叫充分?理论想象出了一副完美的扑克牌,这副扑克牌中每张牌都是绝对同一的,不会产生一张牌比其他牌更容易被抽到的情况。我们实验拿了一副扑克牌,只是对想象的那副完美扑克牌的近似替代物,是由于我们没有理由相信有哪张牌更容易被抽到,而现实中由于各种微观因素的影响,确实有可能产生人类感觉不到的差异,实验时先不要在意这些细节。能重复实验的实体还算对人类仁慈,要是遇上一次性的事物(比如在现在估计美联储在2015年前退出的可能性,比如在高考时候遇到一道不确定的题目当时要决定要选哪个好),没有给你重复实验的机会,那个实体最终可能永远无法得到确证。

常说概率论需要抽象思维,其实我相信抽象思维和形象思维是相通的,所谓不擅长抽象思维的人,只是面对抽象的东西,脑里没有浮现出正确的形象罢了。比如说到一个事件发生的概率,我脑海中浮现一个类似“事件发生器”一样的神秘内核,各种可能的事件就像五彩斑斓的光谱一样投射在一个平面上,其中某个事件的概率就是这个事件在整个平面里占据的比例大小。神秘内核就是所谓的实体,而光谱便是可被观测的现象,神秘内核像黑箱子一样无法被了解,而只有现象才是可以观测的,世间事大抵如此。所以构建出正确的平面(分母,总体)和小区域(分子,样本)就是计算概率的关键。

而实体无法直接观测,不等于实体完全无法被观测。通过间接的手段,我们可以推测实体的性质,其中一种方法就是假设检验法。我们先研究一个假设性的实体,赋予它某些特性,分析它应当产生什么样的现象,然后与实际观测到的现象进行比对。如果结果一致,我们可以推断这个真实的实体拥有这个特性;如果结果相反,则真实的实体不具备这个特性。再如上文提到的抽红桃的实验,虽然单次实验无法体现出1/4这个数字,我们需要对实验进行一点设计,即采用重复独立实验的方法。根据推论,如果出现红桃的概率确实为1/4,那么经过大量实验之后,出现红桃的次数会得到接近1/4,这样我们就可以通过数数来确证概率了。但此时实验和理论已经产生了偏离,实验做的是多次独立重复现象,而理论针对的是单次现象。实验只是间接证明了理论,实验和理论中间还是多了一层推论和假设。

【概率世界】01 不确定的世界

未来从来不告诉你会带给你什么,因此也最令人遐想。这无法预见的未来构成了这个世界的特质:不确定性。那啥叫不确定性?这个词语已经足够简单自明,而且很多别的词语都会用它来解释(例如“风险”的概念,就是指“事件发生与否的不确定性”)。可是你确定你明白不确定性吗?

“不确定”就是“不知道”。扑克牌中最好玩的事情莫过于当对手只剩下两张牌的时候,你要猜测他手里的牌型。你通过超强的记忆力和精确的演算,推断出他手里的牌是两张单张的可能性稍微大一些(可能性是2/3),虽然也有可能是一对(可能性是1/3),所以你决定接下来打对子。这样的不确定性就来自于信息的匮乏。因为在对方的眼里,他的牌型是肯定无疑的事情。要么是单张,要么是一对,非此即彼,不存在“2/3是单张,1/3是一对”的情况,对他来说,唯一答案就在那里,不确定性是不存在的。所以同一个事物的不确定性在不同人的眼里是不一样的,在缺乏足够信息的情况下,我们虽然能够基于现有的信息进行估计,但是无法推断出准确的结论;拥有的相关信息越充分,不确定性越低。比如我昨天跟同事聊天得知我们项目组刚刚从投资管理部门调来一位新同事,但是还不知道他/她是谁。如果我要猜测他/她的性别,在没有其他信息可用的情况下,我可以去查找美国人口的男女比例(0.97比1),据此我推测她是女生的可能性稍微高一点点,是50.8%。如果我又得知投资管理部门的男女比例大概是2比1,那么我可以推翻之前的估计,得出他/她是女生的可能性只有33%的结论。直到我看到她本人并了解她的背景,我才能确定她是女生,不确定性被消除了。信息的不同改变了概率的估计,但是并没有改变事实本身。在这个过程中,那个人还是那个人,她的性别并没有发生过改变,也不会出现半男半女的混合态。而随着更多信息的获取,对概率的估计逐渐调整,最后收敛到了100%。

事件的概率并不是对客体的直接测量,而是信息量的测度,甚至是对主观倾向的测量。概率的测量存在天生的一种缺点:它的对错和准确性非常难以衡量。由于概率并不是对事件本身的直接测量,因此事件的结果是不能作为直接衡量概率测量准确性的依据的。这一点和其他理论有很大的区别。其他理论比如利用牛顿力学计算一个炮弹的落点,只要让这个炮弹真的打出去,看看实际落点与理论落点是否吻合即可,两者距离越近,说明计算的准确性越高。事件概率则不然,特别是某些无法重复试验的概率。当我最终得知新同事是女生的事实,究竟说明哪个概率估计是对的?50.8%,还是33%,还是都不对——因为实际值是100%?更令人困惑的是,哪一次概率估计的准确度更高?一开始我估测是50.8%,然而由于我获得了新的信息(了解到新同事是来自于投资管理部门),我修正了概率估计到33.3%,但是这个概率估计反而更加远离了实际值,难道说明第二次的概率估计是一个相当差的计算么?

当然不能这么说,因为这叫事后诸葛亮。判断概率估计的优劣,必须回到做出概率估计的那个时刻,判断是否是当下最佳的估计。记住,概率不是对客体的直接测量,而是信息量的测量。回到前文说到的最后两张扑克牌的例子中。你如果估计对手是两个单张的概率是2/3,所以你打出了对子,结果对手恰好是一个对子,结果你输了,这只能说你的运气不好。下次再遇到这种情况,你还是会做出同样的决定。从长远的视角来看,如果你打的牌局够多,遇到同样的情况够多,你发现出现两个单张的次数还是比出现一个对子的次数多一些,这时候你说,我的概率估计是对的。

停!仔细想想,这样真的对吗?既然我们不能用单次随机事件的结果来验证概率估计的对错,为什么我们可以用多次随机事件的结果来验证呢?如果1局出现对子的可能性是33%,那么在21局中,对子的出现次数比单张多的情况也是有可能的,虽然这个可能性非常非常的低,只有大约6%。如果真的出现这个情况,还是只能说明,你的运气实在是太差了。不过从单次随机事件扩展到多次随机事件,我们也并非一无所获,至少我们更加确定你的运气实在是很差。所以精确的说法是:“‘我的概率估计是正确的’这个说法是正确的概率更大了。”哎,这谁扔的西红柿啊?

—————

附:你真的能区别不确定性是来源于信息不充分还是真正的随机吗?

前面不确定性来源于信息不充分的说法,只适用于事件已经发生的情形。对于事件尚未发生的情况,这个不确定性来自于事件本身。抛一个硬币是正面还是反面就是这种随机事件,在硬币被真的抛起之前,再多的信息也无法消除不确定性,只有等硬币落地,结果才能从客观意义上锁定。这时候,有人会说这个不确定性就不是来源于信息不充分了,而是由于抛硬币这件事情天生具有随机性。完全同意。可是做一次思想实验,如果能够知道抛硬币的力道、力矩,结合硬币的质量和惯性大小、离地的高度、地面的弹性系数等,便可以计算出硬币的翻转速度和翻转次数,从而准确说出硬币的朝向,那这样不确定性不是也会被消除吗?所以极端地来说,所有的不确定性都是来自于信息不充分。