极值理论(Extreme Value Theory)

MrMathematica节译自《25 Big Ideas》,ISBN 1-85168-391-7，原作者Robert Matthews
简述
每过一段时间，小概率事件就会发生，比如巨大的台风，或者跳高纪录被打破。但是到底这样的事件有多极端？极值理论(Extreme Value Theory)可以回答这个问题。利用以往的记录，比如说500年来的洪水记录，极值理论就可以预测将来发生更大的洪水的可能性。
极值理论19世纪20年代被数学家发明。长久以来，因为其魔法般预测从未发生过事件的能力，它往往受到人们的质疑。但是现在EVT正在获得越来越广泛的应用，从金融风险评估到海事安全等等，也越来越受到人们的信任。一个重要的应用领域是保险行业，EVT被用来计算重大灾难发生的可能性，并由此来确保必要时有足够的赔付资金。
正文
某时某地，几百年来未见的事情就会发生。2002年5月的一周，300多个龙卷风横扫美国中西部，造成超过十亿美元的财产损失；2003年8月，热浪席卷欧洲，仅法国就有超过14,000人死于高温；即使太阳也来凑热闹，11月太阳耀斑大爆发，迫使许多飞机修正航线以避开宇宙辐射。
我们能做什么？如何防范自然界可能发生的灾难？小概率事件促使人们思考这类问题。
随着越来越多出人意料事件的发生，人们越来越关注一种能够处理小概率事件的技术。极值理论(EVT)可以预见数年，几十年，甚至几个世纪以后的极端事件。
在全球范围内，政府使用EVT来预测极端事件的可能性，并以此为依据进行准备；在金融界，EVT被用来评估自然灾难风险，并由此来确保必要时有足够的赔付资金；同样EVT被用来保护船只航海时可能遇到大风暴的危险；它甚至可以帮助生物学家确定人类生命的极限。
不论是哪个领域，EVT都使用以往极端事件的数据来计算将来可能发生的事件——包括新的、超过过往任何纪录的事件。这听起来像是奇迹，所以有些情况下EVT还是受到质疑。不过支持者们指出，EVT有着健全的(sound)的数学基础，而不仅仅是经验公式(rule of thumb)。
EVT的发展最早可以追溯到十八世纪的瑞士数学家Nicolas Bernoulli(尼古拉·伯努利)，但是直到20世纪20年代，预测新纪录的想法才真正吸引了人们的注意。EVT的中心思想是概率分布，即给出事件发生概率的数学公式。比如说，人的身高服从高斯分布，所以大部分人的身高都距离平均身高不远。而高斯分布长而窄的两个“尾巴”表示有些人特别的高，或者特别的矮。
高斯分布是一种非常常见的分布，许多现象都服从高斯分布。所以早期的数学家使用高斯分布来计算极端事件发生的可能性。但是在1920年代，数学家们感觉到高斯分布的“尾巴”不能很好的预测小概率事件。1928年，剑桥数学家R.A.Fisher和同事L.H.C.Tipper发表了他们著名的关于EVT的论文，表明小概率事件服从另一种概率分布。同高斯分布一样，如果事件越极端，其发生的概率就越低。如果要计算具体的发生概率，只要使用以往该极端事件的发生情况拟合曲线就行了。比如说，使用往年某沿海地区海浪最高高度的数据，就可以预测将来该地海浪的最高高度，包括创纪录的新海浪高度的可能性。
尽管EVT可以应用在很多领域，但是人们始终对其存有怀疑。直到1940年代，情况才改观，一是因为苏联数学家Boris Gnedenko在数学上严格地证明了EVT所使用的公式，二是因为德裔美国科学家Emil Gumbel将EVT应用于预测洪水并取得了巨大的成功。
1953年2月，一次巨大的风暴冲垮了荷兰海堤，冲毁了47,000间建筑，超过1800人遇难。人们需要防止此类事件的发生。一群专家被召来研究以往的洪水记录。他们发现，1953年的洪水并不是史上最大的。1570年11月1日，包括荷兰在内的数个欧洲国家被超过4米高的海浪淹没——至少比1953年的洪水还要高15厘米——估计有400,000人因此丧命。
专家组面临的问题是，到底防护海堤要造到多高，既不至于过高——造成不必要的成本支出，又不至于过低——以至于洪水没顶。最后的结论是，5米高的海堤可以保护荷兰数千年。这个结论有多可靠呢？由鹿特丹伊拉斯谟大学Laurens de Haan领导的小组使用EVT对专家组的建议进行验算。使用历史记录和EVT分布，他们的计算显示5米高的海堤可以保护荷兰许多个世纪。
现在EVT被广泛应用于计算堤坝的高度。但是有时候错误也会发生。1996年，兰开斯特大学的数学家们发现在使用EVT设计英国800公里长的海堤时出现了错误，导致某些地段的堤坝比设计需要低了整整两米。
不出意外的，最早使用EVT的一个领域就是保险行业。许多年来，精算师们使用各种各样的经验公式来估计灾难事件发生的可能性，比如“20—80”公式，也就是百分之20的极端事件会导致百分之80的理赔。1990年代中期，苏黎世联邦理工学院的金融数学家Paul Embrechts和同事们决定使用EVT来检查这类经验公式的准确度。他们发现，“20—80”公式在很多领域都是准确的，但是在某些情况下，却完全不成立。比如说，EVT表明飓风造成的损失符合“0.1—95”公式，也就是说，千分之一的风暴会导致百分之95的理赔。这类研究对于保险行业起了很大的帮助，保险公司以及投保客户都受益与足够的理赔准备金。
与此同时，一系列金融危机事件的发生也促进了EVT在定量分析领域的应用。1995年2月，世纪著名商业银行巴林银行其新加坡分行一名交易员Nick Leeson(尼克．李森)的交易就成了将近九亿美元的损失。几个月后，日本大和银行发现其一流氓交易员Toshihide Iguchi(井口俊英)就造成了七亿美元的亏损。正是这类事件的连续发生促使美联储主席Alan Greenspan(艾伦·格林斯潘)建议在金融风险领域运用EVT。
如果这一建议得到实施，一个更大的金融灾难就可以被避免。1998年夏，俄罗斯发生金融风。俄政府作出了一个无法想象的决定：拖欠国债的偿还。这一决定是如此的出人意外，以至于美国长期资本管理公司（Long-Term Capital Management）——一家主要从事定息债务工具套利活动的对冲基金——出现了一千亿美元的亏损。最终美林、摩根等大银行出资收购接管了LTCM。但是最为惊人的是，LTCM公司准备不足：其预计的最坏情况下损失只有实际损失的60%。
因为这一事件，人们开始研究金融基金经理是如何估计风险的，却发现LTCM一直使用高斯分布来估算损益。但是早在70年前，数学家就指出，在极端的情况下，基金的损益遵从另一种概率分布——而且使用高斯分布往往会导致低估风险。如果LTCM接受格林斯潘的建议，使用EVT方法估算损益，有可能事情不至于发展到这么坏！
现在，越来越多的行业开始意识到EVT的有效应用，包括人类生物学和航海工程。在鹿特丹伊拉斯谟大学，Laurens de Haan领导的小组还使用EVT来估计人类生命的极限。分析历史上最长寿的人的记录，他们发现人类寿命的极限是124岁。（译者注：再次说明某些号称人类寿命可以再翻一倍之类的说法有多荒谬。）到目前为止，这看起来是真的：目前有确切纪录的最长寿的人是法国人JeanneCalment(雅娜·卡尔芒)，1997年逝世，终年122岁。
1980年，日本巨型散装船Derbyshire(德比郡号)在一次台风中沉没，44名船员失踪。由此造成了长久的争议，到底该船是因为设计失误而沉没，还是因为船员操作不当？1997年的调查报告认为是后者。但是三年后，新的调查报告断定船员无罪：兰开斯特大学的EVT专家Jonathan Tawn教授和Janet Heffernan博士帮助找出了事故的真正原因：一个异常波浪(freak wave)打穿了船的前舱。该研究还建议船只大幅度加强前舱的强度，以防止类似事件再次发生。
结果，高深的数学理论EVT再一次帮助人类——这一次是提高海员们的人身安全。
插曲：当事情开起来不像是真的
每隔四年，运动员们就会在奥林匹克赛场上争取打破世界纪录。但是有时候，世界纪录不仅仅是被打破——而是被彻底的刷新。但问题是，这样的纪录可信吗？极值理论可以回答这个问题。
以九十年代中国中长跑运动员王军霞为例，在1993年北京全运会上，她只用8分6秒就跑完了三千米——比原来的世界纪录整整快了17秒。这是一个真实的成绩吗？药检的结果是阴性，但是至今很多人还是不相信王军霞是清白的。兰开斯特大学的数学家Michael Robinson和Jonathan Tawn决定使用EVT来分析。使用以往（1993年之前）的纪录，他们的计算表明，最终的世界纪录——也就是人类能够达到的最好成绩——为8分3秒。也就是说，尽管王军霞的成绩非常惊人，但是还是比人类极限要慢上3秒。

from: http://emr.casipm.ac.cn/InfoBulletinRead.asp?BID=1379