2019.12.04 互信息

【印象深刻】

互信息可以简单地理解为相关性。

世界上很多事情彼此相关,如果它们之间有确定的因果关系,那样的信息就是等价的。比如从 A 一定能推导出 B,那么知道了 A 就等同于知道了 B,它们是可以划等号的。

大部分相关的信息未必有因果关系,它们之间只是一种动态的相互关联的关系,比如 A 发生后,B 发生的可能性就增加,这就是相关性。

其实大多数信息都是相关联系, 而非因果联系。相关的联系可以强,也可以弱,但弱相关其实没有什么意义,我们需要寻找和利用的是强相关性。

专业人士比业余的人普遍做得好, 除了发挥稳定、能够重复成功等因素外,还一个原因就是他们有很多业余人士没有的工具。

【启发和收获】

互信息其实就是相关性，而大多数信息都是相关联系。作者通过“牛市与裸露的大腿”这个经典案例，说明了裙子的长短和经济的好坏是没有因果联系的，甚至相关性也没有那么强。在大数据时代,我们需要寻找的是强相关性,而不是看似有点关联的弱相关性。

反常识：“乌鸦叫,丧事到”是民间常见的说法。它有没有道理呢? 如果计算一下乌鸦出现这个随机事件和附近可能要死去的老人,多少是有点相关的。
但这里面的因果关系, 事实上不是因为乌鸦来了,所以人死了。而是人老了之后, 特别是快死的时候,会发出特殊的腐臭味, 吸引来了嗅觉非常灵敏的腐食动物乌鸦。

【行动和改变】

今天读了一些关于信息论的文章，其中开智的《信息分析》认为信息最重要的模型就是全局意识和交叉验证。
好好学习信息论，信息差永远是存在的，很多商业都是建立在信息不对称基础上的。

Changelog：

• 阅读吴军《信息论40讲》第14讲，20191204创建