概率论与统计学的关系是什么？

Lary Wasserman 在 All of Statistics 的序言里有说过概率论和统计推断的区别，相对于上面的图，更加透彻：

The basic problem that we study in probability is:
Given a data generating process, what are the properities of the outcomes?
...
The basic problem of statistical inference is the inverse of probability:
Given the outcomes, what can we say about the process that generated the data?

概率论是统计推断的基础，在给定数据生成过程下观测、研究数据的性质；而统计推断则根据观测的数据，反向思考其数据生成过程。预测、分类、聚类、估计等，都是统计推断的特殊形式，强调对于数据生成过程的研究。

例子：

如果非要用彩票猜奖的例子， 统计学：根据往期中奖信息，反推彩票游戏规则。概率论:根据彩票游戏规则，推算中奖几率。