基础数学知识-大数据问题

大数据问题

---

1. 数据流采样

• 问题： 在一个无限的整数数据流，如何从中等概率随机抽取 k 个整数出来？ – 采样问题

K = 1 时

抽样方法：

• 当第一个整数到达时，保存该整数
• 当第二个整数到达时，以 $\frac{1}{2}$ 的概率使用该整数替换第一个整数，以 $\frac{1}{2}$ 的概率丢弃该整数
• 当第 i 个整数到达时，以 $\frac{1}{i}$ 的概率使用第 i 个整数替换被选中的整数， 以 $1-\frac{1}{i}$ 的概率丢弃 第i个整数

归纳法 - 验证分析

• n = 1 时， 被选中的概率为 100%， 成立
• 设 $n=m,m\ge 1$ 时，命题成立，即前 m 个数，每一个被选中的概率为 $\frac{1}{m}$
• 当 $ n = m + 1 $ 时， 第 m + 1 个数被选中的概率为 $\frac{1}{m+1}$， 前 m 个数被选中的概率为 1 m ∗ ( 1 − 1 m + 1 ) = 1 m + 1 \frac{1}{m} * (1-\frac{1}{m+1}) = \