（1.4.6）海量数据处理之基本方法

2的10次方1G

1.Hashing

　适用范围：快速查找，删除的基本数据结构，通常需要总数据量可以放入内存

要点：hash函数选择，针对字符串，整数，排列，具体相应的hash方法

举例：在200w数据中，查找某一条数据，先对元素哈希出一个值来，然后将该值对应的数据下标处存储或查找。

3.bit-map

适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下。

基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码。

举例：判重，可以用1个或2个bit来表示一个元素。

3.Bloom filter

适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集。

要点：hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。
”不属于这个集合（绝对正确）”，“属于这个集合（可能错误）”

举例：
下面我们具体来看Bloom Filter是如何用位数组表示集合的。初始状态时，Bloom Filter是一个包含m位的位数组，每一位都置为0。

为了表达S={x1, x2,…,xn}这样一个n个元素的集合，Bloom Filter使用k个相互独立的哈希函数（Hash Function），它们分别将集合中的每个元素映射到{1,…,m}的范围中。对任意一个元素x，第i个哈希函数映射的位置hi(x)就会被置为1（1≤i≤k）。注意，如果一个位置多次被置为1，那么只有第一次会起作用，后面几次将没有任何效果。在下图中，k=3，且有两个哈希函数选中同一个位置（从左边数第五位，即第二个“1“处）。

在判断y是否属于这个集合时，我们对y应用k次哈希函数，如果所有hi(y)的位置都是1（1≤i≤k），那么我们就认为y是集合中的元素，否则就认为y不是集合中的元素。下图中y1就不是集合中的元素（因为y1有一处指向了“0”位）。y2或者属于这个集合，或者刚好是一个false positive。

4.数据库索引

适用范围：大数据量的增删改查

　基本原理及要点：利用数据的设计实现方法，对海量数据的增删改查进行处理。
　

5.倒排索引

适用范围：搜索引擎，关键字查询

　基本原理及要点：为何叫倒排索引？一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。

举例：T0 = “it is what it is” T1 = “what is it” T2 = “it is a banana”

                  我们就能得到下面的反向文件索引：

        "a": {2} "banana": {2} "is": {0, 1, 2} "it": {0, 1, 2} "what": {0, 1}

6.外排序

　　适用范围：大数据的排序，去重

　　基本原理及要点：外排序的归并方法，置换选择败者树原理，最优归并树

  举例：有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16个字节，内存限制大小是1M。返回频数最高的100个词

          分成1000份，对每一份求其最高100词，然后归并。

7.trie树

　　适用范围：数据量大，重复多，但是数据种类小可以放入内存

　　基本原理及要点：实现方式，节点孩子的表示方式

 举例：寻找热门查询：查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个，每个不超过255字节。

8.堆

适用范围：海量数据前n大，并且n比较小，堆可以放入内存

要点：最大堆求前n小，最小堆求前n大。方法，比如求前n小，我们比较当前元素与最大堆里的最大元素，如果它小于最大元素，则应该替换那个最大元素。这样最后得到的n个 元素就是最小的n个。适合大数据量，求前n小，n的大小比较小的情况，这样可以扫描一遍即可得到所有的前n元素，效率很高。

举例：100w中求前100大：先把钱100个数建立最小堆，如果后面的数比堆中最小数大，则替换掉。

9.双桶划分（分而治之）

适用范围：第k大，中位数，不重复或重复的数字

基本原理及要点：因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后最后在一个可以接受的范围进行。可以通过多次缩小，双层只是一个例子。

举例：2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。

　　有点像鸽巢原理，整数个数为2^32,也就是，我们可以将这2^32个数，划分为2^8个区域(比如用单个文件代表一个区域)，然后将数据分离到不同的区域，然后不同的区域在利用bitmap就可以直接解决了。也就是说只要有足够的磁盘空间，就可以很方便的解决。

10.分布式处理