海量数据问题总结

这个是一系列问题,互联网公司,一些基本的功能都已经做的很完善了,海量数据处理成为重点的问题,也是面试笔试中常考的题目。主要参考http://blog.csdn.net/v_july_v/article/details/6279498

分而治之/hash映射 + hash统计 + 堆/快速/归并排序

hash映射很重要,分类后的数据不会分散,某一个类别的数据会全部在一起。用hash_map统计的速度要比map的速度快,因为hash_map没有自动排序的功能。典型的题目为,海量数据,求出前K个出现次数最多的。时间复杂度为O(N) + N’*O(logK),(N’)为去重后的数据量。

双层桶划分

其实也是分而治之的一种,只是比较特殊的分法。PS:分而治之只是一种思想,方法根据具体问题而不同。 典型题目为:第k大,中位数,不重复或重复的数字(PS:注意是数字,算法的导论有) 一个数字整数的个数最多为2^32个,那么可以抓住数的特性来分,分出来的区域是有大小的,那么可以先统计区域数的个数,而不用排序(关键是不用比较),先确定数(如中位数)在哪个区域,可以再分区域,然后在在这个区域里面找出这个数。

Bloom filter/Bitmap

这个bloom filter 有点不懂了,不过bitmap还是挺简单的。 典型题目:

Trie树/数据库/倒排索引/外排序/Mapreduce/B树、B+树、B*树、R 树。

trie树的典型应用就是汉语分词,而B树和各种B树的变形都是应用在数据库上比较多,B类树的高度底,查找次数少,读取硬盘次数少。

对于数字与的技巧

N多的数字,都是一对一对出现的,即每个数字都有副本,现在假如告诉有一个数字只有一个,找出这个单个的数字,可以用数字的“与”操作,把所有的数字与操作后得到的就是那个要找的数字,这样的数字空间复杂度只有O(1)。如果有两个这样的数字,那么可以把这批数字分类,两个不同的数字,那么32位中肯定有一位或者多位是不同的,那么可以按照这个特点把数字分成两类,分好后就成了解决两个只有一个单个数字的问题了。关键是如何找到这个不同的位,可以先把所有的数字与,得出来的有有1的位即是这两个待求数字的不同位了,随便找出一个来就可以分类了~与操作是个解决数字问题的一个技巧

Table of Contents