海量数据问题总结
这个是一系列问题,互联网公司,一些基本的功能都已经做的很完善了,海量数据处理成为重点的问题,也是面试笔试中常考的题目。主要参考http://blog.csdn.net/v_july_v/article/details/6279498
分而治之/hash映射 + hash统计 + 堆/快速/归并排序
hash映射很重要,分类后的数据不会分散,某一个类别的数据会全部在一起。用hash_map统计的速度要比map的速度快,因为hash_map没有自动排序的功能。典型的题目为,海量数据,求出前K个出现次数最多的。时间复杂度为O(N) + N’*O(logK),(N’)为去重后的数据量。
双层桶划分
其实也是分而治之的一种,只是比较特殊的分法。PS:分而治之只是一种思想,方法根据具体问题而不同。 典型题目为:第k大,中位数,不重复或重复的数字(PS:注意是数字,算法的导论有) 一个数字整数的个数最多为2^32个,那么可以抓住数的特性来分,分出来的区域是有大小的,那么可以先统计区域数的个数,而不用排序(关键是不用比较),先确定数(如中位数)在哪个区域,可以再分区域,然后在在这个区域里面找出这个数。
Bloom filter/Bitmap
这个bloom filter 有点不懂了,不过bitmap还是挺简单的。 典型题目:
- 找出N多数中不重复的整数。可用两位表示一个整数,(因为要有三种状态00,这个数没有出现(PS:找出没有出现的数也是一个考点)01,这个数出现一次。10,这个数出现两次或多次。11无意义。)也可以说找出N多数目中出现两次的数,或大于两次的数。出现多次就要用给多的bit位了,其实原理都一样。
- 给出N多数,有给出M多数,判断M个数里面哪个出现在N多数里面了,同理。如果特别多,先分,在判断。
Trie树/数据库/倒排索引/外排序/Mapreduce/B树、B+树、B*树、R 树。
trie树的典型应用就是汉语分词,而B树和各种B树的变形都是应用在数据库上比较多,B类树的高度底,查找次数少,读取硬盘次数少。
对于数字与的技巧
N多的数字,都是一对一对出现的,即每个数字都有副本,现在假如告诉有一个数字只有一个,找出这个单个的数字,可以用数字的“与”操作,把所有的数字与操作后得到的就是那个要找的数字,这样的数字空间复杂度只有O(1)。如果有两个这样的数字,那么可以把这批数字分类,两个不同的数字,那么32位中肯定有一位或者多位是不同的,那么可以按照这个特点把数字分成两类,分好后就成了解决两个只有一个单个数字的问题了。关键是如何找到这个不同的位,可以先把所有的数字与,得出来的有有1的位即是这两个待求数字的不同位了,随便找出一个来就可以分类了~与操作是个解决数字问题的一个技巧