二分查找

问题

假设有1000万个整数数据,每个数据占8字节,如何设计数据结构和算法,快速判断某个整数是否出现在1000万数据中?(存在多次查找的情况)

前提:该功能不要太占用内存空间,最好不超过100MB

二分查找思想

栗子

生活中的“猜数字大小”游戏,猜的过程中,玩家每猜一次,庄家告诉你是猜大了还是猜小了,直到猜中为止。最快速猜中的方法就是用二分查找的思想。每次说猜测范围的中间数字,如果中间数有两个,则选择较小的那个。按照这个思想,这样即使猜的数字范围在0-999,最多也只要10次就能猜中。

二分查找针对的是一个有序的整数集合,查找思想类似于分治思想。每次都通过跟区间的中间元素对比,将待查找的区间缩小为之前的一半,直到找到要查找的元素,或者区间被缩小为0。

时间复杂度

二分查找是一种非常高效的查找算法。
假设数据大小是 n,每次查找后数据都会缩小为原来的一半,也就是会除以 2。最坏情况下,直到查找区间被缩小为空,才停止。

被查找区间的大小变化:
n, n/2, 2/4, n/8, ... n/2^k

这是一个等比数列,其中 n/2^k=1 时, k 的值就是总共缩小的次数,每次缩小操作只涉及两个数据的大小比较,所以,经过 k 次区间缩小操作,时间复杂度为 O(k)。通过 n/2^k=1, 可以求得 k = log2^n ,所以时间复杂度就是 O(logn)

O(logn) 对数时间复杂度

这是一种极其高效的时间复杂度,有的时候甚至比时间复杂度是常量级 O(1) 的算法还要高效。
为什么这么说呢?
因为 logn 是一个非常“恐怖”的数量级,即便 n 非常非常大,对应的 logn 也很小。比如 n 等于 2 的 32 次方,n 大约是 42 亿。也就是说,如果我们在 42 亿个数据中用二分查找一个数据,最多需要比较 32 次。

在用大 O 标记法表示时间复杂度的时候,会省略掉常数、系数和低阶。

对于常量级时间复杂度的算法来说,O(1) 有可能表示的是一个非常大的常量值,比如 O(1000)O(10000)。所以,常量级时间复杂度的算法有时候可能还没有 O(logn) 的算法执行效率高。
反过来,对数相对的就是指数。这也是为什么,指数时间复杂度的算法在大规模数据面前是无效的。

简单二分查找的递归与非递归实现

简单二分查找,是指在不存在重复元素有序数据中查找值等于给定值的数据。

非递归代码

def binary_search(arr, ele):
    lenght = len(arr)
    low = 0
    high = length -1
    while low <= high:
        mid = (low + high) // 2  # low + (high-low)>>1
        if arr[mid] == ele:
            return mid
        elif arr[mid] > ele:
            high = mid - 1
        else:
            low = mid + 1
    return -1

提示点

1 . 循环退出条件。是 low <= high,而不是 low < high

2 . mid 的取值。实际上,mid=(low+high)//2 这种写法有问题。因为如果 lowhigh 比较大的话,两者之和就有可能会溢出。改进的方法是将 mid 的计算方式写成 low+(high-low)//2。更进一步,可以将这里的除以 2 操作转化成位运算 low+(high-low) >>1。因为相比除法运算来说,计算机处理位运算要快得多。

3 . lowhigh 的更新。 low=mid+1high=mid-1。注意这里的 +1 和 -1,如果直接写成 low=mid 或者 high=mid,就可能会发生死循环

比如,当 high=3,low=3 时,如果 arr[3] 不等于 ele,就会导致一直循环不退出。

递归代码

def binary_search(arr, low, high, ele):
    if low > high:
        return -1
    mid = low + (high-low) // 2
    if arr[mid] == ele:
        return mid
    elif arr[mid] > ele:
        return binary_search(arr, low, mid-1, ele)
    else:
        return binary_search(arr, mid+1, high, ele)

应用场景的局限性

二分查找的时间复杂度是 O(logn),查找数据的效率非常高。不过,并不是什么情况下都可以用二分查找,它的应用场景有很大局限性。

1 . 二分查找依赖的是顺序表结构,即数组。 二分查找不能依赖于其他数据结构,比如链表。主要原因是二分查找算法需要按照下标随机访问元素。数组按照下标随机访问数据的时间复杂度是 O(1),而链表随机访问的时间复杂度是 O(n)。所以,如果数据使用链表存储,二分查找的时间复杂就会变得很高。

2 . 二分查找针对的是有序数据。如果数据没有序,需要先排序。排序的时间复杂度最低是 O(nlogn)。所以,如果针对的是一组静态的数据,没有频繁地插入、删除,就可以进行一次排序,多次二分查找。这样排序的成本可被均摊,二分查找的边际成本就会比较低。
针对有频繁插入、删除操作的这种动态数据集合,二分查找是不适用的。要用二分查找,要么每次插入、删除操作之后保证数据仍然有序,要么在每次二分查找之前都先进行排序。针对这种动态数据集合,无论哪种方法,维护有序的成本都很高。

3 . 数据量太小不适合二分查找。如果要处理的数据量很小,完全没有必要用二分查找,顺序遍历就足够了。比如在一个大小为 10 的数组中查找一个元素,不管用二分查找还是顺序遍历,查找速度都差不多。只有数据量比较大的时候,二分查找的优势才会比较明显。

有一个例外。如果数据之间的比较操作非常耗时,不管数据量大小,都推荐使用二分查找。比如,数组中存储的都是长度超过几百的字符串,如此长的两个字符串之间比大小,就会非常耗时。为了尽可能地减少比较次数,二分查找就比顺序遍历更有优势。

4 . 数据量太大也不适合二分查找。二分查找依赖的是数组这种数据结构,而数组为了支持随机访问的特性,要求内存空间连续,对内存的要求比较苛刻。二分查找是作用在数组这种数据结构之上的,所以太大的数据用数组存储就比较困难,就不能用二分查找了。

解答开篇

如何快速判断某个整数是否出现在在1000万数据中?
内存限制是 100MB,每个数据大小是 8 字节,最简单的办法就是将数据存储在数组中,内存占用差不多是 80MB ,符合内存的限制。
先对这 1000 万数据从小到大排序,然后再利用二分查找算法,就可以快速地查找想要的数据。

散列表、二叉树这些支持快速查找的动态数据结构也可以解决这类问题。但因为内存的限制,使得这些方法在这里行不通。

虽然大部分情况下,用二分查找可以解决的问题,用散列表、二叉树都可以解决。但是,不管是散列表还是二叉树,都会需要比较多的额外的内存空间。如果用散列表或者二叉树来存储这 1000万 的数据,用 100MB 的内存肯定是存不下的。而二分查找底层依赖的是数组,除了数据本身之外,不需要额外存储其他信息,是最省内存空间的存储方式,所以刚好能在限定的内存大小下解决这个问题。

Key

1 . 若二分查找依赖于链表结构,时间复杂度如何分析?
假设链表长度为 n,二分查找每次需要找到中间点,那么总共需要移动的指针次数为:

n/2 + n/4 + n/8 + ... + 1

这也是一个等比数列,根据等比数列求和公式 (S = (a1-an*q)/1-q, q为公比, 且不为1),其和等于 n-1 。所有最后算法时间复杂度为 O(n)
时间复杂度和顺序查找时间复杂度相同,但是,在二分查找的时候,由于要进行多余的运算,严格来说,会比顺序查找时间慢。

2 . 用二分查找“求一个数的平方根”,要求精确到小数点后6位(类似于LeetCode 69题)

def mySqrt(self, x):
        if x==0 or x==1:
            return x
        low = 0
        high = max(x,1.0)
        #high = x
        mid = (low + high)/2.0
        while abs(mid**2 - x) > 1e-6:
            if mid**2 > x:
                high = mid
            else:
                low = mid
            mid = (low + high)/2.0
        return mid
-------------完-------------