外部排序合并算法

简介

外部排序是一种算法，用于在计算机可用内存不足以容纳排序数据时对数据进行排序。 外部排序通常包括将输入数据分成小块（称为runs），在内存中对每个小块进行排序，然后将这些排好序的数据块写入磁盘上。 排序运算通常使用一种稳定的排序算法，例如归并排序和快速排序。

故而，外部排序合并算法就是指几个排好序的数据块中合并出最终排好序的数据块。它是一个比较典型的算法。

实现

外部排序合并算法的实现可以使用归并排序或者堆排序。下面的代码片段展示了如何使用归并排序来合并两个已排序的数组。

def merge(arr1, arr2):
    result = []
    i = 0
    j = 0
    while i < len(arr1) and j < len(arr2):
        if arr1[i] < arr2[j]:
            result.append(arr1[i])
            i += 1
        else:
            result.append(arr2[j])
            j += 1
    result += arr1[i:]
    result += arr2[j:]
    return result

对于更大的排好序的块，我们可以使用归并排序的变形——外部排序。我们将排好序的块分成许多小块，然后将这些小块合并成更大的块。该过程将不断迭代，直到仅剩下一个排好序的块为止。

def external_sort(input_file_path, output_file_path, block_size):
    # 把输入文件按照块大小分块，并分别进行内部排序
    input_file = open(input_file_path, 'r')
    block_list = []
    block = []
    while True:
        line = input_file.readline()
        if not line:
            break
        block.append(line.strip())
        if len(block) == block_size:
            block.sort()
            block_list.append(block)
            block = []
    # 如果有剩余块，则需要进行排序并加入块列表中
    if block:
        block.sort()
        block_list.append(block)
    input_file.close()
    # 把所有的块两两归并，生成一个有序的大块
    while len(block_list) > 1:
        a, b = block_list[:2]
        block_list = block_list[2:]
        merged_block = merge(a, b)
        block_list.append(merged_block)
    # 把有序的大块写入输出文件
    output_file = open(output_file_path, 'w')
    for line in block_list[0]:
        output_file.write(line + '\n')
    output_file.close()

总结

外部排序合并算法是处理大数据的常见算法。一个常见的情形是需要处理无法保留在内存中的组数，例如处理多个大型文件。 与内部排序算法相比，外部排序算法要求更少的内存，因为仅在内存中处理数据的子集。此外，外部排序算法允许我们在多台计算机上并行处理数据。