实现自己的尾巴——读取大文件的最后n行

在处理大型日志文件、数据文件等场景下，我们经常需要读取文件的末尾几行数据。由于文件体积过大，一次性读取整个文件再获取末尾几行数据是不可行的，因此我们需要一种高效的方式来实现这个功能。

本文将介绍如何使用 Python 实现读取大文件的最后 n 行数据的方法。具体步骤如下：

步骤一：确定读取行数

首先，我们需要确定要读取的行数 n。这个数字将决定我们所需要的内存大小。如果文件的总行数小于 n，则需要读取整个文件。

步骤二：打开文件并移动指针

使用 Python 内置的 open 函数打开文件，并使用 seek 函数将指针移动到文件末尾的第一个字符处，以便从文件末尾开始读取数据。

with open('file.txt', 'rb') as f:
    f.seek(0, 2)  # 将指针移动到文件末尾
    ...

步骤三：逆序读取文件数据

在将指针移动到文件末尾之后，我们需要从文件末尾往前遍历读取数据。由于大文件可能会被分块存储，我们需要在每个块中逆序读取数据，直到读取完 n 行数据为止。为了避免一次性读取过多数据，我们可以设置一个块大小的缓冲区，并在每个块中计算行数。

BUF_SIZE = 8192

def read_last_lines(file_path, n):
    with open(file_path, 'rb') as f:
        f.seek(0, 2)  # 将指针移动到文件末尾
        file_size = f.tell()  # 获取文件总大小
        lines_to_read = n  # 剩余需要读取的行数
        block_number = -1  # 当前块号，从后往前
        blocks = []  # 缓存块数据

        # 在文件末尾逆序读取数据
        while lines_to_read > 0 and file_size > 0:
            if file_size - BUF_SIZE > 0:
                f.seek(block_number * BUF_SIZE, 2)
                blocks.append(f.read(BUF_SIZE))
                file_size -= BUF_SIZE
            else:
                f.seek(0, 0)
                blocks.append(f.read(file_size - BUF_SIZE))
            block_number -= 1

            # 计算块数据中包含的行数
            lines_found = blocks[-1].count(b'\n')
            if lines_to_read > lines_found:
                lines_to_read -= lines_found
            else:
                return blocks[-1].splitlines()[-n:]

        # 如果文件所含行数小于 n，则读取整个文件
        f.seek(0, 0)
        data = f.read()
        return data.splitlines()[-n:]

步骤四：返回最后 n 行数据

最后，我们可以将逆序读取到的数据按行拆分并返回最后 n 行。

总结

本文介绍了如何使用 Python 实现读取大文件的最后 n 行数据的方法。该方法在处理大型数据文件时表现良好，同时也适用于其他数据结构的逆序读取场景。需要注意的是，在读取大型数据时尽量避免一次性读取整个文件，以减少内存占用。