计算 csv 中的行数而不打开它

当需要处理大量数据的时候，有时候我们需要知道 CSV 文件中有多少行数据，但是不希望打开整个文件来统计行数。在这种情况下，我们可以通过一些技巧来计算行数。

以下是一些方法来计算 CSV 文件的行数而不打开它：

1. 使用文件系统模块

Python 提供的 os 模块提供了 stat 函数，该函数可以返回文件的所有状态信息，其中包括行数。我们可以使用 os.path.getsize() 函数获取文件的大小，然后将文件大小除以每行的平均大小来计算行数。

import os

def count_lines(file_path):
    with open(file_path, 'rb') as f:
        avg_line_len = sum(len(line) for line in f) / f.tell()
        f.seek(0)
        return int(os.path.getsize(file_path) / avg_line_len)

说明

• avg_line_len 表示每行的平均大小，使用 sum() 函数来计算所有行的大小，然后使用 f.tell() 来获取当前位置，即文件大小。
• os.path.getsize() 函数返回文件的大小，使用 avg_line_len 来计算行数。

2. 使用 Pandas 库

pandas 是一个数据分析库，可以读取 CSV 文件并统计行数。使用 pandas 库来读取 CSV 文件更加高效，因为它使用了底层 C 代码来处理数据。

import pandas as pd

def count_lines(file_path):
    df = pd.read_csv(file_path, header=None, nrows=1)
    return df.values[0][0]

说明

• pd.read_csv() 函数读取 CSV 文件，其中 header=None 表示文件中没有标题，nrows=1 表示读取第一行。
• df.values 获取 DataFrame 对象的值，使用 [0][0] 来获取第一个值，即行数。

3. 使用 Bash 命令

如果你使用 Unix/Linux 系统，你可以使用 wc -l 命令来计算 CSV 文件中的行数。以下是使用 Python 调用 Bash 命令来执行 wc -l 的示例代码：

import subprocess

def count_lines(file_path):
    cmd = "wc -l " + file_path
    result = subprocess.run(cmd.split(), stdout=subprocess.PIPE)
    output = result.stdout.decode('utf-8')
    return int(output.split()[0])

说明

• subprocess.run() 函数调用 Bash 命令，并返回结果。
• output.split()[0] 获取 wc -l 命令的输出结果，使用空格分隔并获取第一个值，即行数。

这些方法可以帮助你计算 CSV 文件的行数，在不打开整个文件的情况下快速统计数据。