Python流式读取大文件的两种方法-Python教程-PHP中文网

Python流式读取大文件的两种方法

冷漠man

发布： 2025-11-22 23:35:02

原创

651人浏览过

按行读取适合文本文件，内存占用低；2. 按块读取可控制读取量，适用于二进制或需自定义解析的场景，注意避免行截断。

python流式读取大文件的两种方法

处理大文件时，不能一次性将全部内容加载到内存中，否则会导致内存溢出。Python提供了多种流式读取大文件的方法，既能节省内存，又能高效处理数据。以下是两种常用且实用的流式读取方式。

1. 按行逐行读取（for line in file）

这是最常见也最推荐的方式。利用文件对象的迭代特性，每次只读取一行，适合处理按行分隔的日志、CSV等文本文件。

这种方法的优点是代码简洁、内存占用低、可读性强。

示例代码：

with open('large_file.txt', 'r', encoding='utf-8') as f:
    for line in f:
        # 去除换行符并处理每一行
        line = line.strip()
        if line:  # 忽略空行
            print(line)  # 或进行其他处理

登录后复制

说明： 文件对象本身就是可迭代的，Python会自动以行为单位进行缓冲读取，不会把整个文件加载进内存。

立即学习“Python免费学习笔记（深入）”；

Project IDX

Google推出的一个实验性的AI辅助开发平台

113

查看详情

2. 按固定块大小读取（使用 read(chunk_size)）

当文件不是按行组织，或者你需要更精细地控制每次读取的数据量时，可以使用固定大小的块来读取，比如每次读取 8KB 或 64KB。

这种方式适用于二进制文件或需要自定义解析逻辑的场景。

示例代码：

chunk_size = 8192  # 每次读取 8KB
with open('large_file.txt', 'r', encoding='utf-8') as f:
    while True:
        chunk = f.read(chunk_size)
        if not chunk:  # 读取结束
            break
        # 处理当前块
        print(chunk, end='')

登录后复制

注意： 如果按块读取的是文本文件，需小心不要在行中间切断内容。若需保持行完整性，可在块拼接后按 \n 分割处理。

基本上就这些。按行读取适合大多数文本处理场景，而按块读取更适合精细控制或非文本文件。选择哪种方式，取决于你的文件类型和处理需求。不复杂但容易忽略细节。

以上就是Python流式读取大文件的两种方法的详细内容，更多请关注php中文网其它相关文章！