如何在Python中读取CSV文件？-Python教程-PHP中文网

如何在Python中读取CSV文件？

穿越時空

发布： 2025-04-26 23:03:01

原创

526人浏览过

在python中读取csv文件可以通过csv模块或pandas库实现。1) 使用csv模块时，可以通过csv.reader和csv.dictreader读取数据，并指定编码处理不同编码的文件。2) 对于大文件和数据清洗需求，可以结合逐行读取和pandas库，通过chunksize参数逐块读取数据，避免内存溢出。

如何在Python中读取CSV文件？

读取CSV文件在Python中是常见且强大的操作，让我们来深入探讨一下如何实现这一功能，以及在这个过程中可能会遇到的一些挑战和优化技巧。

Python中读取CSV文件最常用的是csv模块，这个模块提供了简单而有效的方法来处理CSV数据。让我们从一个基本的例子开始：

import csv

with open('data.csv', 'r') as file:
    csv_reader = csv.reader(file)
    for row in csv_reader:
        print(row)

登录后复制

这个代码片段展示了如何打开一个名为data.csv的文件，并逐行读取其内容。每个row都是一个列表，包含了CSV文件中的一行数据。

立即学习“Python免费学习笔记（深入）”；

如果你处理的是更复杂的CSV文件，包含了标题行或者需要按字典格式读取数据，csv.DictReader会非常有用：

import csv

with open('data.csv', 'r') as file:
    csv_reader = csv.DictReader(file)
    for row in csv_reader:
        print(row)

登录后复制

在这个例子中，每个row都是一个字典，键是CSV文件的标题，值是相应的行数据。

但在实际应用中，我们可能会遇到一些挑战，比如文件编码问题、大文件处理、数据清洗等。让我们探讨一下这些情况：

移动端无限滚动加载瀑布流

里面有2个文件夹。其中这个文件名是:finishing，是我项目还没有请求后台的数据的模拟写法。请求后台数据之后，瀑布流的js有一点点变化，放在文件名是：finished。变化在于需要穿参数到后台，和填充的内容都用后台的数据填充。看自己项目需求来。由于chrome模拟器是不允许读取本地文件json的，所以如果你要进行测试，在hbuilder打开项目就可以看到效果啦，或者是火狐浏览器。

查看详情

对于编码问题，如果你的CSV文件不是标准的UTF-8编码，可以在open函数中指定编码：

import csv

with open('data.csv', 'r', encoding='latin1') as file:
    csv_reader = csv.reader(file)
    for row in csv_reader:
        print(row)

登录后复制

处理大文件时，逐行读取并处理数据是避免内存溢出的好方法：

import csv

with open('large_data.csv', 'r') as file:
    csv_reader = csv.reader(file)
    for i, row in enumerate(csv_reader):
        if i % 1000 == 0:  # 每处理1000行打印一次进度
            print(f"Processed {i} rows")
        # 处理每一行数据

登录后复制

数据清洗也是一个常见的需求，比如去除空白字符或处理缺失值：

import csv

with open('data.csv', 'r') as file:
    csv_reader = csv.reader(file)
    for row in csv_reader:
        cleaned_row = [value.strip() if value else 'NA' for value in row]
        print(cleaned_row)

登录后复制

在实际项目中，我曾遇到过一个有趣的案例：一个CSV文件中包含了数百万行数据，并且每个字段都包含了大量的空格和特殊字符。处理这样的大文件时，我采用了逐行读取和数据清洗的策略，并且使用了pandas库来加速数据处理：

import pandas as pd

# 读取CSV文件
df = pd.read_csv('large_data.csv', encoding='utf-8', chunksize=10000)

for chunk in df:
    # 数据清洗
    chunk = chunk.apply(lambda x: x.str.strip() if x.dtype == "object" else x)
    chunk = chunk.fillna('NA')
    # 处理chunk数据
    # ...

登录后复制

使用pandas的read_csv函数可以更方便地处理大文件，并且通过chunksize参数可以逐块读取数据，避免内存溢出。

总结一下，读取CSV文件在Python中可以通过csv模块或pandas库实现。使用csv模块时，可以通过csv.reader和csv.DictReader来读取数据，并且可以通过指定编码来处理不同编码的文件。对于大文件和数据清洗需求，可以结合使用逐行读取和pandas库来优化处理流程。在实际应用中，根据文件大小和数据复杂度选择合适的方法是关键。

希望这些经验和代码示例能帮助你在处理CSV文件时更加得心应手。

以上就是如何在Python中读取CSV文件？的详细内容，更多请关注php中文网其它相关文章！