python如何读取和写入csv文件_python CSV文件读写操作指南-Python教程-PHP中文网

python如何读取和写入csv文件_python CSV文件读写操作指南

尼克

发布： 2025-09-15 22:40:01

原创

649人浏览过

答案：Python通过csv模块读写CSV文件，需注意编码、分隔符和引号处理；读取时用csv.reader配合with open确保文件正确关闭，指定encoding避免乱码；写入时使用csv.writer并设置newline=''防止空行；处理特殊字符可配置delimiter、quotechar和quoting参数；对于大文件，可采用逐行迭代或pandas分块读取chunksize来降低内存消耗。

"python如何读取和写入csv文件_python

Python读写CSV文件，简单来说，就是利用

csv

登录后复制

模块，把数据变成字符串然后写入，或者把字符串解析成数据。这事儿听起来简单，但细节不少，尤其是处理编码、分隔符、引号这些问题的时候。

解决方案

Python通过内置的

csv

登录后复制

模块可以轻松地读取和写入CSV（逗号分隔值）文件。以下是基本的操作指南：

1. 读取CSV文件：

import csv

def read_csv_file(filename):
    """读取CSV文件并返回数据列表。"""
    data = []
    try:
        with open(filename, 'r', encoding='utf-8') as csvfile:
            csv_reader = csv.reader(csvfile)
            header = next(csv_reader)  # 跳过标题行，如果存在的话
            for row in csv_reader:
                data.append(row)
    except FileNotFoundError:
        print(f"文件未找到: {filename}")
    except Exception as e:
        print(f"读取文件时发生错误: {e}")
    return data

# 示例用法
csv_data = read_csv_file('example.csv')
if csv_data:
    for row in csv_data:
        print(row)

登录后复制

这里用了

with open()

登录后复制

，保证文件在使用完后会自动关闭，是个好习惯。

encoding='utf-8'

登录后复制

是为了处理中文或其他特殊字符，避免乱码。

csv.reader

登录后复制

会把每一行变成一个列表。

next(csv_reader)

登录后复制

跳过表头，这个根据你的文件有没有表头来决定要不要用。

立即学习“Python免费学习笔记（深入）”；

2. 写入CSV文件：

import csv

def write_csv_file(filename, data, header=None):
    """将数据写入CSV文件。"""
    try:
        with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
            csv_writer = csv.writer(csvfile)
            if header:
                csv_writer.writerow(header)  # 写入标题行
            csv_writer.writerows(data)  # 写入数据行
    except Exception as e:
        print(f"写入文件时发生错误: {e}")

# 示例用法
data_to_write = [
    ['Alice', 25, 'Engineer'],
    ['Bob', 30, 'Doctor'],
    ['Charlie', 22, 'Student']
]
header = ['Name', 'Age', 'Occupation']  # 可选
write_csv_file('output.csv', data_to_write, header)

登录后复制

'w'

登录后复制

模式是写入模式，会覆盖原有文件。

newline=''

登录后复制

是为了防止写入时出现空行，在Windows系统上尤其重要。

csv.writer

登录后复制

负责把数据写入文件。

writerow

登录后复制

写入一行，

writerows

登录后复制

写入多行。

如何处理CSV文件中的特殊字符？

CSV文件里经常会有逗号、引号之类的特殊字符，这些字符如果处理不好，会导致数据解析错误。

csv

登录后复制

模块提供了

quoting

登录后复制

和

quotechar

登录后复制

参数来处理这些问题。

quoting
登录后复制
: 控制引号的使用。常用的值有：
- ```
csv.QUOTE_MINIMAL
```
  登录后复制
  : 只有包含分隔符、引号或换行符的字段才会被引号包围。
- ```
csv.QUOTE_ALL
```
  登录后复制
  : 所有字段都被引号包围。
- ```
csv.QUOTE_NONNUMERIC
```
  登录后复制
  : 所有非数字字段都被引号包围。
- ```
csv.QUOTE_NONE
```
  登录后复制
  : 永远不使用引号。如果字段中包含分隔符，会抛出
```
csv.Error
```
  登录后复制
  异常。
quotechar
登录后复制
: 定义引号字符，默认为双引号
```
"
```
登录后复制
。

例如，如果你的CSV文件使用竖线

登录后复制

作为分隔符，并且使用单引号

登录后复制

作为引号字符，你可以这样读取：

import csv

def read_csv_with_custom_delimiter(filename):
    """使用自定义分隔符和引号读取CSV文件。"""
    data = []
    try:
        with open(filename, 'r', encoding='utf-8') as csvfile:
            csv_reader = csv.reader(csvfile, delimiter='|', quotechar="'")
            for row in csv_reader:
                data.append(row)
    except FileNotFoundError:
        print(f"文件未找到: {filename}")
    except Exception as e:
        print(f"读取文件时发生错误: {e}")
    return data

# 示例用法
custom_csv_data = read_csv_with_custom_delimiter('custom.csv')
if custom_csv_data:
    for row in custom_csv_data:
        print(row)

登录后复制

写入的时候也类似，只需要在

csv.writer

登录后复制

中指定

delimiter

登录后复制

、

quotechar

登录后复制

和

quoting

登录后复制

参数即可。

如何处理大型CSV文件？

如果CSV文件非常大，一次性读取到内存可能会导致内存溢出。这时候，可以使用迭代器逐行读取，或者使用

pandas

登录后复制

库的分块读取功能。

1. 使用迭代器：

Robovision AI

一个强大的视觉AI管理平台

查看详情

csv.reader

登录后复制

本身就是一个迭代器，可以逐行读取数据，无需一次性加载到内存。

import csv

def process_large_csv(filename):
    """逐行处理大型CSV文件。"""
    try:
        with open(filename, 'r', encoding='utf-8') as csvfile:
            csv_reader = csv.reader(csvfile)
            header = next(csv_reader)  # 跳过标题行
            for row in csv_reader:
                # 在这里处理每一行数据
                process_row(row)
    except FileNotFoundError:
        print(f"文件未找到: {filename}")
    except Exception as e:
        print(f"读取文件时发生错误: {e}")

def process_row(row):
    """处理单行数据的函数。"""
    # 例如，打印第一列数据
    print(row[0])

# 示例用法
process_large_csv('large.csv')

登录后复制

2. 使用

pandas

登录后复制

分块读取：

pandas

登录后复制

库提供了

read_csv

登录后复制

函数的

chunksize

登录后复制

参数，可以指定每次读取的行数。

import pandas as pd

def process_large_csv_with_pandas(filename, chunksize=1000):
    """使用pandas分块读取大型CSV文件。"""
    try:
        for chunk in pd.read_csv(filename, chunksize=chunksize):
            # 在这里处理每个数据块
            process_chunk(chunk)
    except FileNotFoundError:
        print(f"文件未找到: {filename}")
    except Exception as e:
        print(f"读取文件时发生错误: {e}")

def process_chunk(chunk):
    """处理数据块的函数。"""
    # 例如，打印每个数据块的行数
    print(len(chunk))

# 示例用法
process_large_csv_with_pandas('large.csv', chunksize=10000)

登录后复制

pandas

登录后复制

的

read_csv

登录后复制

函数功能强大，可以处理各种复杂的CSV文件格式。

chunksize

登录后复制

参数指定了每次读取的行数，可以根据你的内存大小进行调整。

如何避免CSV文件读写中的编码问题？

编码问题是CSV文件读写中常见的坑。如果CSV文件使用了非UTF-8编码，读取时可能会出现乱码。为了避免这个问题，应该始终指定正确的编码方式。

读取文件时，指定
```
encoding
```
登录后复制
参数：
```
with open(filename, 'r', encoding='gbk') as csvfile:  # 例如，使用GBK编码
    csv_reader = csv.reader(csvfile)
    # ...
```
登录后复制
常用的编码方式有
```
utf-8
```
登录后复制
、
```
gbk
```
登录后复制
、
```
gb2312
```
登录后复制
、
```
latin1
```
登录后复制
等。如果不知道文件的编码方式，可以尝试使用
```
chardet
```
登录后复制
库进行检测。
写入文件时，同样指定
```
encoding
```
登录后复制
参数：
```
with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
    csv_writer = csv.writer(csvfile)
    # ...
```
登录后复制
保持读取和写入的编码方式一致，可以避免乱码问题。