Python爬虫怎样保存爬取结果_Python爬虫将数据保存为文件或数据库的方法-Python教程-PHP中文网

Python爬虫怎样保存爬取结果_Python爬虫将数据保存为文件或数据库的方法

星夢妙者

发布： 2025-11-08 14:35:09

原创

346人浏览过

答案：Python爬虫数据可保存为CSV、JSON、Excel或存入MySQL、MongoDB。小数据用CSV/JSON，分析选Excel，长期结构化存储用MySQL，非结构化数据选MongoDB，注意编码与异常处理。

python爬虫怎样保存爬取结果_python爬虫将数据保存为文件或数据库的方法

Python爬虫在抓取网页数据后，通常需要将结果保存下来以便后续分析或使用。常见的保存方式包括保存为本地文件（如CSV、JSON、Excel）或存储到数据库中（如MySQL、MongoDB）。下面介绍几种实用且常用的方法。

保存为CSV文件

CSV是一种简单通用的表格数据格式，适合结构化数据的存储，可用Excel打开，也便于用Pandas处理。

示例代码：

import csv
data = [
{"name": "张三", "age": 25, "city": "北京"},
{"name": "李四", "age": 30, "city": "上海"}
]

with open("data.csv", "w", encoding="utf-8", newline="") as f:
  writer = csv.DictWriter(f, fieldnames=data[0].keys())
  writer.writeheader() # 写入表头
  writer.writerows(data) # 写入多行数据

注意：使用newline=""避免空行问题，编码设为utf-8支持中文。

保存为JSON文件

JSON适合保存嵌套结构或非结构化数据，常用于网页API返回的数据存储。

立即学习“Python免费学习笔记（深入）”；

示例代码：

import json

with open("data.json", "w", encoding="utf-8") as f:
json.dump(data, f, ensure_ascii=False, indent=2)

ensure_ascii=False确保中文正常显示，indent=2美化格式。

保存到Excel文件

使用pandas库可轻松导出为Excel（.xlsx），适合需要图表或多人查看的场景。

示例代码：

import pandas as pd

df = pd.DataFrame(data)
df.to_excel("data.xlsx", index=False)

需提前安装：pip install pandas openpyxl

存了个图

视频图片解析/字幕/剪辑，视频高清保存/图片源图提取

查看详情

保存到MySQL数据库

适用于大量数据长期存储，支持复杂查询。

示例代码：

import pymysql

conn = pymysql.connect(
  host="localhost",
  user="root",
  password="your_password",
  database="test_db",
  charset="utf8mb4"
)
cursor = conn.cursor()

sql = "INSERT INTO users (name, age, city) VALUES (%s, %s, %s)"
for item in data:
cursor.execute(sql, (item["name"], item["age"], item["city"]))
conn.commit()
conn.close()

需安装：pip install PyMySQL