使用Python和Pandas实现Excel数据智能追加：避免重复记录

pip install pandas openpyxl

import pandas as pd
from openpyxl import load_workbook
from openpyxl.utils.dataframe import dataframe_to_rows

excelpath = 'contact.xlsx'

try:
    # 尝试读取现有的Excel文件，指定工作表名称
    existing_df = pd.read_excel(excelpath, sheet_name='Sheet1')
except FileNotFoundError:
    # 如果文件不存在，则创建一个空的DataFrame，列名与待追加数据保持一致
    existing_df = pd.DataFrame(columns=['alias', 'fullname'])

df1 = pd.DataFrame([
    {"alias": "xyz", "fullname": "abc"},
    {"alias": "def", "fullname": "ghi"},
    {"alias": "uvw", "fullname": "xyz"},
    {"alias": "new_alias", "fullname": "new_full_name"}, # 示例新数据
])

# 筛选出df1中'alias'列的值不在existing_df的'alias'列中的行
new_data = df1[~df1['alias'].isin(existing_df['alias'])]

if not new_data.empty:
    # 如果有新数据需要追加
    wb = load_workbook(excelpath) # 加载工作簿
    ws = wb['Sheet1']             # 获取目标工作表

    # 遍历new_data的每一行并追加到Excel
    # index=False 避免将DataFrame索引写入Excel
    # header=False 避免重复写入列头
    for r in dataframe_to_rows(new_data, index=False, header=False):
        ws.append(r)
    wb.save(excelpath) # 保存工作簿

    print("数据追加成功，已跳过重复项。")
else:
    print("没有新数据需要追加。")

import pandas as pd
from openpyxl import load_workbook
from openpyxl.utils.dataframe import dataframe_to_rows

# 1. 定义Excel文件路径
excelpath = 'contact.xlsx'

# 2. 加载现有Excel数据或初始化
try:
    existing_df = pd.read_excel(excelpath, sheet_name='Sheet1')
except FileNotFoundError:
    # 如果文件不存在，则创建一个空的DataFrame，列名与待追加数据保持一致
    # 注意：如果文件不存在，openpyxl在第一次写入时会自动创建文件和表头
    # 但为了Pandas的isin()操作，我们仍需一个结构一致的existing_df
    existing_df = pd.DataFrame(columns=['alias', 'fullname'])
    # 如果是新文件，可能需要先写入一次带表头的空数据，以便后续append操作
    # 这一步可以省略，因为如果existing_df是空的，new_data会是df1的全部内容
    # 并且openpyxl在append时，如果是空文件，会自动从第一行开始写入。
    # 真正的表头处理将在下面讨论。

# 3. 准备待追加的新数据DataFrame
df1 = pd.DataFrame([
    {"alias": "xyz", "fullname": "abc"},
    {"alias": "def", "fullname": "ghi"},
    {"alias": "uvw", "fullname": "xyz"},
    {"alias": "new_alias_1", "fullname": "New Full Name 1"},
    {"alias": "xyz", "fullname": "abc_duplicate"}, # 这条会被跳过
    {"alias": "new_alias_2", "fullname": "New Full Name 2"},
])

# 4. 识别并过滤重复数据
# 筛选出df1中'alias'列的值不在existing_df的'alias'列中的行
new_data = df1[~df1['alias'].isin(existing_df['alias'])]

# 5. 将非重复数据追加到Excel
if not new_data.empty:
    # 如果Excel文件不存在，openpyxl会创建它。
    # 对于新创建的文件，我们可能需要先写入列头。
    # 这里假设文件存在且有表头，或者existing_df已经处理了表头。
    # 如果是全新文件，可以考虑在第一次写入时，先写入表头。
    # 简单起见，这里直接加载。

    # 检查文件是否存在，如果不存在则创建并写入表头
    try:
        wb = load_workbook(excelpath)
        ws = wb['Sheet1']
    except FileNotFoundError:
        # 如果文件不存在，创建一个新的工作簿和工作表
        from openpyxl import Workbook
        wb = Workbook()
        ws = wb.active # 获取默认激活的工作表
        ws.title = 'Sheet1'
        # 写入表头
        ws.append(list(df1.columns)) # 使用df1的列名作为表头

    # 再次确保获取的是正确的工作表
    ws = wb['Sheet1']

    for r in dataframe_to_rows(new_data, index=False, header=False):
        ws.append(r)
    wb.save(excelpath)
    print("数据追加成功，已跳过重复项。")
else:
    print("没有新数据需要追加。")