Python实现Excel数据追加：智能去重与更新策略

pip install pandas openpyxl

import pandas as pd
from openpyxl import load_workbook
from openpyxl.utils.dataframe import dataframe_to_rows

excel_path = 'contact.xlsx'

try:
    # 尝试从Excel文件读取现有数据
    existing_df = pd.read_excel(excel_path, sheet_name='Sheet1')
except FileNotFoundError:
    # 如果文件不存在，则创建一个空的DataFrame，列名与待追加数据保持一致
    existing_df = pd.DataFrame(columns=['alias', 'fullname'])

df1 = pd.DataFrame([
    {"alias": "xyz", "fullname": "abc"},
    {"alias": "def", "fullname": "ghi"},
    {"alias": "uvw", "fullname": "xyz"},
    {"alias": "new_alias", "fullname": "new_full_name"} # 这是一个新的记录
])  # 示例新数据

# 找出df1中'alias'列的值不在existing_df的'alias'列中的行
new_data = df1[~df1['alias'].isin(existing_df['alias'])]

if not new_data.empty:
    # 加载工作簿
    wb = load_workbook(excel_path)
    # 选择工作表
    ws = wb['Sheet1']

    # 将新数据转换为行并追加到工作表，注意 header=False 避免重复写入标题行
    for r in dataframe_to_rows(new_data, index=False, header=False):
        ws.append(r)

    # 保存工作簿
    wb.save(excel_path)
    print("新数据已成功追加到Excel，并跳过重复项。")
else:
    print("没有新的唯一数据需要追加。")

import pandas as pd
from openpyxl import load_workbook
from openpyxl.utils.dataframe import dataframe_to_rows
import os # 导入os模块用于文件存在性检查

excel_path = 'contact.xlsx'
sheet_name = 'Sheet1'

# 示例：创建或确保Excel文件存在并有表头
if not os.path.exists(excel_path):
    # 如果文件不存在，创建一个新的Excel文件并写入表头
    initial_df = pd.DataFrame(columns=['alias', 'fullname'])
    initial_df.to_excel(excel_path, sheet_name=sheet_name, index=False)
    print(f"创建了新的Excel文件: {excel_path} 并写入了表头。")

try:
    # 尝试从Excel文件读取现有数据
    existing_df = pd.read_excel(excel_path, sheet_name=sheet_name)
    print(f"成功读取现有Excel数据，共 {len(existing_df)} 条记录。")
except FileNotFoundError:
    # 如果文件不存在（理论上上面os.path.exists已经处理，但作为双重保险），创建一个空的DataFrame
    existing_df = pd.DataFrame(columns=['alias', 'fullname'])
    print("Excel文件不存在，初始化一个空的DataFrame。")
except Exception as e:
    print(f"读取Excel文件时发生错误: {e}")
    existing_df = pd.DataFrame(columns=['alias', 'fullname']) # 发生错误也初始化空DataFrame

# 准备待追加的新数据
# 模拟多次运行可能产生的数据，包含新数据和重复数据
df1 = pd.DataFrame([
    {"alias": "xyz", "fullname": "abc"},
    {"alias": "def", "fullname": "ghi"},
    {"alias": "uvw", "fullname": "xyz"},
    {"alias": "new_alias_1", "fullname": "new_full_name_1"}, # 新记录
    {"alias": "xyz", "fullname": "abc_updated"}, # 重复的alias，但fullname不同
    {"alias": "new_alias_2", "fullname": "new_full_name_2"}  # 另一个新记录
])  # 示例新数据

print("\n待处理的新数据:")
print(df1)

# 找出df1中'alias'列的值不在existing_df的'alias'列中的行
# 这里假设'alias'是唯一的标识符
new_data = df1[~df1['alias'].isin(existing_df['alias'])]

print("\n过滤后需要追加的唯一新数据:")
print(new_data)

if not new_data.empty:
    try:
        # 加载工作簿
        wb = load_workbook(excel_path)
        # 选择工作表
        ws = wb[sheet_name]

        # 将新数据转换为行并追加到工作表，注意 header=False 避免重复写入标题行
        for r in dataframe_to_rows(new_data, index=False, header=False):
            ws.append(r)

        # 保存工作簿
        wb.save(excel_path)
        print("\n新数据已成功追加到Excel，并跳过重复项。")
    except Exception as e:
        print(f"\n追加数据到Excel时发生错误: {e}")
else:
    print("\n没有新的唯一数据需要追加。")

# 验证最终Excel内容（可选）
print("\nExcel文件更新后的内容:")
try:
    final_df = pd.read_excel(excel_path, sheet_name=sheet_name)
    print(final_df)
except Exception as e:
    print(f"无法读取最终Excel内容进行验证: {e}")