Peewee与PostgreSQL数据导入：解决关联记录重复创建问题

import peewee

class BaseModel(peewee.Model):
    class Meta:
        database = # your database instance

class Device(BaseModel):
    id = peewee.AutoField()
    md5 = peewee.FixedCharField(32) # 源文件内容的MD5哈希，作为设备唯一标识
    # ... 其他设备属性

class Message(BaseModel):
    id = peewee.AutoField()
    dev_ref = peewee.ForeignKeyField(Device, backref="messages")
    # ... 其他消息属性

import pandas as pd
import openpyxl
import glob
from hashlib import md5

def sheet_to_model(
    source_file: str,
    sheet: str,
    model: peewee.Model):

    df = pd.read_excel(source_file, sheet_name=sheet)
    file_hash = md5(open(source_file,'rb').read()).hexdigest()

    # 尝试获取现有设备，否则创建新设备
    # **此处是问题的症结所在**
    try:
        device = Device.select().where(Device.md5 == file_hash).get()
    except: # 捕获所有异常
        device = Device(md5 = file_hash, ...) # 创建新设备
        device.save() # 保存新设备

    # 遍历行，转换为数据库列名等
    for index, row_data in df.iterrows():
        # ... 数据转换逻辑
        attrs = { 'column' : 'data from spreadsheet' } 

        # 创建关联记录
        entry = model.create(dev_ref = device.id, **attrs)
        # entry.save() # model.create() 默认会保存，此行通常不需要

# 工作表名到Peewee模型的映射
sheet_model = {
    "Messages" : Message,
    "Files" : File, # 假设 File 模型已定义
    "User Accounts": UserAccounts # 假设 UserAccounts 模型已定义
}

# 遍历文件并按工作表导入
for file_path in glob.glob("file/location/whatever"):
    xl_file = openpyxl.load_workbook(file_path, read_only=True)
    for sheet_name in filter(lambda k: k in sheet_model, xl_file.sheetnames):
        sheet_to_model(file_path, sheet_name, sheet_model[sheet_name])

# ... (其他导入和模型定义不变)

def sheet_to_model(
    source_file: str,
    sheet: str,
    model: peewee.Model):

    df = pd.read_excel(source_file, sheet_name=sheet)
    file_hash = md5(open(source_file,'rb').read()).hexdigest()

    # 使用 Peewee 的 get_or_create 方法
    # 如果找到 md5 匹配的设备，则返回该设备；否则创建一个新设备
    device, created = Device.get_or_create(md5=file_hash, defaults={'md5': file_hash, ...})
    # defaults 参数用于在创建新记录时设置其他字段的值
    # 例如，如果 Device 还有 name 字段，可以写 defaults={'name': 'Default Device Name'}
    # 注意：如果 md5 已经是唯一的标识符，且模型中没有其他非空字段需要默认值，
    # 那么 defaults 可以为空字典或只包含 md5 字段本身。

    if created:
        print(f"新设备已创建: ID={device.id}, MD5={device.md5}")
    else:
        print(f"现有设备已找到: ID={device.id}, MD5={device.md5}")

    # 遍历行，转换为数据库列名等
    for index, row_data in df.iterrows():
        # ... 数据转换逻辑
        attrs = { 'column' : 'data from spreadsheet' } 

        # 创建关联记录
        entry = model.create(dev_ref = device.id, **attrs)
        # model.create() 默认会保存，无需再次调用 entry.save()

class Device(BaseModel):
    id = peewee.AutoField()
    md5 = peewee.FixedCharField(32, unique=True) # 添加 unique=True
    # ... 其他设备属性

import logging
# 配置Peewee日志
logger = logging.getLogger('peewee')
logger.addHandler(logging.StreamHandler())
logger.setLevel(logging.DEBUG)

# 然后运行你的导入代码

import pandas as pd
import openpyxl
import glob
from hashlib import md5
import peewee
import logging

# 配置Peewee日志 (可选，用于调试)
logger = logging.getLogger('peewee')
logger.addHandler(logging.StreamHandler())
logger.setLevel(logging.DEBUG)

# 假设数据库实例已配置