处理API数据中姓名拼写变体：Python模糊匹配实践

pip install fuzzywuzzy python-Levenshtein

import requests
import json

# 假设这是您的API链接
ContributionsLink = "https://lda.senate.gov/api/v1/contributions/"

# 初始API请求参数，不包含模糊匹配逻辑
# 实际应用中，您可能需要根据API文档，使用其他参数（如日期范围、州等）
# 来获取一个合理大小的数据集，以便在本地进行处理。
Payee_Parameter = {
    "dt_posted": "ascending", # 示例参数
    "key": "YOUR_API_KEY"     # 替换为您的API密钥
}

try:
    response = requests.get(ContributionsLink, params=Payee_Parameter)
    response.raise_for_status() # 检查HTTP请求是否成功
    api_data = response.json()
    # 假设API返回的数据结构是 {'results': [...]} 或直接是列表
    # 这里我们简化为直接使用模拟数据
    # real_contributions = api_data.get('results', [])
except requests.exceptions.RequestException as e:
    print(f"API请求失败: {e}")
    api_data = {"contributions": []} # 发生错误时提供空数据

# 模拟API返回的原始数据，实际中这将是 api_data 变量的内容
mock_api_data = {
    "contributions": [
        {"id": "c001", "payee_name": "John Smith", "amount": 1000},
        {"id": "c002", "payee_name": "Jonathan Smith", "amount": 500},
        {"id": "c003", "payee_name": "Jon Smith", "amount": 750},
        {"id": "c004", "payee_name": "J. Smith", "amount": 200},
        {"id": "c005", "payee_name": "Jane Doe", "amount": 300},
        {"id": "c006", "payee_name": "John Smyth", "amount": 400}, # 拼写错误
        {"id": "c007", "payee_name": "Jonathan Smth", "amount": 600}, # 拼写错误
        {"id": "c008", "payee_name": "JOHN SMITH", "amount": 900}, # 大小写不同
        {"id": "c009", "payee_name": "Jonathon Smith", "amount": 350}, # 变体
    ]
}

from fuzzywuzzy import fuzz
from fuzzywuzzy import process # 用于从列表中提取最佳匹配

target_candidate_name = "John Smith"
similarity_threshold = 80 # 定义相似度阈值 (0-100)，可根据实际数据调整

found_contributions = []
candidate_names_from_api = [] # 用于 process.extract 的列表

print(f"--- 正在查找与 '{target_candidate_name}' 相关的捐赠记录 (相似度 >= {similarity_threshold}) ---")

# 遍历API返回的每条记录
for record in mock_api_data.get("contributions", []):
    payee_name_from_api = record.get("payee_name", "")

    # 1. 数据预处理：统一大小写、去除多余空格等，提高匹配准确率
    cleaned_payee_name = payee_name_from_api.strip().lower()
    cleaned_target_name = target_candidate_name.strip().lower()

    # 2. 计算相似度
    # fuzz.ratio 适用于比较两个字符串的整体相似度
    score = fuzz.ratio(cleaned_payee_name, cleaned_target_name)

    # 如果相似度达到阈值，则认为是匹配项
    if score >= similarity_threshold:
        print(f"匹配成功: '{payee_name_from_api}' (相似度: {score})")
        found_contributions.append(record)
    else:
        print(f"不匹配: '{payee_name_from_api}' (相似度: {score})")

    # 收集所有payee_name，以便后续使用 process.extract
    candidate_names_from_api.append(payee_name_from_api)


print("\n--- 筛选后的捐赠记录详情 ---")
if found_contributions:
    for contrib in found_contributions:
        print(json.dumps(contrib, indent=2))
else:
    print("未找到符合条件的捐赠记录。")

# 3. 使用 process.extractOne 或 process.extract 查找最佳匹配
# process.extractOne 找到列表中与目标最相似的单个字符串
print(f"\n--- 使用 process.extractOne 查找与 '{target_candidate_name}' 最相似的名称 ---")
if candidate_names_from_api:
    best_match_info = process.extractOne(target_candidate_name, candidate_names_from_api, scorer=fuzz.ratio)
    if best_match_info:
        print(f"最相似的名称是: '{best_match_info[0]}' (相似度: {best_match_info[1]})")
    else:
        print("未找到任何匹配项。")
else:
    print("API数据中没有可供匹配的姓名。")


# process.extract 找到列表中所有高于阈值的匹配项
print(f"\n--- 使用 process.extract 查找所有高于 {similarity_threshold} 相似度的名称 ---")
if candidate_names_from_api:
    all_matches_above_threshold = process.extract(target_candidate_name, candidate_names_from_api,
                                                  scorer=fuzz.ratio, limit=None) # limit=None 获取所有匹配
    found_any_match = False
    for match_name, score, _ in all_matches_above_threshold:
        if score >= similarity_threshold:
            print(f"匹配: '{match_name}' (相似度: {score})")
            found_any_match = True
    if not found_any_match:
        print("未找到任何高于阈值的匹配项。")
else:
    print("API数据中没有可供匹配的姓名。")