使用模糊匹配处理API数据中的名称变体与拼写错误

pip install fuzzywuzzy

from fuzzywuzzy import fuzz

# 示例：计算不同字符串的相似度
print(f"John Doe vs Joe Dow: {fuzz.ratio('John Doe', 'Joe Dow')}")
print(f"John Doe vs John M. Doe: {fuzz.ratio('John Doe', 'John M. Doe')}")
print(f"John Doe vs Billy Jean: {fuzz.ratio('John Doe', 'Billy Jean')}")
print(f"John Smith vs Jon Smith: {fuzz.ratio('John Smith', 'Jon Smith')}")
print(f"John Smith vs Jonathan Smith: {fuzz.ratio('John Smith', 'Jonathan Smith')}")

# 输出示例：
# John Doe vs Joe Dow: 67
# John Doe vs John M. Doe: 84
# John Doe vs Billy Jean: 22
# John Smith vs Jon Smith: 86
# John Smith vs Jonathan Smith: 79

import requests
import json
from fuzzywuzzy import fuzz

# 定义目标候选人名称
target_candidate_name = "John Smith"
api_base_url = "https://lda.senate.gov/api/v1/contributions/"
api_key = "YOUR_API_KEY" # 请替换为你的实际API密钥

# 步骤1：宽泛查询API
# 由于API通常不支持模糊匹配，我们需要先获取一个更宽泛的数据集。
# 实际应用中，如果API支持按部分字符串匹配（如“包含”），可以利用它来初步筛选。
# 如果API只支持精确匹配，可能需要获取所有数据，但这在数据量大时不可取。
# 在本例中，为了简化演示，我们假设API返回了一个包含多个捐款记录的列表。
# 实际场景中，你需要根据API文档来构建请求参数，并处理分页等问题。

# 模拟API返回的原始数据，包含名称变体
all_contributions = [
    {"id": 1, "contribution_payee": "John Smith", "amount": 1000},
    {"id": 2, "contribution_payee": "Jonathan Smith", "amount": 500},
    {"id": 3, "contribution_payee": "Jon Smith", "amount": 200},
    {"id": 4, "contribution_payee": "J. Smith", "amount": 750},
    {"id": 5, "contribution_payee": "Jane Doe", "amount": 1500},
    {"id": 6, "contribution_payee": "Johnathan Smith", "amount": 300},
    {"id": 7, "contribution_payee": "John Smyth", "amount": 400},
]

found_contributions = []
similarity_threshold = 80 # 定义相似度阈值，可根据实际情况调整

print(f"\n正在搜索 '{target_candidate_name}' 及其变体 (相似度阈值 >= {similarity_threshold}):")

# 步骤2和3：遍历数据并进行模糊匹配
for contribution in all_contributions:
    payee_name = contribution.get("contribution_payee")
    if payee_name:
        # 将字符串转换为小写进行不区分大小写比较，提高匹配鲁棒性
        score = fuzz.ratio(target_candidate_name.lower(), payee_name.lower())
        print(f"  比较 '{target_candidate_name}' 与 '{payee_name}': 相似度得分 = {score}")
        if score >= similarity_threshold:
            found_contributions.append(contribution)

print("\n找到的捐款记录:")
for contrib in found_contributions:
    print(json.dumps(contrib, indent=2, ensure_ascii=False))