Python教程：高效统计文本中特定关键词的出现次数

import requests
import re
from collections import Counter
from bs4 import BeautifulSoup

# 示例：从维基百科页面获取文本
url_a = 'https://en.wikipedia.org/wiki/Leonhard_Euler'
url_b = 'https://en.wikipedia.org/wiki/Carl_Friedrich_Gauss'

# 使用BeautifulSoup从网页内容中提取纯文本
txt_a = BeautifulSoup(requests.get(url_a).content, 'html.parser').get_text()
txt_b = BeautifulSoup(requests.get(url_b).content, 'html.parser').get_text()

# 清洗文本：转换为小写，并使用正则表达式按非字母数字字符分割，得到词汇列表
# re.split(r'\W+', text) 会将文本按所有非字母数字字符分割，包括空格、标点等
cleaned_words_a = re.split(r'\W+', txt_a.lower())
cleaned_words_b = re.split(r'\W+', txt_b.lower())

print(f"文本A清洗后的前20个词: {cleaned_words_a[:20]}")
print(f"文本B清洗后的前20个词: {cleaned_words_b[:20]}")

# 为每个文本创建词频计数器
cnt_a = Counter(cleaned_words_a)
cnt_b = Counter(cleaned_words_b)

# 打印文本A中出现频率最高的10个词
print("\n文本A中出现频率最高的10个词:")
print(cnt_a.most_common(10))

# 打印文本B中出现频率最高的10个词
print("\n文本B中出现频率最高的10个词:")
print(cnt_b.most_common(10))

# 定义一个关键词集合
keyword_list_words = {'mathematical', 'equation', 'theorem', 'university', 'integral', 'basel'}

# 统计关键词在文本A中的出现次数
# 使用 .get(word, 0) 可以安全地获取词汇计数，如果词汇不存在则返回0
keyword_counts_a = {word: cnt_a.get(word, 0) for word in keyword_list_words}
print(f"\n关键词在文本A中的出现次数: {keyword_counts_a}")

# 统计关键词在文本B中的出现次数
keyword_counts_b = {word: cnt_b.get(word, 0) for word in keyword_list_words}
print(f"关键词在文本B中的出现次数: {keyword_counts_b}")

# 找出两个文本共有的词汇（通过Counter的集合交集操作）
# cnt_a & cnt_b 会返回一个新的Counter，其中包含两个Counter共有的词汇及其在两者中最小的计数
# 为了获取各自的计数，我们需要遍历交集
common_words_set = cnt_a.keys() & cnt_b.keys()

# 获取共有词汇在两个文本中的具体计数，并按总计数降序排列
common_words_detailed = dict(sorted({
    k: (cnt_a[k], cnt_b[k]) for k in common_words_set
}.items(), key=lambda kv: sum(kv[1]), reverse=True))

print(f"\n两个文本的共有词汇及其计数（按总计数降序）:")
# 仅打印前15个共有词汇
for i, (word, counts) in enumerate(common_words_detailed.items()):
    if i >= 15:
        break
    print(f"'{word}': (文本A: {counts[0]}, 文本B: {counts[1]})")

# 模拟数据
# 假设 contract_type_files 已经包含了所有合同类型及其对应的词汇列表（已清洗）
# 注意：这里我们使用列表而不是集合，因为Counter需要统计重复项
contract_type_files = {
    "合同A": ["apple", "banana", "apple", "orange", "apple", "contract", "term"],
    "合同B": ["banana", "grape", "apple", "banana", "term", "condition"],
    "合同C": ["kiwi", "apple", "orange", "term"]
}
keyword_list_words_example = {"apple", "banana", "term", "kiwi", "warranty"}

# 使用 Counter 来累积所有合同中关键词的总出现次数
final_common_word_counts = Counter()

print("\n--- 优化后的关键词统计过程 ---")
for contract_identifier, words_list in contract_type_files.items():
    print(f"正在处理合同类型: {contract_identifier}")

    # 为当前合同类型创建词频计数器
    contract_word_counter = Counter(words_list)

    # 遍历关键词列表，查询它们在当前合同中的出现次数
    for keyword in keyword_list_words_example:
        # 如果关键词存在于当前合同中，则获取其准确计数并累加到总计数器
        # contract_word_counter[keyword] 会直接返回计数，如果不存在则返回0
        final_common_word_counts[keyword] += contract_word_counter[keyword]

print(f"\n所有合同中关键词的总出现次数: {final_common_word_counts}")

# 原始代码的逻辑（如果只是检查存在性）
# common_words_dict = Counter() # 即使这里是Counter，原始逻辑也只计数一次

# for contract_type_identifier in contract_type_files:
#     # 假设 words_for_contract_type 是一个集合，只包含不重复的词
#     words_for_contract_type = set(contract_type_files.get(contract_type_identifier, []))
#     for word in keyword_list_words_example:
#         if word in words_for_contract_type:
#             # 这里的 += 1 只能保证每个合同中每个关键词最多被计数一次
#             # 无法统计同一个关键词在一个合同中出现多次的情况
#             common_words_dict[word] += 1
# print(f"\n原始逻辑（如果只计数存在性）的结果: {common_words_dict}") # 结果会与期望不符

# 过滤空字符串的示例
cleaned_words_filtered = [word for word in cleaned_words_a if word]
cnt_a_filtered = Counter(cleaned_words_filtered)