Python中实现带负值计数的自定义词袋模型-Python教程-PHP中文网

Python中实现带负值计数的自定义词袋模型

聖光之護

发布： 2025-11-28 14:36:43

原创

856人浏览过

python中实现带负值计数的自定义词袋模型

本文探讨了如何在Python中构建一个自定义词袋（Bag of Words, BOW）模型，以处理具有特殊语义的词汇。针对前缀带有连字符的词汇，我们展示了如何将其计为对应词汇的负数出现次数，而非独立词汇。通过手动实现的向量化器，文章详细解析了文本处理逻辑，包括词汇解析、负号识别与权重分配，最终生成一个能够精确反映正负计数的词袋特征矩阵，有效解决了传统BOW模型在特定场景下的局限性。

1. 引言：词袋模型与特殊计数需求

词袋模型（Bag of Words, BOW）是自然语言处理中一种常用的文本表示方法，它将文本视为一个无序的词语集合，忽略语法和词序，只关注词语的出现频率。在Python中，通常使用sklearn.feature_extraction.text.CountVectorizer来快速构建词袋模型。然而，在某些特定应用场景，例如处理科学术语、产品编号或带特定修饰符的标识符时，我们可能会遇到传统BOW模型无法直接满足的计数需求。

考虑一种情况，文档中的某些术语可能带有前缀，例如连字符（-），这表示该术语的“否定”或“缺失”状态。如果一个文档包含 Q207KL41 -Q207KL41 -Q207KL41，我们期望的结果不是将 Q207KL41 和 -Q207KL41 视为两个独立的词汇，而是将它们都归类为 Q207KL41，但带有连字符的应计为负数。在这种情况下，Q207KL41 的最终计数应为 1 - 1 - 1 = -1。传统的CountVectorizer会将-Q207KL41视为一个独立的词汇，或者在预处理不当的情况下，直接移除连字符导致信息丢失，无法实现这种带负值计数的定制化需求。

2. 定制化词袋模型的实现策略

由于标准库中的CountVectorizer无法直接处理这种带有语义的负号前缀并进行加权计数，最有效的解决方案是编写一个自定义的向量化器。核心思路是：

立即学习“Python免费学习笔记（深入）”；

遍历文档：逐一处理输入数据集中的每个文档。
词汇解析：将每个文档拆分为单独的词汇（token）。
负号识别与处理：对于每个词汇，检查其是否以连字符开头。如果发现，则将其视为负向词汇，剥离连字符，并为其分配一个负数权重（-1）；否则，分配正数权重（1）。
词汇计数：使用一个字典（或哈希表）来累积每个词汇的计数，将正负权重叠加。
构建词汇表：在处理所有文档的过程中，动态构建一个全局词汇表。
生成特征矩阵：将每个文档的词汇计数转换为一个行向量，并最终组合成一个DataFrame作为输出的特征矩阵。

3. 详细代码实现

下面是一个使用Python实现上述逻辑的自定义词袋模型函数。

腾讯交互翻译

腾讯AI Lab发布的一款AI辅助翻译产品

183

查看详情

import io
import pandas as pd
import numpy as np
from collections import defaultdict

# 模拟输入数据，实际应用中可从文件读取
s = """
RepID,Txt
1,K9G3P9 4H477 -Q207KL41 98464 Q207KL41
2,D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2 
3,-05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84"""
df_reps = pd.read_csv(io.StringIO(s))

def custom_bow_vectorizer(documents):
    """
    自定义词袋向量化器，支持处理带负号前缀的词汇。

    参数:
        documents (pd.Series): 包含文本内容的Pandas Series。

    返回:
        pd.DataFrame: 词袋特征矩阵，其中包含带正负计数的词汇特征。
    """

    # 用于存储每个文档的词汇计数
    document_feature_counts = []

    # 动态构建词汇表，使用defaultdict的default_factory特性
    # 当访问一个新词汇时，default_factory会自动为其分配一个递增的索引
    vocabulary = defaultdict()
    vocabulary.default_factory = vocabulary.__len__ # 新键的默认值为当前字典长度

    for document in documents:
        # 为当前文档初始化一个词汇计数器
        current_doc_counter = defaultdict(int)

        # 将文档按空格拆分成词汇
        for token in document.split():
            sign = 1 # 默认权重为正1

            # 检查词汇是否以连字符开头
            if token.startswith("-"):
                token = token[1:] # 移除连字符，获取原始词汇
                sign = -1         # 设置权重为负1

            # 将词汇添加到全局词汇表，并获取其索引
            # 如果是新词汇，vocabulary.__len__会为其生成一个新索引
            feature_idx = vocabulary[token]

            # 累加当前文档中该词汇的计数（带正负权重）
            current_doc_counter[feature_idx] += sign

        # 将当前文档的词汇计数结果添加到列表中
        document_feature_counts.append(current_doc_counter)

    # 将所有文档的计数结果转换为DataFrame
    # from_records可以处理字典列表，自动填充缺失值
    df = pd.DataFrame.from_records(document_feature_counts)

    # 填充DataFrame中的NaN值为0（表示该文档中未出现该词汇）
    df = df.fillna(0)

    # 将列名从索引映射回原始词汇
    # 这里需要一个逆向映射，从索引到词汇
    # 更好的做法是构建一个从索引到词汇的列表，然后用它设置列名
    # 或者直接从vocabulary的keys()中获取，但需要保证顺序一致

    # 确保列名顺序与vocabulary中词汇首次出现的顺序一致
    # 我们可以通过创建一个反向映射来做到这一点，或者直接使用vocabulary.keys()
    # 但vocabulary.keys()的顺序不保证是插入顺序，因此需要更严谨的方式

    # 为了保证列名与vocabulary中词汇的对应关系，
    # 我们可以先构建一个有序的词汇列表
    sorted_vocab_keys = sorted(vocabulary, key=vocabulary.get)
    df.columns = sorted_vocab_keys

    # 将DataFrame的数据类型转换为int8，节省内存
    df = df.astype(np.int8)

    return df

# 调用自定义向量化器并打印结果
result_df = custom_bow_vectorizer(df_reps["Txt"])
print(result_df)

登录后复制

代码解释：

defaultdict() for vocabulary: vocabulary = defaultdict() 初始化了一个字典，并设置 vocabulary.default_factory = vocabulary.__len__。这意味着每当访问一个不存在的键（新词汇）时，defaultdict 会调用 vocabulary.__len__ 来生成一个默认值，即当前词汇表的长度。这个长度作为该新词汇的唯一索引。
current_doc_counter = defaultdict(int): 为每个文档创建一个临时的计数器。defaultdict(int) 确保当访问一个不存在的词汇索引时，其默认值为0，方便直接进行 += sign 操作。
token.startswith("-"): 检查词汇是否以连字符开头。
token = token[1:]: 如果是负向词汇，则移除连字符，使其与正向词汇保持一致，例如 -Q207KL41 变为 Q207KL41。
feature_idx = vocabulary[token]: 获取词汇在全局词汇表中的索引。如果词汇是首次出现，它会被添加到 vocabulary 中并分配一个新的索引。
current_doc_counter[feature_idx] += sign: 将词汇的权重（sign，即1或-1）累加到当前文档的计数器中。
pd.DataFrame.from_records(document_feature_counts): 将所有文档的计数字典列表转换为一个Pandas DataFrame。from_records 会自动处理不同文档中词汇集合不完全相同的情况，用 NaN 填充未出现的词汇。
df.fillna(0): 将DataFrame中所有 NaN 值替换为0，表示该词汇在该文档中未出现。
df.columns = sorted_vocab_keys: 将 DataFrame 的列名设置为词汇表中按索引排序的词汇，确保列名与实际词汇对应。
df.astype(np.int8): 将DataFrame的数据类型转换为 np.int8。由于计数通常在较小范围内（-128到127），使用 int8 可以显著节省内存，尤其是在处理大量文档和词汇时。

4. 运行结果

执行上述代码后，将得到以下输出：

   K9G3P9  4H477  Q207KL41  98464  D84T8X4  D9W4S2  8E8E65  05L8NJ38  K2DD949  0W28DZ48  207441  K2D28K84
0       1      1         0      1        0       0       0         0        0         0       0         0
1       0      0         0      0        1      -1       1         0        0         0       0         0
2       0      0         0      0        0       0       0        -1        1         1       1         1

登录后复制

从输出结果可以看出：

在第一行（对应 RepID=1 的文档 K9G3P9 4H477 -Q207KL41 98464 Q207KL41），Q207KL41 的计数为 1 + (-1) = 0，符合预期。
在第二行（对应 RepID=2 的文档 D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2），D9W4S2 的计数为 1 + (-1) + (-1) = -1，符合预期。
在第三行（对应 RepID=3 的文档 -05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84），05L8NJ38 的计数为 -1，符合预期。

5. 注意事项与总结

灵活性与定制性：此方法的核心优势在于其高度的灵活性。你可以根据具体需求修改词汇解析逻辑（例如，处理多种前缀、后缀，或者更复杂的模式匹配），以适应各种非标准文本数据。
性能考虑：对于海量文本数据，自定义的Python循环可能会比高度优化的C扩展库（如scikit-learn内部实现）慢。然而，对于特定且复杂的文本处理需求，这种牺牲性能换取定制性的做法是值得的。
内存优化：使用 np.int8 数据类型有助于在词汇表较大时节省内存。如果计数可能超出 int8 的范围（-128到127），可以考虑使用 np.int16 或 np.int32。
词汇表管理：本实现中，词汇表是动态构建的。在生产环境中，如果词汇表非常庞大且需要持久化，可能需要额外的逻辑来保存和加载 vocabulary 字典。
预处理：本教程假设词汇之间通过空格分隔。实际应用中，可能需要更复杂的文本预处理步骤，例如大小写转换、标点符号去除、词形还原或词干提取等，这些步骤应在 document.split() 之前完成。

通过这种自定义的向量化方法，我们能够有效地处理带有特殊语义标记的词汇，将它们整合到统一的词袋特征中，并实现精确的正负计数，从而为后续的机器学习任务提供更准确、更富有洞察力的特征表示。

以上就是Python中实现带负值计数的自定义词袋模型的详细内容，更多请关注php中文网其它相关文章！