Python怎样处理中文文本？jieba分词实战-Python教程-PHP中文网

中文文本处理的核心在于解决无空格分词问题，jieba库通过提供精确模式、全模式和搜索引擎模式三种分词方式有效应对这一挑战，1. 首先使用pip install jieba安装库并导入；2. 利用jieba.cut(text, cut_all=false)进行精确分词，适合常规文本分析；3. 使用cut_all=true启用全模式以扫描所有可能成词的组合，适用于关键词提取；4. 调用jieba.cut_for_search(text)实现搜索引擎模式，在长词上进一步切分以提高召回率；5. 通过load_userdict('userdict.txt')加载自定义词典来识别新词或专业术语；6. 使用jieba.add_word()动态添加词语以增强分词准确性；7. 结合jieba.analyse.extract_tags()和textrank()实现基于tf-idf与textrank的关键词提取；8. 利用jieba.posseg进行词性标注以支持语法分析；9. 启用jieba.enable_parallel()实现并行分词提升大规模文本处理效率；10. 在完整流程中还需进行文本清洗、去除停用词、文本向量化（如tf-idf或词嵌入）等预处理步骤，最终才能进行文本分类、聚类、情感分析等高级任务，整个过程需环环相扣确保数据质量。

Python怎样处理中文文本？jieba分词实战

Python处理中文文本的核心在于解决其无空格分词的特性，而

jieba

登录后复制

库正是解决这一难题的强大工具，它能将连续的汉字序列切分成有意义的词语，为后续的文本分析、信息提取等任务奠定基础。

解决方案

处理中文文本，尤其是进行分词，

jieba

登录后复制

库无疑是首选。它的设计理念和实际效果都非常贴合中文语言的特点。我个人觉得，

jieba

登录后复制

最吸引人的地方在于它的灵活度——既有基于统计模型的精确分词，也有兼顾召回率的全模式，甚至还有针对搜索引擎优化的模式。

首先，确保你的Python环境已经安装了

jieba

登录后复制

。如果还没有，一个简单的

pip install jieba

登录后复制

就能搞定。

立即学习“Python免费学习笔记（深入）”；

import jieba

text = "我爱北京天安门，天安门上太阳升。"

# 精确模式（默认）
# 这是最常用的模式，试图将句子最精确地切开，适合文本分析。
seg_list_accurate = jieba.cut(text, cut_all=False)
print("精确模式:", "/ ".join(seg_list_accurate))

# 全模式
# 把句子中所有的可能成词的词语都扫描出来，速度快，但冗余度高，适合做关键词提取。
seg_list_full = jieba.cut(text, cut_all=True)
print("全模式:", "/ ".join(seg_list_full))

# 搜索引擎模式
# 在精确模式的基础上，对长词再次进行切分，提高召回率，适合搜索引擎分词。
seg_list_search = jieba.cut_for_search(text)
print("搜索引擎模式:", "/ ".join(seg_list_search))

# 结巴分词的返回值是一个生成器，如果需要列表，可以将其转换为列表
seg_list_list = list(jieba.cut(text))
print("列表形式:", seg_list_list)

登录后复制

实际操作中，我发现精确模式用得最多，因为它能给出最“干净”的分词结果。但如果遇到像“上海东方明珠广播电视塔”这种长词，或者一些新词、专业术语，

jieba

登录后复制

可能无法准确识别。这时，自定义词典就显得尤为重要了。通过加载用户词典，我们可以告诉

jieba

登录后复制

哪些词应该被视为一个整体，哪些词有特殊的含义。

# 加载自定义词典
# userdict.txt 文件的格式是：词语 词频 词性 (词频和词性是可选的，但建议加上，词频越大优先级越高)
# 例如：
# 结巴 10 n
# 李小明 5 nr
# 我觉得 3
jieba.load_userdict('userdict.txt')

text_with_new_word = "我正在学习结巴分词，李小明是我的老师。"
seg_list_custom = jieba.cut(text_with_new_word)
print("自定义词典分词:", "/ ".join(seg_list_custom))

# 动态添加词语
jieba.add_word('人工智能', freq=100, tag='n')
text_dynamic = "人工智能是未来的趋势。"
seg_list_dynamic = jieba.cut(text_dynamic)
print("动态添加词语分词:", "/ ".join(seg_list_dynamic))

登录后复制

为什么中文文本处理比英文更复杂？

我记得刚接触中文文本处理时，最大的困惑就是——为什么中文没有空格，这简直是给机器阅读设了一道坎。这确实是中文文本处理比英文复杂的核心原因。英文单词之间天然有空格作为分隔符，机器很容易就能识别出一个个独立的“词”；但中文，就像你现在看到的这段文字，词与词之间是连在一起的，比如“中文文本处理”就是一个词组，但每个字单独看也都有意义。这种“黏连”的特性，使得我们首先要解决的，就是如何准确地切分出有意义的词语，也就是分词（Word Segmentation）。

除了分词，中文还存在很多独有的挑战。比如，词义消歧。一个汉字或词语在不同语境下可能有不同的含义，比如“苹果”可以是水果，也可以是公司。虽然英文也有类似问题，但在中文里，由于词语的边界不明确，这种歧义性会更加突出。再比如，新词识别（Out-of-Vocabulary, OOV）。网络流行语、专业术语、人名地名等层出不穷，分词器很难实时更新所有词汇。如果分词器不认识一个词，它可能会错误地将其切分成几个独立的字，或者直接忽略。

此外，中文的多音字、繁简体转换、异形词等也增加了处理的复杂性。虽然

jieba

登录后复制

等工具已经做得非常出色，但这些底层语言特性依然是中文文本处理绕不开的难点。

jieba

登录后复制

分词有哪些核心功能和使用技巧？

在我的实际工作中，

jieba

登录后复制

不仅仅是一个分词工具，它还提供了不少实用的功能和技巧，能让我们的文本处理工作事半功倍。

文心大模型

百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作

查看详情

除了前面提到的三种分词模式（精确、全模式、搜索引擎模式）和自定义词典，

jieba

登录后复制

还有一些值得深入挖掘的特性：

关键词提取：

jieba.analyse

登录后复制

模块提供了基于TF-IDF和TextRank算法的关键词提取功能。这对于从大量文本中快速抓取核心信息非常有用。比如，你有一篇新闻报道，想知道它的主要内容是什么，用关键词提取就能快速得到答案。

import jieba.analyse

text_for_keywords = "上海东方明珠广播电视塔是中国著名的旅游景点，吸引了无数游客。"
# 基于TF-IDF的关键词提取
keywords_tfidf = jieba.analyse.extract_tags(text_for_keywords, topK=5, withWeight=True)
print("TF-IDF关键词:", keywords_tfidf)

# 基于TextRank的关键词提取
keywords_textrank = jieba.analyse.textrank(text_for_keywords, topK=5, withWeight=True)
print("TextRank关键词:", keywords_textrank)

登录后复制

词性标注： 虽然
```
jieba
```
登录后复制
的主要功能是分词，但它也支持简单的词性标注。这对于需要进一步进行语法分析或实体识别的任务很有帮助。通过
```
jieba.posseg
```
登录后复制
模块，我们可以同时获取词语和它们的词性。
```
import jieba.posseg as pseg

text_pos = "我爱北京天安门，天安门上太阳升。"
words = pseg.cut(text_pos)
print("词性标注:")
for word, flag in words:
    print(f"{word}/{flag}", end=" ")
print()
```
登录后复制
并行分词： 对于需要处理海量文本的场景，
```
jieba
```
登录后复制
提供了并行分词的能力，可以充分利用多核CPU的优势，显著提高处理速度。这在处理大数据集时尤为重要，能大大缩短等待时间。
```
# jieba.enable_parallel(4) # 启用4核并行分词，根据你的CPU核心数设置
# 大量文本处理...
# jieba.disable_parallel() # 处理完后禁用
```
登录后复制

使用技巧方面，我个人会倾向于：

先粗后细： 大批量文本先用默认模式分词，如果发现特定领域或新词识别不佳，再针对性地构建或更新自定义词典。
词典的维护： 自定义词典不是一劳永逸的，它需要随着语料的变化而不断更新和完善。这就像养一个宠物，需要定期喂食和梳理。
结合其他工具：
```
jieba
```
登录后复制
很强大，但它不是万能的。在某些高级任务（如情感分析、文本分类）中，往往需要将
```
jieba
```
登录后复制
的分词结果作为输入，再结合其他机器学习或深度学习模型进行处理。

除了分词，中文文本处理还有哪些常见步骤？

分词只是中文文本处理的“第一步”，虽然至关重要，但它只是整个流程的开端。在我看来，一个完整的中文文本处理流程，往往还需要包括以下几个关键步骤：

文本清洗与预处理：
- 去除HTML标签、特殊字符： 很多文本数据来源于网页，会带有大量HTML或XML标签，需要先去除。
- 去除标点符号和数字： 视具体任务而定，有时标点和数字对分析没有意义，甚至会引入噪声。
- 大小写转换（英文）/全半角转换： 对中文来说，全角字符（如“，”）和半角字符（如“,”）的统一处理也很重要。
- 处理停用词： 停用词（Stop Words）是那些出现频率高但实际意义不大的词，比如“的”、“是”、“了”等。去除它们可以减少数据维度，提高分析效率和准确性。通常会维护一个停用词列表，然后过滤掉分词结果中的停用词。
```
# 简单的停用词去除示例
stop_words = ['的', '是', '了', '和', '在', '我', '你', '他']
text_processed = [word for word in list(jieba.cut(text)) if word not in stop_words]
print("去除停用词:", "/ ".join(text_processed))
```
登录后复制
词干提取/词形还原（Stemming/Lemmatization）： 对于英文，这能将“running”、“runs”、“ran”还原为“run”。但对于中文，由于其词形变化不明显，这一步的意义相对较小，也缺乏像英文那样成熟的通用工具。不过，在某些特定场景下，可能会进行字级别或特定规则的规范化。
特征提取与向量化： 机器无法直接理解文本，需要将文本转换为数值形式。这是将文本数据喂给机器学习模型前的关键一步。
- 词袋模型（Bag-of-Words, BoW）： 统计每个词在文本中出现的频率，不考虑词序。
- TF-IDF（Term Frequency-Inverse Document Frequency）： 不仅考虑词频，还考虑词在整个语料库中的稀有程度，能更好地反映词的重要性。
- 词嵌入（Word Embeddings）： 比如Word2Vec、GloVe、FastText等，它们能将词映射到低维向量空间，捕获词语之间的语义关系。这是目前主流且效果最好的文本表示方法。
- 深度学习模型（如BERT、GPT等）： 更高级的文本表示方法，能捕获更复杂的上下文信息。
```
from sklearn.feature_extraction.text import TfidfVectorizer

documents = [
    "我 爱 北京 天安门",
    "天安门 上 太阳 升",
    "我 爱 祖国"
]
# 注意：这里假设documents已经分词并去除了停用词
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(documents)
print("TF-IDF矩阵形状:", tfidf_matrix.shape)
print("特征词汇:", vectorizer.get_feature_names_out())
```
登录后复制
文本分类、聚类、情感分析等高级任务： 在文本被向量化后，就可以应用各种机器学习或深度学习算法进行具体的任务了。例如：
- 文本分类： 将文本归类到预定义的类别（如新闻分类、垃圾邮件识别）。
- 文本聚类： 发现文本数据中的自然分组。
- 情感分析： 判断文本表达的情绪是积极、消极还是中性。
- 命名实体识别（NER）： 识别文本中的人名、地名、组织名等实体。