Python如何进行文本摘要？NLP技术实现-Python教程-PHP中文网

Python如何进行文本摘要？NLP技术实现

爱谁谁

发布： 2025-07-14 13:48:02

原创

938人浏览过

文本摘要可通过python实现，主要方法包括：1.使用现成库如sumy和pytextrank进行抽取式摘要；2.结合jieba分词与textrank算法处理中文文本；3.利用huggingface transformers实现生成式摘要。sumy支持多种算法，适合通用场景，pytextrank更适合英文但也可用于中文预处理后的内容。中文需先分词再构建共现图并计算句子重要性，或使用gensim的summarize方法。深度学习方法推荐transformers库中的bart、t5等模型，可理解原文并生成摘要，其中文模型有uer/t5-base-chinese-cluecorpussmall等选择。根据需求选择合适工具，简单任务可用基础算法，高质量摘要则用深度学习模型。

Python如何进行文本摘要？NLP技术实现

文本摘要其实就是从一段较长的文字中提取出关键信息，用更短的语句表达出来。Python做这个事，靠的是NLP（自然语言处理）技术，常见的方式包括抽取式摘要和生成式摘要两种。下面讲几个实际操作的方法，让你能快速上手。

1. 使用现成库：PyTextRank 或 Sumy

如果你不想从头开始训练模型，直接用现成的库是最省事的办法。像 Sumy 和 PyTextRank 都是基于算法的文本摘要工具，适合大多数通用场景。

Sumy 支持多种算法，比如 Luhn、Lsa、TextRank 等。
PyTextRank 是基于 TextRank 的增强版，更适合英文文本，但也可以尝试用于中文预处理后的内容。

安装方法很简单：

立即学习“Python免费学习笔记（深入）”；

pip install sumy pytextrank

登录后复制

使用示例（以 Sumy 为例）：

from sumy.parsers.plaintext import PlaintextParser
from sumy.nlp.tokenizers import Tokenizer
from sumy.summarizers.text_rank import Summarizer

parser = PlaintextParser.from_string("你的长文本内容", Tokenizer("english"))
summarizer = Summarizer()
summary = summarizer(parser.document, 3)  # 提取3句话作为摘要
for sentence in summary:
    print(sentence)

登录后复制

注意：如果是中文，需要先进行分词处理，或者换用支持中文的库。

2. 中文文本摘要怎么做？

中文不像英文那样有空格分隔单词，所以处理起来稍微麻烦一点。你可以结合 jieba 分词 和 TextRank 算法 来实现中文摘要。

步骤大致如下：

对文本进行分词
构建词语之间的共现图
利用 PageRank 算法计算每个句子的重要性
选出得分最高的几个句子作为摘要

可以自己写代码实现，也可以用 Gensim 库里的 summarize 方法，它默认支持英文，但稍作调整也能处理中文。

行者AI

行者AI绘图创作，唤醒新的灵感，创造更多可能

100

查看详情

示例代码：

from gensim.summarization import summarize
import jieba.analyse

text = "你的中文长文本内容"
# 先用jieba做关键词提取试试看
keywords = jieba.analyse.extract_tags(text, top_n=5)
print("关键词：", keywords)

# 如果要摘要，可以用gensim的summarize函数（需对文本做适当预处理）
summary = summarize(text, word_count=50)  # 控制输出字数
print(summary)

登录后复制

注意：gensim 的 summarize 函数更适合比较规范的文章结构，如果是口语化或乱序文本，效果可能不理想。

3. 深度学习方法：用 HuggingFace Transformers

如果你希望得到更高质量的摘要，尤其是生成式的（不是简单抽取句子），那就要用深度学习模型了。目前最常用的就是 HuggingFace 的 Transformers 库，里面集成了很多预训练模型，比如 BART、T5、Pegasus 等。

这些模型可以做到“理解”原文并用自己的话重新组织摘要内容。

安装方式：

pip install transformers torch

登录后复制

使用示例（英文模型）：

from transformers import pipeline

summarizer = pipeline("summarization")
text = "Your long article goes here..."
summary = summarizer(text, max_length=50, min_length=25, do_sample=False)
print(summary[0]['summary_text'])

登录后复制

中文的话，可以选择支持中文的模型，比如：

uer/t5-base-chinese-cluecorpussmall
bert4keras/roformer-sim-char-small

加载模型时指定即可：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

model_name = "uer/t5-base-chinese-cluecorpussmall"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

登录后复制

基本上就这些。根据你的需求选择合适的方法就行。如果只是做个简单的摘要，用 Sumy 或 Gensim 就够了；要是想做高质量生成式摘要，那就上 Transformer 模型。关键是理解不同方法的适用场景，别一上来就跑模型，有时候简单的算法就够用了。

以上就是Python如何进行文本摘要？NLP技术实现的详细内容，更多请关注php中文网其它相关文章！