Java文本文件停用词移除与词频统计教程-java教程-PHP中文网

Java文本文件停用词移除与词频统计教程

DDD

发布： 2025-08-26 15:04:55

原创

200人浏览过

Java文本文件停用词移除与词频统计教程

本文详细介绍了如何在Java中实现文本文件的停用词移除和词频统计功能。教程涵盖了文件读取、停用词列表的构建、文本清洗（包括大小写转换和标点符号处理）、基于分词的停用词高效移除，以及使用HashMap进行词频统计和排序输出Top N高频词的完整流程。

在自然语言处理（nlp）和文本分析中，预处理是至关重要的一步。其中，移除停用词（stop words）和统计词频是两项基本且常用的操作。停用词是指在文本中出现频率高但对文本含义贡献小的词语，如“的”、“是”、“在”等。移除它们可以减少数据量，提高分析效率和准确性。词频统计则能帮助我们了解文本的核心主题和关键词。本教程将指导您如何在java环境中高效地实现这些功能。

1. 环境准备与文件结构

为了演示，我们假设项目根目录下存在以下两个文本文件：

hello.txt: 包含待处理的原始文本。
stopwords.txt: 包含需要移除的停用词，每行一个或由空格分隔。

示例文件内容：

hello.txt

remove leave remove leave remove leave re move remov e leave remove hello remove world! This is a test.

登录后复制

stopwords.txt

Boomy

AI音乐生成工具，创建生成音乐,与世界分享.

272

查看详情

立即学习“Java免费学习笔记（深入）”；

remove
world
is
a

登录后复制

2. 文件内容读取与停用词解析

在Java中，推荐使用java.nio.file.Files类来方便地读取文件内容。它提供了简洁的方法来读取整个文件到字符串。同时，为了高效地查找停用词，我们应将其存储到一个Set集合中，并进行统一的大小写处理。

import java.io.IOException;
import java.nio.charset.Charset;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.Arrays;
import java.util.Comparator;
import java.util.HashMap;
import java.util.LinkedHashMap;
import java.util.Map;
import java.util.Set;
import java.util.stream.Collectors;

public class TextProcessor {

    public static void main(String[] args) {
        String helloFilePath = "hello.txt";
        String stopWordsFilePath = "stopwords.txt";
        int topN = 5; // 示例：统计Top 5高频词

        try {
            // 1. 读取原始文本文件
            String helloTxtContent = Files.readString(Paths.get(helloFilePath), Charset.defaultCharset());
            // 2. 读取停用词文件
            String stopWordsContent = Files.readString(Paths.get(stopWordsFilePath), Charset.defaultCharset());

            System.out.println("--- 原始文本 ---");
            System.out.println(helloTxtContent);

            // 3. 将停用词解析为Set，方便快速查找，并统一转换为小写
            Set<String> stopWords = Arrays.stream(stopWordsContent.split("\s+"))
                                          .map(String::trim)
                                          .map(String::toLowerCase) // 转换为小写，进行不区分大小写的匹配
                                          .collect(Collectors.toSet());

            System.out.println("
--- 停用词列表 ---");
            System.out.println(stopWords);

            // 4. 调用停用词移除方法
            String cleanedText = removeStopWords(helloTxtContent, stopWords);
            System.out.println("
--- 移除停用词后的文本 ---");
            System.out.println(cleanedText);

            // 5. 调用词

登录后复制

以上就是Java文本文件停用词移除与词频统计教程的详细内容，更多请关注php中文网其它相关文章！