0

0

单词频率统计工具_Map集合计数与Scanner文本解析实战

P粉602998670

P粉602998670

发布时间:2026-02-21 16:22:03

|

309人浏览过

|

来源于php中文网

原创

相同单词未合并是因为未统一大小写、未清除标点及空格残留,导致“hello!”与“hello”等被视为不同键;需tolowercase()、正则清理、判空后计数,并慎用scanner分隔符。

单词频率统计工具_map集合计数与scanner文本解析实战

HashMap 统计单词频次时,为什么相同单词没合并?

常见错误是把 Scanner 读出的每个 next() 结果直接当键存进 HashMap,但忽略了大小写、标点和空格残留。比如 “Hello!” 和 “hello” 被当成两个词;“word,” 和 “word” 也被视为不同键。

  • 先调用 toLowerCase() 统一大小写
  • 用正则 replaceAll("[^a-z]", "") 剥离标点和数字(注意:空字符串会因此产生,需跳过)
  • 检查 word.length() > 0 再计数,避免空白键污染结果
  • 别用 nextLine() 直接拆——它不按词切分,容易把整行当一个“词”

Scanner 分词逻辑和 useDelimiter() 的实际影响

Scanner 默认以空白符(空格、制表、换行)为分隔符,看似合理,但遇到连字符、撇号、缩写(如 “don’t”, “state-of-the-art”)就会断错。强行用 useDelimiter("\W+") 看似能解决,但会导致开头/结尾非字母字符被吃掉,且连续标点可能生成空串。

Voicenotes
Voicenotes

Voicenotes是一款简单直观的多功能AI语音笔记工具

下载
  • 推荐用 useDelimiter("[^a-zA-Z]+") —— 更精准保留纯字母词
  • 如果文本含带撇号的英文词(如 “it’s”),得用 useDelimiter("[^a-zA-Z']+),再额外清理首尾单引号
  • 每次调用 hasNext() 前确保 scanner 没到末尾,否则 next()NoSuchElementException

HashMap 计数的三种写法,哪一种最稳?

新手常写 map.put(word, map.get(word) + 1),但 map.get(word) 返回 null 时会触发 NullPointerException。自动装箱救不了原始类型语义缺失的问题。

  • 安全写法:用 map.merge(word, 1, Integer::sum) —— JDK 8+,原子、简洁、空值安全
  • 兼容老版本:先 map.containsKey(word) 判断,再 putreplace
  • 别用 getOrDefault(word, 0) 后再 put —— 非线程安全,且多一次哈希查找

中文文本或混合内容下,HashMap + Scanner 还适用吗?

不适用。Scanner 的 delimiter 机制依赖字符边界,对中文是“字”不是“词”,直接分出会得到单字而非语义词(如“苹果手机”切成“苹”“果”“手”“机”)。而且 HashMap 本身不处理同义、简繁、拼音归一化。

  • 纯中文统计必须换分词库,比如 hanlpjieba(Java 封装版)
  • 中英混合场景,先用正则粗筛出英文段落单独处理,中文部分走专业分词
  • 哪怕只是过滤掉中文、只统计英文单词,也要注意 Unicode 字符范围——[^a-zA-Z] 不拦得住中文,得用 [^\p{L}]+\p{L} 匹配所有字母类 Unicode 字符)
事情说清了就结束。真正卡住人的,往往不是算法,而是 Scanner 没切对、HashMap 键里混进了不可见字符、或者想用一套逻辑通吃中英文。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

246

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

826

2024.03.01

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

595

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

217

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1556

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

641

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

986

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

939

2024.04.29

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

928

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
React 教程
React 教程

共58课时 | 5.3万人学习

Pandas 教程
Pandas 教程

共15课时 | 1.1万人学习

ASP 教程
ASP 教程

共34课时 | 5.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号