0

0

在Java中BufferedReader如何提高文件读取性能_Java流处理优化解析

P粉602998670

P粉602998670

发布时间:2026-02-21 13:19:23

|

338人浏览过

|

来源于php中文网

原创

bufferedreader 缓冲区默认8kb,大文件或ssd场景建议64kb~256kb;readline()因逐字节扫描和动态扩容比read(char[],int,int)慢;应直连inputstream避免filereader双重缓冲;bufferedreader非线程安全,需多实例隔离。

在java中bufferedreader如何提高文件读取性能_java流处理优化解析

BufferedReader 的缓冲区大小设多少才合适

默认 BufferedReader 使用 8192 字节(8KB)缓冲区,对小文件够用,但读大文件或 SSD 上的高频 IO 场景,这个值常成瓶颈。实测发现:在千兆网挂载的 NFS 或本地 NVMe 盘上,把缓冲区提到 64KB~256KB,readLine() 吞吐能提升 1.3~1.8 倍。

关键不是“越大越好”——JVM 堆内分配过大的缓冲数组会增加 GC 压力,尤其在多线程批量读场景下。建议按如下方式权衡:

  • 普通日志解析(单行 ≤ 2KB)、磁盘 I/O 较慢:保持默认 8192 或略调至 16384
  • 结构化文本(CSV/TSV)、SSD/NVMe、单行较短:用 65536(64KB)
  • 内存充足且单次读取量极大(如导出报表流),可试 262144(256KB),但需监控 java.lang.OutOfMemoryError: Java heap space

readLine() 为什么比 read(char[], int, int) 慢一截

readLine() 内部做了额外工作:逐字节扫描 \n\r\n,还要动态扩容 StringBuilder 存每行内容,每次调用都有对象创建和边界检查开销。而 read(char[], off, len) 是纯字节数组搬运,零分配、无解析。

如果你不需要“按行处理”,只是做流式清洗或二进制前缀检测,直接用后者更高效:

立即学习Java免费学习笔记(深入)”;

char[] buf = new char[65536];
int n;
while ((n = reader.read(buf, 0, buf.length)) != -1) {
    // 处理 buf[0] 到 buf[n-1],不关心换行
}

注意:read(char[]) 不跳过 BOM,也不自动处理 Windows/Linux 行结束符差异,得自己判 buf[i] == '\r''\n'

BufferedReader 套在 FileReader 上反而变慢?

常见错误是这样写:

AMiner
AMiner

AMiner——新一代智能型科技情报挖掘与服务系统,能够为你提供查找论文、理解论文、分析论文、写作论文四位一体一站式服务。

下载
new BufferedReader(new FileReader("data.txt"))

问题在于 FileReader 本身是基于 InputStreamReader + FileInputStream,它默认用平台编码(如 Windows-1252)解码,且内部还有自己的小缓冲(通常 1024 字节)。两层缓冲叠加,不仅浪费内存,还因编码转换时机错位导致部分字符被截断重解,触发额外系统调用。

正确做法是跳过 FileReader,直连字节流:

  • 确定编码(如 UTF-8)→ 用 Files.newBufferedReader(Paths.get("data.txt"), StandardCharsets.UTF_8)
  • 需要复用 InputStream(如从 HTTP 响应体读)→ new BufferedReader(new InputStreamReader(in, StandardCharsets.UTF_8))

这样编码解码只发生一次,缓冲区由 BufferedReader 统一管理,吞吐更稳。

多线程共用一个 BufferedReader 会出什么错

BufferedReader 不是线程安全的。多个线程同时调用 readLine(),可能造成:

  • 同一行被两个线程分别读走一部分(posreadAheadLimit 状态错乱)
  • 缓冲区数组被并发修改,抛 ArrayIndexOutOfBoundsException 或静默丢数据
  • 内部 cb(字符缓冲数组)被覆盖,后续读到乱码

别试图加锁包装——锁粒度难控,性能反不如每个线程独占一个实例。真实场景中,更推荐:

  • Files.lines(Paths.get(...), StandardCharsets.UTF_8) 得到并行 Stream(底层自动分块)
  • 若必须手动分片,按字节偏移切分文件,每个线程构造独立 BufferedReader(配合 RandomAccessFile 定位)

缓冲区大小、编码绑定、线程隔离——这三点漏掉任一,都可能让本想优化的读取变成性能陷阱。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

810

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

578

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

274

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

210

2025.08.29

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

421

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

594

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

695

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

369

2025.12.24

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

928

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kotlin 教程
Kotlin 教程

共23课时 | 3.8万人学习

C# 教程
C# 教程

共94课时 | 9.9万人学习

Java 教程
Java 教程

共578课时 | 69.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号