0

0

如何使用Java对大文件进行分片上传_RandomAccessFile指针偏移实战

P粉602998670

P粉602998670

发布时间:2026-03-12 10:33:32

|

254人浏览过

|

来源于php中文网

原创

randomaccessfile.seek() 参数是字节偏移而非逻辑单位,分片时需精确计算每片起始位置(startoffset = i * chunksize),最后一片长度须显式计算为 (int)(file.length() - startoffset),避免字符截断或漏片。

如何使用java对大文件进行分片上传_randomaccessfile指针偏移实战

RandomAccessFile.seek() 为什么总写错偏移量

因为 seek() 的参数是字节偏移,不是“第几片”,更不是“第几行”。大文件分片时,如果用 file.length() / chunkSize 算出片数再循环调用 seek(),却没校验每一片的实际起始位置,就容易跳到中间某个字符的中间(比如 UTF-8 的多字节字符被截断),或者漏掉最后一片——尤其当 file.length() 不能被 chunkSize 整除时。

实操建议:

立即学习Java免费学习笔记(深入)”;

  • 每次分片前先用 raf.seek(startOffset) 定位,startOffset 必须是上一片结束后的精确位置(即 startOffset = i * chunkSize
  • 最后一片长度不是 chunkSize,而是 (int) (file.length() - startOffset),必须显式计算,不能硬写 Math.min(chunkSize, remaining) 后还直接 readFully()
  • 别在循环里反复 new RandomAccessFile(..., "r"),打开一次复用,否则操作系统句柄和磁盘寻道开销会陡增

分片读取时 read() 和 readFully() 的行为差异

read(byte[]) 可能只读到部分数据(比如网络抖动、磁盘忙、或缓冲区限制),而分片上传要求“这一片的数据必须完整”,否则服务端校验失败。但 readFully() 又可能阻塞或抛 EOFException ——它只在**没读满指定长度且流已到末尾**时才报错,不是所有场景都适用。

实操建议:

立即学习Java免费学习笔记(深入)”;

  • 对确定长度的分片(如非最后一片),优先用 raf.readFully(buffer, 0, expectedLen),它比手动 while 循环更可靠
  • 对最后一片,改用 int actual = raf.read(buffer, 0, buffer.length),然后只把 actual 字节传给上传逻辑
  • buffer 大小别设成 1MB 以上,JVM 堆外内存或 GC 压力会明显上升;推荐 512KB 或 256KB,兼顾吞吐与稳定性

并发上传多个分片时 RandomAccessFile 是否线程安全

不安全。RandomAccessFileseek()read() 共享同一个文件指针,如果多个线程共用一个实例去读不同分片,指针会被互相覆盖,结果就是读到错乱的数据。

飞书多维表格
飞书多维表格

表格形态的AI工作流搭建工具,支持批量化的AI创作与分析任务,接入DeepSeek R1满血版

下载

实操建议:

立即学习Java免费学习笔记(深入)”;

  • 每个分片对应一个独立的 RandomAccessFile 实例(new RandomAccessFile(path, "r")),不要共享
  • 不要试图用 synchronized 锁住整个 RAF 实例来“保护指针”——锁粒度太粗,反而串行化,失去并发意义
  • 如果担心频繁 open/close 开销,可配合 FileChannel.map() 配合 MappedByteBuffer,但注意:映射区域不能动态扩展,且 force() 不适用于只读场景

上传中断后如何续传:靠 offset 还是靠分片编号

靠分片编号 + 预先计算好的 startOffset。服务端返回的“已存在分片”信息通常只含编号或 hash,无法反推本地文件中的真实偏移。如果本地重试时重新算 seek() 位置,但原始文件被修改过(比如追加了内容),就会错位。

实操建议:

立即学习Java免费学习笔记(深入)”;

  • 分片元数据(编号、startOffsetlengthmd5)应在上传前一次性生成并缓存,而不是每次临时计算
  • 续传时直接查本地缓存,用编号找到对应 startOffset,再 seek() 读取,避免二次解析文件大小
  • 不要依赖 raf.getFilePointer() 去“恢复”位置——它只是当前指针,不是分片边界,容易因异常中断而失准

真正麻烦的是分片边界和编码边界重合问题:比如你按字节切,但服务端按 UTF-8 行解析,就可能把一行切成两半。这种不属于 RandomAccessFile 能解决的范畴,得在应用层加边界对齐逻辑,或者换用支持 record-level 分片的协议。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

106

2023.09.25

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1010

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

611

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

334

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

235

2025.08.29

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

443

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

605

2023.08.10

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

954

2023.09.19

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kotlin 教程
Kotlin 教程

共23课时 | 4.3万人学习

C# 教程
C# 教程

共94课时 | 11.2万人学习

Java 教程
Java 教程

共578课时 | 81万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号