0

0

Java DJL模型加载推理_Java怎么用DJL加载和运行预训练模型

舞夢輝影

舞夢輝影

发布时间:2025-12-22 15:24:23

|

958人浏览过

|

来源于php中文网

原创

java中用djl加载和运行预训练模型只需三步:添加依赖(如djl-api、pytorch-engine等)、选择模型(url/本地路径/模型id)、构建predictor执行推理;djl自动适配pytorch等引擎,无需编写底层计算逻辑。

java djl模型加载推理_java怎么用djl加载和运行预训练模型 - php中文网

Java中用DJL加载和运行预训练模型,核心是三步:添加依赖、选择模型(本地或远程)、构建Predictor执行推理。不需要写底层计算逻辑,DJL自动处理引擎适配(如PyTorch、TensorFlow、ONNX Runtime)。

1. 添加DJL依赖(Maven)

DJL支持多引擎,推荐从PyTorch开始(生态成熟、模型丰富)。在pom.xml中引入:

  • 核心APIdjl-api
  • PyTorch引擎model-zoo + pytorch-engine
  • 预编译本地库(免编译)pytorch-native-auto(自动匹配系统架构)

示例依赖片段:

<dependency>
  <groupId>ai.djl</groupId>
  <artifactId>api</artifactId>
  <version>0.27.0</version>
</dependency>
<dependency>
  <groupId>ai.djl.pytorch</groupId>
  <artifactId>pytorch-engine</artifactId>
  <version>0.27.0</version>
</dependency>
<dependency>
  <groupId>ai.djl.pytorch</groupId>
  <artifactId>pytorch-native-auto</artifactId>
  <version>2.1.2</version>
</dependency>

2. 加载预训练模型(支持URL/本地路径/模型ID)

DJL内置ModelZoo,可直接用HuggingFace ID或DJL Model Zoo地址加载。例如加载bert-base-uncased文本分类模型:

立即学习Java免费学习笔记(深入)”;

人民网AIGC-X
人民网AIGC-X

国内科研机构联合推出的AI生成内容检测工具

下载
  • Criteria声明输入输出类型、模型来源、设备(CPU/GPU)
  • 调用ModelLoader.loadModel()获得Model实例
  • 注意:首次加载会自动下载模型权重到本地缓存(~/.djl.ai/cache

代码示例:

Criteria<String, Classifications> criteria = Criteria.builder()
    .setTypes(String.class, Classifications.class)
    .optModelUrls("https://resources.djl.ai/test-models/pytorch/transformers/bert-base-uncased.zip")
    .optEngine("PyTorch")
    .optTranslator(new BertTranslator())
    .build();

Model model = Model.newInstance("bert");
model = ModelLoader.loadModel(criteria);

3. 构建Predictor并运行推理

Predictor是执行推理的入口,封装了预处理、前向传播、后处理。创建后调用predict()即可:

  • Translator负责输入转NDArray、输出转业务对象(如Classifications)
  • 支持批量输入(List),也支持单条字符串
  • 用完记得close()释放资源(推荐try-with-resources)

完整推理示例:

try (Predictor<String, Classifications> predictor = model.newPredictor(new BertTranslator())) {
    Classifications result = predictor.predict("I love DJL!");
    System.out.println(result);
    // 输出类似:positive: 0.982, negative: 0.018
}

4. 常见问题与建议

实际使用时容易卡在环境或格式上,注意以下几点:

  • GPU支持需安装CUDA驱动+cuDNN,并用pytorch-native-cu118等对应版本依赖
  • 模型输入必须匹配Translator定义(如Bert要tokenize,CNN图像要resize+normalize)
  • 自定义模型:把model.ptsynset.txt等放在同目录,用optModelPath(Paths.get("models/my-model"))
  • 性能优化:启用setLimit(1)限制线程数,或用Model.setBlock()手动指定计算图

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Java Maven专题
Java Maven专题

本专题聚焦 Java 主流构建工具 Maven 的学习与应用,系统讲解项目结构、依赖管理、插件使用、生命周期与多模块项目配置。通过企业管理系统、Web 应用与微服务项目实战,帮助学员全面掌握 Maven 在 Java 项目构建与团队协作中的核心技能。

0

2025.09.15

pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1948

2024.04.01

xml怎么变成word
xml怎么变成word

步骤:1. 导入 xml 文件;2. 选择 xml 结构;3. 映射 xml 元素到 word 元素;4. 生成 word 文档。提示:确保 xml 文件结构良好,并预览 word 文档以验证转换是否成功。想了解更多xml的相关内容,可以阅读本专题下面的文章。

2119

2024.08.01

xml是什么格式的文件
xml是什么格式的文件

xml是一种纯文本格式的文件。xml指的是可扩展标记语言,标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。想了解更多相关的内容,可阅读本专题下面的相关文章。

1168

2024.11.28

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1566

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

649

2023.11.24

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kotlin 教程
Kotlin 教程

共23课时 | 4.3万人学习

C# 教程
C# 教程

共94课时 | 11.2万人学习

Java 教程
Java 教程

共578课时 | 80.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号