0

0

图片迟迟加载不了、一片马赛克?谷歌开源模型优先显示图像受关注部分

WBOY

WBOY

发布时间:2023-04-13 17:10:03

|

1177人浏览过

|

来源于51CTO.COM

转载

当观察一副图像时,你会先注意图像的哪些内容,或者说图像中的哪些区域会首先吸引你的注意力,机器能否学会人类的这种注意力形式。在来自谷歌的一项研究中,他们开源的注意力中心模型(attention center model)可以做到这一点。并且该模型可用于 JPEG XL 图像格式上。

举例来说,下图是注意力中心模型的一些预测示例,其中绿点为预测的图像的注意力中心点。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

图像来自 Kodak 图像数据集:http://r0k.us/graphics/kodak/

注意力中心模型大小为 2MB,格式为 TensorFlow Lite。它以 RGB 图像作为输入,并输出一个 2D 点,该点是图像上的预测注意力中心点。

为了训练模型来预测注意力中心,首先需要一些来自注意力中心的真实数据。给定一张图像,一些注意力点可以通过眼动仪收集,或者通过鼠标点击图像来接近。该研究首先对这些注意点进行时间滤波,只保留最初的注意力点,然后应用空间滤波去除噪声。最后,计算剩余注意力点的中心作为真值注意力中心。下面显示了获取真值过程的示例说明图。

图片

项目地址:https://github.com/google/attention-center

注意力中心模型架构

注意力中心模型是一个深度神经网络,以一张图像为输入,使用预训练分类网络如 ResNet、MobileNet 等作为骨干。从骨干网络输出的几个中间层被用作注意力中心预测模块的输入。这些不同的中间层包含不同的信息,例如,浅层通常包含较低层次的信息,如强度 / 颜色 / 纹理,而更深层次通常包含更高、更语义的信息,如形状 / 目标。

注意中心预测采用卷积、反卷积调整算子,并结合聚合和 sigmoid 函数,生成注意力中心的权重图。然后一个算子(在例子中是爱因斯坦求和算子)可用于从加权图中计算中心。预测注意力中心和真实注意力中心之间的 L2 范数作为训练损失。

图片

此外 JPEG XL 是一种新的图像格式,允许用户在对图像编码时,确保有趣的部分率先显示。这样做的好处是,当用户在网上浏览图像时,图像中吸引人的部分可以率先显示出来,也就是用户首先看到的部分,在理想情况下,一旦用户看向图片其余地方时,图像的其他部分也已经就位并已解码。

在 JPEG XL 中,图像通常被划分为大小为 256 x 256 的矩阵, JPEG XL 编码器将在图像中选择一个起始组,然后围绕该组生成同心正方形。Chrome 浏览器从 107 版增加了对 JPEG XL 图像的渐进解码功能。目前,JPEG XL 还是一个实验性的产物,在 chrome://flags 中通过搜索 jxl 即可启用。

要想了解渐进式加载 JPEG XL 图像的效果,可以访问网址进行查看:

AdMaker AI
AdMaker AI

从0到爆款高转化AI广告生成器

下载

https://google.github.io/attention-center/

相关文章

谷歌浏览器
谷歌浏览器

谷歌浏览器Google Chrome是一款可让您更快速、轻松且安全地使用网络的浏览器。Google Chrome的设计超级简洁,使用起来得心应手。这里提供了谷歌浏览器纯净安装包,有需要的小伙伴快来保存下载体验吧!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

4

2026.01.16

全民K歌得高分教程大全
全民K歌得高分教程大全

本专题整合了全民K歌得高分技巧汇总,阅读专题下面的文章了解更多详细内容。

3

2026.01.16

C++ 单元测试与代码质量保障
C++ 单元测试与代码质量保障

本专题系统讲解 C++ 在单元测试与代码质量保障方面的实战方法,包括测试驱动开发理念、Google Test/Google Mock 的使用、测试用例设计、边界条件验证、持续集成中的自动化测试流程,以及常见代码质量问题的发现与修复。通过工程化示例,帮助开发者建立 可测试、可维护、高质量的 C++ 项目体系。

10

2026.01.16

java数据库连接教程大全
java数据库连接教程大全

本专题整合了java数据库连接相关教程,阅读专题下面的文章了解更多详细内容。

33

2026.01.15

Java音频处理教程汇总
Java音频处理教程汇总

本专题整合了java音频处理教程大全,阅读专题下面的文章了解更多详细内容。

15

2026.01.15

windows查看wifi密码教程大全
windows查看wifi密码教程大全

本专题整合了windows查看wifi密码教程大全,阅读专题下面的文章了解更多详细内容。

42

2026.01.15

浏览器缓存清理方法汇总
浏览器缓存清理方法汇总

本专题整合了浏览器缓存清理教程汇总,阅读专题下面的文章了解更多详细内容。

7

2026.01.15

ps图片相关教程汇总
ps图片相关教程汇总

本专题整合了ps图片设置相关教程合集,阅读专题下面的文章了解更多详细内容。

9

2026.01.15

ppt一键生成相关合集
ppt一键生成相关合集

本专题整合了ppt一键生成相关教程汇总,阅读专题下面的的文章了解更多详细内容。

6

2026.01.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Django 教程
Django 教程

共28课时 | 3.1万人学习

Go 教程
Go 教程

共32课时 | 3.8万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 2.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号