本站 11 月 27 日消息，科技媒体 techpowerup 昨日（11 月 26 日）发布博文，报道称 amd 公司发布了 rocm 6.3 版本更新，集成了用于加速 ai 推理的 sglang，并重新设计 flashattention-2 用于优化 ai 训练和推理等等。
SGLang
AMD 表示 ROCm 6.3 更新现支持 SGLang，这是一个 Runtime，为 AMD Instinct GPU 优化大语言模型（LLMs）和视觉语言模型（VLM）的推理。
AMD 承诺通过集成 SGLang，吞吐量可以提高 6 倍，并且由于集成了 Python 和预配置的 ROCm Docker 容器，使用起来更加便捷。
FlashAttention-2
AMD 在 ROCm 6.3 中重新设计了 FlashAttention-2，相比较 FlashAttention-1，显著改进了前向和后向传递，大幅提升了 Transformer 模型的训练和推理速度。
全新 AMD Fortran 编译器
AMD 推出了全新的 Fortran 编译器，支持直接 GPU offload，并兼容之前的版本，同时完美集成 HIP 内核和 ROCm 库，为 Fortran 开发者提供了更强大的 GPU 计算能力。
增强计算机视觉库
rocDecode、rocJPEG 和 rocAL 等计算机视觉库也得到了增强，分别支持 AV1 编解码、GPU 加速 JPEG 解码和更优的音频增强功能，为图像和视频处理应用提供了更强大的支持。
ROCm简介
本站注：ROCm 是 AMD 开发的一个开放源代码软件栈，用于在 AMD 图形处理器 (GPU) 上进行编程。
它包含驱动程序、开发工具和 API，支持从底层内核到最终用户应用程序的 GPU 编程，ROCm 针对生成式 AI 和高性能计算 (HPC) 应用进行了优化，并涵盖了通用计算 (GPGPU)、高性能计算 (HPC) 和异构计算等多个领域。
