在当前AI大模型的推理任务中，尽管AMD、Intel和谷歌等厂商纷纷推出自家硬件方案，NVIDIA显卡依然占据绝对主导地位。除了广为人知的CUDA生态和丰富AI算子支持外，实际性能与成本表现才是决定性因素。
根据Artificial Analysis对主流推理平台的实测对比，测试聚焦于运行Llama 3.3 70B模型时，在输出速度保持30Token/s的情况下，每百万输入输出请求所需的成本。参与对比的包括谷歌TPU v6e、AMD MI300X，以及NVIDIA H100、H200和B200系列。
结果显示，NVIDIA H100每百万IO成本仅为1.06美元，H200为1.17美元，使用TensorRT优化后的B200为1.23美元，标准B200配置则为1.45美元。相比之下，AMD MI300X的成本达到2.24美元，而谷歌TPU v6e高达5.13美元。
这意味着，NVIDIA方案相较AMD具备超过两倍的成本效率优势，对比谷歌更是达到了近五倍的领先幅度，性价比差距极为显著。
即便采用尚未全面上市的高端型号B200，其成本上升也伴随着性能的大幅提升，整体仍远优于竞争对手当前产品线。
虽然目前AMD与谷歌在这一领域仍有明显差距，但二者下一代产品正在快速追赶：AMD即将推出的MI400X系列将搭载最高432GB的HBM4显存，谷歌TPU v7据称性能也将实现数倍跃升，未来格局或有变数。
不过NVIDIA并未停滞不前，已发布下一代Rubin架构GPU，预计明年起陆续落地，有望进一步拉开技术与能效的领先距离。
