microsoft昨天宣布扩大azure openai服务的可用性。通过此次扩展，澳大利亚东部、加拿大东部、美国东部 2、日本东部和英国南部的客户将能够访问流行的 openai 型号 gpt-4 和 gpt-35-turbo。在此扩展之前，azure openai 服务在美国东部、法国中部、美国中南部和西欧可用。在最近的财报电话会议上，microsoft宣布azure openai服务现在为11，000多家客户提供服务，平均每天吸引100名新客户。
Microsoft还宣布Azure ND H100 v5虚拟机（VM）系列正式发布，该系列具有最新的NVIDIA H100 Tensor Core GPU和NVIDIA Quantum-2 InfiniBand网络。此新 VM 系列专为 AI 工作负荷设计，现已在美国东部和美国中南部 Azure 区域推出。即使 VM 已正式发布，客户也必须注册其对访问新 VM 的兴趣。
ND H100 v5 虚拟机包括以下功能：
- 这些虚拟机配备了八个 NVIDIA H100 张量核心 GPU，承诺比前几代产品更快地实现 AI 模型性能。
- 第四代英特尔至强可扩展处理器是这些虚拟机的基础，可确保最佳处理速度。
- NVIDIA Quantum-2 ConnectX-7 InfiniBand 每 GPU 400Gb/s，每个虚拟机 3.2 Tb/s 的跨节点带宽，确保跨 GPU 的无缝性能，与全球顶级超级计算机的功能相匹配。
- 由于 PCIe Gen5 为每个 GPU 提供 64GB/s 的带宽，Azure 在 CPU 和 GPU 之间实现了显著的性能优势。
- DDR5 内存是这些虚拟机的核心，可提供更高的数据传输速度和效率，使其成为具有较大数据集的工作负载的理想选择。
- 与前几代中的 FP8 相比，使用新的 8 位 FP16 浮点数据类型时，矩阵乘法运算的加速率提高了六倍。
- 在 BLOOM 175B 端到端模型推理等大型语言模型中，加速速度提高了两倍，展示了它们进一步优化 AI 应用程序的潜力。
