滴滴云扩大引入NVIDIA A100 GPU（裸金属服务器继续限免测试）

NVIDIA GTC China大会在线上召开，英伟达官宣，滴滴云位列NVIDIA A100 中国顶级云服务提供商，为企业和行业的各种AI应用提速。

滴滴云开放测试后，收到了大量用户测试申请，用户反馈良好。依托实际测试结果，滴滴云推出两篇A100深度解密文章：GPU 峰值计算那些事、TF32 初体验。用数据事实说话，A100 TF32 Tensor Core 峰值计算能力约为 155.9 TFLOPS，而 V100 FP32 峰值计算能力约为 15.667 TFLOPS，二者相差 10 倍左右。如果引入稀疏化，性能还能再翻倍。

NVIDIA A100 GPU介绍

NVIDIA A100融合了超540亿个晶体管，是目前全世界最大尺寸的7nm制程处理器，内有6912个CUDA核心、40GB运行内存，以及内存网络带宽达1.6TB/s，张量计算核心内容性能大幅度提高，TF32性能达156万亿次/秒，如果利用稀疏性，其计算能力可翻倍达到312万亿次/秒。

NVIDIA A100有以下值得注意的创新推动力：

• NVIDIA 全新安培 Ampere 架构——A100 的核心是 NVIDIA Ampere GPU 架构，它包含超过 540 亿个晶体管，使其成为世界上最大的 7 纳米处理器。
• NVIDIA A100 Tensor Core GPU 基于最新的 Ampere 架构，相比上一代 NVIDIA V100 GPU 增加了许多新特性，在 HPC、AI 和数据分析领域都有更好的表现。A100 为 GPU 计算和深度学习应用提供了超强扩展性，可以运行在单卡或多卡 GPU 工作站、服务器、集群、云数据中心、 边缘计算系统以及超算中心。A100 GPU 可以构建灵活，弹性且高性能的数据中心。
• 多实例 GPU (Multi-instance GPU)——MIG，一个新的技术特性，可以将一个 A100 GPU 分割成多达 7 个单独的 GPU，这样它就可以为不同大小的任务提供不同程度的计算，提供最优的利用率和最大的投资回报。
• 新的 TensorFloat-32 (TF32) 核心运算单元让 A100 在 DL 框架和 HPC 中轻松加速以 FP32 作为输入/输出数据的运算，比 V100 FP32 FMA 操作快10倍，稀疏优化（sparse）下可以达到20倍。在 FP16/FP32 的混合精度下也能达到V100 的 2.5 倍，稀疏优化后达 5 倍。
• 新的 Bfloat16(BF16)/FP32 混合精度 Tensor Core 运算单元和 FP16/FP32 混合精度以相同的频率运行。Tensor Core 对 INT8、INT4 和 INT1 的加速为 DL 推理提供了全面支持，A100 sparse INT8 比 V100 INT8 快 20 倍。在 HPC 中，A100 Tensor 核心的 IEEE 兼容 FP64 处理让它的表现是 V100的 2.5 倍。
• A100 GPU 的设计具有广泛的性能扩展性。客户可以使用 MIG GPU 分区技术共享一个 A100 ，或者在强大的全新 NVIDIA DGX:tm: 、NVIDIA HGX:tm: 和 NVIDIA EGX:tm: 系统中使用多个 A100 GPU，并通过全新的第三代NVLink:registered: 高速互连进行连接
• NVIDIA A100 GPU 是首款弹性 GPU 架，能够利用NVLink、NVSwitch 和 InfiniBand 扩展到巨型 GPU，或利用 MIG 扩展到支持多个独立用户。

滴滴云GPU和机器学习产品全面拥抱A100

作为英伟达的长期合作伙伴，滴滴云已经开放购买基于A100的GPU裸金属服务器产品，即将上线基于NVIDIA A100 GPU的云服务器产品系列，包括GPU云服务器产品、vGPU云服务器产品以及可根据用户需求定制的裸金属服务器产品。该产品系列将为深度学习训练/推理、数据分析、科学计算、基因工程、云游戏等场景提供云端加速服务。为了更好发挥 A100 混合精度训练和推理性能，滴滴云为客户提供了 NGC 镜像加速功能，支持快速部署 TensorFlow 1.x/2.x、PyTorch、MXNet 等性能优化版 AI 训练框架和 TensorRT推理框架，节省初次安装环境时间。

滴滴云机器学习工作室（DAI）Notebook服务也将增加对A100 GPU的支持。Notebook基于Jupyter笔记本，通过A100 GPU的算力支持可帮助机器学习开发者构建、训练对算力要求更高的复杂机器学习模型。基于客户需求与产品优良的性能，滴滴云将扩大引入 NVIDIA A100，本文转自滴滴云公众号，请移步原文申请。