微信关注,获取更多

NVIDIA公布NVIDIA-H200-Tensor-Core-GPU,搭载HBM3e显存:带宽快2.4倍、容量翻倍

NVIDIA在SC24大会宣布NVIDIA H100的强化版本NVIDIA H200 Tensor Core GPU,核心架构仍基于Hopper,主要在于提升显存的频宽与容量,采用具备4.8TB/s带宽、141GB的HBM3e内存,借此提升整体算力; NVIDIA H200设计与NVIDIA H100具兼容性,系统业者可沿用NVIDIA H100系统设计置换NVIDIA H200。

服务器制造商与云端服务业者预计于2024年第二季推出NVIDIA H200的系统与服务。

NVIDIA H200是首款配置HBM3e的GPU,HBM3e为NVIDIA H200带来高达141GB的内存容量,与4.8TB/s的内存带宽,相较NVIDIA H100容量几乎翻倍、带宽提升达2.4倍,对于生成式AI、大型语言模型还有HPU都有显著的帮助;在实质上的表现,于GPT-3 175B的推论效能提升1.6倍,Llama2 70B推论提升1.9倍,HPC模拟则可提升2倍效能;NVIDIA也将持续透过软件更新持续提升效能。

▲搭载8路H200的系统具备1.1TB的内存与 32petaflops的FP8效能,有助于执行生成式AI与HPC负载

NVIDIA H200将提供具4路与8路配置的NVIDIA HFX H200服务器主板,具有与JGX100系统的兼容性,并亦可搭配同样具备HBM3e的NVIDIA GH200 Grace Hopper SuperChip使用。 基于8路HGX 200的系统可提供超过32 petaflops的FP8深度学习运算效能与高达1.1TB的HBM3e内存,有助于执行生成式AI与高效能运算,当搭配GH200时,则可做为大规模HPC与AI应用的整合模块。

全球生态系合作伙伴服务器制造商,包括永擎电子、华硕、戴尔科技集团、Eviden、技嘉科技、慧与科技、鸿佰科技、联想、云达科技、美超微、纬创资通和纬颖科技,都可以使用基于H200的直接替换方式来更新其基于H100 的系统。 除了CoreWeave、Lambda和 Vultr之外,从明年开始,亚马逊网络服务、Google Cloud、Microsoft Azure和Oracle Cloud Infrastructure也将成为第一批部署基于 H200 执行个体的云服务供应商。

未经允许不得转载:值得买 » NVIDIA公布NVIDIA-H200-Tensor-Core-GPU,搭载HBM3e显存:带宽快2.4倍、容量翻倍

评论

2+8=

催更~发根烟不过分吧!

微信扫一扫打赏