那个爱穿皮衣的男人带着英伟达的最新超级芯片GH200 Grace Hopper又来了。在计算机图形和交互技术会议SIGGRAPH上,英伟达CEO黄仁勋一袭黑皮衣,对台下数千名观众表示,“生成式人工智能时代即将到来,如果你相信的话,那就是人工智能的iPhone时代。”
(资料图)
这是继NVIDIA GH200爆火后,英伟达今年的二度炫技。颇有“产能供应不上,就在性能卷死大家”的意思。除了英伟达外,AMD、英特尔等国内外各大厂也在疯狂赶追这波AI热潮。
业界消息显示,全球多数大模型都在使用英伟达的GPU芯片,据TrendForce集邦咨询研报,预计AI芯片2023年出货量将增长46%。英伟达GPU是AI服务器市场搭载主流,市占率约60%到70%。
与当前一代产品相比,英伟达新一代GH200拥有基本相同的“基因”:其 72 核 Arm Neoverse V2 Grace CPU、Hopper GPU 及其 900GB/秒 NVLink-C2C 互连均保持不变。核心区别是它搭载了全球第一款HBM3e内存,将不再配备今年春季型号的 96GB HBM3 vRAM 和 480GB LPDDR5x DRAM,而是搭载500GB的LPDDR5X以及141GB的HBM3e存储器,实现了5TB/秒的数据吞吐量。
简单而言,这是世界上第一款配备HBM3e内存的芯片,能够将其本地GPU内存增加50%。这也是专门对人工智能市场做的“特定升级”,因为顶级生成式AI往往尺寸巨大却内存容量有限。
HBM3 VS HBM3e(图片来源:英伟达)
英伟达表示,HBM3e内存技术带来了50%的速度提升,总共提供了10TB/秒的组合带宽。能够运行比先前版本大3.5倍的模型,并以3倍的内存带宽提高性能。
根据TrendForce集邦咨询最新报告指出,以HBM不同世代需求比重而言,TrendForce集邦咨询表示,2023年主流需求自HBM2e转往HBM3,需求比重分别预估约是50%及39%。随着使用HBM3的加速芯片陆续放量,2024年市场需求将大幅转往HBM3,而2024年将直接超越HBM2e,比重预估达60%,且受惠于其更高的平均销售单价(ASP),将带动明年HBM营收显著成长。
以竞争格局来看,目前SK海力士(SK hynix)HBM3产品领先其他原厂,是NVIDIA Server GPU的主要供应商;三星(Samsung)则着重满足其他云端服务业者的订单,在客户加单下,今年与SK海力士的市占率差距会大幅缩小,2023~2024年两家业者HBM市占率预估相当,合计拥HBM市场约95%的市占率,不过因客户组成略有不同,在不同季度的位元出货表现上恐或有先后。美光(Micron)今年专注开发HBM3e产品,相较两家韩厂大幅扩产的规划,预期今明两年美光的市占率会受排挤效应而略为下滑。
结合业界消息,三星电子计划于今年底开始HBM3生产,并计划投资数千亿韩元,将忠南天安工厂的HBM产能提高一倍。从第四季度开始,三星的HBM3也将供应英伟达,当前英伟达高端GPU HBM芯片由SK海力士独家供应
据英伟达官方消息,其最新的GH200产品需要到明年二季度才投产,其售价暂未透露。这其中一个重要原因是HBM3e将在明年才会供货,市场消息显示,三星和SK海力士预计将于明年第一季度发布HBM3E样品,并于2024年下半年开始量产。美光方面,则选择跳过HBM3,直接开发HBM3e。届时,依靠新款英伟达芯片,AI大模型有望迎来新一轮的爆发。
据TrendForce集邦咨询观察HBM供需变化,2022年供给无虞,2023年受到AI需求突爆式增长导致客户的预先加单,即便原厂扩大产能但仍无法完全满足客户需求。展望2024年,TrendForce集邦咨询认为,基于各原厂积极扩产的策略,HBM供需比(Sufficiency Ratio)有望获改善,预估将从2023年的-2.4%,转为0.6%。
AI这个巨大的千亿市场,不只是英伟达一家的游戏,AMD和英特尔也在加速追赶,希望分得一杯羹。
英特尔在2019年以约20亿美元价格收购了人工智能芯片制造商HABANA实验室,进军AI芯片市场。今年8月,在英特尔最近的财报电话会议上,英特尔首席执行官Pat Gelsinger表示,英特尔正在研发下一代Falcon Shores AI超算芯片,暂定名为Falcon Shores 2,该芯片预计将于2026年发布。
除了Falcon Shores 2之外,英特尔还推出AI芯片Gaudi2,已经开始销售,而Gaudi3则正在开发中。业界认为,目前Gaudi2芯片的热度不及预期,这主要在于Gaudi2性能难以对英伟达H100和A100形成有效竞争。
英特尔研究院副总裁、英特尔中国研究院院长宋继强近日表示:“在这一波大模型浪潮当中,什么样的硬件更好并没有定论。”他认为,GPU并非大模型唯一的硬件选择,半导体厂商更重要的战场在软件生态上。芯片可能花两三年时间就做出来了,但是要打造芯片生态需要花两倍甚至三倍的时间。英特尔的开源生态oneAPI比闭源的英伟达CUDA发展可能更快。
AMD也在加速追赶。今年6月,AMD举行了新品发布会,发布了面向下一代数据中心的APU加速卡产品Instinct MI300,直接对标H100。这颗芯片将CPU、GPU和内存全部封装为一体,从而大幅缩短了DDR内存行程和CPU-GPU PCIe行程,从而大幅提高了其性能和效率。
Instinct MI300将于2023年下半年上市。AMD称Instinct MI300可带来MI250加速卡8倍的AI性能和5倍的每瓦性能提升(基于稀疏性FP8基准测试),可以将ChatGPT和DALL-E等超大型AI模型的训练时间从几个月减少到几周,从而节省数百万美元的电费。
此外,谷歌、亚马逊、特斯拉等也都在设计自己的定制人工智能推理芯片。除了国外大厂,国内的芯片企业也迅速入局,其中,昆仑芯AI加速卡RG800、天数智芯的天垓100加速卡、燧原科技第二代训练产品云燧T20/T21均表示能够具有支持大模型训练的能力。
标签:
仓储物流“成渝圈”如何乘势而上? 12月3日,连接昆明和万象的中老铁路全线开通运营,被惠及的显...
两件西周青铜簋时隔三千年成功配对 考古工作者介绍,这个铜簋的盖、身分别时隔40余年出土,纹饰...
“医保砍价”不是一个人在战斗 晁星 “我眼泪都快掉下来了”“每一个小群体都不该被放弃”…...
“购物成瘾”真的是一种病 刘艳 牛雅娟 本周日即将迎来“双十二”促销季,很多人又开始摩拳...
因迷恋山间风景,一男子在甘孜州稻城县海拔4000多米的无人区迷失方向,随后与同伴失联。12月的稻城...
嫌疑人DNA信息比中后,成都市公安局刑侦支队技术处DNA实验室民警白小刚一下坐在凳子上,恍惚迟疑间...
一批反映南京大屠杀历史的新书发布 新华社南京12月7日电(记者邱冰清、蒋芳)“以史为鉴,开创未来...
我在现场·照片背后的故事|电影《亲爱的》里面没有的结局,在我眼前“上映” 12月6日,在深圳市...
冥想?泡脚?不如听听助眠音乐 晚上睡不着,白天睡不醒,成为最贴合都市人群的“睡眠画像”。随...
养老话题 老年教育面临缺口 “终身教育”潜力无限 【现实挑战】“新老年”群体愿意在培养兴...
孙海洋被拐14年儿子如何找到的? 警方侦办另一宗拐骗儿童案时发现线索,通过人像比对、DNA确认找...
北京天文馆、圆明园将对未成年人免费开放 12月6日,北京天文馆发布通知称,12月8日起试行对未成...
今年全国粮食总产量再创新高 连续7年保持在1 3万亿斤以上 根据对全国31个省(区、市)的抽样调...
斑块软的很危险 硬的就无碍? 血管里的“垃圾”分类 赶快学起来! 一项最新研究显示:中国...
诺西那生钠注射液大幅降价 聚焦医保谈判背后脊髓性肌萎缩症家庭 医保目录公布那天 好多家长都...
抖音“窗花剪剪”遭抄袭 被判获赔20万元 法院认为“窗花剪剪”的这种表达方式理应受到《著作权...
公安机关近日侦破3起拐卖儿童案件 失散十几年 3组家庭终于团圆了 北京青年报记者12月6日从公...
2021年度十大网络用语发布 本报讯(记者 路艳霞)作为年度“汉语盘点”活动最具网络特色的组成部...
北京天文馆向未成年人免费开放 本报讯(记者 牛伟坤)北京天文馆对票价免费及优惠政策作出调整:1...
2021北京百个网红打卡地发布 本报讯(记者 李洋)2021北京网红打卡地推荐榜单昨晚正式发布。自然...