帖子

英伟达新卡跑AI超越4张5090!功耗还更低

当AI推理的“堆卡哲学”遭遇单卡逆袭——NVIDIA RTX Pro 6000 Blackwell正悄然改写规则。在最新实测中,这张96GB显存的专业新卡,面对2300亿参数的MiniMax M2.7模型(IQ3_XXS量化、32K上下文、4096最大token),交出118.74 tok/s的生成速度与765ms首token延迟(TTFT)。

横向一比,震撼立现:它几乎追平四张RTX 5090(120.54 tok/s,725ms TTFT),大幅甩开四张RTX 4090(71.52 tok/s,1045ms TTFT);而定位数据中心的DGX Spark(128GB)反而仅录得24.41 tok/s——显然不在同一赛道。

更值得玩味的是功耗表现:单卡方案天然规避多卡通信开销与散热冗余,效率优势肉眼可见。这并非纸上谈兵——数据就在那里:一张Pro 6000,干掉了过去需要四块顶级消费卡才能勉强企及的吞吐量。AI本地化浪潮里,高密度、低功耗、即插即用的专业卡,正从边缘走向中心。

img_1.jpg img_2.png
https://www.fireself.cn/post/6vFkIAoh

未登录无法操作

评论 0

列表为空,暂无内容
须弥技术

专业PHP开发,运维技术社区

打开 App