导语：7月28日，阿里云真武M890超节点实例已经Day0适配Kimi K3，这是海内首个跑通近3万亿参数模子的超节点。两边将进一步睁开国产算力互助，千问AI平台及阿里 7月28日，阿里云真武M890超节点实例已经Day0适配Kimi K3，这是海内首个跑通近3万亿参数模子的超节点。两边将进一步睁开国产算力互助，千问AI平台及阿里云百炼也将提供Kimi K3 的模子API。 KimiK3是今朝业界参数范围最年夜的模子之一，跑通这一范围的模子需要将参数分离到几十张甚至上百张高速互联的GPU卡，让万亿参数“跑患上又稳又快”。然而，平凡AI集群因通讯带宽的局限，没法满意高吞吐、低延迟、高并发的需求。 阿里云真武超节点实例经由过程ICN Switch高速互联芯片，让64张平头哥真武M890实现800GB/s的全互联，其显存范围到达 9TB，可冲破万亿参数模子运行的算力、显存及收集带宽的瓶颈，单实例便可支撑年夜范围万亿级参数MoE模子的专家并行需求。 为晋升KimiK3的运行效率，阿里云、平头哥与Kimi团队从软件栈、算子等层面举行了深度结合适配。例如，真武M890对于Kimi K3模子架构的焦点算子举行优化，显著晋升推理的算力及带宽使用率，可不变撑持最1M长上下文，自在应答长文档理解、繁杂推理等场景。测试显示，适配后模子的首Token时延降低约35%，单卡解码吞吐晋升1.8倍。 今朝，海内外主流模子已经进入超2万亿参数范围的时代，阿里云真武超节点不仅跑通Kimi K3，还有实现了模子的高效运行，象征着国产算力已经具有支撑超年夜参数模子年夜范围运用的能力。
吉公网安备 22010202000255号