科技

全球首发!无问芯穹发布千卡规模异构芯片混训平台,大幅提高算力利用率

2024-07-08   

不完全统计,宣布拥有千卡规模的中国算力集群已不少于100个,绝大部分集群已经或正在从同构转向异构。“生态竖井”的存在让大多数企业和开发者对此望而却步,即便算力集群众多,也难以实现有效的整合与利用,这无疑是对算力资源的浪费。“生态竖井”不仅成为构建AI Native基础设施的最大难点,也是当前大模型行业面临“算力荒”的重要原因。

构建适应多模型与多芯片格局的AI Native基础设施,无问芯穹的底层解法是,提供高效整合异构算力资源的好用算力平台,以及支持软硬件联合优化与加速的中间件,让异构芯片真正转化为大算力。这一系列研、产进展背后,是无问芯穹研发团队在异构芯片计算优化与集群系统设计上的强大实力支撑。

近日,无问芯穹与清华、上交的联合研究团队发布了HETHUB,这是一个用于大规模模型的异构分布式混合训练系统,这是业内首次实现六种不同品牌芯片间的交叉混合训练,且工程化完成度高。夏立雪介绍,这项技术工程化的初衷,是希望能够通过整合更多异构算力,继续推高大模型技术能力的上限,同时通过打通异构芯片生态,持续降低大模型应用落地成本。

引领“MxN”生态格局的AI Native基础设施建设,让天下没有难用的AI算力

当前,大模型行业发展正在进入规模化产业落地阶段,应用场景的百花齐放,带来了对大模型训练日益迫切的需求,巨大的市场前景,使得基础模型和算力芯片的行业玩家迅速攀升。构建大模型时代的AI Native基础设施,不仅能够为AI开发者提供更加通用、高效、便捷的研发环境,同时也是实现算力资源有效整合,支撑AI产业可持续发展的关键基石。

无问芯穹具备顶尖的AI计算优化能力与算力解决方案能力,以及对“M种模型”与“N种芯片”行业格局的前瞻判断,率先构建了“MxN”中间层的生态格局,实现多种大模型算法在多元芯片上的高效、统一部署。 截止目前,Infini-AI已支持了Qwen2、GLM4、Llama3、Gemma、Yi、Baichuan2、ChatGLM3系列等共30多个模型,以及AMD、华为昇腾、壁仞、寒武纪、燧原、海光、天数智芯、沐曦、摩尔线程、NVIDIA等10余种计算卡。

无问芯穹致力于成为AI Native 基础设施领跑者,未来将继续突破异构算力优化与集群系统设计的技术上限,持续拓展模型层和芯片层的上下游生态伙伴力量,共同实现“MxN”的有效打通、利用和整合,构建真正适应多模型与多芯片的AI Native基础设施,让天下没有难用的AI算力,助力推动大模型在各行业中的应用创新。

“技术上限推高与技术落地扩散不矛盾,且取决于我们决心如何对待这个技术。”夏立雪表示,今天说让大模型成本下降10000倍,就像30年前说让家家户户都通电一样。优良的基础设施就是这样一种“魔法”,当边际成本下降到临界值,就能有更多的人拥抱新技术。(瞭新社)

编辑:熊大飞 责任编辑:李响

来源:文汇网

特别声明:本站转载或引用之图文若侵犯了您的合法权益,请与本站联系,本站将及时更正、删除。版权问题及网站合作, 请通过瞭望新时代邮箱联系:lwxsd@liaowanghn.com

推荐阅读 换一换

友情链接