完成融资后,趋境科技将在研发投入上加大力度,加速大模型推理软硬一体工作站和服务器等产品的迭代升级,同时全力推动更高性能的大模型推理引擎的研发与落地应用,助力更多企业在大模型领域实现落地实践。
值得一提的是本轮融资的行业背景。今年春节过后,能源、通信、汽车、金融、建筑等多个领域的国央企相继宣布完成DeepSeek大模型私有化部署。就连英伟达特供中国的“阉割版”AI芯片H20,也因 DeepSeek模型部署需求而翻红。
不过,「甲子光年」留意到,千亿参数模型私有化部署仍困难重重。成本高昂、推理耗时久,中小企业预算压力巨大,部分企业无奈选用轻量化模型,这在一定程度上牺牲了模型的智能化水平。
也就是说,从 “能用” 到 “好用”,还有很长的路要走。
IDC数据显示,中国AI算力市场将从2024年的190亿美元增长到2028年的552亿美元。未来五年,中国推理算力需求年复合增速将达190%。为了进一步帮企业减轻负担,行业迫切需要高性价比的AI Infra解决方案。
趋境科技这家成立仅一年多的企业,凭借 “以存换算” 和全系统异构协同优化的创新路径,成功突破了千亿参数模型落地过程中的 “成本高企” 与 “性能折损” 双重困境,成为AI Infra领域备受瞩目的新兴力量。
那么,它究竟是如何做到的?
1.以存换算与全系统异构协同,释放推理潜能
清华系团队是AI Infra赛道的中流砥柱,趋境科技也是其中的佼佼者。该公司成立于2023年底,由真知创投创始人任旭阳、清华大学计算机科学与技术系教授武永卫联合发起,核心管理团队,包括CEO艾智远、首席战略官陈超、研发负责人陈祥麟,均出身武永卫教授门下,创业前在业内知名企业主导关键产品的研发与交付。
清华大学的KVCache.AI团队,也是趋境科技的长期深度技术合作伙伴。双方的合作使趋境科技兼具领先的技术创新视角和产品实践视角。双方优势互补,为突破效率、效果、成本所构成的“不可能三角”,提供了新的解决思路和探索方向。
早在去年7月,趋境科技与清华KVCache.AI团队就前瞻性地提出GPU/CPU的异构协同推理架构,并合作开源 KTransformers项目。借助该项目,仅需单个消费级GPU配合CPU,就能完成数千亿规模的高效稀疏大模型推理。
今年2月10日,更新后的KTransformers宣布支持DeepSeek-R1/V3 671B大模型,迅速在国内外社区引发强烈反响,GitHub星标在短短几天内突破1万,开发者们纷纷自行复现并发布部署教学视频。有B站up主的教学视频发布当天播放量超过20万,登上全站热搜榜第一名。
在个人用户的单并发使用场景下,从开发者复现的数据来看,该更新实际内存占用约380G,显存占用约14G,一些用户计算发现,其成本不到7万元。在开源社区里,甚至还有开发者用5000成本自行搭配硬件,复现了单并发在4-5tokens/s输出速度的方案。
基于以存换算和全系统异构协同的核心技术,趋境科技近期还推出产品——AI大模型推理软硬一体工作站,将DeepSeek大模型起步部署门槛降低90%。
工作站面向中低并发场景,单台塔式机器即可支持DeepSeek 671B参数模型的流畅推理,还支持各主流大模型的推理,最多可同时支持3个大模型的并发服务。该工作站采用液冷散热与软硬一体设计,运行安静无噪,内置AI办公套件,做到了“开箱即用”,让中小团队以较低成本获得强大的推理能力。
还没有评论,来说两句吧...