低时延+高安全 边缘算力重要性凸显 智能模组或成AI“毛细血管”
(资料图)
《科创板日报》4月22日讯 日前,上海市经济信息化委印发《上海市推进算力资源统一调度指导意见》的通知,提出九项重点任务。任务之一要求形成枢纽型数据中心集群、城市数据中心集聚区、边缘数据中心梯次布局,并引导根据应用场景,利用存量通信机房、变电站等设施按需灵活部署边缘数据中心。
对此,近日国盛证券发布相关研究报告称,规划凸显出未来的算力将呈现从云端到边缘梯度分布的格局。 云端算力负责复杂科学计算,大模型运算推理等任务,边缘侧则凭借隐私、时延与成本三大优势,成为小模型与AI应用触及万千用户与场景的通道。
据介绍,目前,无论是需要超强硬件支撑的AI迭代与训练,还是运行要求相对较低、需求相对分散的AI推理,均在超算中心内进行,采用云生成然后发送到端的形式运作。
但随着AIGC内容愈加丰富,从文本发展到图像、视频等多模态内容,上述模式引发了一系列的问题,例如网络带宽成本高昂、时延较为严重等,进而影响到AI大模型的商业化进程与用户使用体验。
而作为算力体系的重要一环,边缘算力具有低时延、安全性高等优势。因此,国盛证券、中信证券、中金公司等机构一致认为,边缘算力不仅能够分担云端推理计算的压力,且由于其安全性高,还能够符合未来AI创作对于所有权和隐私权的要求。
智能模组则为边缘算力的最佳载体,有机构称其为AI的“毛细血管”。 智能模组是指融入了算力或通用处理芯片的通讯模组,已经应用于车机、消费等多个领域。目前,已有厂商尝试相关方案:
3月2日,高通中国公众号发布了全球首个运行于安卓手机上的Stable Diffusion终端侧演示。此前,Stable Diffusion只能在云端计算集群内运行。
3月23日,华为推出“智能搜图”功能,基于多模态大模型技术,在手机端侧对模型进行小型化处理。
中信证券认为,华为与高通一定程度上验证了高性能边缘AI的可行性,通过模型压缩叠加联网智能的方式有望在边缘端实现AI大模型的体验。在两者的示范效应下,智能物联网模组相关企业有望获得发展。
关键词: