copy发布了XGen,这是首个AI加速工具链,可协同优化深度神经网络(DNN)的模型和代码,使AI模型在设备上使用时更小、更快,同时保持准确性。目前的版本主要针对智能手机。这是CoCoPIE努力清除人工智能在终端设备上部署的长期障碍的第一个重要里程碑。
如今,云中的DNN技术已经显示出其潜力,直接在终端设备上部署AI模型的市场需求近年来日益强劲。服务提供商和设备制造商希望在终端设备上运行AI模型,为客户提供更好的体验,并节省运营成本。有时,为了避免数据传输到云端的数据隐私,或为了避免云连接导致业务失败的数据本地,必须在端设备上部署AI。然而,在终端设备上部署人工智能是一项挑战。目前重要的AI模型大多是为云部署设计的,有数十亿个参数和操作,依靠云服务器的高计算能力来运行。在终端设备上运行模型需要减少多次模型大小和模型执行时间。现有的工具有孤立的解决方案,要么优化AI模型的大小,要么优化执行速度,导致不满意的结果,并使AI能力在很大程度上锁定在设备上。
cocopy XGen通过其在AI模型的压缩、编译和运行时中的专有协同设计技术解决了这一挑战。该技术以高比率压缩AI模型,同时仍然保持模型表示友好,以实现高效的代码生成。同时,它对生成的代码进行定制,以最佳地映射和调度压缩模型到硬件。
使用copopy XGen,输入的AI模型可以转化为直接部署的代码,具有较大的加速、更小的尺寸和显著的电力节省,同时保持模型的精度达到用户的满意度。copyie XGen是一个低代码工具。用户只需要通过其直观的用户界面输入他们的AI需求;然后,XGen自动执行模型和代码的协同优化,并生成所需的代码,准备集成到最终应用程序中。在第一个版本中,它支持与Android和iOS的应用程序集成。未来的版本将支持更多的目标平台和系统。copyie XGen还提供了完全的可控性,因此用户可以根据需要完全定制优化。
copyie XGen的卓越优化能力使无处不在的AI部署在现成的设备上成为可能,而无需依赖专门的硬件支持。跨平台实时视频超分辨率(CRSR)就是一个例子,它是一种人工智能技术,可以实时提高智能手机上的低分辨率视频的分辨率。在这种copyie技术之前,通过特殊的硬件支持,超分辨率只能在大型服务器或高端智能手机上实现。由于cocopy XGen的卓越优化,CRSR提供了前所未有的解决方案,可以在当前的所有智能手机(包括低端手机)上实时提供高质量的视频。
通过消除终端设备上的人工智能的关键障碍,copyie XGen允许企业利用设备人工智能的巨大市场,这是他们无法触及的。
“通过CoCoPIE XGen,企业可以显著提高其在终端设备上的AI能力,”CoCoPIE联合创始人兼首席执行官李晓峰博士说。“智能手机是消费者日常生活中必不可少的一部分。通过消除部署障碍,CoCoPIE XGen的首次发布将有助于解锁移动AI的巨大市场潜力。我们很高兴与我们的合作伙伴合作,通过CoCoPIE XGen提高他们的竞争优势,并加速快速增长的设备AI行业。”
copyie XGen的第一个版本是一个内部软件工具集。用户可以在自己的机器上安装和使用它,因此不需要担心隐私和数据机密性。XGen可以部署在单个计算机上以供个人使用,也可以部署在可扩展使用的计算机集群上。
标签:
版权声明:本文由用户上传,如有侵权请联系删除!