微信关注,获取更多

英特尔首度公开展示整合NPU的Core-Ultra笔记本,具备有支持70亿参数Llama-2模型的推论能力

英特尔虽然在12月14日才会推出内建NPU(神经处理单元)的AI处理器Core Ultra,但今日(11/7)英特尔抢先公开展示搭载Core Ultra处理器的AI 笔记本,除了之前公开的宏基笔记本之外,新增华硕和微星两款新Core Ultra笔记本。 此外,现场也展示使用Core Ultra笔记本执行各种生成式AI应用,包括图像生成、文字及程序生成等。

英特尔在9月底介绍最新款Core Ultra笔记本处理器,强调不只整合AI加速的NPU,提高生成式AI处理能力,还结合模块化、多晶砖设计等,提升其性能和降低功耗。

其中,华硕展示两项笔记本上的生成式AI相关应用,其中一项是文生图应用,他们在笔记本上安装了开源绘图工具GIMP,并使用OpenVINO的AI插件为其加入了Stable Diffusion文生图的功能。 用户只需输入文字,就可以在编辑界面中自动生成符合文字叙述的场景和人物图像,例如输入「格鲁特在公园跳舞」的英文字 就可以生成相对应的图像。 此外,用生成式AI产出的图片还可以通过另一个AI模型将图片放大4倍。

执行70亿参数的Llama 2大型语言模型推论则是另一项应用展示,这是以Llama 2 7B为基础进行微调的繁中版本,并整合到Core Ultra平台中,可以用中文回答使用者的问题,或是根据提示生成一段程式码。 为了要能够执行Llama 2 7B模型,该模型大小也经过压缩,在确保维持原有正确性的前提下,将模型大小从6~7GB降到3~4GB,并使用OpenVINO进行优化。

华硕人员表示,由于 LLM模型是直接在笔记本中执行,因此可以支持离线环境的使用。 根据他们的说法,输入一段文字后,平均每10秒内就会开始自动生成文字。 不过,实际测试可能需要等待更长的时间。

不过,华硕展示的Core Ultra笔记本并没有用NPU来执行Llama 2模型,而是仅先使用GPU来执行。 英特尔人员表示,未来也可以使用NPU来执行这个任务。 目前华硕和英特尔持续对该模型在笔记本中的执行进行优化。

宏碁展示了用Core Ultra笔记本执行图像生成模型,可以在笔记本桌面屏幕中自动生成动态立体的航天员壁纸,还可以利用笔记本前置镜头来追踪用户的脸部轮廓,让壁纸可以朝着用户视角移动。 此外,还可以利用工具将2D平面图像转为3D裸眼立体图。

另一家笔记本厂商微星则是用Core Ultra笔记本展示影片后制的相关应用,如使用Wondershare Filmora视频编辑软件新增和预览新特效及背景图,过程全都使用NPU来执行。

展示了使用该款笔记本执行XSplit视频软件的情况,其中使用NPU来执行任务,比起完全依赖CPU执行,可以有效降低CPU工作负载,从2成降到1成多。

未经允许不得转载:值得买 » 英特尔首度公开展示整合NPU的Core-Ultra笔记本,具备有支持70亿参数Llama-2模型的推论能力

催更~发根烟不过分吧!

微信扫一扫打赏