我们攒了个局，聊聊端侧模型这点事儿

 

去年10月，高通发布全新骁龙8Gen3处理器，并重点强调了这枚芯片在AI方面上的能力：支持终端侧运行100亿参数的模型，面向70亿参数大语言模型每秒生成20个token；用时不到一秒就可以在终端侧通过Stable Diffusion生成图片。

 

芯片厂商提供了基础能力，终端厂商也随即开启“你方唱罢我登场”的模式，在短短一个月内，几乎所有的手机厂商都宣布，已经在端侧跑通了自研的大语言模型。

 

同一时期，在英特尔酷睿Ultra处理器后，包括联想、华硕、惠普、戴尔在内的多家厂商，都拿出了自己的“AIPC”方案。

 

用端侧大模型把终端重做一遍，似乎是业内的共识，但一个需要被前置讨论的问题是：端侧AI存在的意义是什么？

 

目前最主流的观点是，端侧AI在效率和安全性上有着不可替代的优势。

 

效率是指，在端侧混合使用CPU、GPU和NPU，搭建异构计算架构，能够使计算效率达到最高。安全性则是说，在用户数据无需上传至云端的情况下，隐私安全的确能从根本上得到保障。

 

也有人表示，手机厂商缺少做大模型的基因，一味地拼参数没有意义。手机厂商应该打造一个完全开放的平台，供大模型平台使用，包括但不局限于向开发者提供系统权限、API文档，并开放处理器的AI算力。

 

于是，端侧模型、AI 手机、AI PC 在 2024 处于一种奇怪的境遇下——它既是当下大模型最有想象空间的商业化赛道，也似乎充满了泡沫与不确定性。 

 

我们该如何理解当下端侧模型的发展，以及其在 AGI 实现路径中，扮演的主要角色？2024年1月27日，虎嗅前沿科技组特邀面壁智能 CTO曾国洋、TGO 鲲鹏会总经理杨攀到场，和业内的CEO、CTO、分析师、投资者共聚一堂，深入地聊聊端侧模型这回事。

 

活动概况：

 

活动名称：2024 AI内参会

 

活动时间：2024年3月31日，14：00-17：00

 

活动地点：北京·虎嗅二层（万科时代中心·十里）

 

欢迎扫描下方二维码报名，我们一起讨论端侧AI的无限可能！