创业3年、团队仅12人，这个硅谷公司把端侧AI 做进了高通

本文来自微信公众号： 硅星人Pro ，作者：吴瑞琪，原文标题：《创业 3 年、团队仅 12 人，这个硅谷公司把端侧 AI 做进了高通》

很多人以为，把一个大模型放进手机或电脑，就像下载一个App一样简单。

实际上，手机、电脑和智能硬件的芯片各不相同，同一个模型换一台设备，往往就要重新适配。开发者不仅要让它跑起来，还要解决速度、耗电和稳定性问题。

在云端，这套工作已经有成熟的工具。但是在终端设备，尤其是新一代设备里专门处理AI任务的计算单元（NPU）上，工具几乎是空白：一个新模型发布后，常常需要数周甚至数月的适配。

端侧AI现在到底发展到哪一步？NPU First解决的究竟是什么问题？一家已经形成开发者影响力的创业公司，为什么认为加入芯片平台是更好的路径？

近期，硅星人与Nexa AI联合创始人Alex Chen进行了对话。以下为对话实录，经不改变原意的编辑。

硅星人：Nexa AI最早是怎么与高通产生联系的？一开始有正式的技术或产品合作吗？

Alex：我们一直在做on-device AI，也有自己的开源项目Nexa SDK。高通在过去很长一段时间里，都把端侧AI作为核心战略。相比之下，英伟达、AMD等芯片公司的绝对重点还是云端AI。

我们大约从2024年10月开始关注高通。当时我们在为Nexa SDK找客户，发现很多需要端侧AI的客户使用的是高通芯片。但高通芯片不像英伟达那样有非常成熟的CUDA框架，要在上面部署模型仍然比较困难。所以我们投入了很多精力，研究怎么把模型部署到高通芯片上。

一开始，我们和高通内部没有任何正式联系。到2025年8月，我们对产品做了一次很重要的升级，把NPU推理作为重点。因为当时已经有很多设备配备NPU，但NPU的推理逻辑与GPU不同，软件生态也不理想。我们觉得这是创业公司的机会。

产品发布后，很快引起了高通两位同事的注意。其中一位主要负责合作伙伴和开发者关系。他不断把我们介绍给高通内部的不同团队，我们的项目后来也经常出现在高通的官方账号上，他们还为我们写了不少博客。整个过程逐渐引起了管理层的关注，最后走到收购，我觉得是水到渠成。

硅星人：从哪一次产品验证开始，双方真正开始讨论收购？

Alex：因为我们的软件是开源的，所有人都可以直接试用。后来，高通负责开发者关系的负责人把我们介绍给了Qualcomm Ventures团队。Ventures的投资人体验过产品后觉得很有意思，又把我们推荐给了一位负责相关业务的VP，之后我们也向高通的一位EVP介绍了整个项目。

这位VP自己深度试用了我们的产品。他发现，无论是在性能还是模型质量上，我们相比高通当时已有的方案都有一定优势。除此之外，还有一点让他们印象特别深刻：我们支持新模型的速度非常快。

按照当时行业里的常见节奏，一款新模型发布后，从完成适配到在特定芯片上稳定运行，往往需要两三个月时间。我们当时基本已经做到了“Day-0 Support”，也就是模型发布当天，就能够在软件框架里完成支持。

对于开发者来说，这意味着可以第一时间使用最新模型；而对于芯片厂商来说，它的意义更大。因为越早证明自己的芯片能够支持最新模型，就越能向手机、PC等OEM客户展示平台能力。在很多情况下，这不仅关系到技术竞争力，也会直接影响后续的客户合作和采购决策。

硅星人：高通最终看中的核心资产是什么？

Alex：第一，我们已经做出了相对成熟的软件，可以快速onboard新模型，并实现模型推理。软件本身的IP是最核心的。

第二，我们已经形成了不错的用户群体和开发者生态。Nexa SDK在GitHub有接近8,000个Star，也上过GitHub Trending第一，在Product Hunt拿到过第一名。在on-device AI这个相对小的社区里，我们已经有一定知名度。

简单来说，一方面是已经经过验证、可以直接使用的软件；另一方面是围绕产品形成的开发者生态。

硅星人：端侧AI已经谈了很多年，但真正能被用户感知到的落地似乎仍然很少。现在大概处于什么阶段？

Alex：其实已经有很多端侧AI真正投入使用，只是它的一个特点是，用户平时不一定能感知到。

比如大部分智能手机拍照时，从按下快门到最终生成图片，中间会有二十多个小型AI模型对图像进行处理。我们现在用Teams视频会议，摄像头捕捉到的像素和最终呈现的画面之间，也有AI模型实时处理。如果放到云端再传回来，很难做到这么快。

异常检测、机器人本地关节控制等任务，也已经大量使用端侧模型。这些主要是非生成式AI。

生成式AI方面，很多手机OEM都在推动本地模型。苹果已经开始使用，但效果可能还没有达到大家想象中“特别好用”的状态，还需要一些时间。

不过，硬件正在快速变好。终端算力和内存能力每年都在快速迭代，这意味着设备可以支持越来越大的模型；与此同时，相同尺寸的模型本身也在不断变强。这两个因素会共同推动端侧AI能处理的问题越来越多。

硅星人：未来端侧模型和云端模型的关系会是什么样的？

Alex：我觉得云端和端侧联合推理可能会成为趋势。

现在，本地模型已经可以处理功能调用、文本信息提取等任务。比如从一份很长的文本里提取信息，如果本地模型可以完成，速度很快，边际成本也几乎为零。如果全部调用云端大模型，任务本身虽然简单，却会消耗大量Token。

未来更合理的做法可能是：适合在本地完成的任务交给端侧模型，真正复杂的推理再调用云端。

硅星人：Nexa一直强调“NPU First”。它具体是什么意思？

Alex：NPU是Neural Processing Unit，也就是专门为AI运算设计的处理单元。

CPU需要处理操作系统和各种通用计算；GPU可以同时进行大量线程计算，因此很适合AI。NPU更进一步，它在设计时就去掉了很多AI推理不需要的通用能力，并重点优化整数等模型推理常用的数据类型。

正因为它更专用，NPU在支持新模型和软件生态上，反而不如CPU和GPU成熟。高通的大部分芯片同时有CPU、GPU和NPU。我们提出NPU First，是因为我们认为NPU是当下最迫切需要解决的部分，而且一旦解决，价值也最大。

硅星人：如果用一句比较技术的话解释Nexa的壁垒，它主要来自runtime、量化、硬件调度，还是跨平台工程能力？

Alex：最大的壁垒，是我们对NPU硬件有比较深入的理解，并从软件层面进行了hardware-aware software design。也就是软件设计从一开始就理解硬件的特性，因此可以同时在速度和模型质量上取得优势。

硅星人：Nexa SDK并入高通后变成GenieX，产品本身发生了什么变化？

Alex：以前Nexa SDK的slogan是“Any Model,Any Backend”，我们希望把任何模型部署到任何硬件backend上。

并入高通以后，我们不再支持其他芯片后端，现在只支持高通芯片。这是最大的变化，其他部分没有本质区别。

硅星人：有没有一个真实场景，可以说明端侧AI不只是Demo，而是确实比云端方案更合适？

Alex：最近有一个Demo，可以在本地计算机运行一个约20B参数的模型，把它作为AI Agent的API，再让Agent帮用户完成发票报销。

发票里可能包含隐私信息，Agent还需要控制本地电脑、操作报销系统。类似这种涉及敏感数据和本地操作权限的任务，就适合用本地模型完成。现在它已经可以正常工作，只是速度还不如云端，但会持续提升。

硅星人：本地计算省掉了网络传输，为什么速度反而可能不如云端？

Alex：本地设备的算力是固定的，云端使用的是A100、H100，甚至更新一代的工业级GPU，计算能力显著强于个人设备。

端侧真正节省的是信息来回传输的延迟。所以，那些模型本身计算量不大、但对实时性要求很高的任务，尤其适合放在本地。比如视频会议的画面处理几乎需要瞬时完成，如果把图像传到云端处理再传回来，速度会慢很多。

但LLM需要不断生成Token，模型计算时间占据了主要部分。这种任务即便不需要网络传输，本地运行也不一定比云端更快。

硅星人：被收购前，有没有考虑过继续独立发展？为什么最终认为加入大平台是更好的路径？

Alex：我们当然考虑过继续独立发展。但研究下来，端侧AI在商业模式上有一个很特别的地方。

如果把某个模型在某款芯片上的端侧部署做得足够好，它可以极大促进这款芯片的销售。所以，最终的商业模式其实是卖芯片，真正的付费用户主要是手机、电脑等设备的OEM厂商。

端侧AI技术与某一款芯片深度整合后，可以产生很好的商业价值；但端侧AI软件本身如果单独变现，会面临难以scale等问题。最后，我们是基于端侧AI的商业格局做出了加入高通的决定。

硅星人：加入高通后，接下来12个月最重要的目标是什么？

Alex：最重要的目标，是让GenieX覆盖绝大部分、甚至几乎全部Qualcomm芯片的开发者，让他们在自己的工作流里使用这款SDK。核心仍然是推广产品，并根据开发者反馈持续迭代。

硅星人：团队目前是怎样的状态？

Alex：我们一共有12个人，全部加入了高通，目前仍然保持为一个完整团队。

加入高通后，我们可以更加专注，只关注一套芯片平台。需要适应的是与更多部门合作，以及更规范的产品发布流程。产品也要更具体地考虑高通芯片的用户。

以前，我们做研发的同时，还需要分出大量精力做产品推广、合作和增长。现在高通有成熟的marketing和developer marketing团队帮助我们，对于我们两位创始人来说，也重新回到了最喜欢的状态：专注于产品和技术开发。