扫码打开虎嗅APP
本文来自微信公众号: 云算计 ,作者:曹亚孟,原文标题:《从API中转谈token调度转售【随笔闲谈】》
5月份发文有点密集,但我实现了进入AI行业的目标。短期内我不会再发文了,一些旧文甚至会删除。
本文即是从API中转这个业务现象,谈到我看好的token调度转售,也是在做tob产品经理的思维锻炼。
关于token调度和转售,我前几天就写过《深刻分享一个AI云产品创意》和《一个神级卡位的AI云产品》。
但文章关注的场景过于细分(其实是大部分读者只思考但不干这类活),很多读者听不懂我在说什么产品,从写文章的角度看有点失败。
那两篇文章都在介绍,我看好并分析了“上下文优化+调度Token”的toB产品方向,类似于云计算体系下的对象存储产品。
我多次和朋友聊了10分钟后,对方才知道我既不想卖token,也没想做个类似cursor/codex的Agent或三方市场。
IT+toB产品的门槛本就很高,不同云产品的间隔很远,程序员开发者用的产品本就比较偏门晦涩。很多云计算资深产研从业者,因为不是做PaaS产品,因为不接触开发者,所以无法get到我充满激动的类比。
但这两篇文章让我本人也有收获,我诚心写文章,不仅在说服你们,也在说服我自己。
第一篇文章,让我认识了多个类似团队,验证了我的产品设计技能在AI行业依旧够用。
第二篇文章,在撰文过程中,我意识到,“较长的成功路径,确实是个优势”。
我偶尔刷到了《号称0成本月入百万的API中转站,到底谁在赚钱?【差评君】》的曝光视频。大家可以在主流视频平台自行搜索和查看这个视频。
本文依旧是在分析“上下文优化+调度Token”,但是我不再写那么硬核,不再解释产品的必要性和发展潜力了。
本文是从休闲外传的角度,介绍同样的事情在toC场景下是高风险和天崩地裂,但在toB场景下,可能毫无波澜,甚至是利好信息。
再次强调,我是toB从业者,对这种不太正规的toC生意毫无兴趣。我对这个视频的定位是“曝光”。
用户选择API中转站的各种理由,都是在证明,模型原厂没有做好(甚至没有想过)面向开发者和企业用户的产品设计。
我不是要做揭批讽刺,即使我们找AI问答案,也可以从“积极的、事在人为的”角度,从缺憾看机遇,从瑕疵看空间。
用户选择API中转站,第一步是嫌弃原厂的注册和支付麻烦。此处需要产品经理区分和定义,我们要不要直接对接“一次性尝鲜”客户。
用户选择API中转站,重要原因是原厂的“使用成本”太高了。但是,中转站拿走的正常利润,就是大模型原厂该挣的钱。多个二道贩子都能让客户降本,那说明原厂必然有大量犯蠢的空间。
很多中转站除了承担账期之外,毫无客户价值。客户本来就是找原厂的,大模型原厂没必要向这类中转站让利。
产品经理需要琢磨和定义“什么是客户角度的使用成本”,然后帮客户降低成本。其未必是降低token单价,可以减少用量、灵活计费,也可以提供更廉价的替代产品。
在深思熟虑后,我们也可以不帮用户降本,定价高可以筛选拒绝客户,企业客户从ROI的角度也能接受高价。但这看似无为的背后,需要更多的测算、宣讲和培训。
用户选择中转站,核心问题是大模型原厂的月费订阅制太糙了。这个粗糙的方案让客户不满意、公司不满意,异常客户(包括中转站的批量号)薅羊毛。
大模型原厂当然可以采用月费订阅制,但你们没做好反冒用反滥用方案,让老实订阅者吃亏,这就是设计失误。
有些大模型在放弃月费订阅制改用“按量付费”,大多是成本cover不住了,粗暴的用成本倒推售价。我只能说,toB产品的定价模式,牵一发而动全身,该学习、能想到、会影响的东西能写一万五千字的……
很多用户找代理是为了使用国外的大模型,这是国外产品经理的失职。
某些老美把正经付费的客户当做问题和蝗虫,这就是傲慢和愚蠢;这些老美在欧盟日本做生意,怎么就不抱怨合规问题了?产品运营人员需要观测并总结某地市场的旺盛需求,给自家高管画饼算投入产出,让公司为了盈利而努力去拥抱合规。
我没提国内模型厂商的产品经理,是因为国内的算力同样供不应求,还没到需要争抢这类客户的地步。
在视频中后段,差评君一直在介绍中转站的各种省钱坑客户的套路。但是,toB产品经理看到的是“客户居然不在意XXX”,这么多正规toB商业机会,都能通过“上下文优化+调度Token”产品来实现。
有些中转站的省钱套路是,“跨区使用API”。
toB产品设计学到的信息是:客户不在意这点延迟,不在意模型所在地。这为“调度Token”产品,提供了资源调用的可行性。
技术上来说,大模型都是高延迟应用,不在意跨区调度的网络延迟。但技术上能做到不代表合规,AItoB产品经理需要认真学习数据的合规调度规则。
某些中转站的坑客户套路是,“虚标token用量”。
toB产品设计学到的信息是:token用量确实不好算清楚,我作为身家清白的toB产品,宣传自己的“上下文优化”产品时,多讲一些科普故事。
token用量能虚标,就是因为计算规则太复杂,超出了客户的理解能力。我们可以做好严谨的计费验证手段,再通过上下文优化大幅压缩token用量,表现出自家产品的价值。
某些中转站省钱坑客户套路是,“偷梁换柱换便宜模型”。
toB产品设计学到的信息是:客户在特定场景下,不要求使用最昂贵的token,做上下文优化时,能拦截的东西就多了去了。
客户说一句“你好”,或者“打半句话按错发送了”,就应该用便宜模型拦截这些请求,而不是空耗几块钱的token。
“上下文优化+调度Token”产品的终极营收前景就是,将大部分算力都调度到自己的DeepSeek算力池。
某些中转站坑客户的套路是,“倒卖客户的上下文信息”。
toB产品设计学到的信息是:为客户提供正规的数据授权协议,客户不在意我们看到这些上下文信息。
toB厂商拿这些上下文信息,可以训练自己的AI大模型,实现一种合理合法的蒸馏。
如果客户需要严格保密上下文信息,那太好了,我们可以向客户提供租赁GPU在本地部署大模型的产品和服务。

做产品设计,就是要定义客户和场景,然后找到本公司本产品的价值锚点和畅想空间。
产品设计离客户越近,越容易找到差异化价值;但场景越细分,产品适用范围也会大幅收缩,所以我们也需要更多权衡。
场景细分有个不算缺点的缺点,没经历过这个场景的人,很难想象这个场景内各个角色的利弊得失。我前两篇文章认真分析产品前景能赶超一些大模型原厂,但大部分人真听不懂。
本文是偶然刷到的视频,有直观证据所以很容易展开分析,但大家日常做好产品设计,就是要贴近了看信息、亲手去摸证据。
希望本文样例能够让读者理解,toB产品经理该怎么思考问题。