正确的提示信息

扫码打开虎嗅APP

从思考到创造
打开APP
搜索历史
删除
完成
全部删除
热搜词
2023-11-24 15:42

OpenAI忙着“宫斗”时,竞争对手发布新款大模型

本文来自微信公众号:AI前线 (ID:ai-front),整理:冬梅、核子可乐,原文标题:《OpenAI忙着“宫斗”,手握2.2万块H100的竞争对手趁机发布新款大模型:1750亿参数,性能仅次于GPT-4》,题图来源:视觉中国

文章摘要
最新发布的AI模型Inflection-2在各项基准测试中表现出色,仅次于OpenAI的GPT-4,但性能超越了谷歌和Meta的主流替代方案。

• 💪 Inflection-2的参数量达到1750亿,被认为是当今世界上第二强的大模型。

• 🚀 Inflection-2在多项基准测试中击败了竞争对手,表现出优异的性能。

• 💰 Inflection AI已筹集到13亿美元的资金,并计划利用这些资金构建更先进、体量更大的新模型。

开发出对话聊天机器人 Pi 的初创公司 Inflection AI 刚刚发布其最新 AI 模型,据称这套模型的性能已然超越谷歌和 Meta 两家的主流替代方案,并且正快速缩小与 OpenAI 旗舰成果的差距。


Inflection AI 是由谷歌旗下 DeepMind AI 研究小组联合创始人 Mustafa Suleyman 与 LinkedIn 联合创始人 Reid Hoffman 于今年 3 月共同建立的企业。短短两个月后,该公司就完成了 2.25 亿美元融资;到今年 6 月,Inflection AI 又从微软、英伟达等多家知名投资方处额外筹得 13 亿美元。


Inflection 方面表示,这套新模型名为 Inflection-2,已经在多种标准基准测试中超越谷歌今年 5 月发布的 PaLM Large 2 模型,同时在其他一些指标上击败了由 Meta 牵头打造的开源 Llama 2 模型。这家初创公司指出,总的来看 Inflection 在同等体量的模型中表现最佳,目前仅落后于 OpenAI 发布的体量明显更大的旗舰级模型 GPT-4。


公司 CEO Mustafa Suleyman 在接受采访时表示,“我们坚信自己正处于这条扩展曲线的起点,由此延伸出的新功能确实令人无比兴奋。”


新发布的模型很快就会被整合进 Inflection 于今年 5 月发布的聊天机器人 Pi 当中。但 Suleyman 表示,在此之前还有大量“对齐”工作要做,即让新模型掌握 Pi 机器人的语气和回答风格,让它帮助 Pi 更好地发挥作用,并在吸纳最新信息的同时不致产生额外的幻觉。


他解释称,“无论用户想要就种族、性别、政治、OpenAI 乃至任何当下富有争议的问题进行敏感对话,Pi 都能以非常巧妙、谨慎且尊重事实的方式进行交互,并实时获取信息。”Suleyman 还补充道,Pi 将在“不久之后”更新至 Inflection-2 模型,但没有给出具体日期。


他也不愿透露 Pi 上的用户数量,只强调“Pi 非常受欢迎,用户留存率很高。”两周之前,OpenAI 表示其免费 ChatGPT 服务的每周用户数量已达 1 亿。但就在好消息发布后不久,上周五 OpenAI 董事会突然发难、解雇 CEO Sam Altman,上演了举世震惊的“宫斗戏”。


值此业界头部模型开发商身陷混乱的背景之下,我们很难不去关注 Inflection 此番发布的大语言模型。


有外媒称,拥有 1750 亿参数的模型被不少业内人士视为“当今世界上第二强的大模型”。就在本周三上午,OpenAI 正式宣布 Altman 将重返公司并继续担任 CEO。整个周末,各方盟友已经就 Altman 的回归展开谈判,OpenAI 公司员工还签署一份请愿书,要求董事会成员集体辞职。


而在 Inflection 这边,Suleyman 则坚称这家初创公司已经于今年早些时候筹集到 13 亿美元资金。但当时他并没有给出 Inflection 新模型的发布日期,只是在更早的公开言论中暗示可能会在年底前推出。他在最新公告中解释称,这次的发布实际上晚了一星期,模型训练工作早在上周就已经完成。


Inflection AI:Inflection-2 超越谷歌、Meta 家主流模型,目前仅落后于 GPT-4


在 Inflection-2 的训练当中,该公司使用了 5000 块英伟达 H100 图形处理单元(GPU),远少于训练前代 Inflection-1 时使用的数千块 A100。目前 H100 的零售价超过 2.5 万美元,内置 800 亿晶体管,其语言模型运行速度高达英伟达上代旗舰 A100 GPU 的 30 倍。


Inflection AI 还使用 H100 进行推理,也就是在生产当中运行 Inflection-2 以处理用户提交的任务。Suleyman 还提到,新模型的训练速度更快、成本更低,但同样需要处理大量运算任务(10^25 FLOP,即浮点运算)。Inflection 已经与微软、英伟达和 CoreWeave 密切合作以管理其计算集群。


Inflection 公司已经在一套流行的高中与专业能力基准(即 MMLU)上测试了其最新模型。模型在测试中回答了涉及 57 个主题的大量问题,具体涵盖世界知识、解决实际问题以及道德判断。


根据 Inflection AI 的介绍,新模型能够访问升级后的知识库,从而更准确地回答用户查询。Inflection-2 还拥有“显著改进的推理能力”,使得模型能够更好地执行代码生成等任务,并对所生成文本的语言风格作出细粒度调整。


不只是优于前身,Inflection-2 在与竞争对手的大语言模型比较时同样表现不俗。


Inflection-2 与其他模型间的性能比较。


Suleyman 表示,Inflection-2 的性能优于业界体量领先的 700 亿参数版 Llama 2、马斯克初创公司 xAI 的 Grok-1、谷歌的 PaLM 2 Large 以及 Anthropic 的 Claude 2,目前仅落后于 GPT-4。


据 Inflection 的介绍,新模型在七项科学问答基准测试中,五次击败了 Llama 2 和 PaLM 2 模型;在三项问答任务基准测试中也两次成功登顶,只在一项测试中逊于 PaLM 2 Large。该公司还补充称,尽管模型训练并无明确的领域倾向,Inflection-2 还是在四项数学与代码基准测试中获得优异成绩,只是与 OpenAI 公布的结果相比仍远落后于 GPT-4。OpenAI 的模型虽然性能更好,但体量也要比 Inflection-2 更大,意味着其训练需要消耗更多计算资源。


Suleyman 指出,虽然似乎只有 AI 研究人员或开发者会高度关注这样的基准测试结果,但哪怕最微小的改进也足以在“技术原型”和“生产级、高可靠且高质量”模型之间形成关键差异。总的来说,Suleyman 表示 Inflection-2 已经在同等体量模型中遥遥领先,而且在很多方面已经“非常非常接近”最强王者 GPT-4。


据悉,Inflection AI 手头共掌握着 2.2 万块 H100 GPU,相当于训练 Inflection-2 的 GPU 数量的四倍有余。该公司在本次发布中强调,他们计划使用这些硬件构建更先进、体量更大的新模型。据报道,从现在开始,Inflection 已经将训练重点转移至下一代模型,预计新模型将在六个月内达到 Inflection-2 的 10 倍体量,并在接下来的六个月中进一步扩大 10 倍。(最终体量有望增长至 100 倍。)


OpenAI 管理层大乱斗,给了竞对可乘之机


就在 OpenAI 管理层大乱斗达成临时和解方案的几小时前,Suleyman 敦促公众以“同理心和宽容态度”对待那些被卷入风波的人们。他指出,“很多人的言行完全是出于善意”,还点名提到 OpenAI 联合创始人 Ilya Sutskever。Sutskever 是最初参与解雇 Altman 的董事会成员之一,但随后在周日晚间表示对这一决定感到后悔。(目前还不清楚 Sutskever 是否会继续留在 OpenAI,但他在 X 上点赞了公司及 Altman 宣布回归的帖子。)


Sutskever 曾在 2011 年为 Suleyman 工作过,时任 DeepMind 外包商兼顾问。三年之后,Suleyman 将这家 AI 初创公司卖给了谷歌。Suleyman 在谈到 Sutskever 时表示,“我非常尊重他,这种尊重不仅源自技术水平,也源自他的原则性和真诚的态度。我认为在此次事件中,他和团队中的其他成员都抱有真诚的意图。”


Inflection 和 Suleyman 此前曾就 AI 安全问题表达过明确态度,并于今年 7 月自愿签署了拜登总统下达的“关于安全、可靠和可信的 AI 行政令”。他还发誓不会让聊天机器人 Pi 回答关于选举的任何问题、或者为政治竞选活动提供材料。Suleyman 最新出版了一本名叫《袭来的浪潮》(The Coming Wave)的书,详细介绍了 AI 技术的风险。


在谈到 OpenAI 非营利董事会及其近期一系列行为、特别是因此在科技领域遭受的诽谤时,Suleyman 表示“很明显,他们犯下了一系列非常重大的错误。但我还是希望人们能够宽容一点,把这次事件视为 OpenAI 发展旅程中的一段小插曲。努力让公司变得更好、做正确的事、通过新的治理结构让全世界更美好,这些才是真正重要的工作。”


但 Suleyman 本人也秉持典型的资本家思维,在被问及 OpenAI 的困境(ChatGPT 在周一和周二两度陷入短时间瘫痪,大量客户忧心忡忡地关注着事态发展)是否给竞争对手带来了可乘之机时,他并没有予以否认。


“从根本上讲,我办的是一家企业。面对激烈的市场竞争,我们别无选择。当下也是硅谷多年以来竞争烈度最高、创造力最强的时期。”


参考链接:

https://www.forbes.com/sites/alexkonrad/2023/11/22/inflection-ai-releases-2nd-model-on-gpt-4-heels/?sh=65dbfdfd6b05

https://siliconangle.com/2023/11/22/inflection-ai-debuts-new-flagship-inflection-2-llm-trained-5000-h100-chips/

 

本文来自微信公众号:AI前线 (ID:ai-front),整理:冬梅、核子可乐

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
打开虎嗅APP,查看全文
文集:
频道:

支持一下

赞赏

0人已赞赏

大 家 都 在 看

大 家 都 在 搜

好的内容,值得赞赏

您的赞赏金额会直接进入作者的虎嗅账号

    自定义
    支付: