扫码打开虎嗅APP
本文来自微信公众号:爱范儿 (ID:ifanr),作者:胡漠杨,原文标题:《「地表最快」 AI 芯片发布,哈佛辍学的本科生挑战英伟达》
Etched
Sohu
AI芯片问世
在谈到AI、大模型、算力等关键词时,如果要提及硬件产品,很多人应该会不假思索的说出英伟达。
一位华尔街分析师曾如此评论到:
人工智能领域正在进行一场战争,而英伟达是唯一的军火商。
的确,在AI时代下,英伟达的地位是独特又难以撼动的。但现在,有一位勇者准备正式挑战这一局面。
2022年,Gavin Uberti和Chris Zhu创立了Etched.ai。他们从一开始就获得了包括Ebay前CEO Devin Wenig在内的536万美元的种子轮投资。
在刚刚宣布融资1.2亿美元后,Etched又发布了目前的最快的AI芯片——Sohu。
此Sohu非彼搜狐,它号称可以在毫秒级别的时间里处理数千个单词。每秒能处理超过50万个tokens,运行Llama 70B模型。
什么概念呢?这就相当于可以在两秒内写完《圣经》,或者一年写15万亿个tokens。
据Etched官网介绍,Sohu在硬件层面上集成了Transformer架构,是首个专为Transformer模型设计的专用芯片(ASIC)。
正是这种专用性,才为Sohu带来了性能的巨大提升。相较于英伟达H100,Sohu的推理速度相提升了8至10倍。
一个搭载八片Sohu芯片的服务器,可以取代整整160个英伟达H100 GPU。
对于编程场景,Sohu可以通过蒙特卡洛树搜索,并行相应数百个结果,给出最优秀的答案。
无论是语音助手还是智能客服,Sohu都能做到在几毫秒内分析数千个单词。
并且Sohu还支持多重推测解码,可以以极快的速度实时生成新的内容。
作为全球首款Transformer专用集成电路(ASIC)芯片,每张Sohu芯片只有一个核心,使用了台积电4nm制造工艺,并配有144GB HBM3E高带宽内存。
相比英伟达的下一代Blackwell(B200)GPU,Sohu的速度提高了一个量级,价格也会更加便宜。
短短两年时间,Etched从零开始成长到现在这番模样,实在是一个「奇迹」。
Chris Zhu是一名华裔,他和Gavin Uberti一起创立了Etched,二人也都有着丰富的背景。
Gavin Uberti和Chris Zhu都曾就读于哈佛大学,度过了一段本科生活。后来出于一些原因,他们选择休学一年,并在OctoAI找到了一份实习工作。
当时二人的工作内容,主要是负责ApacheTVM开源编译器和微内核开发。但在实习时,他们发现Arm的指令集中的一些设计十分低效,使得他们的工作效率很差。
Gavin Uberti说到:「这个问题无法解决,每次工作时我都得面对这个问题,这让我和Chris觉得我们必须做得更好。」
在思考如何解决这个问题时,他们突然发现可以利用这个思路来设计一款AI加速芯片。
于是两人便选择了从哈佛辍学,创办了一家专注于LLM的AI芯片初创公司——Etched。
在Gavin Uberti看来,通用公版设计无法带来获得突破性的性能提升,所以他们才研发Transformer架构下的专用加速芯片。
Gavin Uberti曾说:
必须在单一架构上下大力气,让芯片处理AI任务,目标太大了,必须要针对更具体的任务来设计芯片......我们认为英伟达最终会这么做。
目前主流的AI产品如ChatGPT、Claude、Gemini和Sora等,都是基于Transformer架构驱动的。
作为全球首款Transformer ASIC芯片,再配上如此亮眼的成绩,Etched自然也是吸引了一大波关注。
6月25日,Etched宣布完成1.2亿美元的A轮融资。这次融资由纽约风投机构Primary Venture Partners和Positive Sum Ventures共同领投。
其天使投资人阵容也十分强大,包括风险投资家Peter Thiel、GitHub首席执行官Thomas Dohmke、自动驾驶公司Cruise的联合创始人Kyle Vogt,以及Quora的联合创始人Charlie Cheever,
在2022年创立之初,Etched就看中了Transformer将会占据主导地位的未来。Gavin Uberti表示,「我们正在人工智能领域下最大的赌注。」
如果我们赌对了,Sohu将改变世界。这就是我们敢于下注的原因。
一年爆卖近10亿,为什么年轻人看演唱会都戴它?
苹果的新Siri为什么要这样设计?