扫码打开虎嗅APP

从思考到创造
打开APP
搜索历史
删除
完成
全部删除
热搜词
#AI有多智能
2025-03-03 16:19

通俗解释:大模型的Token究竟是啥?

大模型的Token是由分词器切分出的文字小块,可能是一个字、两个字、一个词甚至是标点符号。大脑会优先处理有意义的词组,从而提高效率。分词器模仿这一机制,通过统计大量文字,发现常用词组并为其分配编号,形成庞大的token表。Token跟大模型理解和生成文本的基础有何关系?它如何影响大模型的计费方式?今天,我们一起来聊聊Token。

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
频道:

支持一下

赞赏

0人已赞赏

大 家 都 在 搜

好的内容,值得赞赏

您的赞赏金额会直接进入作者的虎嗅账号

    自定义
    支付: