扫码打开虎嗅APP
大模型的Token是由分词器切分出的文字小块,可能是一个字、两个字、一个词甚至是标点符号。大脑会优先处理有意义的词组,从而提高效率。分词器模仿这一机制,通过统计大量文字,发现常用词组并为其分配编号,形成庞大的token表。Token跟大模型理解和生成文本的基础有何关系?它如何影响大模型的计费方式?今天,我们一起来聊聊Token。
支持一下
0人已赞赏
好的内容,值得赞赏
您的赞赏金额会直接进入作者的虎嗅账号