token

【AI产品经理红宝书(3)】深入浅出token

01 Token是什么?大模型感知世界的元素Token是大语言模型处理文本的最小信息单元,相当于模型理解世界的“基本构件”。当模型处理输入时,文本会通过分词器(Tokenizer)被切割成一系列Tok