Tokens在AI中的作用：从零开始学起

Tokens是AI处理文本的最小单位，通过分词将句子拆解为单词或子词片段。

在人工智能（特别是语言模型）的世界里，Tokens可以被理解为模型处理信息的最小单位。就像我们用单词和标点符号组成句子一样，AI模型使用Tokens来读取、理解和生成文本。它们是AI理解人类语言的基石。

2025年虚拟货币主流交易所：

币安： 

芝麻开门： 

火币： 

什么是Tokens？

基本概念

当我们向一个AI模型输入一段文字时，它不会直接“阅读”整个句子。相反，它会首先通过一个叫做“Tokenization”（分词）的过程，将这段文字分解成一个个更小的部分，这些部分就是Tokens。一个Token可以是一个完整的单词，也可以是单词的一部分（称为子词），甚至可以是一个标点符号或者一个空格。

一个简单的例子

让我们看看一个句子是如何被分解的：

句子: I love neural networks.

它可能被分解成这样的Tokens：

[ "I", "love", "neural", "networks", "." ]

对于更复杂的单词，模型可能会使用子词分解：

句子: Tokenization is incredibly useful.

它可能被分解成：

[ "Token", "ization", "is", "in", "credibly", "useful", "." ]

通过这种方式，即使模型从未见过“incredibly”这个词，它也可能认识“in”和“credibly”这两个部分，从而推断出整个单词的含义。

Tokens在AI模型中如何工作？

将文本转换为数字

计算机无法直接理解文字，它们只能处理数字。因此，在分词之后，模型会查找一个巨大的“词汇表”，并将每一个Token转换成一个独一无二的数字ID。例如，“love”可能对应数字784，“neural”可能对应3591。

所以，句子 "I love neural networks." 最终会变成一串类似 [ 40, 784, 3591, 6281, 13 ] 的数字序列，这才是模型真正处理的数据。

理解上下文和关系

一旦文本被转换成数字序列，AI模型就可以对其进行复杂的数学计算。通过在海量数据上进行训练，模型学会了这些数字（Tokens）之间的统计关系和模式。它知道哪些Token倾向于一起出现，以及它们在不同序列中的含义。这就是AI理解语法、语境和语义的方式。

生成新内容

当我们需要AI生成回答时，过程是相反的。模型会根据我们输入的内容，预测出下一个最有可能出现的Token的数字ID。然后，它将这个数字ID转换回对应的文本Token，并将其作为输出的一部分。接着，它将这个新生成的Token考虑到上下文中，继续预测下一个Token，如此循环，直到生成完整的句子或段落。

为什么Tokens很重要？

处理未知词汇

子词分词（Subword Tokenization）机制让模型非常灵活。它能够处理拼写错误、新的网络俚语或者它从未见过的专业术语，因为它总是可以尝试将未知单词分解成已知的子词部分来理解。

计算成本和限制

Tokens是衡量AI模型工作量的基本单位。大多数模型都有一个“上下文窗口”限制，即它们一次能处理的Token数量是有限的（例如4096或128000个Tokens）。此外，许多AI服务的费用是根据输入和输出的总Token数量来计算的。因此，理解Token数量有助于我们管理使用成本和模型的输入长度。

AI Tokens与加密世界中的“Token”

完全不同的概念

需要特别强调的是，人工智能领域中的“Token”与区块链或加密世界中的“Token”（通常翻译为“代币”）是两个完全不同的概念，尽管它们共享同一个英文单词。

AI Tokens：是数据处理的单位，是文本被分解成的片段，用于模型的计算和理解。

加密Tokens：是一种数字资产，代表着某种价值、权益或功能。它们可以被存储在数字账户中，并通过一种称为挖k的过程获得。这些资产的设计目的是用于去中心化应用或作为价值储存手段。

简而言之，一个是信息处理的基本单元，另一个是数字世界中的资产。在讨论AI时，我们所说的Tokens始终指的是前者。

以上就是Tokens在AI中的作用：从零开始学起的详细内容