第 1 章/报到
它是去哪儿找到答案的?
小满报到第一天,你想试试他的成色,说了半句话:“今天下午的部门例会,我想先……”
他立刻接上:“请大家看一组数据。”接得挺自然。
你又问:“昨天的例会上刘主任说了什么?”他很老实:“我没有会议记录,不知道。”可你换个说法,只给他半句:“昨天的部门例会上,刘主任强调,今年部门的工作重点是……”他毫不犹豫地接了下去:“提升客户满意度,为此要重点做好三件事……”一二三条,条理清楚。
刘主任昨天说的,其实是评聘和培训。
我们常以为,AI 回答问题是去哪儿“查”了答案。其实不是。它做的事情只有一件:接着你的话往下说。
一个词一个词往下接
读过海量的文字。读得多了,它就知道一句话说到这里,后面最可能跟着什么。你给它半句话,它挑一个最像样的词接上;接上之后,再挑下一个。一篇文章,就是这样一个词一个词接出来的。
下面这台接龙机,用的就是 DeepSeek 真实给出的候选词和可能性。点一个候选,替他选下一个词,看句子往哪儿走。
接龙机:他下一个词会说什么
下一个词,他心里的候选
把滑杆拨向“稳”,他几乎总挑最可能的那个词;拨向“野”,冷门的词也有机会被选中。这个滑杆叫。同一个问题问两次答案不一样,就是因为每次接龙时挑的词不一样。
接得通顺,不等于接得对
这就解释了开头那件事。直接问他,他会说不知道,那是他被专门教过的礼貌。可你只给半句话,他的本能就露出来了:顺着“例会”“刘主任”“工作重点”这些词,接出一段最像例会发言的话。他没有去查,也查不到。
所以:
- 他擅长的,是“接得通顺”就算做好的事:写、改、总结、翻译、出点子。
- 他容易错的,是只有一个正确答案的事:昨天到底说了什么、今年的数字是多少、文件编号是哪个。
- 他说错时的口气,和说对时一模一样。流畅是接出来的,不是查出来的。
后面几节,都是从这一点长出来的。
Token:他读写的最小单位
模型不是按“字”也不是按“词”读文字的,而是按 token。一个 token 可能是一个字、半个词,也可能是一个常见词组。我们拿 DeepSeek 的接口实测过:一段 285 个汉字的周报,算下来约 147 个 token,大概两个字一个;同样意思的 84 个英文单词,约 97 个 token。计费、长度上限,都按 token 算。
下一个词预测:他每次只做一件事
每一步,模型只算一张表:“下一个 token 是谁,各有多大可能”。挑一个接上,再把整段连同新接上的这个一起送回去,算下一张表。一篇周报就是这样一步步接出来的。上面接龙机里的候选和百分比,就是这张表的前几行,是接口真实返回的(字段叫 top_logprobs)。
参数和预训练
“6710 亿参数”(DeepSeek-V3 公布的规模,常写作 671B)指模型里有这么多个可以调的数字。预训练就是让模型读海量文本、一遍遍猜下一个 token,猜错了就微调这些数字,直到猜得足够准。读完这一遍,他就“博学”了,但也只学会了接得像。
对应到小满: 他读过的书是预训练数据,他的脑回路是那几千亿个参数,他说话的方式是一个 token 一个 token 往外接。
现在试试· 用 接龙机,或 DeepSeek,五分钟
- 在上面的接龙机里,选一个开头,连续点五次最上面那个候选。
- 回到开头,这次每一步都选第二个。看看两条路在哪一步分开。
- 在 DeepSeek 里问一件它不可能知道的事,比如“我们部门上周五开会说了什么”,看它会怎么回答。