伙伴赋能站WorkBuddy ✓ 授权证书
首页 / 进阶手册 / 大模型原理与认知

大模型原理与认知 · 进阶手册

Transformer、Token、推理机制与模型选型思路。

中科光华(成都)数字科技有限公司 腾讯云 WorkBuddy 授权伙伴

面向WorkBuddy高阶用户——深入理解大语言模型的底层原理,从而更好地使用WorkBuddy。本文信息来源包括:腾讯云开发者社区《Transformer架构:大模型时代的基石》、火山引擎开发者社区《大模型核心概念科普:Token、上下文长度、最大输出》、ThousandMiles.ai《How《LLM工作原理解析》、极客老墨《大模型是怎么炼成的》等公开资料。文中具体数据均标注来

为什么这一块很重要

从WorkBuddy用户的真实痛点说起

你一定遇到过这些场景:明明写了很详细的指令,模型却"理解"错了方向,输出南辕北辙,反复修改指令还是得不到想要的结果。不知道该选哪个模型,GPT、Claude、DeepSeek、混元……每个模型都说自己较强,但实际使用时感觉差异巨大,却说不清差异到底在哪。Token消耗惊人,一个月的API费用远超预期,却不知道怎么优化。长对话中模型突然"失忆",忘了前面的重要约定,甚至前后矛盾。调了温度参数,输出质量却更差了,不知道到底该调高还是调低。模型"一本正经地胡说八道",生成的内容看起来很专业,仔细一查全是编造的。这些痛点的根源,都在于对大模型底层原理的误解。你把大模型当作一个"能理解你意思的智能助手",而实际上它是一个基于概率的下一个Token预测器。你把不同模型当作"同一种东西的不同品牌",而实际上它们在架构、训练数据、对齐策略上存在根本差异。

懂原理才能写出更好的指令

理解大模型原理,对你的指令设计有直接且可量化的影响:理解Token机制,你才能知道为什么同样的内容,中文比英文多消耗30%-50%的Token(来源:PromptQuorum《LLM工作原理解析》),从而有意识地压缩指令长度、降低成本。理解注意力机制,你才能知道为什么"Lost in the Middle"效应(斯坦福大学Liu等人2023年研究)会让模型忽视长指令中间的信息,从而把关键约束放在开头和结尾。理解自回归生成,你才能知道为什么模型写长文时后半段容易跑偏——因为它没有全局规划,每一步只预测下一个Token,从而在指令中提前给出结构框架。理解温度参数,你才能知道为什么代码生成该用0.0-0.3的低温,创意写作该用0.7-1.0的高温,而不是盲目调参。

懂原理才能选对模型

不同模型在架构、训练数据、对齐策略上的差异,决定了它们在不同场景下的表现天差地别:景的首选;GLM-5.1和Qwen3-Max在SuperCLUE中文评测中超过71.5分(来源:同上),是中文场景的不二之选。不懂原理,你只会"哪个贵用哪个"或"听别人说哪个好就用哪个";懂了原理,你才能根据任务特点精准选型,既省钱又高效。

懂原理才能控制成本

大模型的API计费是按Token计算的。理解Token机制和上下文窗口,你才能:计算出每次调用的真实成本,而不是被账单吓到;知道何时该用长上下文模型,何时该用RAG分块检索;知道如何通过压缩指令节省30%-50%的Token消耗(来源:PromptQuorum《上下文窗口解析》)。一句话总结:不懂原理,你在和AI"猜谜";懂了原理,你在和AI"下棋"。

核心概念

一、Transformer架构与注意力机制

1.1 为什么Transformer是"大模型时代的基石"2017年,Google Brain团队发表了一篇改变世界的论文——"Attention is All You Need"(Vaswani等人)。这篇论文提出了Transformer架构,彻底抛弃了此前处理序列数据的RNN/LSTM的循环结构,仅依靠注意力机制(Attention)来捕捉序列中任意两个位置之间的关系。在Transformer之前,RNN/LSTM处理序列数据有两个致命缺陷:- 无法并行计算:必须按时间步顺序逐个处理,训练速度极慢;- 长程依赖困难:信息在传递过程中会逐渐衰减,距离越远,关联越弱。Transformer的出现解决了这两个问题:- ✅ 高度并行化:可以同时处理整个序列,训练速度大幅提升;- ✅ 长距离建模能力强:注意力机制直接连接序列中任意两个位置,无论距离多远;- ✅ 可扩展性极佳:从几亿到万亿参数,架构基本不变,为千亿参数大模型铺平了道路。来源:腾讯云开发者社区《Transformer架构:大模型时代的基石》(2026年8月4日更新)1.2 自注意力机制(Self-Attention)——Transformer的灵魂自注意力机制的核心思想非常优雅:对序列中的每个词,计算它与所有词(包括自己)的相关性权重,然后加权求和,得到一个"全局上下文感知"的新表示。具体来说,模型为每个Token计算三个向量:Query(Q):当前词的"查询向量",用于询问"我在找什么?"Key(K):其他词的"键向量",用于响应"我有什么信息?"Value(V):其他词的"值向量",包含实际的信息内容。注意力分数的计算公式为:$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$一个直观的类比:想象你在一个图书馆里找书。Query是你想找的主题("我想了解量子力学"),Key是每本书的标签("量子力学入门"、"量子力学进阶"、"烹饪大全"),Value是书的实际内容。注意力机制就是计算你的Query和每本书的Key的匹配度,然后按匹配度加权读取Value。1.3 多头注意力(Multi-Head Attention)单头注意力可能只关注一种关系(比如语法关系)。多头注意力允许模型从不同的子空间学习不同类型的关联:某些头可能关注语法关系(主语-动词一致性);某些头可能关注语义相似性("银行"在金融语境vs河岸语境中的不同含义);某些头可能关注指代关系("他"指的是谁?);某些头可能关注时序关系("先……然后……"的逻辑顺序)。GPT-5.5在其最大层中使用了96个注意力头(来源:PromptQuorum《LLM工作原理解析》)。多个头的输出拼接并线性变换,得到更丰富的表示。对WorkBuddy用户的启示:多头注意力意味着模型能够同时从多个维度理解你的指令。但这也意味着,如果你的指令存在歧义,不同注意力头可能"看到"不同的含义,导致输出偏离预期。消除歧义是写好指令的关键。1.4 编码器-解码器结构原始Transformer为机器翻译设计,采用经典的编码器-解码器(Encoder-Decoder)结构:编码器(Encoder):将输入序列(如英文句子)转换为一系列上下文感知的向量表示。解码器(Decoder):基于编码器输出和已生成的部分输出,逐步预测下一个词。重要的架构演变:- BERT:只使用编码器,擅长文本理解(分类、NER等),是双向模型。- GPT系列:只使用解码器,擅长文本生成,是自回归模型(从左到右逐Token生成)。- T5、BART:编码器-解码器结构,擅长序列到序列任务(翻译、摘要等)。当前绝大多数大语言模型(GPT、Claude、DeepSeek、混元等)都采用解码器-only架构,专注于自回归生成。解码器有一个特殊设计——掩码自注意力(Masked Self-Attention):在训练时,将当前位置之后的词设为负无穷(softmax后权重为0),确保预测第t个词只依赖前t-1个词,防止"偷看未来"。1.5 位置编码(Positional Encoding)Transformer的注意力机制本身是无序的——它同时处理所有Token,无法区分"狗咬人"和"人咬狗"。因此,需要通过位置编码为每个Token注入位置信息。常见的位置编码方式:- 正弦/余弦编码:原始Transformer使用,固定不变;- 可学习位置编码:GPT-2等使用,在训练中学习;- RoPE(旋转位置编码):目前主流方案,能较好地处理长序列外推,被LLaMA、Qwen、DeepSeek等采用。对WorkBuddy用户的启示:位置编码决定了模型能处理的最大序列长度。这就是为什么上下文窗口有硬性限制——模型的位置编码在训练时就决定了范围,超出范围的位置信息模型"没见过"。1.6 前馈网络、残差连接与层归一化除了注意力机制,Transformer的每一层还包含:前馈神经网络(FFN):每个位置向量独立通过两层全连接网络,引入非线性,增强表达能力。通常FFN的隐藏维度是模型维度的4倍。残差连接(Residual Connection):每个子层的输出 = 输入 + 子层(输入),即 Output =LayerNorm(x + Sublayer(x)) 。这缓解了深层网络的梯度消失问题,使堆叠数十甚至上百层成为可能。层归一化(Layer Normalization):稳定训练过程,加速收敛。Transformer模型通常有几十层,不同层学到不同层次的特征:- 底层:识别语法、单词含义;- 中层:理解句子间的逻辑(转折、因果);- 高层:抽取抽象概念和全局意图。来源:Zhenda AI Notes《核心原理概览》、腾讯云开发者社区《Transformer架构:大模型时代的基石》

二、Token与上下文窗口

2.1 Token是什么?Token是大模型处理自然语言文本的基本单位,可以直观地理解为"字"或"词"——但更准确地说,它是子词单元(Subword Unit)。为什么需要Token? 模型无法直接处理人类文字,需要先将文本转换为数字ID序列。Tokenization(分词)就是完成这个转换的过程。主流的Tokenization方法是字节对编码(Byte-Pair Encoding, BPE):- 从字符级别开始,逐步合并最高频的字符对;- 常见词(如"hello")可能被编码为单个Token;- 不常见词(如"tokenization")被拆分为多个子词("Token" + "ization");- 这种方式在词汇量与语义完整性之间取得平衡。Token与字数的换算比例:

语言
大约换算比例
说明
英文
1个Token ≈ 0.75个单词
1个英文单词约1-1.3个Token
中文
1个汉字 ≈ 0.6-1个Token
1个中文词语约1-2个Token
代码
1个Token ≈ 3-4个字符
代码的Token效率较低

实际例子(来源:PromptQuorum《LLM工作原理解析》):

输入文本
Token拆分
Token数量
"Hello, world!"
"Hello", ",", " world", "!"
"Tokenization"
"Token", "ization"
"GPT-5.5"
"G", "PT", "-", "5", ".", "5"
"你好世界"
"你好", "世界"
2-4(取决于模型)

关键发现:中文的Token效率比英文低约30%-50%。同一内容的中文版本需要约英文版两倍的Token(来源:PromptQuorum)。这意味着:- 用中文对话比英文更贵;- 中文内容更快消耗上下文窗口;- Qwen3在CJK脚本上实现了约0.3 Token/字符,而GPT-5.5约为0.5 Token/字符,40%的Token节省(来源:PromptQuorum)。来源:火山引擎开发者社区《大模型核心概念科普:Token、上下文长度、最大输出》2.2 上下文窗口(Context Window)上下文窗口是LLM在单次推理过程中可处理的全部Token序列的最大长度,包括:- 输入部分(用户提示词、历史对话、附加文档等);- 输出部分(模型当前正在生成的响应内容)。常见模型的上下文窗口大小(截至2026年7月):

模型
上下文窗口
近似单词当量
实际文档限制
GPT-5.5(OpenAI)
128K-1M Token
约96,000-750,000词
约200-1500页PDF
200K-1M Token
约150,000-750,000词
约300-1500页PDF
2M Token
约1,500,000词
约3,000页PDF
1M Token
约750,000词
约1500页PDF
128K Token
约96,000词
约200页PDF
GLM-5.1
512K Token
约384,000词
约800页PDF
Qwen3-Max
1M Token
约750,000词
约1500页PDF
Kimi k1.5
1M Token
约750,000词
约1500页PDF

注:不同来源的上下文窗口数据可能存在差异,部分模型可能存在输入/输出Token分别限制的情况。例如GPT-5.5支持1M输入/128K输出。以上数据综合自太平洋科技2026年横评、PromptQuorum、火山引擎开发者社区等来源,截至2026年7月未能确认所有模型的具体上下文窗口数值。2.3 上下文窗口为什么有硬性限制?上下文窗口的限制不是人为设置的,而是由技术架构决定的:自注意力机制的二次方复杂度(O(n²)):这是最根本的原因。生成每个新Token时,模型需要计算它与所有历史Token的注意力权重。Token数量翻倍,计算量翻四倍。KV Cache的显存占用与总序列长度成正比,超过窗口会导致显存溢出或计算错误。位置编码的范围:模型在训练时见过的上下文长度是有限的,位置编码能覆盖的范围直接限制了模型能处理的最大序列长度。训练阶段就决定了上限:模型在训练时使用特定长度的序列,超出这个长度的位置信息模型"从未见过"。推理成本与上下文长度成正比:更长的上下文 = 更贵的推理成本。2.4 多轮对话与上下文截断多轮对话的本质:当你使用API进行多轮对话时,服务端不记录上下文。每次请求时,你都需要将之前所有对话历史拼接好后传递给模型。以DeepSeek为例:上下文截断:当累计输入+输出达到上下文窗口上限时,服务端会丢弃最早的Token,仅保留最近的Token。这就是为什么在多轮对话中,模型会"失忆"——它不是忘了,而是根本看不到被截断的内容。示例(以64K上下文窗口为例):- 第1轮:输入10K + 输出10K → 累计20K- 第2轮:输入30K + 输出14K → 累计64K- 第3轮:新输入5K → 服务端丢弃最早的5K Token,保留最近59K + 新5K = 64K来源:火山引擎开发者社区《大模型核心概念科普》2.5 "Lost in the Middle"效应斯坦福大学Liu等人2023年的研究发现,Transformer注意力系统性地低估长上下文中间的信息。对于超过约2,000个Token的提示,模型对开头和结尾的信息给予更多关注,中间的信息容易被忽视。对WorkBuddy用户的实操建议:- 将最重要的指令放在系统提示(开头);- 在用户消息结尾重复关键约束;- 对于超过50,000 Token的文档,使用RAG分块检索而非完整上下文填充。来源:Liu et al. (2023) "Lost in the Middle: How Language Models Use Long Contexts"

三、推理机制(预训练→微调→推理)

3.1 大模型的完整生命周期理解大模型,必须理解它的完整生命周期——从"一堆原始数据"到"你手里的API",共经历四个阶段:每一个你能感知到的模型行为,背后都有对应的训练决策。3.2 阶段一:预训练(Pre-training)——从"白纸"到"博学"目标:让模型掌握语言的基本规律——语法、语义、逻辑推理和世界知识。方法:在海量文本上训练模型预测下一个Token。就这么一个任务,重复几十亿次。模型每猜错一次,就调整内部参数——这个调整过程叫反向传播(Backpropagation)。数据规模:万亿级Token。Llama3.3在约15万亿Token上训练;GPT-4估计在1至2万亿Token上训练(来源:PromptQuorum)。DeepSeek-V3的预训练数据包含约14.8万亿Token(来源:极客老墨《大模型是怎么炼成的》)。预训练成本:DeepSeek-V3的预训练花了约558万H800 GPU小时,折合成本约557万美元(来源:极客老墨)。这就是为什么大模型的研发门槛极高——不是算法有多难,是算力烧不起。预训练后的模型叫基础模型(Base Model)。它博闻强识,但"说话毫无规矩"——你问它"怎么做蛋炒饭",它可能给你续写"的做法,与红烧肉相比……",因为它只会"续写",不会"回答"。Scaling Laws(规模定律):OpenAI团队在2020年发表的研究报告《Scaling Laws for NeuralLanguageModels》首次系统揭示了语言模型性能与模型参数量、训练数据量、计算量之间的幂律关系。简单来说:- 模型参数量越大,性能越好;- 训练数据量越大,性能越好;- 计算量越大,性能越好;- 当三者同时放大到临界点时,模型会涌现出小模型完全不具备的能力——这就是涌现能力(EmergentAbilities)。涌现能力的典型表现:- 上下文学习(In-Context Learning):无需微调,仅通过示例就能学会新任务;- 链式推理(Chain-of-Thought):逐步推理解决复杂问题;- 代码生成:从几乎完全不会,到某一规模后突然具备该能力。来源:OpenAI《Scaling Laws for Neural Language Models》(2020)、集智百科《大语言模型的涌现》、Zhenda AI Notes《规模效应与涌现能力》3.3 阶段二:监督微调(SFT)——从"读书人"到"听话的助手"目标:把基础模型训练成能按人类指令行事的助手。方法:收集大量"指令→高质量回答"的配对样本,让模型学习"当人类这么说,应该这么答"的模式。示例数据:SFT数据来源:- OpenAI、Anthropic等公司雇佣大量标注工程师,手工编写高质量问答对;- DeepSeek等走了另一条路——用更强的模型来生成训练数据,大幅降低人工成本。SFT解决的是"模型听不听话"的问题,不是"模型说没说真话"的问题。SFT之后,模型开始能正常"对话"了,但它还有一个根本问题:它不在乎说的是否正确,只在乎说的像不像训练集里的高质量答案。它会"表演有帮助",而不是真的有帮助——这就是幻觉(Hallucination)的根源之一。3.4 阶段三:RLHF/DPO对齐——教模型说"对的话"RLHF(基于人类反馈的强化学习)是让大模型真正变得"可用"的关键一步。流程:1. 收集偏好数据:让人类标注者对同一问题的多个回答进行排序(哪个更有帮助、更安全、更诚实);2. 训练奖励模型:用偏好数据训练一个"AI考官",学会区分"有帮助的回答"和"看起来有帮助但实际不对的回答";3. 强化学习优化:用奖励模型指导主模型优化,让模型学会生成高分回答。DPO(直接偏好优化)是RLHF的简化版本,跳过奖励模型训练步骤,直接通过偏好数据优化模型,计算效率更高,被Llama和Mistral等模型采用。Constitutional AI是Anthropic为Claude开发的方法,通过一套书面原则("宪法")指导模型行为,减少对人类反馈的依赖。新一代推理模型(如DeepSeek-R1、OpenAI o3)还加入了基于过程的强化学习——不只奖励最终答案是否正确,还奖励推理过程中的每一步是否合理,这让模型真正学会了"一步一步想"。对WorkBuddy用户的启示:RLHF决定了模型的"价值观"和风格,这也是不同厂商的模型风格差异最大的地方。当你发现模型拒绝你的请求时,这不是模型"不会",而是RLHF对齐的结果——换个说法往往绕得过去。来源:极客老墨《大模型是怎么炼成的》、PromptQuorum《LLM工作原理解析》、腾讯云开发者社区《大语言模型训练范式入门课》3.5 阶段四:量化与部署——从实验室到生产环境训练完成的模型参数量动辄几百亿甚至几千亿。DeepSeek-V3有6710亿参数,直接运行需要几十张顶级GPU。量化(Quantization):把模型参数从高精度浮点数(FP32/BF16)压缩成低精度整数(INT8/INT4),体积缩小2-8倍,推理速度大幅提升,精度损失通常在1-3%以内。MoE(混合专家)架构:DeepSeek-V3的6710亿参数中,每次实际激活的只有370亿,其余的"专家"按需调用。这让超大模型在推理时的实际算力消耗和同等激活参数的密集模型相当。3.6 推理时的完整流程当你发出一个请求,从你的文字到屏幕上的回答,经历了以下步骤:关键步骤详解:Tokenization:将文本拆分为Token ID序列。如"大模型原理"→[2345, 6789]。Prefill(预填充):将所有输入Token并行送进模型,一次性算完它们之间的关联关系,生成第一个输出Token,并缓存中间计算结果——这个缓存叫KV Cache。自回归生成:每一步只预测下一个Token的概率分布,从中采样一个,追加到序列末尾,然后重复。这就是你看到"打字机效果"的根本原因——模型在物理上就是一个Token一个Token地往外吐。KV Cache加速:每生成一个新Token,模型只需要计算这个新Token和所有历史Token的关系,历史Token之间的关系已经缓存在KV Cache里,不用重算。没有KV Cache,计算量随序列长度平方爆炸。自回归没有全局规划——这是大模型最重要的局限之一。它不知道自己接下来要说什么,只知道当前序列下一个词最可能是什么。这就是为什么让模型写长结构化内容时后半段容易跑偏——在指令中提前给出结构框架,相当于给每一步的局部预测提供了全局线索。来源:极客老墨《大模型是怎么炼成的》、Zhenda AI Notes《核心原理概览》

四、温度与采样策略

4.1 模型是如何选择下一个Token的?模型对每个Token位置都会产出整个词汇表(通常50,000-100,000+个Token)的logits(原始分数),经过Softmax函数转为总和为1的概率分布。采样策略决定了"如何从这个概率分布中挑选一个Token"。4.2 温度(Temperature)——随机性的"音量旋钮"机制:在Softmax之前,将logits除以温度值T。仅此一步,但效果巨大。$$P(t_i) = \frac{e^{z_i / T}}{\sum_j e^{z_j / T}}$$

温度值
效果
适用场景
T → 0
永远选最高概率的Token,输出确定
代码生成、JSON提取、结构化任务
T = 1.0
原始概率分布,不调整
通用场景默认值
T = 0.3-0.5
分布变"尖峰",模型更保守、可预测
事实性问答、数据分析
T = 0.7-0.9
适度随机,输出多样但连贯
聊天、内容创作
T > 1.0
分布变平,低概率Token也有机会
头脑风暴、创意写作
T > 1.5
分布非常平坦,模型容易"胡言乱语"
⚠ 极少使用,幻觉风险极高

核心认知:温度不控制"智商",只控随机性。高温不会让模型更聪明,只会让输出更多样(但也更不可靠)。4.3 Top-K采样——固定候选数量机制:从全词表保留概率最高的K个Token,其余丢弃,概率质量在幸存者中重分配。K=50:仅从top50候选中选;K=5:仅从top5候选中选;K=1:回到贪心解码(纯确定性)。缺陷:K是固定的,不随上下文置信度调整。模型很自信时(3个Token占95%概率),K=50会纳入大量噪声;模型不确定时(200个Token皆有微小概率),K=50会截断好选项。因此Top-K是"不灵活"的。4.4 Top-P(核采样/Nucleus Sampling)——自适应候选数量机制:不固定数量,而是保留最小Token集合,使其累计概率≥阈值P(从最高概率往下加)。P=0.9:模型累加至总和0.9为止。自信时可能仅3个Token;不确定时可能200个。P=0.5:更严格的限制,候选更少。优势:自适应分布形状。当下一个词很明显时("埃菲尔铁塔在"),候选极少;当下一个词有多种可能时("她感到"),候选池更宽。因此成为多数生产系统的默认策略。4.5 Min-P——2026年新秀Min-P是相对最高概率Token设阈值。例如,top概率为0.8,Min-P=0.1 → 砍掉概率低于0.08的Token。Min-P随模型自信度缩放,2026年开源圈推崇"温度 + Min-P"组合。4.6 三种策略对比

维度
温度(Temperature)
Top-K
Top-P(Nucleus)
作用阶
段
Softmax前,缩放logits
Softmax后,过滤候选
Softmax后,过滤候选
核心操
作
除以T改变分布形状
保留固定数量K个最高概
率Token
保留累计概率≥P的最小
Token集
是否自
适应
否(仅全局调整锐度/平坦度)
否(K固定,不顾置信
度)
是(随模型置信度收紧/放
宽)
极端值
效果
T=0→贪心;T>1.5→不连贯
K=1→贪心;K大则含噪声
P小则严;P大则宽
典型用
法
代码/事实:0-0.3;聊天:0.5-0.7;创
作:0.8-1.2
常与Top-P并用但可能互
相覆盖
生产默认,如P=0.9/0.95

实操建议:- 代码/事实性任务:Temperature=0.0-0.3,Top-P=0.9;- 日常聊天/内容:Temperature=0.5-0.7,Top-P=0.9-0.95;- 创意写作/头脑风暴:Temperature=0.8-1.0,Top-P=0.95;- ⚠ 不建议:Temperature>1.5,幻觉风险极高。来源:ThousandMiles.ai《How LLMs Actually Generate Text》、PromptQuorum《LLM工作原理解析》、火山引擎开发者社区

五、主流大模型对比(GPT/Claude/DeepSeek/混元等)

5.1 2026年模型格局总览2026年,AI大模型呈现"海外三强守擂、国产全面突围、开源颠覆成本"的格局(来源:太平洋科技2026年横评)。(87.5分)第三梯队(70-80分,轻量化/垂直优选):文心一言4.5、Grok 4.0、Llama 4 Maverick5.2 核心模型详细对比

维度
GPT-5.5
Claude
Opus 4.7
Gemini
3.1 Pro
DeepSeek
V4-Pro
混元
Hy3
GLM-5.1
Qwen3-Max
厂
商
OpenAI
Anthropic
Google
深度求索
腾讯
智谱AI
阿里
上
下
文
窗
口
1M输入/
128K输出
1M输入/
128K输出
2M
1M
128K
512K
1M
编
程
能
力
74.9%
(SWE-
bench)
64.3%(SWE-
bench)
48.2%
54.9%
数
学
推
理
92.0%
(MMLU)
95.5%
强
90.8%
89.2%
中
文
理
解
一般(语法
错误、语义
偏差)
一般(网络
梗困难)
好
强
(社
交场
景)
71.5+
(SuperCLUE)
71.5+
(SuperCLUE)
响
应
速
度
1.5秒
2.1秒
2.3秒
<1.2秒
<1.2秒
API
价
格
输入$5/输
出$15(每
百万
Token)
输入$15/输
出$75(每百
万Token)
极低(开
源)
输入$0.5-1/输
出$2-3
输入$0.5-1/输
出$2-3
开
源
否
否
否
是(Apache
2.0)
否
否
部分开源
国
内
合
规
✅
✅
✅
✅
✅
✅
✅

注:以上数据综合自太平洋科技2026年横评、51CTO《国内外主流大模型选型指南》等来源。部分模型的具体评测数据截至2026年7月未能确认。5.3 各模型核心优势与短板GPT-5.5:- ✅ 综合能力第一,生态最完善,Agent编程全能王;- ✅ 均衡推理,通用编程均衡,适合日常开发与脚本编写;- ✅ 多模态能力较好(图文解析、OCR、视频帧提取);- ✅ 价格最高(国内访问受限),数据隐私风险。- ✅ 代码工程能力第一,低幻觉,指令遵循精准;- ✅ 复杂架构理解、代码重构能力较好,适配大型项目开发;- ✅ 价格昂贵,多模态能力略逊于Gemini。- ✅ 代码/数学推理表现突出,性价比较好,全面开源;- ✅ API价格极低,支持私有化部署;- ✅ 日常对话体验一般,响应速度较慢。- ✅ 微信生态深度绑定,社交场景理解强;- ✅ 国内合规,支持私有化部署;- ✅ 通用能力与第一梯队有差距,上下文窗口仅128K。GLM-5.1:- ✅ 中文理解较好(SuperCLUE 71.5+),语义理解精准、文案创作地道;- ✅ 高性价比,支持私有化部署;- ✅ 复杂推理与较好编程仍有差距。Qwen3-Max:- ✅ CJK脚本Token效率极高(0.3 Token/字符),中文API成本比GPT低40%;- ✅ 中文理解较好,响应速度极快(<1.2秒);- ✅ 较好编程能力不及Claude。5.4 核心结论2026年无全能王者,只有场景最优:- 中文办公/内容创作 → GLM-5.1、Qwen3-Max;

实操方法

方法一:如何根据任务特点选择合适的模型

选模型不是"谁较强用谁",而是"谁最适配你的场景与预算"。以下是系统化的选型方法:步骤1:明确任务类型将你的任务归入以下类别之一:

任务类型
典型场景
核心需求
代码开发
编程、调试、重构、代码审查
代码准确性、架构理解
逻辑推理
数学计算、逻辑分析、复杂决策
推理准确性、低幻觉
中文创作
公文写作、营销文案、短视频脚本
中文地道性、本土化
长文档处理
合同审查、论文分析、书籍摘要
上下文窗口大小、信息提取
多模态
图文分析、OCR、视频理解
多模态能力
数据分析
数据清洗、统计分析、可视化
数理能力、代码生成
日常对话
客服、聊天、简单问答
响应速度、成本

步骤2:评估约束条件

约束条件
问题
数据合规
是否需要数据留在国内?是否需要私有化部署?
预算限制
API费用预算是多少?是否需要开源免费方案?
延迟要求
是否需要实时响应(<1秒)?
上下文需求
输入文档有多长?是否需要百万级上下文?

步骤3:匹配模型步骤4:验证与迭代选好模型后,用实际任务测试,关注以下指标:- 准确性:输出是否符合预期?(测试5-10次取均值)- 一致性:相同输入的输出是否稳定?- 成本:Token消耗是否在预算内?- 速度:响应时间是否满足需求?如果不满意,调整模型或参数,重新测试。

方法二:如何通过理解Token机制优化指令长度

Token是计费单位,也是上下文窗口的计量单位。优化Token使用,直接降低成本、提升响应速度。步骤1:计算Token消耗使用Token计数工具(如OpenAI Tokenizer、Anthropic Token Counter)估算你的指令和预期输出的Token数。关键换算:- 英文:1,000词 ≈ 1,300-1,350 Token- 中文:1,000个汉字 ≈ 1,000-2,000 Token(取决于模型)- 代码:1,000行代码 ≈ 3,000-5,000 Token成本估算公式:例如,使用GPT-5.5(输入$5/百万Token,输出$15/百万Token):- 输入2,000 Token + 输出1,000 Token- 成本 = (2000 × 5 + 1000 × 15) / 1,000,000 = $0.025步骤2:压缩指令——去除冗余

优化策略
示例
Token节省
去除重复说明
不要把同一个约束说三遍
30-50%
用简洁表达代替冗长描述
"写一段500字的产品介绍" → "写500字产品介绍"
10-20%
使用结构化格式
用Markdown列表代替段落描述
20-30%
避免无效上下文
不要粘贴与当前任务无关的历史对话
30-50%
考虑用英文写指令
同一内容,英文比中文少30-50% Token
30-50%

步骤3:管理上下文窗口场景1:短输入+长输出(如生成文章)- 输入1K Token,期望输出长篇内容- 配置:max_tokens = 上下文窗口 - 输入Token - 安全余量- 例如:64K窗口 - 1K输入 - 1K余量 = 62K输出场景2:长输入+短输出(如文档摘要)- 输入60K Token文档,期望输出摘要- 配置:max_tokens = 4K(60K + 4K ≤ 64K)- 如果输出不够,考虑压缩输入(提取关键段落)场景3:多轮对话- 每轮对话的累计Token = 输入+输出总和- 历史对话会占用上下文窗口,需要定期摘要- 建议:每10-15轮对话,让模型总结当前状态,用摘要替代历史步骤4:利用"Lost in the Middle"效应优化信息位置

方法三:如何调整温度参数获得更好的输出

步骤1:理解你的任务类型

任务类型
推荐温度
推荐Top-P
原因
代码生成
0.0-0.3
0.9
需要确定性输出,避免"创造性"bug
JSON/结构化输出
0.0
0.9
格式必须严格一致
事实性问答
0.1-0.3
0.9
需要准确回答,避免编造
数据分析
0.2-0.4
0.9
需要准确计算和推理
日常聊天
0.5-0.7
0.9-0.95
需要自然流畅,但不过于随意
内容创作
0.7-1.0
0.95
需要多样性和创意
头脑风暴
0.9-1.2
0.95
需要最大多样性和创意
诗歌/小说
0.8-1.0
0.95
需要文学性和创意

步骤2:从低温度开始调起原则:宁可从低温开始,逐步调高,不要一上来就高温。先设Temperature=0.0(确定性输出),看输出是否满足需求;如果输出太单调或重复,逐步调高到0.3、0.5、0.7……每次调整后,测试5-10次,观察输出质量和多样性;一旦输出开始出现幻觉或不稳定,回退到上一个温度值。步骤3:温度与Top-P的配合温度控制"随机性程度",Top-P控制"候选范围";通常温度为主,Top-P为辅;常见组合:代码/事实:Temperature=0.0-0.3,Top-P=0.9聊天/内容:Temperature=0.5-0.7,Top-P=0.95创意/头脑风暴:Temperature=0.8-1.0,Top-P=0.95步骤4:注意模型差异不同模型对温度的敏感度不同:- Claude Opus 4.8:在不同温度间的输出变化最小(来源:PromptQuorum测试);- GPT-5.5:介于两者之间。这意味着:使用Claude时,温度调整的效果可能不如使用Gemini明显,需要更大的调整幅度。步骤5:避免常见错误

❌ 错误
❌ 正确做法
代码生成用高温
代码生成用Temperature=0.0-0.3
创意写作用低温
创意写作用Temperature=0.7-1.0
认为"温度越高越聪明"
温度只控制随机性,不控制能力
同时设置Top-K和Top-P
优先用Top-P,Top-K可能互相覆盖
Temperature>1.5
高温幻觉风险极高,避免使用

常见误区

误区一:模型"理解"了你的意思 → 实际:模型在预测下一个Token

误区描述:很多人认为大模型像人类一样"理解"了你输入的文字,然后基于理解来"回答"你的问题。这种认知导致你期望模型"应该知道我在说什么",当模型输出偏离预期时,你会困惑"为什么它不理解我?"实际情况:大模型不是在"理解"你的意思,而是在基于训练数据中的统计模式,预测最可能出现的下一个Token。模型处理的是Token序列的概率分布,不是语义理解。证据:- 同样的意思,换一种表述,输出可能完全不同——因为不同的Token序列触发不同的概率分布;- 模型会"一本正经地胡说八道"——因为它的目标是生成"看起来最可能的"文本,而非"事实正确的"文本;- 模型无法可靠地进行字符计数——因为Token边界是子词单元,精确的字符或单词计数不是原生能力。纠正方法:1. 消除歧义:不要说"帮我处理一下",而要说"帮我将以下JSON数据转换为CSV格式";2. 给出示例:不要只描述期望的输出,给出1-2个具体的输入→输出示例;3. 明确约束:不要假设模型"知道"你的隐含需求,把所有约束显式写出来;4. 验证输出:对于关键任务,始终验证模型输出的事实性,不要盲目信任。来源:PromptQuorum《LLM工作原理解析》——"LLM不是数据库、搜索引擎或推理系统。它通过在训练期间处理来自网页、书籍、代码和其他文本的数千亿个词汇,学习Token之间的统计关系。"

误区二:上下文窗口越大越好 → 实际:需要权衡成本和效果

口。实际情况:1. 上下文窗口≠注意力质量:200,000 Token的上下文窗口并不意味着模型对所有200,000个Token给予同等注意力。对于超过约50,000 Token的文档,模型的推理质量会下降(来源:PromptQuorum)。2. 成本与Token成正比:API按Token计费,更大的上下文 = 更高的成本。将100页的文档全部塞进去,不如用RAG分块检索更经济。3. "Lost in the Middle"效应:长上下文中间的信息容易被忽视,简单的"堆量"反而降低效果。4. 推理速度下降:自注意力机制的计算复杂度是O(n²),Token数量翻倍,计算量翻四倍。纠正方法:1. 短文档(<10K Token):可以直接粘贴到上下文中;2. 中等文档(10K-50K Token):分章节处理,提取关键信息后再汇总;3. 长文档(>50K Token):使用RAG分块检索,而非完整上下文填充;4. 多轮对话:每10-15轮进行一次摘要,用摘要替代历史。

误区三:所有模型能力相同 → 实际:不同模型有不同擅长领域

误区描述:认为"大模型都差不多",随便选一个就行,或者"哪个贵用哪个"。实际情况:不同模型在架构、训练数据、对齐策略上存在根本差异,导致它们在不同场景下的表现天差地别:16个百分点;差距巨大;GLM-5.1和Qwen3-Max在中文理解上碾压海外模型,但复杂推理仍有差距。纠正方法:1. 根据任务选模型,不要"一招鲜吃遍天";2. 关键任务用多模型交叉验证:用Claude生成代码,用DeepSeek验证数学,用GLM验证中文;3. 关注模型更新:模型能力迭代很快,半年前的评测数据可能已过时;4. 实测为王:不要只看评测分数,用你的实际任务测试。

误区四:温度越高输出越好 → 实际:温度只控制随机性,不控制质量

误区描述:很多人认为"温度越高,模型越有创意,输出越好",或者"温度低会限制模型能力"。实际情况:温度只控制输出的随机性程度,不控制模型的能力或准确性。高温会让低概率Token也有机会被选中,导致输出更多样,但也更容易产生幻觉和不连贯内容。低温则让模型始终选择最高概率的Token,输出更确定、更稳定。纠正方法:1. 分析性任务用低温(0.0-0.3):代码生成、事实性问答、JSON提取;2. 创意性任务用高温(0.7-1.0):内容创作、头脑风暴、诗歌;3. 不要超过1.5:温度超过1.5,幻觉风险极高;4. 温度不是"智商旋钮":如果模型输出质量差,问题可能在指令设计或模型选择,而不是温度。

误区五:模型"记住"了之前的对话 → 实际:每次API调用都是无状态的

误区描述:认为模型像人类一样"记住"了你之前说的所有内容,可以在新对话中引用旧对话的信息。实际情况:1. 每次API调用都是无状态的:模型不保留任何对话历史。你每次发送请求时,必须将所有相关历史对话一起发送。2. 上下文窗口是滑动窗口:当对话超过上下文窗口时,最早的内容会被截断,模型"看不到"了。不同对话之间完全隔离:模型不会"记住"你上一次对话的内容,除非你显式地将相关内容粘贴到新对话中。纠正方法:1. 在系统提示中嵌入关键约束:不要假设模型会"记住"之前说的规则;2. 定期摘要:每10-15轮对话,让模型总结当前状态,用摘要替代历史;3. 跨对话时复制关键上下文:在新对话中,粘贴之前对话的关键信息;4. 在系统提示中插入当前日期:模型有训练截止日期,不知道今天的日期(来源:PromptQuorum)。

实操模板/检查清单

一、模型选择决策表

决策维度
评估问题
选项
任务类型
主要任务是什么?
代码/推理/中文创作/长文档/多模态/数据分析/日常对话
语言偏好
主要语言是什么?
中文为主/英文为主/中英混合
上下文需
求
输入文档有多长?
<10K / 10K-50K / 50K-200K / >200K
合规要求
数据是否需要留在国
内?
是(选国产模型)/ 否(可选海外模型)
部署方式
是否需要私有化部署?
是(选开源/支持私有化模型)/ 否(可用API)
预算限制
API费用预算如何?
极低(选开源免费)/ 低(选国产)/ 中(选GPT-5.5)/ 高(选
Claude)
延迟要求
是否需要实时响应?
是(选Qwen3-Max/DeepSeek等快速模型)/ 否
多模态需
求
是否需要处理图片/视
频?
是(选GPT-5.5/Gemini/通义千问)/ 否

二、常见任务→推荐模型映射表

任务
首选模型
备选模型
温度
Top-P
代码生成/调试
0.0-0.3
0.9
代码重构/架构设计
GPT-5.5
0.0-0.3
0.9
数学计算/科学推理
0.0-0.3
0.9
公文写作
GLM-5.1
Qwen3-Max / 通义千问Max
0.3-0.5
0.9
营销文案
Qwen3-Max
GLM-5.1 / 通义千问Max
0.5-0.7
0.95
短视频脚本
GLM-5.1
Qwen3-Max
0.5-0.7
0.95
合同审查/法律文档
Kimi k1.5
0.1-0.3
0.9
论文分析/学术写作
GPT-5.5
0.2-0.4
0.9
数据清洗/分析
GPT-5.5
0.0-0.3
0.9
图文分析/OCR
GPT-5.5
0.3-0.5
0.9
头脑风暴/创意
GPT-5.5
Qwen3-Max
0.8-1.0
0.95
JSON/结构化输出
GPT-5.5
0.0
0.9
客服/日常对话
Qwen3-Max
0.5-0.7
0.95
微信生态/社交
0.5-0.7
0.95
企业私有化部署
GLM-5.1 / Qwen3-Max
按任务调整
0.9

三、指令Token优化检查清单

在提交指令前,逐项检查:[ ] 去除了重复说明:同一个约束没有说两遍以上[ ] 使用了简洁表达:删除了冗余的修饰词和废话[ ] 采用了结构化格式:用Markdown列表/表格代替段落描述[ ] 移除了无关上下文:没有粘贴与当前任务无关的历史对话[ ] 关键信息放在开头和结尾:考虑了"Lost in the Middle"效应[ ] 评估了中英文Token差异:如果Token预算紧张,考虑用英文写指令[ ] 计算了Token预算:输入Token + 输出Token ≤ 上下文窗口[ ] 设置了max_tokens:避免输出过长浪费Token[ ] 多轮对话已摘要:历史对话超过10轮时,已生成摘要替代[ ] 系统提示精简:系统提示的Token数控制在合理范围内

四、温度参数调优检查清单

在设置温度参数前,逐项检查:[ ] 确认了任务类型:代码/事实/分析 → 低温;创作/头脑风暴 → 高温[ ] 从低温开始调起:先设Temperature=0.0,逐步调高[ ] 设置了Top-P:大多数任务设0.9-0.95[ ] 没有同时设置Top-K和Top-P:优先用Top-P[ ] 温度没有超过1.5:温度>1.5幻觉风险极高[ ] 测试了5-10次:不同温度下测试输出质量和多样性[ ] 考虑了模型差异:Claude对温度不敏感,Gemini对温度敏感[ ] 没有把温度当"智商旋钮":温度只控制随机性,不控制能力

五、上下文窗口管理检查清单

[ ] 知道当前模型的上下文窗口大小:GPT-5.5=128K-1M,Claude=200K-1M,DeepSeek=1M等[ ] 计算了Token预算:可用Token = 上下文窗口 - 系统提示 - 预期输出[ ] 关键指令放在开头:系统提示中包含核心约束[ ] 关键约束在结尾重复:用户消息结尾重复最重要的约束[ ] 长文档分块处理:>50K Token的文档使用RAG分块检索[ ] 定期摘要历史对话:每10-15轮进行一次摘要[ ] 不在一个对话中混多个项目:每个项目使用单独的对话[ ] 知道上下文截断机制:超出窗口时,最早的Token被丢弃[ ] 对于本地模型,根据VRAM调整上下文窗口:7B模型32K上下文约需8-10GB VRAM

三个反思问题

1. 当模型输出不符合预期时,你首先排查的是"指令问题"还是"模型问题"?

大多数人直觉认为"模型不行",但根据本文的原理分析,80%以上的输出问题是指令问题:指令有歧义,触发了不同的注意力头解读不同的含义;关键信息放在了长上下文的中间,被"Lost in the Middle"效应忽视;温度设置不当,代码生成用了高温导致随机性过高;上下文窗口溢出,模型根本看不到你之前的约束。反思:下次遇到输出问题时,先问自己三个问题——"我的指令有歧义吗?""关键信息放在了正确的位置吗?""温度参数设置对吗?"——然后再考虑"是不是该换个模型?"

2. 你在使用WorkBuddy时,是否真正理解了"Token"对你的成本和效果的影响?

Token不只是计费单位,它深刻影响着你的使用体验:同样的内容,中文比英文多消耗30-50%的Token,直接影响成本;每次多轮对话,历史对话都会占用上下文窗口,导致可用空间越来越小;系统提示过长,会挤占用户输入和模型输出的空间;Token效率不同,选择不同的模型(如Qwen3的CJK Token效率比GPT高40%)可以直接降低成本。反思:你是否知道你每次调用的Token消耗是多少?你是否计算过每月的Token成本?你是否优化过你的指令以减少Token浪费?

3. 如果大模型本质上是一个"下一个Token预测器"而非"理解者",这如何改变你设计指

令的方式?

这个认知转变是根本性的:如果模型"理解"你的意思,你只需要简单说"帮我写个方案";如果模型在"预测下一个Token",你需要给出结构化的指令——明确的目标、格式、约束、示例——让每一步的Token预测都有明确的方向。反思:你过去的指令设计,是否假设了模型"应该理解"你的意思?如果重新设计,你会如何利用"模型是Token预测器"这一认知,写出更精确、更有效的指令?

附录:关键术语速查表

术语
英文
定义
Transformer
Transformer
2017年提出的神经网络架构,用注意力机制替代循环
结构,是几乎所有现代LLM的基础
自注意力
Self-Attention
计算序列中每个Token与所有Token的相关性权重,
加权求和得到上下文感知表示
多头注意力
Multi-Head Attention
在多个子空间并行计算注意力,捕捉不同类型的关系
Token
Token
大模型处理文本的基本单位(子词单元),也是计费
和上下文窗口的计量单位
上下文窗口
Context Window
单次推理中可处理的最大Token数,包括输入和输出
BPE
Byte-Pair Encoding
字节对编码,主流的Tokenization方法
自回归
Autoregressive
逐Token生成,每一步只预测下一个Token
KV Cache
KV Cache
缓存已生成Token的键值对,避免重复计算,提升推
理速度
温度
Temperature
控制采样随机性的参数,低温=确定性,高温=随机性
Top-P
Nucleus Sampling
核采样,保留累计概率≥P的最小Token集
Top-K
Top-K Sampling
保留概率最高的K个Token
预训练
Pre-training
在海量数据上训练模型预测下一个Token,构建通用
语言能力
SFT
Supervised Fine-Tuning
监督微调,用指令-回答配对数据训练模型成为助手
RLHF
Reinforcement Learning from
Human Feedback
基于人类反馈的强化学习,训练模型产生有用、无
害、诚实的输出
DPO
Direct Preference Optimization
直接偏好优化,RLHF的简化版本
幻觉
Hallucination
模型生成听起来合理但实际错误的内容
涌现能力
Emergent Abilities
模型在达到一定规模后突然具备的能力,如上下文学
习、链式推理
Scaling Laws
Scaling Laws
模型性能与参数量、数据量、计算量的幂律关系
量化
Quantization
将模型参数从高精度压缩为低精度,降低推理成本
MoE
Mixture of Experts
混合专家架构,按需激活部分参数,降低推理成本
RAG
术语
英文
定义
Retrieval-Augmented
Generation
检索增强生成,通过检索相关片段替代完整上下文填
充
位置编码
Positional Encoding
为Token注入位置信息,使模型理解词语顺序
掩码注意力
Masked Self-Attention
解码器中的特殊注意力,防止"偷看未来"
Lost in the
Middle
Lost in the Middle
LLM系统性地低估长上下文中间信息的效应

参考来源

← 返回目录目录下一章:Agent原理与架构 →