怎么判断中转站掺水、降智、假模型?先看这些证据
同一道题换个中转站就答错,能不能说明用了假模型?仅凭一次结果,证据不够。模型本身有随机性,模型版本、思考档位、上下文和工具设置也可能不同。先把条件记清楚,再判断问题出在哪一层,既不把普通波动当成掺水,也不被一个漂亮答案说服。
先把三个词分开
“假模型”是请求的模型与实际服务身份不一致;“降智”是同等条件下能力或推理表现异常;“掺水”常用来描述减少推理投入、截断或混用不同服务。这些词在讨论中含义不一,检测报告应写清检查了什么、发现了什么,不要用一个情绪化标签替代证据。
下表把常见的检查方法按证据强度排了一遍。强度越高,越能单独说明问题;弱证据只能当线索,要和别的证据一起看。
| 检查方法 | 能发现什么 | 证据强度 | 局限 |
|---|---|---|---|
| Claude 思考签名回传校验 | 非 Claude 生成的思考块、整体换模型 | 强 | 只适用于 Claude;部分新模型的签名只在原账号可用 |
| 官方计费字段(reasoning_tokens、thinking_tokens) | 推理被截断、计费不透明 | 中 | 字段可能被中转改写或省略 |
| 推理截断特征值(516、1034 等) | GPT 推理被截断 | 中 | 可能是上游行为,不一定是站方所为 |
| 标准难题与对照题 | 能力明显下降、题库回放 | 中 | 受随机性影响,要多次采样 |
| 黑盒指纹(如 zing) | 整体换成别家模型 | 中 | 对同家族的小版本差异不敏感 |
| 输入 token 与官方计数比对 | 隐藏系统提示词注入、计费虚高 | 中 | 要知道客户端本身会附带多少指令 |
| 自报身份、model 字段 | 粗暴冒充 | 弱 | 文字和字段都能被改写 |
强度是本文的经验分档:强 = 单次即可定性;中 = 两次独立采样复现才定性;弱 = 只当线索。
第一步,确认比较的是同一项服务
记录站点域名、分组、模型完整名称、请求时间和思考档位。一个站可能有多个分组,上游、价格和限制各不相同:甲分组通过不能替乙分组背书,旧版本的结果也不能直接套到新版本。Pulse 按统一标准(每个模型族固定一个模型和思考档)检测,不符合标准的结果单独标注,不与当前结果混算。
第二步,看模型身份的证据
返回体写了某个模型名,只算一条线索,因为转发服务可以改写这段文字。Pulse 会结合模型身份、协议、消息标识和部分模型的思考签名检查真伪:Claude 校验加密思考签名、身份与消息 ID;GPT / Grok 看 reasoning_tokens 是否有截断特征;Gemini 看 thoughtsTokenCount 与思考签名。字段缺失、协议兼容差异和明确的身份矛盾要分开描述,一次格式不兼容不能直接说成整站造假。
第三步,看推理投入与完整性
答案长不代表推理充分,答案短也不必然被截断。合理的顺序是:先核对请求档位,再看返回字段是否完整,最后看异常能否重复。低推理用量本身不是完整判据,没有明确截断证据时保留待核实。另外,有的中转会在请求里补一段固定系统指令,带来额外输入 token;这属于计费问题,应和模型真伪分开看。
第四步,用有标准答案的难题检查能力
“这篇文章写得好吗”很难统一判分,有明确答案的推理题和对照题更适合比较。应保存题目版本、标准答案、评分办法和请求条件。正确率只代表在这组题上的表现,不等于模型全部能力,也不适合脱离样本量比较高低。本文不列站点优劣榜,具体分组的分项得分请看对应检测报告。
第五步,把单次结果和长期复测分开
独立采样应是分别发起的请求,保留各自时间和结果,不能把同一次响应复制成两份。两次结果一致有助于判断问题可重复,但仍不能证明以后一直稳定;长期漂移要看不同日期的复测。读报告时留意采样时间和是否有复测记录,单次结果只代表那一次。
Pulse 的规则是:除了 Claude 思考签名这类硬证据,任何异常都要隔开时间、两次独立采样都复现,才定为降智或疑似假模型;只触发一次的记“待复测”。下面「我们的数据」里那一行“此前单次触发、复测未复现”,就是这条规则拦下来的误判。
自己动手自查
选一条不含隐私、答案明确的短题,保留原始请求设置,记录响应、用量和时间,再在相同条件下另做一次,看错误是否重复。每次只改一个变量,不要同时改提示词、模型名和分组。发现异常时,保存脱敏后的证据:报告链接、模型和分组、北京时间、错误类型、可复现的最小步骤;密钥、完整聊天和账户截图不要公开。
也可以直接用 Pulse 在线检测或 Telegram 机器人里的检测,按统一标准跑一遍,费用由你自己的 Key 承担。
怎么读“未测”“待复核”“通过”和其他结论
未测表示还没按统一标准测过;待复核表示结论还没出来(首次采样有单次异常、有效答题太少或总分低于 90),系统会自动复测一次,复测后给出通过或未通过;通过表示在对应时间与条件下满足检测口径。三者都不是长期保证。
降智表示两次独立采样都出现推理截断、对照题答错等能力异常;疑似假模型表示身份证据(思考签名、指纹)与所请求的模型不符;疑似回放表示答案与题库原文高度一致,可能是缓存或录制的回复;不符合标准表示分组没有提供统一标准的模型或思考档,本次不作质量比较,不等于站点有问题。选中转站时,把模型质量、稳定性和价格分别检查。DeeDeeAI 为自营,不参与排名。
我们的数据
下面是 Pulse 统一标准实测的实时统计:每个分组最近一次结论的分布,以及近 30 天各触发项出现的次数。一次实测可能同时触发多项,所以触发次数之和会大于实测次数。
数据截至 2026-10-31 22:45(北京时间),随 Pulse 每轮采集自动更新。
当前每个分组最近一次统一标准实测的结论分布(按分组计):
| 模型族 | 有结论的分组 | 结论分布 |
|---|---|---|
| Claude | 207 | 通过 22、待复核 34、未通过 30、降智 7、疑似假模型 102、不符合标准 9、其他 3 |
| GPT | 472 | 通过 309、待复核 48、未通过 66、降智 33、疑似假模型 1、不符合标准 14、其他 1 |
| Gemini | 56 | 通过 25、待复核 14、未通过 13、降智 2、疑似假模型 1、疑似回放 1 |
| Grok | 109 | 通过 34、待复核 15、未通过 28、降智 28、不符合标准 3、其他 1 |
“不符合标准”= 分组没有提供标准模型或思考档,本次不作质量比较。
近 30 天统一标准自动实测 1,353 次,各触发项出现次数(一次实测可能同时触发多项):
| 触发项 | 次数 |
|---|---|
| 两次独立采样都复现 | 74 |
| 单次触发、等待复测 | 31 |
| 此前单次触发、复测未复现 | 33 |
| 思考签名缺失或偏短 | 109 |
| reasoning_tokens 命中截断特征 | 63 |
| 对照题答错 | 45 |
| 输入 token 多出、未知类型注入 | 34 |
| zing 高风险 | 7 |
| 疑似回放 | 10 |
“复测未复现”说明单次结果不宜直接定性,这也是规则要求两次独立采样的原因。
常见问题
模型自己说“我是某模型”,能证明身份吗?
不能。自述只能作为线索,应结合协议、签名和可复现的结果。
一次答错就能认定降智吗?
不能。先核对条件,再看标准题与独立复测,保留不确定性。
一个分组通过,能代表整个站吗?
不能。要看具体分组、模型、思考档和采样时间。
哪些站正确率最高?
本文不做排名;可在实测记录页按分组查看每次检测的结论和分项得分。