把天花板推高之后

一张试卷可以非常难，也可以非常有趣。要让它同时成为高分区的精密测量工具，还需要另一组证据。

真正值得讨论的优点

当一套测试对某些作答者过于容易，许多人都接近满分时，它在这个区间就很难继续区分表现。高量程测试试图向更难的题目延伸，为高水平作答者提供更大的挑战空间。这种努力有实际吸引力：你终于遇到不能在第一眼看穿的关系，必须重建表示、排除假设，甚至放下数日后重新思考。

若一份测试采用宽松时限或不限时形式，它也可能容纳缓慢、持续的探索。解题体验不再完全围绕速度展开。不过，这取决于具体试卷的设计；“高量程”这个名称本身，并不承诺统一时限、统一题型或统一测量目标。

还有一种价值来自作品本身：精巧的构造可以引出组合、逻辑、语言与图形表示之间的联系。即使暂时不讨论IQ换算，解题者仍可能获得有价值的思维体验。一份好谜题作为作品的价值，与其分数作为测量结果的精确程度，是两个都值得认真评价的问题。

难度不自动生成可信的刻度

假设我们做出一道极难的题，只有一人答对。我们知道它很难，却还不知道答对者在总体中处于什么百分位：参加者如何招募？有多少人认真作答？题目是否存在特殊知识门槛？答错者是没有能力，还是没有花时间？这些问题都不能从“只有一人答对”直接消失。

尾部测量尤其依赖有效数据。若总体中目标区间只占千分之一，一个来自总体的随机千人样本，平均也只包含约一名这个区间的人。这里的“平均一名”远不足以稳定描绘整个高分尾部；而自愿报名的高分爱好者样本，又面对代表性与选择方式的问题。难题的数量与高分常模的质量，需要分别审视。

有些高量程作品公布原始分分布、与其他测试的相关或常模调整记录。这些公开信息有助于判断与复核。例如“创新测试”CIT3作者页面提供了统计资料。但与若干同类测试有相关，仍不能自动等同于经过独立、代表性总体样本建立的精确常模。阅读时应把作者报告了什么，与读者希望它证明什么分开。

重复作答改变了测量条件

第一次接触时，你需要自己发现问题结构；第二次时，你可能已经知道哪些方向无效，或者熟悉了出题者的构造习惯。即使没有看到答案，熟悉本身也可能改变表现。如果一个人尝试很多次，再只报告最高一次，最终数值还会叠加“从多次结果中挑最好”的选择作用。

本会据此仅接受高量程测试第一次提交的成绩。这是一条申请审核规则，不意味着首次提交天然没有练习效应，也不意味着其他次数的成绩没有个人价值。提交材料时，应说明提交顺序、日期、试卷版本与作者评分记录；请提供首次提交的原始记录，以便核验。

AI让“独立完成”变成更具体的问题

非监考环境里，外部帮助早已可能存在，包括讨论、搜索、程序与他人代答。生成式AI扩大了可以获得帮助的方式，也使单凭一张高分截图更难判断是谁完成了关键推理。技术辅助并不一定消灭一道题的探索价值，却可能改变它在某种选拔用途下的证据性质。

因此，审核时除了看答案，还可以了解作答过程：为何选择某种表示？排除了哪种看似合理的规律？若改变一个条件，原有解法如何调整？这样的讨论也不是万能的鉴伪器，但比把“能复述一句答案”当作充分证明更有信息。技术测评的规范同样关注有效性、公平、身份与安全条件，而非只关注评分是否自动完成。

原始分例外怎样理解

本会为部分作品设置直接的原始分门槛，例如“创新测试”CIT3的37/78，以及SLSE48、LS36的特殊分数条件。这是在明确作品与版本后采用的申请约定。它不会使不同试卷上相同的分数比例变得可比，也不意味着每一条特殊条件都应被反推成一个小数点后精确的IQ值。

日期规则与次数规则也需要分别阅读。某个特殊通道不受成绩取得日期限制，只是放宽日期；第一次提交的要求仍然有效。用清晰的原始分条件，可以减少不必要的伪精确，但完整材料、独立作答条件与审核仍有意义。

题目越难，区分力就越强吗？

想象两道都只有10%参与者答对的题。第一道的正确率随被测能力上升而稳定提高；第二道要求知道一个极冷僻的典故，在能力高低之间没有清楚差异。两题看起来同样难，却未必提供同样的测量信息。难度描述“有多容易答对”，区分力描述答题表现怎样随着目标能力变化。

项目反应理论为这种区别提供了一种数学语言。在简化的二参数逻辑模型中，答对概率可写为P(θ)=1/[1+exp(−a(θ−b))]：θ表示模型中的能力位置，b与难度位置有关，a控制概率上升的陡峭程度。这是一个需要用数据检验的模型，不是给任何谜题贴上公式就自动成立的规律。〔ETS：项目反应理论入门，2020〕

在这类模型及其条件成立时，一道题通常在“有人会、有人不会，而且概率对能力变化敏感”的区间提供较多信息。若目标人群几乎全部答对，或几乎全部答错，单题通常难以区分他们。高量程设计需要把信息带向高分区，而不仅是增加让所有人都束手无策的题目。

一道数列题为什么可能有无限多个答案

给定有限个数，通常可以构造多种延伸规则。对任意指定的下一项，都能找到经过这些点的插值多项式。因此，作答者发现了某条规律，并不在数学上排除了其他规律。实际测试依赖的是更窄的约定：规则简洁、构造统一、解释成本低，并与题目体系一致。

这不意味着所有归纳题都没有价值。它意味着出题者需要认真处理答案的可辩护性：候选规律是否同时解释了全部信息？是否只是为这道题临时拼接例外？图形排列是否给出了约束？如果两个合理答案竞争，评分能否接受论证或说明取舍？题目质量不仅体现在“很少人猜到作者想的答案”，也体现在答案规则能否承受审查。

如果一道题的高分主要奖励与出题者共享私人联想，测试可能测到作者风格的熟悉程度。跨版本、跨作者和不同任务类型的比较，有助于检查这一点，但不能只收集最有利的相关结果。

不限时改变了什么，又没有改变什么

宽松时限允许反复表征问题、形成假设和等待新的思路，可能减少纯粹速度对结果的影响。与此同时，它也扩大了投入时间的差异。两位作答者分别花两小时和两个月，最终同分，并不意味着他们所有相关能力相同；只是该测试选择不把某些时间差异直接计入分数。

这使不限时成绩更适合被看作在明确资源条件下完成复杂任务的表现。资源不仅包括钟表时间，也包括草稿、程序、查阅资料、讨论和AI。哪些资源被允许，必须先由规则界定。独立作答与开放探索都是合理活动，但它们支持不同的分数解释。

一个有用的评估设计可以同时记录原始分、实际作答时间和允许工具，而不是事后凭印象判断谁更聪明。时间记录当然也可能不准确，因此需要把记录质量本身纳入考虑。

从别人的常模接过一把尺，误差也会跟着来

假设测试A通过与测试B共同参与者的成绩建立换算，而B又借助测试C建立高分解释。如果这些联系集中在同一小群爱好者中，三套分数一致，可能部分来自共同样本和相似的换算方式。它们并非三次完全独立地把总体高分区测清楚。

尤其要区分插值与外推：共同样本主要覆盖某个范围，却把关系延伸到远高于观察数据的位置，会额外依赖模型假设。作者公布相关矩阵、各配对样本量、原始分分布、常模版本及调整记录，能让这些假设变得可检查；“相关很高”四个字不足以替代这些信息。

如何改进：把漂亮的题目变成可检查的测量

理想的改进路径包括：先明确目标任务与工具规则；邀请独立评阅者检查歧义；公开匿名化的成绩分布和提交次数处理方式；把用于建立换算的样本与检验换算的样本适当分开；报告高分区而非仅整体的精度。若条件允许，再与可靠外部测量开展独立交叉验证。

这是一份评价方向，不是说现有高量程作品已经完成了所有步骤。挑战的美感、作者的创造力与心理测量证据，可以分别欣赏和评估。承认一份作品还需要更多数据，并不削弱它作为智力探索的吸引力。

难题可以喜欢，分数不必神化

评价一份高量程测试，可以依次问：题目是否有清楚可辩护的答案？评分是否一致？高分区有多少有效观察？常模如何形成？允许哪些工具？不同时间或不同版本的结果如何比较？越是诱人的极端分数，越值得让这些问题先行。

高难度测试可以是严肃的测量尝试，也可以是令人着迷的智力作品。欣赏它们的创造性，同时对分数解释保持审慎，两者可以并行。