本文目录 · 12节
本次调整只对Ivan Ivec的数字与图形测试采用“至少200位参与者”筛选。其他保留项目按测试目录及既定日期规则执行;200不是对全部高量程测试统一施加的条件。
为什么在意样本量
一份成绩分布来自多少人,会影响我们能看清多少细节。观察很少时,个别参与者就可能显著改变高分区的形状;极端分数附近往往尤其稀疏。更多观察通常能降低某些抽样波动,却不能修复所有设计问题。
例如,200名高量程爱好者与200名按总体抽样的成年人,回答的是不同的比较问题。样本人数相同,代表性仍可能不同。如果题目泄露、施测条件不一致或评分不稳定,仅仅扩大人数也不能自动消除这些问题。
Ivan Ivec:按作者公开的参与人数筛选
作者目录明确以testees标注参与人数。截至本次核对,数字或图形类中保留LSHR Light(455人)、Numerus(403人)、Numerus Light(570人)和Numerus Classic(221人)。本会采用200人作为这一组作品的筛选界线;它是审核政策,不是一条公认的测量学及格线。
这些人数是核对时作者页面的累计统计,并不意味着2020年时已经达到同样规模。常规成绩仍须截至2020年12月31日;2021年起的Numerus满分成绩保留破格申请条件。两类通道均只接受第一次提交。
“人”与“成绩记录”为什么要分开
同一个人参加五份测试,会产生五份成绩,却仍然只有一位参与者。若把这些成绩都当成相互独立的新参与者,就会夸大证据规模。不同试卷的共同参与者有助于研究跨测试关系,但由重叠样本产生的结果,也不能被当成五次完全独立的重复验证。
因此,阅读统计时需要同时问:这是独立人数、成绩条数,还是某种配对记录?它包含哪些测试、版本和提交次数?这些问题比一个笼统的“大样本”标签更有用。
Paul Cooijmans:保留跨测试统计体系
本会继续保留Paul Cooijmans的所有测试,并沿用早于2025年1月1日的成绩日期要求。其长期面向高量程测试爱好者及高智商社群积累的统计,包含成绩分布、跨测试相关和常模调整资料,使不同作品之间的关系有公开材料可供审视。
作者2025年发布的来源统计覆盖3092名候选者;同一报告还列出来自113项测试的5650组成绩与来源记录。准确说法是累计候选者超过3000人、相关成绩记录超过5000条;这些数字不能改写成单项测试拥有3000人的独立常模,也不能把配对记录无条件称为独立提交次数。
作者的统计资料包含与高智商社群相关测试的比较,为作品之间的关系提供了进一步线索。社群来源有助于理解样本构成,但并不能替代总体代表性;已引用的人数报告也没有单列社群会员比例。本会采用这一体系,重视的是连续公开的统计与跨测试资料,而非假定每项作品都已获得同等强度的独立验证。
相关很高,还需要看什么
相关系数应与对应样本量一起阅读。很小样本上的高相关可能不稳定;共同题型、相同参与者以及常模之间的关联,也可能影响结果。若某份试卷通过另一份试卷来换算分数,两者的一致性不能自动视为完全独立的证据。
“创新测试”CIT3(Cooijmans Intelligence Test — Form 3)在本会采用原始分37/78的例外条件,参考IQ约137。这里以原始分规则审核,避免让一个近似换算承担不必要的精确性。所有作品仍受提交次数、日期与身份核验条件约束。
200人究竟能告诉我们多少
样本量的意义取决于要估计什么。若只想粗略判断一道题在某群体中的正确率,几百人的数据可能已经提供一些信息;若想精确描绘极端高分的总体百分位,同样的人数就可能远远不够。把“有200人参加”写成“已经能准确测到百万分之一”,在统计上没有依据。
设想一个理想化的总体随机样本,某现象的真实比例为0.1%。200人中该现象的期望人数仅为0.2;一个都观察不到的概率为(1−0.001)²⁰⁰≈81.9%。所以没有出现某种极端表现,可能只是因为样本太小,并不能证明这种表现不存在。这一计算还依赖独立随机抽样;自愿报名测试者的样本通常并不满足同样条件。
反过来,若在200个独立观察中零次出现某事件,一侧95%二项分布上界可由(1−p)²⁰⁰=0.05解出,约为1.49%。这里估计的是事件比例的上界,并非某个测试分数的IQ。小样本或稀少事件下,简单对称的正态区间还可能失真,因此需要适合的区间方法。〔NIST:精确二项分布置信界限〕
样本量之外,还有“有效信息量”
若3000份成绩来自300名反复尝试者,它们不是3000次彼此独立的新观察。重复记录仍然有价值,例如研究练习效应,但分析必须承认记录属于同一批人。类似地,同一位作者多套试卷之间的共同参与者,可以支持跨测试比较,却不能因为每个配对都产生一个相关系数,就把这些系数当成完全独立的证据。
还要区分“总体人数”和“某一对测试的配对人数”。数据库总计数千人,A与B却可能只有八位共同参与者。A与B的相关估计精度主要取决于实际配对数据及其质量,不会自动继承数据库总人数。统计表若只突出一个很高的相关值,却省略对应n,会掩盖最重要的解释条件。
成绩记录的版本也有影响。试卷修改后,题目难度、评分和使用群体可能改变;把所有版本不加说明地合并,可以增大表面样本量,却使目标测量更不清楚。日期限制、版本记录与提交次数,因此不只是管理细节,也关系到证据能否比较。
看见高相关,先检查“是不是同一件事被算了两次”
如果总分包含一个分测验,该分测验与总分的相关会部分来自数学上的包含关系。若两个测试共享题目,或共同参照同一份既有报告换算,也可能存在类似的依赖。它们相互一致有一定意义,但与完全独立测量得到的一致性不是同一种证据。
理想的交叉验证会把建立关系与检验关系分开:在一批数据上拟合换算,再检查它在新的参与者中能否保持。即便如此,若新的参与者仍来自同一个狭窄圈子,推广到更广人群仍需要谨慎。模型在熟悉环境里预测得好,是值得保留的事实;它适用于哪里,则是下一项要检验的事实。
多看几十张相关表,偶然的“惊人结果”就会出现
假设进行20个相互独立、原假设都成立且各自按0.05水平检验的比较,至少出现一次名义显著结果的概率是1−0.95²⁰≈64.2%。真实测试间通常不是独立的,因此这个数只是示例;它说明选择性展示最漂亮的结果,会改变读者对证据的印象。
解决方向包括预先规定主要比较、完整报告结果、对多重比较作适当处理,以及用新样本复核。统计显著性不等于效应大,效应大也不等于没有选样偏差。看一份统计报告,既要看作者展示了什么,也要知道他实际尝试了哪些分析。〔Wasserstein与Lazar,2016〕
一份透明的目录,可以怎样持续改进
对每个作品,理想记录至少包括:版本和推出时间、参与人数及提交数的定义、重复提交的处理、常模版本、高分区的实际观察数量,以及外部验证资料。对本会政策,则应说明哪条是组织取舍,哪条来自统计结果,什么时候需要重新审视。
目前,Ivan Ivec的200人界线只是一项明确、可执行的筛选规则;Paul Cooijmans体系保留的理由是连续公开统计和跨测试资料。两种安排都不应被包装成“证据已经完美”。随着资料增加,合理政策可以调整,而不必把每一次调整视为否定某位作者或作答者。
为什么把这些限制也写出来
合理的目录应能解释为什么保留、为什么限制,以及哪些问题仍未解决。人数筛选减少了一类不确定性,跨测试资料增加了可检查的信息;两者都没有消除高分尾部测量、样本选择和独立作答的问题。把这些限制写出来,是为了让申请者清楚知道成绩在这里如何被使用。