立即捐款

考評局未必想被追問的數字

考評局未必想被追問的數字

攝:Alex Leung

很多學校都會預測中六甚至中五學生考香港中學文憑試(HKDSE)的成績。一般為自己學校的校生做預測時,必須用到很多數據:以往畢業生的校內成績、他們的公開試成績和在校學生的校內成績等等,然後估算出每位學生每科的DSE等級範圍(註),讓各科同事可以按不同範圍為學生剪裁出最能幫助學生的配套。

其他科目基數較小,預測自然未必準確。四個核心科目中文、英文、數學和通識基數大,預測相對較準確。在四大核心科目中,我發現我校對中文和通識的預測最為不準確,英文和數學卻非常準確。當我和同事坦誠討論時,大家都提出不同可能性,例如校內同事未能掌握公開試評分標準、考卷本身的性質、數據有漏洞⋯⋯在沒有進一步的大數據,我們只能從校內的學與教層面做檢討,直至十一月初參與了考評局的一個分享會。

考評局原來一直有為百多間中學做對應屆考生的各科DSE預測等級和他們的實際DSE等級線性分析,四年來發現各校對其考生在英文和數學的DSE等級預測準確度達滿意,統計學的指標kappa值過0.4。不過四年來,各校對其考生在中文和通識兩科DSE的等級預測卻一直低於0.4,屬不太準確。

統計涵蓋全港超過150間中學,為何中文和通識兩科的等級預測四年來都不太準確?這已不是個別學校的問題。而各學校的同工也會累積經驗,盡量把校內評核的標準與公開試的要求收窄,沒可能四年都不能改善準確度kappa值。其中一個可能的解釋就是:中文和通識兩科公開試的評核準則有不穩定性,以致各校同工難以拿捏。

進一步的疑問是:中文和通識兩科的DSE考核會否出現公信力問題?作為負責全港公開試的考評局,不會沒有更進一步的分析而不公開吧?

註:有些學校會只用以往畢業生的數據為每一位學生每一科預測出一個絶對等級。不過,這是一個弔詭:愈期望預測絶對準確,預測便愈不準確。

文:思樂 @進步教師同盟