Page 16 - 104年07月消防月刊(全)
P. 16
工作研討 Work Discussion
題及選擇題 26 題等 2 種類型、共 50 題。 表3 安檢班測試得分表
(三)預試與分析題目 枝 葉(後測50人)
9 6,4,2,2,0,0,0,0,0,0
預試對象應從研究母體選取並具有代表性
8 8,8,8,6,6,6,6,6,6,6,4,4,4,2,2,2,2,0,0,0
為宜,因此,先與 3 位現職同仁,討論題目內
7 8,8,8,8,6,6,6,4,4,4,4,4,2,2,2,2,0
容,確認題目應無疑義後,接續進行預試工作, 6 2,2
以 11 班特考班的其中 1 班及僅有的 1 班安檢班 5 2
為對象,在取樣上應尚屬客觀,另後續還有尚未
上課的二班特考班,可供本次後續改進或比較。 (discriminability),做為題目的取捨。
得分以枝葉表(Stem and Leaf Table)方式 難度,乃指題目是否容易做答的程度;鑑
表示(如表 2)。枝為 10 位數之得分,葉為個 別度,則指測驗題目能夠判別出受試者能力的程
位數之得分,亦代表該分數群的人數。此表除可 度。
顯示人數及分數外,亦可呈現成績分布情形。 1. 難度分析
本次測驗計有 3 次,依據每次受測者在該
1. 特考班進行程序,係當日授課前告知實際 題目的答題情形,採取題目難度(difficulty)及
出席的 49 位學員進行測驗(前測),以瞭解程 難度指標(item difficulty index)等 2 種方式。
度,並於授課結束後,以同份考卷測試(後測), (1)以全體受試者答對某題的百分比,代
以掌握課程吸收情形。惟後測較前測少 1 份,係 表該題難度(通過率)。即 P(題目的難度) = R
該學員於考後檢討時方繳交而予以剔除。有關前 (答對的人數)/ N(總人數),亦即題目愈容易,
測及後測的總分高低依序排列彙整,可看出前測 通過的百分比愈高。以第 1 題為例,49 人中有
最高僅為 78 分 1 人,其次為 72 分 2 人,分數 48 人答對,故第 1 題的難度為 48/49=98%,亦即
多集中在 50 幾分,以 54 分最多。而後測則變為 98%的受測者皆能答對該題,幾無難度可言。有
92 分 2 人,分數多集中在 60 幾分,以 62 分最多。 關各次各題測驗難度彙整如表 4。
2. 隔日再以安檢班 50 人為對象,於課程結 (2)將每次受試者得分分成 3 組,依照測
束後,告知進行測試(後測),以明瞭執法認知 驗總分的高低次序排列,然後把得分最高與得分
情形。而該班未進行前測的原因,係考量現職人 最低的受測人員,分成高分組及低分組,以該 2
員對防火管理應有相當的認識,如有前測經驗, 組答對某題的百分比,代表某題的難度指標,亦
可能後測時滿分為多數,失去瞭解該班授課後的 即 P(某題的難度指標)=(P ╳高分組學生答
相對程度,且該班並沒有類似的班級可供比較, 對率% + ┼ P ╳低分組學生答對率%)/ 2。
故以後測代表,亦可與特考班比較,瞭解二班的 此指標代表題目容易則難度指標高,而題目難度
成績差異為何?經有效回收 50 份,其得分高低 介於 0.2 至 0.8 為宜,以 0.5 最具鑑別力。以第 1
依序排列彙整(表 3),可看出最高為 96 分 1 人, 題為例,如 49 人之 27%為 13 人,亦即高分組
分數多集中在 80 幾分,以 86 分最多。 及低分組各有 13 人,如高分組答對第 1 題有 13
(四)分析題目 人、低分組有 12 人,則該題之難度指標為 [(13
繼預試之後,進行題目的分析,瞭解 / 13 +12 / 13)/ 2] = 0.96。如第 2 題難度指
每 一 個 題 目 的 難 度(difficulty) 與 鑑 別 度 標若為 0.77,則顯示第 1 題較第 2 題簡單。
14 消防月刊 2015.7