Page 16 - 104年07月消防月刊(全)
P. 16

工作研討 Work Discussion










           題及選擇題 26 題等 2 種類型、共 50 題。                                       表3 安檢班測試得分表

                (三)預試與分析題目                                      枝                 葉(後測50人)
                                                                 9    6,4,2,2,0,0,0,0,0,0
                預試對象應從研究母體選取並具有代表性
                                                                 8    8,8,8,6,6,6,6,6,6,6,4,4,4,2,2,2,2,0,0,0
           為宜,因此,先與 3 位現職同仁,討論題目內
                                                                 7    8,8,8,8,6,6,6,4,4,4,4,4,2,2,2,2,0
           容,確認題目應無疑義後,接續進行預試工作,                                 6    2,2

           以 11 班特考班的其中 1 班及僅有的 1 班安檢班                           5    2
           為對象,在取樣上應尚屬客觀,另後續還有尚未
           上課的二班特考班,可供本次後續改進或比較。                              (discriminability),做為題目的取捨。

                得分以枝葉表(Stem and Leaf Table)方式                     難度,乃指題目是否容易做答的程度;鑑
           表示(如表 2)。枝為 10 位數之得分,葉為個                           別度,則指測驗題目能夠判別出受試者能力的程
           位數之得分,亦代表該分數群的人數。此表除可                              度。

           顯示人數及分數外,亦可呈現成績分布情形。                                   1. 難度分析
                                                                  本次測驗計有 3 次,依據每次受測者在該
                1. 特考班進行程序,係當日授課前告知實際                         題目的答題情形,採取題目難度(difficulty)及

           出席的 49 位學員進行測驗(前測),以瞭解程                            難度指標(item difficulty index)等 2 種方式。
           度,並於授課結束後,以同份考卷測試(後測),                                 (1)以全體受試者答對某題的百分比,代
           以掌握課程吸收情形。惟後測較前測少 1 份,係                            表該題難度(通過率)。即 P(題目的難度) = R
           該學員於考後檢討時方繳交而予以剔除。有關前                             (答對的人數)/ N(總人數),亦即題目愈容易,

           測及後測的總分高低依序排列彙整,可看出前測                              通過的百分比愈高。以第 1 題為例,49 人中有
           最高僅為 78 分 1 人,其次為 72 分 2 人,分數                      48 人答對,故第 1 題的難度為 48/49=98%,亦即
           多集中在 50 幾分,以 54 分最多。而後測則變為                         98%的受測者皆能答對該題,幾無難度可言。有

           92 分 2 人,分數多集中在 60 幾分,以 62 分最多。                    關各次各題測驗難度彙整如表 4。
                2. 隔日再以安檢班 50 人為對象,於課程結                           (2)將每次受試者得分分成 3 組,依照測
           束後,告知進行測試(後測),以明瞭執法認知                              驗總分的高低次序排列,然後把得分最高與得分

           情形。而該班未進行前測的原因,係考量現職人                              最低的受測人員,分成高分組及低分組,以該 2
           員對防火管理應有相當的認識,如有前測經驗,                              組答對某題的百分比,代表某題的難度指標,亦
           可能後測時滿分為多數,失去瞭解該班授課後的                              即 P(某題的難度指標)=(P ╳高分組學生答

           相對程度,且該班並沒有類似的班級可供比較,                              對率% + ┼ P ╳低分組學生答對率%)/ 2。
           故以後測代表,亦可與特考班比較,瞭解二班的                              此指標代表題目容易則難度指標高,而題目難度
           成績差異為何?經有效回收 50 份,其得分高低                            介於 0.2 至 0.8 為宜,以 0.5 最具鑑別力。以第 1
           依序排列彙整(表 3),可看出最高為 96 分 1 人,                       題為例,如 49 人之 27%為 13 人,亦即高分組

           分數多集中在 80 幾分,以 86 分最多。                             及低分組各有 13 人,如高分組答對第 1 題有 13
                (四)分析題目                                       人、低分組有 12 人,則該題之難度指標為 [(13
                繼預試之後,進行題目的分析,瞭解                              / 13 +12 / 13)/ 2] = 0.96。如第 2 題難度指

           每 一 個 題 目 的 難 度(difficulty) 與 鑑 別 度                標若為 0.77,則顯示第 1 題較第 2 題簡單。




           14   消防月刊 2015.7
   11   12   13   14   15   16   17   18   19   20   21