研究部門 Ⅰ 英語能力テストに関する研究
項目応答理論を応用した英作文評価者トレーニングの有効性について
兵庫県/神戸市立大池中学校 教諭 占部 昌蔵
▼研究概要
自由英作文を評価するときに,評価の信頼性を議論されることがある。では,どのようにしてその信頼性を高くすることができるのか。本研究では,トレーニングを受けた評価者が行う評価が,前回の評価に比べてどの程度変化するのかを調べることによって,項目応答理論を応用した評価者トレーニングの有効性を検討した。同時に,評価者の背景によって信頼性に違いが見られるのかも検討した。評価基準は,ESL Composition Profileを使用した。この評価基準は,内容,構成,語彙,言語使用,(句読点,文法などの)メカニクスの5観点から構成されている。12名の英語科教員と8名の大学院生が,100名の高校生が書いた英作文を,この評価基準を用いて評価した。
結果,今回の評価者トレーニングは効果があることが確認された。また,評価者の背景によって信頼性に大きな違いは見られなかった。