研究部門 Ⅰ 英語能力テストに関する研究
項目応答理論を応用した英作文評価者トレーニングの有効性について
兵庫県/神戸市立大池中学校 教諭 占部 昌蔵
▼研究概要
自由英作文を評価するときに,評価の信頼性を議論されることがある。では,どのようにしてその信頼性を高くすることができるのか。本研究では,トレーニングを受けた評価者が行う評価が,前回の評価に比べてどの程度変化するのかを調べることによって,項目応答理論を応用した評価者トレーニングの有効性を検討した。同時に,評価者の背景によって信頼性に違いが見られるのかも検討した。評価基準は,ESL Composition Profileを使用した。この評価基準は,内容,構成,語彙,言語使用,(句読点,文法などの)メカニクスの5観点から構成されている。12名の英語科教員と8名の大学院生が,100名の高校生が書いた英作文を,この評価基準を用いて評価した。
結果,今回の評価者トレーニングは効果があることが確認された。また,評価者の背景によって信頼性に大きな違いは見られなかった。
▼キーワード
- 研究対象
-
教師・教職者
- 研究メインテーマ
-
項目応答理論(IRT)
評価者トレーニング
- 研究関連テーマ
-
ESL(English as a Second Language)
自由英作文
評価者間信頼性
評価者内信頼性
- テスト・分析方法
-
自由英作文
ピアソンの積率相関係数
マン・ホイットニーのU検定
- 必要技能
-
ライティング
- 英検 対象級
- -