自由英作文評価の改善:
評定結果の診断的活用
第44回 大学英語教育学会
シンポジウム発表スライド
2005/09/10
山西 博之
広島大学大学院
1
本提案の目的

ある高等学校の生徒が書いた自由英作文を,その
高等学校の英語科教員が評価した結果を用いて,
自由英作文評価の「診断的」な改善方法を示すこと
具体的には,以下の2つの方法を扱う

①総合的評価尺度と分析的評価尺度の評定結果
を比較する,Microsoft Excelでも検討可能な方法

②分析的評価尺度の評定結果を,評価に関わる要
因ごとに検討する一般化可能性理論を用いた方法
2
評価における問題点

評価尺度の問題 (妥当性×実用性)
①総合的評価の問題(e.g., Hamp-Lyons, 1995)
②分析的評価の問題(e.g., Bacha, 2001)
→実用性と妥当性の兼ね合いを考慮に入れて,
いかに分析的な評価を改善するか?

評定者の問題 (信頼性×実用性)
①評価の一貫性の問題(e.g., 工藤・根岸, 2002)
②評価経験の問題(e.g., 山西, 2004, 印刷中)
→実用性と信頼性の兼ね合いを考慮に入れて,
いかに分析的な評価を改善するか?
3
改善点を見いだす方法

①評価の妥当性と実用性の検討
・幅広い要因を汲み取ることができる総合的評価
と比較することで,分析的評価の項目内容を検討
→本提案では,表計算ソフトや統計ソフトを用いた
相関分析を用いた方法を提示する(方法①)

②評価の信頼性と実用性の検討
・項目数(評定者数)を増減,または項目内容を変
更した場合の信頼性の検討
→本提案では,一般化可能性理論を用いた検討の
方法を提示する(方法②)
4
本提案で用いるデータ

山西(2004)のデータの一部を利用
・対象‥1校の高校生20名が書いた自由英作文
・評定者‥同校の英語科教員8名
・評価尺度‥総合的評価と分析的評価(Jacobs
et al.(1981)のESL Composition Profile(資料図1)
のレンジを変えたもの‥Content, Organization,
Vocabulary, Language use, Mechanicsの5項目)
・評定値のレンジ‥1~10点(資料図2)
(poor = 1-2点,fair = 3-5点,good = 6-8点,
very good = 9-10点)
5
本提案で用いるデータ
・課題‥大学入試で実施された自由英作文課題
(Describe something strange or frightening
you have witnessed or experienced in your life.)
・評価方法‥
①評価尺度ごとに,自由英作文と評価記入欄を
設けた評価シートを作成(資料図2)
②評価尺度セットごとに,すべての評定者において,
生徒の作文はランダムオーダー
(順序効果の影響を避けるため)
③総合的評価セット→分析的評価セットの順に評価
(分析的な評価項目の影響を総合的評価に
与えないため)
6
方法①
(手順)

①各評価項目・生徒ごとに,評定者の平均値を算出
することでデータを「圧縮」(資料図3)

②Microsoft Excelを用いて,相関係数を算出
(資料図4)‥「分析ツール」→「相関」

③分析的評価尺度内の相関係数の解釈(資料図5)

④評価尺度間(総合的評価尺度と分析的評価尺度)
の相関係数(総合的評価との併存的妥当性)の解釈
(資料図5下段)
7
方法①
(相関係数の解釈例)
極端に相関係数が高い(低い)項目はないため,
同様の能力を測定したり,見当外れな能力を測定
している項目はないと言える
総合的評価との相関が高いため,合計点で
作文の総合的な能力を測定可能であると言える
*相関係数の大きさは,目的に応じて相対的に判断
*妥当性と実用性の兼ね合いを検討する
8
方法①
(まとめ)

方法①のように評価尺度の相関係数を検討する
ことで,ローデータや平均値の検討以上に評価の
改善のためのポイントが見えてくる

その際,特に分析的評価尺度の検討を行う場合に
は,外的基準として総合的評価の評価結果を組み
合わせることで,得られる情報はより多くなる

方法①は簡便な方法であるが,技術的な問題点は,
①データを圧縮する必要があること,②さまざま要因
を一度に検討することが不可能であること,である
9
方法②
(一般化可能性理論について)




一般化可能性理論(Generalizability Theory)は,
評価の改善に適しており,以下の2つの段階からなる
①評価に関わる要因(変動要因:本提案では,評価項目,
評定者,生徒の主効果とそれらの交互作用)が
評定値に与える影響の大きさ(分散成分)を推定する
段階(Generalizability Study‥G-Study)
②分散成分の推定値を用いて,信頼性の指標である
一般化可能性係数を算出したり,評価項目数や評定者
数を増減させた場合の一般化可能性係数の変動の
シミュレーションを行う段階(Decision Study‥D-Study)
より詳しくは,「参考文献(一般化可能性理論)」参照
10
方法②
(手順)





①分散成分を推定可能なソフトウェア(SPSS
Advanced ModelsやGENOVA)用にデータ整形
(資料図6)
‥データの「圧縮」の必要なし
②SPSS Advanced Modelsを用いて,分散成分推定値
を算出(資料図7)
‥「分析」→「一般線型モデル」→「分散成分」→
得点を「従属変数」,生徒,評定者,項目を「変量因子」
③変動要因の主効果,交互作用を解釈(資料図8)
④計算式(1)に値を代入して一般化可能性係数を算出
⑤評定者数・評価項目数のシミュレーション
(資料図9,10)
11
方法②
(分散成分推定値の解釈)
「誤差」以外の推定値の合計で
各推定値を割って百分率を算出
百分率
生徒(p)
… 5.6%
評定者(r)
… 46. 9%
項目(i)
… 5. 3%
生徒×評定者(p×r)
…19.8%
生徒×項目(p×i)
… 2.2%
評定者×項目(r×i)
… 8.6%
生徒×評定者×項目(p×r×i)…11.6%
「評定者(r)」から評価の厳しさの違い
が大きかったこと,「生徒×評定者
(p×r)」から評定値の与え方のばらつ
きが比較的大きかったことが分かる
12
方法②
(項目数変化のシミュレーション例)
1
もともとの5項目を超えると,たとえ10項目
でも一般化可能性係数はあまり向上しない
0.9
0.8
一 0.7
般
化 0.6
可
0.5
能
性 0.4
係
数 0.3
3項目であってもG = 0.60を超えるため,
3項目の尺度でもそれなりに高い信頼性を
得ることが可能であると言える
0.2
0.1
0
1
2
3
4
5
6
7
8
9
10
評価項目数
*信頼性と実用性の兼ね合いを検討する
13
方法②
(まとめ)

一般化可能性理論を用いることで,どの程度の
信頼性で評価が行われたのか検討可能である

その際,評定者,評価項目,生徒といった変動
要因ごとの,評価に対する影響の大きさを検討
することが可能である

また,評定者数,評価項目数を変化させることで
シミュレーションを行うことが可能であるため,
今後の評価の改善のためのポイントを把握する
ことが可能である
14
本提案のまとめ



実際に行った自由英作文の評定結果を用いること
で,実用性を考慮に入れた上での妥当性や信頼性
の検討を,改善のポイントを明確にしながら診断的
に行うことが可能である
本提案では,方法①において実用性と妥当性を
検討し,方法②において実用性と信頼性を検討
したが,両者を組み合わせることで,効果的に
評価の改善を行うことが可能であると言える
各方法の詳しい手順は下記URLを参照
http://home.att.ne.jp/banana/yamanishi/kenkyu.
html
15
参考文献
Bacha, N. (2001). Writing evaluation: What can
analytic versus holistic essay scoring tell us?
System, 29, 371-383.
Hamp-Lyons, L. (1995). Rating nonnative writing:
The trouble with holistic scoring. TESOL
Quarterly, 29, 759-765.
Jacobs, H. L., Zinkgraf, S. A., Wormuth, D. R.,
Hartfiel, V. F., & Hughey, J. B. (1981). Testing
ESL composition: A practical approach. Rowley,
MA: Newbury House.
16
参考文献
工藤洋路・根岸雅史 (2002). 「自由作文の採点方法
による採点者間信頼性について」 Annual Review
of English Language Education in Japan
(ARELE), 13, 91-100.
山西博之 (2004). 「高校生の自由英作文はどのよう
に評価されているのか-分析的評価尺度と総合的
評価尺度の比較を通しての検討-」 JALT Journal,
26, 189-205.
山西博之 (印刷中). 「一般化可能性理論を用いた高
校生の自由英作文評価の検討」 JALT Journal,27.
17
参考文献(一般化可能性理論)
Brennan, R. L. (1992). Elements of
generalizability theory (Rev. ed.). Iowa City:
ACT Publications.
池田央 (1994). 『現代テスト理論』朝倉書店.
Shavelson, R. J., & Webb, N. M. (1991).
Generalizability theory: A primer. Newbury Park,
CA: Sage Publications.
山森光陽 (2002). 「一般化可能性理論を用いた観点
別評価の方法論の検討」 STEP Bulletin, 14, 6270.
18
ダウンロード

自由英作文評価の改善: 評定結果の診断的活用