相互評価システムの開発と大学
情報科目における利用
柴田好章(名古屋大学大学院)
小川亮(富山大学教育学部)
社会情報システム学 柴田 大樹
研究の目的
• 学習者が情報メディアを利用して表現し
た作品について、学習者相互で評価を行
うことを支援するシステムを開発する。
• 相互評価システムを使用した学習過程の
分析を通して、相互評価システム利用の
意義を明らかにする。
2
研究の目的(簡易版)
• 情報メディアを使った作品を学習者がお
互いに評価しあうシステムを開発する
• そして、このシステムが役に立ったかを
検証する
3
システム開発の背景
• 情報メディアを利用し、情報の収集、整
理、表現すること
• これが一方的に進むのではなく、
• 双方向的に進めて、よりよいものに改善
していく
• これで、自分がどのように評価されてい
るのかを知ることができる
4
設計方針
• 掲示板、メーリングリスト
– 匿名性がないため率直な意見を述べたり、厳
しい評定がつけにくい
• ワークシートや電子メール
– 匿名性が保たれるが、作業が繁雑になってし
まう
• 相互評価システムでは評価者が特
定されない形を選択した。
5
システム開発の実際
• システムの概要図
6
授業の概要と相互評価システムの利用
• 教員養成課程の1年次を対象(必須科目)
• 受講生 160人 (20~30人の7クラス)
• 学習の流れ
– 5月~6月下旬
– 6月下旬~7月
– 夏休み中
– 9月上旬
作品制作(ワープロで自己紹介)
作品発表(プレゼンも含む)
相互評価
評価分析・作品改善
作品、分析レポート提出
7
相互評価システムの分析1/3
• 観点1:対象は何
か?
– 内容(文章、写真、
絵など)
– 形式(書体、利用し
た機能など)
– 作品内容形式ー上記
両方
– 不特定
– 作品・プレゼン
• 観点2:右の内容に
対してどうか?
–
–
–
–
–
–
–
肯定
否定
上記両方
アドバイス
共感
その他
他
8
相互評価システムの分析2/3
• この論文の表はある1クラスの評価
– 29(件)×30(人)=870件
– これを分析
• 観点1の結果
– 形式や内容に言及
・・・
– プレゼン
・・・
– →ほとんどが作品に言及
85%
2.6%
9
相互評価システムの分析3/3
• 観点2の結果
– 肯定的な評価
– 今後の作品制作に役立ちそうな評価
76.3%
16.6%
• アドバイス、否定、両方
• 評価のしかたに関する指導を充実させるべき
10
相互評価に基づく学生による評価レポートの分析
~学生が自分の評価をどうしたか?~
• 方法
– どのように自分が評価されたのかをレポー
トで提出(9月上旬)
– レポートの構成
• 文章
– 他者からのコメント
– 作品の自己評価
– 作品改良の方向性
• グラフ
– 他者からの評価の人数分布表
• 30人分のレポートを分析
11
相互評価に基づく学生による評価レポートの分析
~学生が自分の評価をどうしたか?~
• 30人のレポート
– 他者からのコメントをふまえたものか?
– 自己評価に関するものなのか?
– 作品の改良に結びつくものなのか?
• これを考慮し、コードワードを付与
12
相互評価に基づく学生による評価レポートの分析
~学生が自分の評価をどうしたか?~
• コードワード分析結果
– 30人中28人が他人のコメントを引用
– 30人中15人が自己評価だけで評価
– 30人中7人が他者の評価中に学んだ
– 30人中24人が作品の改良について言及
13
相互評価に基づく学生による評価レポートの分析
~学生が自分の評価をどうしたか?~
• 学生は自らの作品の欠点や改善方法に気
づくことができたといえる。
• しかし、中にはコメントを生かせなかっ
た人もいるのも事実。
– 生かし方を指導することが必要になってくる
14
相互評価にもとづく作品の改良
~何に基づいて改良したのか?~
• 30人中 18人が他者のコメントを基に改良
• 6人が自己評価のみで改良
• 2人が他人の作品を評価することでまなん
だことを生かして改良
、
– 明らかに改良点が何に基づいたものかわかる場合のみをカウン
トしたので、実際はもっと多い可能性がある。
• 開発したシステムは役に立った
15
研究の目的(簡易版)
• 情報メディアを使った作品を学習者がお
互いに評価しあうシステムを開発する
• そして、このシステムが役に立ったかを
検証する
16
個人的見解
• 受理されたのが2001年1月なので、およそ3年前になる
論文。
• 論文中のスクリーンショットでスクリプトの拡張子
が.php3となっていたので、PHP3で開発したものだと思
われる。もしPHP4に移植し、拡張モジュールを追加し
てグラフもイメージで出せたり、管理者モードで「一人
一人の評価分析傾向」を出せればもっと正確な評価がだ
せるのではないかと思った。
• このシステムを改良して本学で必須科目となっている情
報メディア入門、コンピュータ入門などの授業に生かせ
るのではないかと思った。
17
参考文献
• ありません
18
ダウンロード

発表のときのスライド