JES社会実験分科会・立教大学大学院21世紀社会デザイン研究科共催セミナー
「評価研究の巨人ロッシ教授が残した影響といくつかの主要な論
争」
ロッシら「プログラム評価第7版」に見る
米国プログラム評価研究の発展と
日本における課題
日本社会事業大学社会福祉学部
大島 巌
2007.12.3/於:立教大学太刀川記念館(国際センター)
1. 背 景

欧米諸国における、プログラム評価・政策評価の急速な発展

プログラム評価は、社会プログラムや社会政策を社会に適切に
位置づけるために不可欠の存在となる

ロッシら「プログラム評価」は、プログラム評価に関する初の体
系的なテキストとして1979年に初版が出版

その後も版を改めながら、プログラム評価に関する最も代表的
で標準的なテキストとして大学院教育などで使用されて来た

同時に、時代の最先端のプログラム評価方法を体系的にまと
めた本として、数年おきに大胆な改訂を繰り返す。
⇒プログラム評価の発展を跡付けるのに最適なテキスト
本報告の目的

ロッシら「プログラム評価」の改訂の歴史をたど
り、アメリカにおけるプログラム評価の理論と
手法の発展の歴史と現状を明らかにする

日本におけるプログラム評価への示唆を、地
域精神保健プログラムを事例にしながら検討
2. 分析方法

まず、この本のインパクトを明らかにするため、Web of Science
を検索。引用した文献の出版年次、論文の専門領域を分析

テキストの変遷を明らかにするために、初版から第7版までを比
較検討
⇒①プログラムデザインとプログラム理論の位置づけ
②評価者-利害関係者関係の位置づけ
③プログラム効果の評価方法の位置づけ
に焦点を当てて、その変遷を検討

本文の記述とともに、Key Conceptsの用語、Index掲載用語に
注目して分析
3. ロッシらのテキストの特徴・インパクト

評価(evaluation)の用語法

プログラム評価の定義
□「システマティック・アプローチ」
□科学的な社会調査法の活用

プログラム評価の主な対象領域
プログラム評価とは
「社会的介入プログラムの効果性をシステマ
ティックに検討するために、プログラムを取り巻
く政治的・組織的環境に適合し、かつ社会状況
を改善するための社会活動に有益な知識を提
供可能な方法で、社会調査法を利用することで
ある」 (ロッシら、2004、第1章)
プログラム評価とは(2)
1. 社会的介入プログラムの効果性を体系的に
検討
2. 科学的な社会調査法の適用
3. 評価を政治的・組織的文脈に適合させる
4. 社会活動に知識を提供して、社会状況を改善
する
(ロッシら、2004、第1章より)
プログラム評価とは(3)

より具体的には、評価担当者が社会調査の方法を用いて、プロ
グラムのすべての重要な側面から、社会的介入プログラムを研究
し、査定し、改善を援助するもの
 プログラムの重要な側面とは、

プログラムが対象とする社会問題を診断する(ニーズ評価)

プログラムの設計や概念化(プログラム理論評価)

その実施や管理(プロセス評価)

アウトカム(インパクト評価)

効率性(効率評価)
などを含んでいる (Rossiら、2004、第1章より)
何のためにプログラム評価を行うのか
有意義なプログラムと効果のないプログラムを区別する
とともに、望ましい結果を実現するために新しいプログラ
ムを開始し、既存のプログラムを改訂するため
社会的介入プログラム(social intervention program):
社会問題や社会状況を改善するために設計された、組
織的で計画された通常は継続的な取り組み
プログラムゴールとプログラム単位
 プログラムゴール:改善すべき社会問題や社会状況
 プログラム単位:ゴールを達成するのに有効な、組織的
で計画された取り組みの単位(構造・機能・プロセス)
ロッシら(2004)が対象とするプログラム


本文中の全111件のExhibits(例示)のうち
プログラム評価の実例紹介: 68件(100%)
対人サービスに関する例示: 63件(93%)
福祉サービスに関する例示: 48件(71%)
保健サービスに関する例示: 18件(27%)
精神保健福祉サービスに関する例示:
26件(38%)
※分野別の分類に重複あり。
「保健サービス」は狭義のものに限定。
表 ロッシらテキストの論文引用件数と発表年
論文発表年
1979
1980
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
全体
SSC I
S S C I+S C I+A & H C I
テキストの版
第1版
13
15
14
18
16
13
18
19
12
21
15
21
22
18
26
39
53
39
26
26
43
41
42
33
44
24
671
注:Web of Science、2005.9.24検索
14
15
15
18
16
14
19
21
12
25
15
21
23
20
27
41
58
43
27
30
50
45
44
38
49
25
725
第2版
第3版
第4版
第5版
第6版
第7版
ロッシらテキストのインパクト

引用雑誌の領域:
社会科学一般
公衆衛生
ソーシャルワーク
保健政策・サービス
教育
146件
119件
55件
55件
44件
注:SSCI引用件数 n=671(2005.9.24)
初版から第7版までのいずれかを引用
章構成の変遷
ロッシら「プログラム評価の理論と方法
~システマティックな対人サービス・政策評価の実践ガイド」(日本評論社1 0 月刊)目次
1章 プログラム評価の概要
2章 プログラム評価をあつらえる
3章 課題を同定し、評価クエスチョンを形成する
4章 プログラムに対するニーズをアセスメントする
5章 プログラム理論の明示とアセスメント
6章 プログラムプロセスをモニターし、アセスメントする
⇒プログラム評価の社会的位置づけ
プログラム評価の企画・デザイン
⇒ニーズ評価
⇒プログラム理論の評価 ⇒企画・デザイン
⇒プロセス評価
7章 プログラムアウトカムの測定とモニタリング
8章 プログラムインパクトのアセスメント~無作為化フィー
ルド実験法
9章 プログラムインパクトのアセスメント~代替的デザイン
アウトカム評価(インパクト評価)
10章 プログラム効果の検出、解釈、および分析
11章 効率性の測定
12章 プログラム評価の社会的文脈
⇒効率性評価
⇒プログラム評価の社会的位置づけ
R ossiP H ,et al(2004).Evaluation:A system atic approach,7th edition,S A G E.
プログラム評価の種類
(1)プログラムの必要性(ニーズ評価; needs assessment)
ニーズを確定し、あるいは確認するための評価
(2)プログラム理論の評価(セオリー評価; assessment of
program theory)
プログラムの設計・デザインの評価
(3)プログラムの実施とサービス提供 (プロセス評価;process
assessment)
プログラムを実施し管理する過程の評価
(4)プログラムの影響と効果(影響評価; impact assessment、
アウトカム評価; outcome assessment)
サービス提供によって発生した成果、効果の評価
(5)プログラムの効率(効率評価; efficiency assessment)
表 ロッシら「プログラム評価~システマティックアプローチ」の改訂プロセス
章の内容
1版(1979)
2版(1982)
3版(1985)
4版(1989)
5版(1993)
6版(1999)
7版(2004)
A 5版、335p
A 5版、351p
A 5版、423p
A 5版、496p
B 5版、487p
B 5版、499p
B 5版、469p
総説・概要
38p
36p
46p
54p
51p
34p
30p
テーラリング(Tailoring)
28p
38p
44p
54p
58p
40p
36p
課題同定と評価クエスチョン形成
-
-
-
-
-
40p
34p
ニーズアセスメント(社会診断)
40p
34p
36p
46p
48p
36p
32p
プログラム理論評価
-
-
-
-
-
36p
33p
プロセス評価モニタリング
38p
42p
46p
58p
52p
44p
30p
プログラムアウトカムの測定/その戦略
30p
30p
44p
46p
46p
44p
30p
プログラムインパクト: 無作為化フィー
ルド実験法
46p
50p
36p
38p
36p
30p
32p
36p
34p
36p
30p
22p
-
プログラムインパクト: 準実験法
16p
22p
56p
66p
フルカバープログラムのアセスメント
プログラム効果の検出・解釈・分析
-
-
-
-
-
-
30p
効率性の測定
42p
32p
36p
42p
40p
32p
38p
プログラム評価の社会的文脈
28p
32p
44p
52p
53p
44p
54p
表 ロッシら「プログラム評価~システマティックアプローチ」の改訂プロセス
章の内容
1版(1979)
2版(1982)
3版(1985)
4版(1989)
5版(1993)
6版(1999)
7版(2004)
総説・概要
○
○
○
○
○
○
○
テーラリング(T ailoring)
○
○
○
○
○
○
○
課題同定と評価クエスチョン形成
-
-
-
-
-
○
○
ニーズアセスメント(社会診断)
○
○
○
○
○
○
○
プログラム理論評価
-
-
-
-
-
○
○
プロセス評価モニタリング
○
○
○
○
○
○
○
プログラムアウトカムの測定/その戦略
○
○
○
○
○
○
○
プログラムインパクト: 無作為化フィー
ルド実験法
○
○
○
○
○
○
○
○
○
○
○
○
-
プログラムインパクト: 準実験法
○
○
○
○
フルカバープログラムのアセスメント
プログラム効果の検出・解釈・分析
-
-
-
-
-
-
○
効率性の測定
○
○
○
○
○
○
○
プログラム評価の社会的文脈
○
○
○
○
○
○
○
ロッシらテキストの改訂プロセス
を検討する際の注目点
1) プログラムのデザイン、プログラム理論
2) プログラム評価に関わる社会関係
3) プログラム効果の評価方法
プログラムデザイン、
プログラム理論の位置づけの変遷
主なキー概念の変遷(1 ): プログラムデザイン、プログラム理論に関するもの
1版(1979) 2版(1982) 3版(1985) 4版(1989) 5版(1993) 6版(1999) 7版(2004)
Evaluability assessm ent
-
○
○
○
○
○
○
C onceptualization and design analyses
-
○
○
○
○
-
-
Im pact m odel
○
○
○
○
○
-
-
-
-
C ausal/intervention/action hypothesis △(本文中) △(本文中) △(本文中) △(本文中) △(本文中)
A ssessm ent of program theory
-
-
-
-
△(索引)
○
○
Im plem entation/theory failure
-
-
-
-
-
○
○
A rticulated/im plicit program theory
-
-
-
-
-
○
○
B lack box evaluation
-
-
-
-
-
○
○
Im pact theory
-
-
-
-
-
○
○
P rocess theory
-
-
-
-
-
○
○
プログラム理論とは
社会的介入プログラムが、その期待される社会的便益に影響す
ると思われる影響の因果関連や、プログラムがその目的や目標を
達成するために採用している戦略や戦術に関する一連の仮説群。
○プログラム理論の3要素
・プログラムの結果・効果に関わる因果関係を明らかにする
(インパクト理論)
⇒ブラックボックス型評価の欠点を補う、ロジックモデル構築
・プログラム構造に関する規定(プロセス理論)
①組織計画(Organizational plan)
②サービス利用計画(Service utilization plan)
○理論上の失敗(Theory failure)と
実施上の失敗(Implementation failure)
インパクト理論
【まとめ】プログラムデザイン、
プログラム理論の位置づけの変遷




ロッシらのテキストでは1993年に発行された第5
版の索引でプログラム理論が登場
第5版までプログラム理論に代わる概念として
impact modelが用いられ、3種類の仮説が示さ
れる。しかし、その説明はごくわずか
6版以降1つの章を起こしているのとは対照的
近年のプログラム評価の動向としては、プログラ
ムの企画、デザインを重視し、その中心にプログ
ラム理論の構築を位置づけている
評価者-利害関係者関係の
位置づけの変遷
主なキー概念の変遷(2): プログラム評価の社会関係に関わるもの
1版(1979)
2版(1982)
3版(1985)
4版(1989)
5版(1993)
6版(1999)
7版(2004)
Stakeholders
△(本文中)
△(索引)
△(索引)
△(索引)
○
○
○
Evaluation sponsor
△(本文中)
△(本文中)
△(本文中)
△(本文中)
△(本文中)
○
○
Reputability assessment
-
-
-
○
○
-
-
Independent evaluation
-
-
-
-
-
○
○
Participatory or
collaborative evaluation
-
-
-
△(本文中)
△(本文中)
○
○
Empowerment evaluation
-
-
-
-
-
○
○
プログラム評価に関与する人たち
○評価者(evaluators)
○プログラムスポンサー(program sponsor)
○評価スポンサー(evaluation sponsor)
○ステークホルダー(stakeholders;利害関係者たち)
プログラムの成否に特別な関心を持つ個人、集団、組
織:スポンサー、政策立案者、政策管理者、
プログラム実施者、プログラム受益者・家族、
その他の利害関係者
評価者-利害関係者関係からみた
プログラム評価の類型
 独立評価:
評価者は、評価計画を立て、評価を実施し、結果を伝
えることにおいて、主たる責任を負う。
 参加型・協働型評価:評価者および1つ以上の利害関係者集団の
代表者がチームをつくり、チームプロジェクトとして組織される。
参加する利害関係者は、評価の計画、実行、分析に直接的に関
与し、評価者は、チームリーダーやコンサルタントから、必要なとき
にだけ呼ばれる人という幅広い役割を担い、協働的に作業する。
 エンパワーメント評価:利害関係者の主導権、権利擁護、自己決
定を強調する視点を発展させてきた方法。評価者-利害関係者
関係は、参加型かつ協働型である。加えて、評価者の役割にはコ
ンサルタントやファシリテーターの役割も含まれ、評価者は参加す
る利害関係者が自身で評価を行える力、権利擁護や変革のため
に評価結果を効果的に使える力、彼らの生活に影響を及ぼすプロ
グラムに対してなんらかのコントロール感を開発する。
【まとめ】評価者-利害関係者関係の
位置づけの変遷





第6版以降に、独立評価、参加型・協働型評価、エンパ
ワーメント評価という評価者と利害関係者の関係性に関
わる評価分類がキーコンセプトに出現。
「利害関係者」は、初版でも本文中に記述はあるが、索
引用語になっていない
第2版以降、「利害関係者」が索引用語となり、第5版以
降でキーコンセプトに位置づけられる
評価者-利害関係者関係の位置づけを評価活動の重要
な側面に位置づけることが近年の動向
対人サービス領域のプログラム評価では特に重要
プログラム効果の評価方法の
位置づけの変遷
主なキー概念の変遷(3 ): プログラム効果の評価方法に関わるもの
1版(1979) 2版(1982) 3版(1985) 4版(1989) 5版(1993) 6版(1999) 7版(2004)
P artial and full coverage
-
○
○
statistical controls
○
○
○
○
○
○
○
R egression-discontinuity design
-
-
-
○
○
○
○
R eflexive controls
○
○
○
○
○
○
○
Tim e-series analyses
△(本文中)
○
○
○
○
○
○
G eneric controls
△(本文中)
○
○
○
○
○
-
S hadow controls
△(本文中)
○
○
○
○
○
-
M eta-analysis
-
-
-
○
○
△(タイトル)
○
Effect size statistic
-
-
-
-
-
-
○
O dds ratio
-
-
-
-
-
-
○
△(タイトル) △(タイトル) △(タイトル)
-
【まとめ】インパクト評価の
位置づけの推移
「科学的な厳密性」と「実践的な制約」のバランスに配慮す
るインパクト評価から、まずはランダム化比較試験(RCT)
の可能性を追求するインパクト評価へ
ランダム化比較試験(RCT)の蓄積(メタ分析等)が、科学的
根拠に基づく実践(EBP)の基盤になるという認識へ変化
RCTが難しい状況でも、準実験デザインを用いたインパクト
評価が推奨される
単純前後比較デザイン(⊂フルカバーデザイン)は、 7版で
はアウトカムモニタリングの位置づけに後退する
フルカバーデザイン、シャドーコントロール法(判断に基づく
振り返り評価)、全体統計比較法は7版では記述がなくなる
プログラム評価発展の歴史と現状のまとめ



ロッシらテキスト初版の出版後約25年のうちに、プログ
ラム評価の用語や視点が整理され、アプローチの枠
組みも明確になった
最近20~30年のプログラム評価論の発展の中心に、
①プログラムのデザイン・プログラム理論、② 評価に
関わる社会関係、中でも評価者-利害関係者関係、
③プログラム効果の評価方法がある
プログラム評価が、より科学的、体系的になり、かつそ
の社会調整機能を向上させて、社会的地位を高めて
きたように思われる
厚生労働省
「精神障害者退院促進支援事業」
の検証
平成17年度予算
地域生活支援センター
などの地域機関
精神科病院
マンツーマンの支援
関係づくりの事前面接
Pt
退院後フォロー
Pt
Pt
Pt
Pt
自立支援員(支援職員)
調整
外出支援
退院準備支援
Pt
対象者
・社会的理由の入院
・長期入院が予想される
・主治医の推薦
・本人が希望、同意
退院促進支援事業の概要
グループホーム
など生活の場
作業所など
活動の場
自立促進支援協議会
(地域の精神保健・福祉・医療関係
機関から構成:
機関長と実務担当者の会)
・対象者の決定
・自立支援計画の作成
・訓練の進捗状況の把握など
単身アパート16人
GH社復施設22人
退院51人(53%)
家族10人
支援対象者 97人
その他3人
再入院
13人26%
支援期間:対象者1人当り8.9ヶ月
(Max 2年3ヶ月/Min 1ヶ月)
うち入院継続7人
退院/事業終了時
退院促進事業の援助経過と成果
(大阪府の試行事業 H12-14)(鹿野勉ら)
「退院促進支援事業」を評価すると
1. 事業のプラス評価

地域の関係機関・行政関係者が長期入院問題に関わ
ることができた

直接サービスがともなうケアマネジメントの導入

医療関係者と地域関係者のコンセンサス作りをし
ながら進めることのできるプログラム

全国的に、意欲的に取り組まれつつある

退院が確かに促進されている(その程度は? )
「退院促進事業」を評価すると(2)
課題1:プログラムモデルの構築


プログラムを必要としている人の特定がされておらず、主治
医による恣意的な運用がされている
プログラムのインパクト理論が明確でなく、退院を実現する
援助をすればよいのか、その後の良い地域生活の実現を
目指しているのかが関係者の間で共有されてない

既知の、科学的根拠に基づく「効果的援助要素」が取り入
れられていない(ケースロード、多職種アプローチなど)

プログラムのプロセス理論(組織計画、サービス利用計画)
が明確になっておらず、時に現場に混乱が生じる
「退院促進事業」を評価すると(3)
課題2:アウトカムの評価
・科学的なアウトカム評価が行われていない
・退院率は測定されるが、再入院防止、地域定着期
間の増加、QOLの向上、満足度の向上などの効
果が明らかでない
・退院は、アウトカム指標になるのか(サービス自
体、あるいは直接のoutputではないか)
「退院促進事業」を評価すると(4)
課題3:プログラム評価に関わる社会関係
・プログラムの利害関係者(stakeholders)の
それぞれの役割が不明確
・評価者が位置付いていない
・プログラムのミッション、哲学・理念が関
係者の間で共有されていない
システマティックなプログラム
評価法が導入されると.....
効果のあるプログラムモデルの構築が目指され、その対
象者(ターゲット)が明確にされる
プログラム理論が明確化され、それに基づいて利害関
係者との調整が可能になる

科学的な効果評価の行うことができる環境が整い、プロ
グラムの普及・定着が可能になる
⇒新規プログラムの開発に、システマティックなプログラ
ム評価を活用する意義
対人サービス領域のプログラム評価の課題

対人サービス領域には、介護保険レベルの大規模なプログラ
ムから、個別分野の試行的事業、自治体単独事業など小規模
な個別プログラムまで、数多くのプログラムが存在する

そのプログラムの多くが、実証的な根拠が不明確なまま、行政
主導で創設されている

プログラム効果の検証は一部で行われているが、それが社会
システムとしては位置付かない

既存プログラムの見直しは、科学的実証的なプログラム評価
の方法を用いて行われることが少ない
何のためにプログラム(評価)を行うのか
有意義なプログラムと効果のないプログラムを区別する
とともに、望ましい結果を実現するために新しいプログラ
ムを開始し、既存のプログラムを改訂するため
社会的介入プログラム(social intervention program):
社会問題や社会状況を改善するために設計された、組
織的で計画された通常は継続的な取り組み
「地域生活支援プログラム」のゴールとプログラム単位
 プログラムゴール:改善すべき社会問題や社会状況
 プログラム単位:ゴールを達成するのに有効な、組織的
で計画された取り組みの単位(構造・機能・プロセス)
⇒そのプログラム単位が、どのように定義されるか
「地域生活支援プログラム」評価の課題
 プログラム評価では、まずプログラム単位の明確化が必要:
 ある特定の問題解決のために有効な、組織的で計画された取り組み
をどのように構築しているのか、まず「プログラム」の輪郭を明らかにする
必要
 プログラムゴールの明確化:
 改善すべき社会問題や社会状況が何なのか、プログラムを提供すべき標
的集団がどのような状況にあるのか、を明らかにする必要
 改善すべき社会問題・社会状況の改善が、アウトカムの指標になる
 効果的なプログラムを設計をする上でプログラム理論を活用:
 より効果的で、問題解決の改善に有効なプログラムモデルを設
計・構築するためには、プログラム理論の活用が重要
 研究者の関与について
対人サービス領域のプログラム評価の課題

対人サービス領域のプログラムは、常に実践の検
証を経ながらより良いプログラムに置き換わって行く
ことが必要であり、またそれが可能な領域

より良い対人サービスプログラムを、科学的に発展
させていくために、日本でも、プログラム評価が主要
な役割を果たす必要がある
ありがとうございました!
大島巌(おおしまいわお)
[email protected]
http://ioshima.com/
Rossi P, et al (2004). Evaluation: A systematic
approach. 7th edition. Sage Publications (大島、
平岡ら監訳、プログラム評価の理論と方法~
システマティックな対人サービス・政策評価の
実践ガイド. 日本評論社、2005)
ダウンロード

「プログラム評価」は