2-1 評価の6項目
経済協力開発機構(OECD)の開発援助委員会(DAC)は1991年に発表した「DAC評価方針」のなかで、援助事業の評価をおこなう視点・基準として、妥当性(relevance)・有効性(effectiveness)・効率性(efficiency)・インパクト(impact)・自立発展性(sustainability)の5項目(基準)を提唱した。
「妥当性」とは、プロジェクトがめざしている効果が受益者のニーズに合致しているか、対象分野・セクターの問題や課題の解決策として適切など、プロジェクトの妥当性を問う視点・基準である。
「有効性」とは、プロジェクトの実施により受益者もしくは社会への便益がもたらされているか、あるいは今後もたらされるのかを問う視点・基準であり、具体的には、プロジェクト目標が期待どおりに達成されているか、効果が、プロジェクトの成果の結果もたらされたものであるかを見ることになる。「目標達成度」とよばれることもある。
「効率性」とは、プロジェクトのコスト(投入)とアウトプット(成果)の関係に主に着目し、アウトプットの達成度合いがコストに見合っていたか(見合うか)を問う視点である。より低いコストで達成できる代替え手段はなかったか、おなじコストでより高い効果を達成することはできなかったなどを見る。
「インパクト」とは、プロジェクトの実施によりもたらされる長期的・間接的効果や波及効果を問う視点・基準であり、予期していなかった正負のインパクトもふくまれる。
「自立発展性」は、事業が終了してもプロジェクトで発現した効果が持続しているか、あるいは持続の見込みがあるかを問う視点・基準である。
本論で提唱する事業評価法では、上記の5項目に「住民参加」を評価の基準としてくわえる(図2−1)。住民参加とは、プロジェクトの計画および実施段階において住民参加はどの程度おこなわれたかをとう視点・基準であり、地域の活性化やNGO活動にとって必要不可欠な観点である。
評価をすすめるにあたっては、その結果を記入するための専用書式を用意する(書式の例はこちら[PDF])。書式には、事業名、事業実施年度、評価者名、実績確認、目標達成度5段階評価、妥当性、有効性、効率性、インパクト、自立発展性、住民参加、全体を通してのコメントをそれぞれ記入する欄がある。
2-2 多角評価の進め方
(1)計画書・報告書のレビュー
まず、計画書・報告書のレビューをざっとおこなう。それにひきつづいて現地調査をおこなう。そして再度、計画書・報告書のレビューをおこなう。つまり、各事業の計画書・報告書のレビューは、現地調査もおこないながらすすめる。
- 評価チーム内で、誰がどの事業の評価を担当するかを決める(役割分担をきめる)。
- 日本人スタッフおよび現地スタッフが作成した計画書・報告書を、事業ごとにレビュー(再調査・再吟味)する。
- 計画立案時の課題が何であったのかを確認する。
- 各事業の実績を確認する。
- 計画と実績の要約を書式の所定の欄に記入する。
- 各事業の目標達成度を5段階評価で記入する。
- 評価6項目の各基準について、第一次の(暫定的な)評価をおこない、情報源と得られた情報、評価結果を所定の欄に記入する。
- 全体を通してのコメントと質問事項(不明な点)を所定の欄に記入する。
(2)現地調査
現地調査においても、上記の「6項目」が調査のもっとも基本的な観点になる。事業評価のための調査は、一般的な情報収集とはことなり「検証」するという姿勢でおこなう。現場に入ったら、「聞き取り」と「観察」をしながら調査と、「点メモ」と「写真撮影」による記録をくりかえす。そして、宿にもどってからあるいは 帰国してから現場での記録にもとづいて「データベース」を作成する。
調査項目ネット作成
- 評価チームのメンバー全員があつまる。
- 模造紙・ラベル・クリップ・ペン(細・太)を用意する。
- 模造紙を半分の大きさに切り、その中央に「現地調査項目」と記入し、それをかこむようにマジックで楕円形を書く。
- 一つの事業の第一次評価結果を担当者が発表・解説する。
- 事業についての不明な点、現地において確認・検証すべき事項、評価にあたってあらたに調査すべき項目などを議論しながらあらいだし、各自がラベルに記入する。(ラベルづくり)
- ラベルには、その事業が実施された場所(村の名前など)をかならず記入する。
- 記入されたラベルを模造紙上に空間配置する。中心から周辺へむけて放射状に配置する。意味の似ているラベルや関連のつよいラベル同士はそばにおき、クリップでつなぐ。(空間配置)
- 一つの事業についてラベルがでつくし、空間配置がおわったら1サイクルがおわりである。
- つづいて2サイクル目に入り、次の事業についての評価結果を担当者に発表・解説してもらう。
- 以下同様なことをくりかえし、すべての事業について調査項目をラベルに記入し模造紙上に配置する。
- 模造紙1枚に入りきらないときは何枚にもわたってもよい。
- 一通りおわったら最後に、全体を通しての調査項目をラベルにかきだし、空間配置をする。
- ラベルを模造紙にはりつけ固定する。
- ラベルとラベルを線でむすび(関係線の記入)、意味のまとまりごとに黒色のマジックペンでかこむ(島取り)。
- 各島に「見出し」を赤色のマジックペンで記入する。
- 「4注記」(時・所・情報源・作成者)を記入して調査項目の図解「調査項目ネット」を完成させる。
- 調査項目をいかにあらいだし、効率よく簡潔に整理できるかが現地に入ってからの調査の正否を決定する。
聞き取り
- 現地調査担当者を決める。
- 担当者は、国内で作成した「調査項目ネット」を現地へ持参する。
- 現地に入ったら、いきなり調査をはじめないで、まず「ぶらつき」をおこなう。「ぶらつき」とは、現場に到着した直後に、あたりの風景をみながらブラブラとぶらつくことであり、現場の中に身をおいてみて、生身を通して全体的な状況にふれ、雰囲気を感じてみることである。この「ぶらつき」による原体験があってこそ、その後の現地調査の個々のデータはうわすべりせずに全体状況の中でいかすことができる。
- 聞き取り調査には、個別インタビューとグループインタビューの二つの方法がある。
- 個別インタビューでは、事業を直接担当した人や事業に関係した人から話をきく。まず、「調査項目ネット」を相手にしめして、こちらが質問したいことを簡潔にのべる。
- 相手には概論をきくよりも、できるだけ細かい具体的なことを話してもらうようにする。体系的な解説よりも、実際の経験や事実を語ってもらうようにする。「泥臭く個別からくいこむ」のが調査の基本である。
- 調査項目を説明した後は、できるだけ「自由に語ってもらうよう」にする。こちらから話題を提供したうえで、存分に好き勝手に語ってくださいという方法をとる。
- 調査項目から脱線したように一見みえる話をしても、そのまま流れにまかせる。人間は、話しながら連想で話題が展開していくものであり、自由に語れるときは、語りたい衝動がもちあがる。
- 相手の話によく耳をかたむけ、「なるほど」と適切に相槌をうつ。
- グループインタビューは、現地住民に集まってもらいミーティングをひらいておこなう。
- 一つの質問をし、自由に語ってもらったり議論してもらう。
- 現地の人々の雑談もよくきくようにする。
点メモ
- 「点メモ」とは、キーワードだけを点々とつらねた簡略化されたメモである。
- その時その場でとった記録の新鮮さこそデータの生命である。
- 耳をかたむけつつ話の内容を「点メモ」する。
- その場では文章として記録しないようにする。文章として記録しないので、相手の話の腰をおることがない。歩きながらでも記録ができる。
- 時・所・情報源(情報提供者)はかならず記録する。
- その時その場での記録は「点メモ」にしておき、あとでデータベースをつくるときにしっかりとした文章にする。
現場の観察
- 「調査項目ネット」は毎日持ち歩き、調査項目をたえずチェックする。
- 事業が実施された現場をよく観察する。
- 対象だけでなく周辺や背景もよく観察する。
- 大局と局所の両方をよく観察する。
- 場所・形・色彩をよく観察する。
- 確実に、連続的に、綿密に観察する。
- 体系的な知識があると観察にもれがなくなる。
- 固定観念や思いこみがあるとよい観察ができない。
- 既存のモデルや仮説が完全だと錯覚すると、あたらしい現象を見いだせない。
- 理解できない現象が見いだせた場合は、かならずメモをとる。あらたな発見につながる。
- 各事象の類似点と相違点を見いだす。あらたな発見につながる。
- 観察しながらも、現地の人々から「聞き取り」調査をおこなう。
- 観察をしながら、「点メモ」と「写真撮影」による記録をくりかえす。
写真撮影
- デジタルカメラをつかい、なるべくたくさん写真をとるようにする。多すぎて損をするということはない。
- 人の写真をとるときはかならず相手の許可をえてからとる。失礼にならないよう十分な配慮が必要である。
- その土地に固有なもの(地名・動植物・建築物など)は、写真をとりながらその名称を記録しおぼえる。
データベース作成
- えられた記録は、宿にかえってからあるいは帰国してからパソコンに記録しファイル化する。これにより情報の閲覧と検索が容易になる。
- 言語(テキスト)によるファイルと画像(イメージ)ファイルをつくる。
- 言語と画像とは相互補完の関係にある。言語的な情報(テキスト)と写真(画像)とはデータベースの「車の両輪」であり、相互に補強しあって、その後の情報処理を容易にする。
- その場の記録は簡単な「点メモ」にしておき、宿にかえってから、あるいは帰国してから、こんどはパソコンに完全な文章として記録する。点メモ
をみながら、現場の状況を映像(イメージ)として思い出すようにする。現場で的確なキーワードを多数おさえてメモしておけば、すこし時間がたっても文章化
は十分可能である
- テキスト・ファイルは、日付・天気・見出し・本文を、時間軸にしたがって「日誌」として記載する。本文には、場所と情報源(情報提供者)をかならず記載する。
- 撮影された写真は画像ソフトをつかえば簡単に整理できる。宿にもどってからあるいは帰国してから、サムネイル表示やスライドショーの機能をつ
かって写真をみなおすと、おどろくほどありありと現場の様子を思い出し再現することができる。写真をみなおしながらあらたに言語的な記録をとってもよい。
- データを共有する場合がある場合には、記録者氏名も記載する。
- データベースをつかって、「調査項目ネット」の調査項目ごとに情報を整理する。「調査項目ネット」にしめされた調査項目に対する解答が一通り得られ、整理されたかどうかがポイントになる。
(3)評価シート作成
現地調査の結果(データベースの内容)を、評価チームのミーティングで詳細に報告し、質疑応答と議論をおこなう。
目標達成度(有効性)については、チームメンバー各自が5段階評価をおこない、集計結果の平均値(小数点以下四捨五入)をだす。
当初に決めた役割分担にしたがって、各事業(各分野)ごとに評価シートを作成・完成させ、「多角評価」による事業別評価を終了する。作成された評価シートはいつでも閲覧できるようにファイルしておく。
|