執筆：ジャフェス・オゴル
ルーム・トゥ・リード 識字教育部門マネージャー
(調査・モニタリング・評価担当)
優れたデータ戦略は、オフィスで設計され、教室で磨き上げられる。
タンザニアとウガンダでルーム・トゥ・リードが実施した評価者研修を通じて私が学んだのは、評価設計と現場の実態との間にあるギャップについて、そして、調査・モニタリング・評価担当者が、実際に学びが行われている現場に立ち会うことがなぜ重要なのかということです。
評価ツールの設計から見えてきた大切なこと
2024年10月、タンザニアのウブンゴで、ルーム・トゥ・リードの識字プログラムに関する評価者研修を行っていたときのことです。この研修は、子どもたちの学習状況を評価するためのデータ収集を担う評価者を養成するためのものでした。そこで、一見するとささいな行き違いが、私たちの動きを止めました。
6歳の女の子が、「あなたと一緒に住んでいる家族の人数」という質問に答える際、自分自身もその人数に含めていたのです。ひと言説明を加えると、子どもはすぐに答えを修正しました。
しかし、この出来事から重要なことが見えてきました。評価に使うツールは、単に言葉として分かりやすいだけでは十分ではありません。その地域で暮らす人々の生活や物事の捉え方にも適したものでなければならないのです。
たとえば最初から、「あなた以外に、家で一緒に暮らしている人は何人いますか？」と尋ねたり、「お母さん、お父さん、きょうだいなどを思い浮かべてください。そのうち何人が一緒に住んでいますか？」と補足したりすれば、子どもは答えを修正するよう求められなくても、自然に考えることができたはずです。
子どもの生活や理解の仕方に即した質問にすることで、評価者がその都度解釈したり、説明を加えたりする必要が減り、最終的には、より信頼性の高いデータを得ることができます。
この問題は、資料を机上で確認するだけでは見つけられませんでした。実際に現場にいたからこそ気づけたのです。
そして2026年2月、タンザニアのキロサで、ルーム・トゥ・リード史上最大規模となる子どもの学習評価を実施しました。89人の評価者が研修を受け、そのうち81人が実際のデータ収集を担当しました。評価者間信頼性、つまり複数の評価者が同じ子どもをどの程度一貫して評価できるかを示す指標は、平均99％に達しました。10日間で90校を対象に調査を行いました。
規模が大きくなれば、求められる責任も大きくなります。そして現場から得られる学びも増えました。一つひとつの気づきを、今後の取り組みの改善につなげています。
手順書だけでは学べないこと
2025年9月、ルーム・トゥ・リードはパートナー団体「ウガンダ読書協会」の評価者研修を行いました。実際に子どもたちと向き合う評価者からは、研修マニュアルだけでは想定できなかった質問が次々と出てきました。
「子どもが質問を理解できない場合、自分なりの言葉で説明してもよいのでしょうか？」
「子どもから『もう一度言ってください』と言われたら、どうすればよいのでしょうか？」
これらは、単なる細かな手続き上の問題ではありません。信頼できるデータと、ばらつきの大きいデータを分ける重要なポイントなのです。
同じ質問でも、評価者によって説明の仕方が異なれば、同じ子どもから異なる答えが返ってくる可能性があります。そうなれば、データがその子どもの本当の理解度を正確に反映できなくなり、学校や地域を越えて結果を比較することも難しくなります。
キロサでは、言語と読み書きのトレーナーが、歌を使って文字と音の理解を深める指導をしていました。子どもたちは言語的な背景によって文字や音の発音が異なることがあります。評価者が正しい発音の幅を十分に理解していなければ、正しい答えを誤答と判断してしまう恐れがあります。
歌を使う方法は、評価者が紙の上に示された文字と音の対応だけでなく、その音がどのように生み出されるのか、また発音にどのような違いがあるのかまで理解し、実際の子どもの声を正確に聞き取れるようにするための工夫でした。
また、新しい評価者が、実際に担当する前に経験豊富な評価者の様子を見ながら学ぶ姿も目にしました。
まず基本的な考え方を理解し、次にツールの使い方を学び、その後で中心となる評価活動へ進む。こうした段階的な進め方によって、習得が早まり、研修中の不安も軽減されていました。
こうした実践は、計画書に書いてあるだけでは分かりません。ルーム・トゥ・リードの調査・モニタリング・評価チームが現場にいるからこそ、こうした気づきを得て、記録し、次の取り組みに生かしていくことができるのです。
学校を訪れて初めて見えるパターン
キロサで行った1日目のデータ品質保証（DQA）では、評価者間の一致率は平均99％で、非常に良いスタートを切ることができました。一方、音読と読解の評価では3人の評価者が基準値の95％を下回りました。また、文章を聞いて書き取る「文の書き取り」では、チーム全体で最も評価のばらつきが見られました。
これは失敗を示すものではありません。改善のための大切なフィードバックです。
そこで私たちは、対象を絞った復習研修と、より丁寧な監督を行うことを提案しました。その日のデータをもとに夜10時に方針を決め、翌朝には実行に移しました。現場にいるからこそ可能になる対応です。
1. 必要人数より多めに評価者を研修しておく
葬儀、病気、予定外の政府関係者の訪問などにより、参加できなくなる人は実際に出ます。あらかじめ余裕を持った人数を確保する必要があります。
2. 一度きりの研修ではなく、繰り返し練習し、その場ですぐにフィードバックする
繰り返し練習し、リアルタイムで修正を受けることで、評価者間信頼性は33％から95％以上にまで向上しました。一度だけ研修を受けた人よりも、繰り返し練習した人のほうが、子どもたちを一貫した基準で評価できます。
3. 「文の書き取り」には、特に多くの研修時間を充てる
さまざまな現場で、この項目は一貫して難しいことが分かっています。研修計画の中で、明確に重点項目として扱う必要があります。
4. 疲労がデータの質に影響することを考慮する
1日目に最も遠い場所まで移動した評価者には、2日目は移動距離の短いルートを担当してもらうなどの配慮が必要です。
5. 予定外の出来事を前提に計画する
大雨、学校の予定変更、政府関係者の訪問などは、例外的な出来事ではありません。現場では実際に起こることです。だからこそ、最初からそうした事態を想定して計画を立てる必要があります。
ベースライン調査が、いつも答えになるとは限らない
2026年にダルエスサラームで行った会議の中で、特に重要だったのが「ベースライン調査」についての議論です。
ベースラインとは、プロジェクトを始める前の状況を把握するために、活動開始時点で行う調査です。後で変化を比較するための「出発点」となります。
国際協力の分野では、新しいプロジェクトを始めるとき、慣習的に「まずベースライン調査を」と考える傾向があります。この考え方は理解できますが、必ずしも適切とは限りません。
ベースライン調査だけで、プログラムの有効性を証明することはできません。プログラムをどのように実施するのかを示す実施マニュアル、何を達成しようとしているのかを整理した成果の枠組み、そして効果を測る具体的な指標が整っていなければ、成果やインパクトに関する問いには答えられません。
こうした準備がないまま調査をしても、集めたデータを何の意思決定に使うのかが不明確になり、調査は「学ぶための道具」ではなく、単に説明責任を果たすための負担になってしまいます。
まず問うべきなのは、「この調査によって、何を判断したいのか」です。
その答えによって、開始時と終了時を比較する複数年のインパクト評価が必要なのか、一度だけ成果を確認するアウトカム評価なのか、プログラムを詳しく検討するレビューなのか、ある時点の状況を捉える横断調査なのかが決まります。
調査の設計は、何を判断するためにデータを使うのかによって決めるべきです。単なる慣習や、政府からの要請、支援者側の期限に合わせて決めるものではありません。
現場にいることの大切さ
調査・モニタリング・評価のスタッフは、監査をする人でも、間違いを探す人でもありません。活動から学び、より良いものにしていくための仕組みをつくる人たちです。そして学ぶためには、実際に学びが起きている場所にいる必要があります。
キロサでは、研修を担当するコンサルタントチームが、専門技術、運営、ロジスティクスなど、それぞれ明確な役割を担っていました。ルーム・トゥ・リードの調査・モニタリング・評価チームと、読み書き教育を担当するシニア・ファシリテーターが連携する姿も、現場で高く評価されていました。
政府のパートナーとも十分に協力できていたため、学校を試行の場として使用した際にも、実践練習をスムーズに進めることができました。このような質の高い連携は、遠隔で指示を出すだけでは生まれません。何日も同じ現場でともに活動する中で築かれていくものです。
タンザニアからウガンダまで、現場を訪れるたびに、ダッシュボードや要約報告書、共有された進捗管理表だけでは決して分からないことを学びました。
実際の子どもが席に座り、実際の評価者がタブレットを開き、実際のデータ収集が始まる――。その瞬間に何が起きるのかは、現場にいなければ分かりません。
「データ収集から実際の成果へ至る道のりは、一本のパイプラインのような一方通行ではありません。それは対話です。オフィスで始まったその対話は、子どもたちがいる現場、本当の学びが起きている場所、そして私たちのツールが本来の目的と出会う場所で、続いていかなければなりません。
原文URL：When data meets real classrooms
翻訳：Arisa Moore
📤お問い合わせ │ Inquiry：
認定NPO法人ルーム・トゥ・リード・ジャパン
Web：https://japan.roomtoread.org/
e-mail： japan@roomtoread.org
ルーム・トゥ・リード・ジャパンは認定NPO法人です。ご寄付は税額控除の対象になります。個人・企業によるご支援やボランティア参加のご希望など、お気軽にお問い合わせください。