INSIGHTS
テーマ

【後半】生成AIを利用したEBPM実践に向けた一考察 ―地方自治体における政策立案に生成AIをいかに使うか/使わないか― サムネイル

【後半】生成AIを利用したEBPM実践に向けた一考察 ―地方自治体における政策立案に生成AIをいかに使うか/使わないか―

  • 福島大学
  • EBPM
  1. EBPM実践に生成AIを活用するには
  2. おわりに

EBPM実践に生成AIを活用するには

 いったん、ここまでの内容を整理しておこう。自治体におけるEBPMの現状としてまず、アウトカム設定およびロジックモデル作成においては、業務繁忙による時間不足とEBPMの枠組みで整理することが難しい事業の存在、さらにロジックモデル等を適切に確認・修正する仕組みの不在という三つの問題があった。また、エビデンスの収集・吟味においても、同様に時間不足の問題があるうえ、エビデンスの収集・吟味に必要な専門的知識の不足も大きな問題であった。また、専門的知識の不足に付随するが、エビデンスを適切にチェックする仕組みの担保も必要となる。
 このように整理すると、EBPM実践の課題は大きく三つに集約できる。すなわち、①本来業務の遂行や労務管理に支障が出ない範囲でEBPM実践の時間をどう確保するか、②経験・知識不足を補いつつ成果物の質をどう高めるか、③(②を実現するため)フィードバック・チェックの機会をどう担保するか、である。そして、これらの課題は生成AIを適切に使用すれば、解決できる可能性がある。

(1)提案① 生成AIに叩き台を作らせ、時間を短縮

 ここでの提案は極めてシンプルである。アウトカムやロジックモデルの「叩き台」を生成AIに作らせるのだ。何事もゼロの状態から、何かを作ることは難しいし、時間もかかる。ただ、多少粗くても、何らかの案が最初にあれば、これを手直ししていけばよいので必要な労力・時間は小さくなる。そこで、生成AIに政策課題に合ったアウトカムをいくつか提案させたり、設定したアウトカムと検討中の事業をもとにロジックモデルを提案させたりすることで、その提案をもとに人間が精度を上げていけば、かかる時間を短縮化しつつ、成果物の質も上げられるのではないだろうか。
 もちろん、アウトカム設定・ロジックモデル作成の場面で、生成AIを使用する際には、生成AIが論理的思考や批判的吟味を苦手とすることをあらかじめ考慮しておく必要がある。つまり、生成AIが出してきた提案は絶対に鵜呑みにせず、人間の目でチェックをすることを前提にしつつ、プロンプトにも工夫を施す。例えば、以下のようなプロンプトを与える。
(以下、青字:プロンプト 緑字:AI回答)

「熱中症対策」という政策課題について、EBPMの観点からロジックモデルを作成したいと思います。まずは、アウトカムの設定をしたいと思います。地方自治体の政策目標として妥当なアウトカム指標をいくつか提案してください。なお、その際はSMART(明確、測定可能、達成可能、現実的、期間限定)を満たすようにしてください。

 生成AIにプロンプトを与える際のポイントは、必要な情報を与えることと、アウトプットのフォーマットを指定することである。ここでは、後者について「いくつか」と複数の候補を出すように促したり、候補の要件(ここでは、内閣官房(2025)に依拠してSMARTというフレームワーク)を指定したりしている。また、前者について自分たちの自治体の統計データや既に決定している行政計画などを与えても良いだろう。
 ちなみに、上記のプロンプトに対し、生成AI(Claude Opus5)は以下のように回答した。使用する生成AIにもよるが、そこまで的外れな回答はしていないと言えるだろう。

前提:アウトカムは3層に分けて設定する
熱中症対策は「周知 → 行動変容 → 健康被害の減少」という因果経路が比較的明確なので、最終・中間・初期の3層に分けると、後工程(アウトプット、アクティビティ)との接続が作りやすくなります。以下、層ごとに指標案を示します。 
最終アウトカム(3〜5年)

① 熱中症による救急搬送者数(人口10万人あたり・暑さ指数補正後)を基準期間比で15%削減する
測定:消防庁「熱中症による救急搬送状況」の市区町村別データ
期間:2026〜2030年の5年間、基準は直近3年平均 SMARTの要点は後述の「気象補正」。生の実数のままでは達成可能性・現実性を満たしません。
② 熱中症による死亡者数・重症事案(3週間以上の入院)を、年間ゼロ(または基準比半減)とする
測定:人口動態統計、消防庁データの重症度区分
小規模自治体では年間の発生数が一桁のため、実数目標だと偶然変動に飲まれます。人口規模が小さい場合は5年累計での評価に切り替えるのが現実的です。
③ 高齢者(65歳以上)の熱中症搬送者数が全搬送者に占める割合を、◯%から◯%に低下させる

搬送者の約半数が高齢者であり、住宅内での発症が多い層。政策的にターゲットが明確で、施策との対応関係を説明しやすい指標です。(以下略)

 同様に、ロジックモデル作成についても生成AIの力を借りられる。次に、このようなプロンプトを与えてみよう。

では、最終アウトカムを「人口10万人あたりの熱中症搬送者数削減」にしましょう。次に、この最終アウトカムに合わせて、ロジックモデル(インプット・アクティビティ・アウトプット・初期アウトカム・中間アウトカム・最終アウトカム)の叩き台を作成してください。アクティビティは一般市でも実施可能なものとし、啓発事業を軸にしてください。また、最初に全体像を示してください。

 ここでも、アウトプットのフォーマット・要件を省かずに記載している。もし、庁内で規定のフォーマットがあるなら運用ルールに反しない限り、フォーマットごと生成AIに与えても良いだろう。なお、これに対し、生成AIは以下のように回答した。やはり、粗さはあるが、記載に悩むアウトプットとアウトカムの違いなどは、よく整理されており、大枠として利用するには申し分ない。

この6段階のうち、行政が確実にコントロールできるのはアウトプットまでです。初期アウトカムから先は住民側に起きる変化であり、施策以外の要因も混じります。この境界を意識して、責任範囲と検証範囲を分けておくのがEBPMの要点になります。以下、層ごとの叩き台です。(以下略)

(2)提案② 生成AIによる補助的なチェック・情報収集

 生成AIを適切に使えば、ハルシネーションのリスクを低減させつつ情報収集を行うことができる。例えば、以下のようなプロンプトを与えると良いだろう。

実際に効果のある事業(アクティビティ)を考えたいです。
査読付き論文を中心に、熱中症による搬送を減らす、あるいは行動変容につながる効果(因果関係)が認められている事業を調べてください。なお、地方自治体レベルで実施可能(ただし、現状では行われていない)な事業に限定すると共に、出典情報(著者・出版年・論文タイトル・雑誌名およびURL等)を明記してください。

ハルシネーションのリスクを減らす有効な方法の一つとして、プロンプトで出典情報を明記させることがある。シンプルな方法ではあるが最新の生成AIモデルなら、これだけでもハルシネーションが相当、減少する。また、生成AIは論文の内容を批判的に吟味することが難しいので「査読付き論文」や「因果関係が認められている」など、重視したい情報をこちらで指定しておくと良い。

査読付き論文を中心に調べました。結論から言うと、「熱中症の搬送・死亡を減らす」ことについて因果効果まで確認された研究は世界的にも数が少なく、多くは相関どまりです。そのうえで、因果推論の設計(RCT・差の差分析)があり、かつ日本の一般市で実施可能で、現状ほとんど行われていない事業を6つ選びました。証拠の強さ順に並べています。 
A. 高齢者を名簿で特定した個別予防情報パッケージの送付

最も強い証拠がある事業です。 オーストラリア・南オーストラリア州で行われたランダム化比較試験(RCT)が根拠になります。65歳以上637名を介入群と対照群にランダム割付し、介入群にのみ熱中症予防の情報パッケージを送付しました。その結果、介入群では冷房装置の使用と、濡れた布で皮膚を冷やす行動が有意に増加し、交絡因子を調整した後、夏季に自覚した熱ストレスは対照群に比べ63%減少しました(RR 0.37、95%信頼区間 0.22–0.63)。
日本の自治体も予防チラシは配っていますが、不特定多数への一斉配布であり、対象者を名簿で特定して個別送付し、シーズン終了後に効果測定する設計にはなっていません。介護保険の要支援者名簿や高齢者見守り台帳を使えば、追加の郵送費だけで実施できます。効果検証も、名簿を無作為に2群に分けて片方に先行送付する形にすれば、市の事業のまま準実験デザインが組めます。
Nitschke M, Krackowizer A, Hansen AL, Bi P, Tucker GR (2017) “Heat Health Messages: A Randomized Controlled Trial of a Preventative Messages Tool in the Older Population of South Australia,” International Journal of Environmental Research and Public Health, 14(9):992. https://doi.org/10.3390/ijerph14090992 (以下略)

 ただし、生成AIが示した出典情報と内容が合致していない場合もある。そのため、示された内容について、より詳細に吟味するために、論文のPDFをダウンロードして、生成AIに改めて内容を要約させておくと、さらにハルシネーションのリスクを減らすことができる。
 さて、ここまでアウトカムとロジックモデルの叩き台ができたうえ、参考になりうるエビデンスも集まった。そこで、さらに質を上げるため、このようなプロンプトを与えてみよう。

「高齢者を名簿で特定した個別予防情報パッケージの送付」をアクティビティに据えて、先ほどのロジックモデル(最終アウトカム:搬送件数減少のまま)を修正してみてください。
さらに、そのロジックモデルを批判的に検討してみてください。

 生成AIは基本的に迎合的な態度をとるが、こちらもプロンプトで指定をしてやるだけでも、いくばくか改善する。実際に、生成AIの回答は、クリティカルな批判を含んでいる。

「情報提供が行動を変え、行動が搬送を減らす」という因果連鎖に絞った形に組み替えました。まず修正版の全体像です。

(中略)
批判的検討
このモデルには、そのまま実施すると事業評価が破綻しかねない問題がいくつかあります。深刻な順に述べます。
1.最終アウトカムに対して事業規模が小さすぎ、効果を検出できない
これが最大の問題です。人口10万人の市を想定すると、年間の熱中症搬送者は概ね100人前後、うち65歳以上が半数程度です。この事業の対象は単身・高齢者のみ世帯に絞られるため、対象者から発生する搬送者は年間10〜20人規模にとどまります。仮に原典研究と同じ63%の減少が搬送にそのまま転写されたとしても、市全体で減るのは年6〜12人です。
一方で、猛暑年と冷夏年の搬送者数の変動は容易に2倍以上になります。事業が完璧に機能しても、その効果は気象由来のノイズに完全に埋没します。つまりこのモデルは、事業が有効であっても「効果なし」と判定される構造を内包しています。第二種の過誤を制度的に埋め込んでいる状態です。
対応は二つあります。最終アウトカムを「65歳以上・屋内で発生した搬送者数」に絞って母集団とアウトカムの対応を取るか、あるいはこの事業の責任範囲を中間アウトカムまでとし、最終アウトカムは市の熱中症対策全体の目標として別建てにするかです。後者が実務的には妥当だと思います。単一事業と最終アウトカムを一対一で結ぶこと自体に無理があります。(以下略)

 ただし、生成AIはこれまでの取組の経緯や地域の特性(文脈)を踏まえて提案することも得意ではない。繰り返しになるが、生成AIが示すのはあくまでも案であり、そのまま採用するには不十分であるという意識をもって欲しい。
 とはいえ、担当者が一人で、様々な点を意識しながらチェックすることは難しい。そこで、フィードバック・チェックの機会を担保するため、以下を提案したい。 

(3)提案③ 生成AIで作成した案を複数人で検討

 ここまで、担当者が生成AIを使いながらロジックモデルの作成やエビデンスの収集を行うことを想定し、生成AIを用いたEBPM実践の方法を提案してきた。ここで紹介した方法を用いれば、担当者が一人で唸りながら長時間かけて作成するのに比べ、圧倒的に必要な時間を短縮しながらも、一定のクオリティが担保されたロジックモデル等を揃えることはできるだろう。
 ただ、意識すべきは、ここで作成したのは単なる事務書類ではなく、住民の実生活に直結しうる政策の案である点だ。もし、無批判に生成AIの提案を受け入れて実行した結果、思うように効果が出なかったり、それどころか思わぬ副作用が出たりしても生成AIは何の責任も取ってくれない。どれだけ生成AIの技術が進歩しようとも、説明責任を果たすことだけは人間しかできない。その意味でも、生成AIの案を担当部局でよく検討し、自分たちが理解・納得できるものに仕上げておく必要がある。
 そのためには、担当部局内の複数人が、生成AIの案を丁寧にチェックし、理解できない点、納得できない点をつぶしていく「検討会」のような場を作ると良いのではないだろうか。ここでのポイントは、複数の視点を取り入れることである。生成AIを使用する場合もしない場合も、ロジックモデル等を作成する作業は、どうしても一人で進めることになる。しかし、一人で作業を続けていると、自分では見落としている視点・観点がどうしても出てきてしまうものである。検討会では、生成AIが作成した案をベースに、複数人の目を入れることで、こういった抜け漏れを防ぎ、その結果として事業に対する理解を深めていくことが期待される。
 また、検討会を設けることで、副次的な効果も期待できるのではないかと考える。生成AIは便利である。しかし、便利ゆえに人間がすべきことを生成AIに丸投げし、人間の教育・学習の機会を奪ってしまうおそれがある。中国の中高生を対象に、生成AIの使用が宿題やテストに与える影響を統計的因果推論の手法を用いて検証した研究によると、生成AIの使用によって、宿題にかかる時間が30%短縮されたうえ、点数も18%上昇したという。一方で、定期試験の点数は20%低下し、入学試験にも負の影響が見られたという(Stromberg et al. 2026)。この研究のポイントは、生成AIを使用すること自体が成績悪化につながるわけではない点だ。実は、生成AIを使用していた中高生たちの中には、成績が悪化しない子たちもいた。彼ら・彼女らは、生成AIを使用しても宿題にかかる時間は短縮しておらず、生成AIを学習の補助として使用していたと考えられる。一方、成績が悪化した子たちは宿題の完了が極端に早く、生成AIに宿題を丸投げ(outsourcing)していた可能性があるという。
 さて、政策部門が各課にEBPMを求める背景には、各課の政策立案能力の向上を期待している側面もあるかと思う。つまり、自分たちの政策について、改めてよく考える機会を設けることで、短期的に事業改善を図るだけでなく、中長期的により良い政策形成をする能力を身につけてほしいと考えているのではないだろうか。一方、ここで紹介した生成AIの活用は、ややもすれば、政策立案を丸投げするだけになりかねないという危険性もある。職位や年数が異なる複数人で集まって、生成AIの案をもとに議論・検討する場を設けることは、担当者が生成AIに過度に依存しないよう抑制するとともに、他の職員から生成AIにはない現場知を習得し、さらに思考を深める場となることを期待したい。
 本来業務に忙殺される自治体の現場において、EBPM実践も含め業務を効率化することは重要である。しかし、業務効率化はそれ自体が目的ではなく、最終的に政策の質を向上させ、よりよい住民生活を実現するための手段である。せっかく生成AIで短縮できた時間は、「自治体のリソースがひっ迫する中で、持続可能な自治体を実現する」という本来の目的に沿う形で使ってほしいと思う。

おわりに

 本稿では、急速に自治体の現場で普及している生成AIについて、その特性を整理したうえで、EBPM実践にどう活用するのかを論じてきた。自治体におけるEBPMは、その実践に特有の思考様式や専門知識を要するため、本来業務で多忙化している現場職員に過重な負担を押し付け得るものである一方、中長期的には政策の縮小・撤退を実現するための手法として欠かせないものでもある。生成AIは、ハルシネーションなど様々なリスクを勘案したうえで使用する必要はあるものの、EBPMを効率的に実践しうる技術であるため、最終的に人間が責任を負えること、職員の政策立案能力の向上機会を損なわないことを条件に、限定的ながら使用できるのではないかと述べてきた。
 生成AIは、まだまだ使用にあたって留意すべき事柄が多い。しかし、それを理由に新しい技術がもたらす恩恵を享受しないというのは、あまりにもったいないのではないか。自治体における生成AIの導入にあたっては、総務省がガイドブックを出しており、生成AIの導入やマネジメントを担う方は、こちらも参照して欲しい(総務省 2025)。
 また、細かな点だが最後に、生成AIをEBPM実践に活用する環境整備にあたっての留意事項を二つ述べておきたい。第一に、職員が「まっとうに」使える生成AIを組織として整備しておく点である。情報管理の観点から、自治体が生成AIを導入する場合、組織として任意の生成AIサービスと契約することが多いかと思う。その際、予算等の兼ね合いから、最新モデルではないサービスや使用量(トークン)に制約が多い契約を結んでしまうと、実務において質的・量的に不十分な生成AI利用しかできなくなってしまうことがある。実際、生成AIも安価なサービスではないので、コストに対する敏感さは持つべきだが、その結果として、まともに使えないものになってしまえば、それこそ安物買いの銭失いである。生成AIから得られる利益を適切に見積もり、その対価はきちんと払うという意識を持ってほしい。
 第二の留意事項は、安易にEBPMを自治体のすべての事業でやろうとしないことである。生成AIを使用したとしても、何十・何百の事業についてロジックモデルを作成したり、エビデンスを収集・吟味したりすることは、時間がいくらあってもできることではない。質の高い政策形成は、一つ一つにそれなりの時間的・労力的コストを投じなければなしえない。また、そもそもEBPMは改善の余地がある政策・事業で実践しなければ、利益は生じ得ない。法定受託事務など、自治体の裁量で改善する余地が事実上ないものや極めて少額の予算しか使っていない事業に、EBPMの名目で時間的・人的リソースを投じることに、どこまでの意味があるのだろうか。事業の性質や予算規模などの基準でEBPMの対象事業を取捨選択し、対象事業について担当課が丁寧に検討できるような状況にしておくべきだ。
 事業にせよ、生成AI利用にせよ、EBPMにせよ、常に真の目的は何なのかを念頭におき、採ろうとしている手段が合目的性を有しているかを考えることが肝要であろう。

執筆者

加藤 穂高

福島大学 教育推進機構 「地域×データ」実践教育推進室  特任講師