イノベーション指標のゲーミング行動——KPIが目標になると何が壊れるか
手法

イノベーション指標のゲーミング行動——KPIが目標になると何が壊れるか

Goodhartの法則が示すように、指標が目標になった瞬間、それは良い指標でなくなる。特許件数・提案数・PoC数といったイノベーションKPIがゲーミング行動を誘発する構造と、その対策を解析する。

KPI Goodhartの法則 イノベーション ゲーミング 指標設計 組織行動

KPIを設定した瞬間に、何かが始まる

イノベーション活動に指標が必要なのは自明だ。「測れないものは管理できない」という論理は正しい。問題は、測ることと管理することの間に挟まる、見落とされやすいメカニズムにある。

指標が設定された瞬間、その指標を達成しようとする行動が組織に生まれる。 これは意図した通りの動きであり、指標設計の目的でもある。しかし同時に、指標を達成するために「指標が本来測ろうとしていた実態」から乖離した行動も生まれる。

Charles Goodhart(イギリスの経済学者・元イングランド銀行理事)が1975年に定式化した命題がある。「ある指標が政策目標として採用された瞬間、それは良い指標でなくなる」——これをGoodhartの法則という。

後にMarilyn Strathenが一般化した命題「When a measure becomes a target, it ceases to be a good measure.」の方が広く引用される。この法則は経済政策の文脈で生まれたが、イノベーション経営に直接適用できる。

Goodhartの法則の構造

Goodhartの法則が機能するメカニズムは単純だ。指標は「測りたい実態」の代理変数として設計される。ところが指標が目標になると、人々は実態を改善するよりも指標の数値を改善することが合理的な行動になる。

イングランド銀行が通貨供給量を政策変数として用いようとした1970年代、銀行や市場参加者は通貨供給の定義外に資金を移動させ、指標と実態を乖離させた。

測定対象が変化してしまったのだ。

代理変数と実態の間には常にギャップがある。 そのギャップに、合理的な行動主体は侵入する。これがゲーミング——指標の意図を維持しながら数値だけを達成する行動——の基本構造だ。

大規模組織でのゲーミング事例

Goodhartの法則が組織規模で発現した事例として、2つが特に詳細に記録されている。

Wells Fargoのクロスセル指標ゲーミング(2016年発覚): 銀行はクロスセル件数(顧客一人当たりの保有商品数)をKPIとして設定し、業績評価と報酬に連動させた。結果、社員は顧客の同意を得ずに数百万件の不正口座を開設した。

指標の数値は上昇したが、顧客への価値提供はなく、組織の信頼は壊滅的な打撃を受けた。Consumer Financial Protection Bureauの調査(2016年)で発覚し、Wells Fargoは1億8500万ドルの罰金を支払った。

フォルクスワーゲンのディーゼルゲート(2015年発覚): 厳格化する排気ガス規制に対応するため、実際の走行時ではなく試験時のみ排気制御を作動させるソフトウェアを搭載した。

指標(試験での排気量)は基準を満たし、実態(実走行での排気量)は基準を大幅に超過し続けた。2015年にEPAが発覚を公表、最終的な制裁金・和解金の総額は300億ドルを超えた。

両事例に共通するのは「組織的な意図」だ。個人の逸脱ではなく、組織として指標を達成するための行動が設計・実行された。KPIと評価・報酬の連動が、組織的なゲーミングを駆動した。

イノベーション指標に固有のゲーミング類型

イノベーション分野では、ゲーミングがより見えにくい形で発生する。なぜなら「イノベーションの成果」そのものが測りにくく、代理指標への依存度が高いからだ。

特許件数KPI: 質より量の申請行動

特許件数をイノベーション指標とした場合、目標が設定された後に何が起きるか。審査を通過しやすい既存技術の周辺権利を大量申請するインセンティブが生まれる。ビジネスへの適用可能性、技術的新規性の深さよりも「件数に計上できるか」が判断基準になる。

数値は上昇するが、実際のイノベーション能力とは無関係な申請が増える。 特許件数という指標は「技術的価値の蓄積」を測ろうとしたが、目標になった瞬間に「申請行動の量」を測るものに変質する。

アイデア提案数KPI: 実行なき提案の量産

社員からのアイデア提案数を指標とするイノベーション管理は広く普及している。問題は、提案数が目標になった瞬間に提案の性質が変わることだ。

実行に移すことや、市場検証を経ることを前提とせず、「提案として成立するもの」の量産が最適行動になる。提案の質——顧客課題の深い理解、実行可能性の検討、事業性の試算——は評価されない。提案する側も、審査する側も、件数の充足に最適化する。

PoC数KPI: 検証なき実証実験の乱立

概念実証(Proof of Concept)の実施数を新規事業活動の指標とするケースがある。これも同じ構造を持つ。

実際に事業仮説を検証するための実証実験ではなく、「PoCとして立案・実施できるもの」を短期間で大量に実施することが合理的行動になる。本質的な不確実性を削減しない「形式的なPoC」が乱立し、実証のリソースが分散し、事業化に至るパイプラインが細くなる。

ベロシティ指標とバグ増加

ソフトウェア開発の文脈で記録されている事例が参照に値する。スプリントごとのベロシティ(完了したストーリーポイント数)が業績評価に連動した際、タスクを細分化してストーリーポイントを増やし、技術的負債を先送りにすることで短期的にベロシティを上げる行動が観察された。

後続のスプリントでバグ率が増加し、開発速度は実質的に低下した。速度の指標が上昇するほど、実際の開発能力は下がるという逆説的な状況が生まれた。

なぜイノベーション組織でゲーミングが起きやすいか

イノベーション分野でGoodhartの法則が特に強く機能する理由は、構造的要因にある。

第一に、イノベーションのアウトカムは長期遅行指標だ。 新規事業が売上・利益として現れるまでに3〜7年かかることは珍しくない。短期の業績評価サイクルと長期のアウトカム発現のギャップが、先行指標(活動量)への過度な依存を生む。

第二に、「イノベーションしている感」と「イノベーションの実態」が分離しやすい。 特許を取得する、アイデアを提案する、PoCを実施する——これらの活動は可視的で報告に向く。

一方、「本質的な顧客課題を発見した」「事業仮説が棄却され、より良い仮説を得た」という学習の質は可視化しにくく、指標化が難しい。

第三に、評価者が現場の実態を直接確認しにくい。 イノベーション活動は専門性が高く、管理職・経営層が「提出された指標が実態と乖離しているか」を判断するための文脈を持ちにくい。

ゲーミングの発覚が遅れる構造的条件がある。

ゲーミング耐性のある指標設計に向けて

Goodhartの法則を完全に回避することはできない。どのような指標もゲーミングにさらされる。実務的な問いは「ゲーミングを防ぐ」ではなく「ゲーミングの発生を遅らせ、影響を局所化する」ことだ。

単一指標への依存を避ける

単一のKPIに評価を集中させると、ゲーミングの方向性が一点に収束する。複数の指標を並列で運用すると、ある指標をゲーミングしようとすると別の指標が下がる構造を作れる。完全ではないが、最適化の分散が個々の指標のゲーミング強度を下げる。

遅行指標と先行指標を組み合わせる

売上・利益といった遅行アウトカム指標と、顧客インタビュー実施数・仮説棄却率・学習サイクル数といった先行プロセス指標を組み合わせる。先行指標は遅行指標の代理変数として機能しながら、遅行指標のゲーミングを難しくする。

先行指標の選定で重要なのは「実態を改善せずに数値だけを上げることが難しい指標」を選ぶことだ。

たとえば「本物の顧客と直接対話した回数」は、実際に対話しなければカウントできない。「アイデア提案数」のようにゲーミングが容易な指標よりも実態に近い先行指標として機能する。

定性評価を定量指標と並列で設計する

定量指標だけで評価システムを構成すると、測定困難な価値——思考の深さ、仮説の洗練度、学習の質——が評価から脱落する。

「数値では表れにくいが、実際のイノベーション能力を反映している要素」を定性評価として並列で設計する。

定性評価は主観が入る、という批判はある。しかし定量評価がゲーミングにさらされた後に測っているのは「実態」ではなく「ゲーミング行動の成果」だ。ゲーミングされた定量指標より、適切に設計された定性評価の方が実態に近い情報を持つ場合がある。

指標体系の定期的な入れ替え

同じ指標を長期間使い続けると、ゲーミング行動が蓄積・洗練される時間が増える。指標体系を1〜2年サイクルで更新することで、蓄積されたゲーミング行動のリセットが起きる。更新のコストはあるが、長期的なゲーミング深化のリスクと比較する必要がある。

指標設計の前に問うべきこと

Goodhartの法則の本質は「代理変数の限界」にある。指標は常に「測りたい実態の代理」であり、代理変数は完全ではない。この不完全性は避けられない。

だとすれば、指標設計の前に問うべき問いがある。「この指標が目標になったとき、組織はどんな行動を取るか。そのとき、指標が本来代理しようとしていた実態はどうなるか」

——この問いに答えを持たないまま指標を設定することは、Goodhartの法則を作動させる引き金を引くことと同じだ。

KPIを設定することと、イノベーション能力を高めることは、同じ行為ではない。前者が後者に貢献するかどうかは、指標設計の段階で左右される。

イノベーション活動が見かけ上の成果を演出する構造については「イノベーション・シアターの見分け方」を、PoC乱立の問題については「PoC貧乏——実証実験が事業化につながらない構造」を参照してほしい。


関連するインサイト


参考文献

  • Goodhart, C. A. E. “Problems of Monetary Management: The U.K. Experience,” Papers in Monetary Economics, Reserve Bank of Australia (1975)
  • Strathern, M. “Improving Ratings: Audit in the British University System,” European Review, Vol. 5, No. 3 (1997)
  • Consumer Financial Protection Bureau. “CFPB Fines Wells Fargo $100 Million for Widespread Illegal Practice of Secretly Opening Unauthorized Accounts,” Press Release (September 8, 2016)
  • United States Environmental Protection Agency. “EPA, California Notify Volkswagen of Clean Air Act Violations,” Press Release (September 18, 2015)
  • Muller, J. Z. The Tyranny of Metrics, Princeton University Press (2018)
  • 翁百合・矢野誠・亀坂安紀子「KPIと組織行動の歪み」日本銀行金融研究所ディスカッションペーパー(2019年)

荒井宏之 a.k.a. ピンキー

関連用語

関連記事