「成功事例」が自己成就的に量産される構造——因果推論なきイノベーション評価

「参加チームの3割が事業化しました」——年次報告会の壇上で、イノベーション推進担当がそう告げると、会議室に小さなどよめきが起きる。役員の一人がうなずき、次の議題へ資料がめくられる。誰も「それは施策の効果か、それとも元々優秀なチームが応募していただけか」とは問わない。この光景は、アクセラレーターでもCVCでもイノベーションラボでも、同じ型で繰り返されているように見える。

本稿は特定企業への取材や現地訪問に基づくものではなく、公開されている学術研究と構造分析から論じる。以下の場面はいずれも架空の例だが、典型的なパターンを思考実験として想定するとこうなる。ある製造業の年次報告会では、事業化率の数字が読み上げられた直後に「他にご質問は」の一言で議題が締められ、拍手が起きるより早く次のスライドが投影される。別のIT企業の四半期報告でも、事業化件数が読み上げられてから次の議題に移るまで数秒しかなく、比較対象を求める問いそのものが議題に上がる余地を持たない進行になる。

この数字は、施策が「効いた」ことを何ひとつ証明していない。 証明するためには、同じ条件で施策を実施しなかった場合に何が起きていたかという比較対象——反実仮想——が要る。だが、この比較対象が添えられた成果報告は、印象としては少ない。

「本当に効果あるの?」と経営会議で聞かれ、答えに詰まった経験を持つ担当者は少なくない。これも架空の例だが、ある中堅企業のイノベーション推進室を想定してみる。担当者が「協業件数は増えています」としか返せず、財務担当役員が「それでいくら儲かったのか」と重ねて問うと、会議室が10秒近く沈黙する——という展開は、比較対象を持たない成果報告にとって珍しい話ではないだろう。逆に、都合の良い数字だけを並べて乗り切った経験を持つ担当者も同じくらいいるはずだ。これは担当者個人の説明能力の問題ではない。成果測定という設計そのものに、比較対象を組み込む発想が最初から欠けているという構造の問題だ。

この欠落は、施策の効果を測定していないこととは別の問題だ。コーポレートアクセラレーターのROI神話で扱われてきたような測定不在の問題とは別に、多くの現場はすでに「参加チームの◯割」「協業件数◯件」といった数字を測定している。測定していてもなお、比較対象がないという一段深い構造が残る。

なぜその数字は「効果」を証明していないのか——セレクションバイアスの構造

典型的なアクセラレータープログラムを考える。100社が応募し、書類審査とピッチで10社が採択され、1年後に3社が事業化する。「採択チームの3割が事業化」という数字はここから生まれる。だが採択の時点で、応募100社のうち事業化しそうなチームを選び出す選抜が、すでに一度かかっている。プログラムが何を提供したかとは無関係に、採択された10社は元々事業化する確率が高い母集団だった可能性がある。

CVCの投資先選定も、ラボの参加チーム選抜も構造は同じだ。投資委員会は成功しそうな案件を選んで投資する。ラボは意欲の高い社員を選んで参加させる。選抜という工程を経た母集団の成功率を、選抜を経ていない母集団——施策をやらなかった場合の仮想の母集団——と比べずに「施策の効果」と呼ぶことが、報告フォーマットの共通パターンになっている。応募100社・採択10社・事業化3社という数字の並びだけを見せられても、事業化率30%が施策の力によるものか、採択プロセスの目利きによるものかは、この数字だけでは区別できない。

成功事例は「後から選ばれている」——生存者の事後合成

事業化した3社の物語は、翌年の事例集に載る。同時期に始まり、半年後に静かに終了した7社の物語は、どこにも載らない。「事例集」というフォーマットは、生き残った案件だけを集めるという性質を構造的に内蔵している。失敗した案件は、そもそも「成果報告の対象」の枠外に置かれている。

これは、成功企業の事例研究にありがちな生存バイアス——うまくいった企業だけを分析して法則を語る誤り——と隣接するが、同一ではない。既存の議論の多くは「他社の成功事例をどう読み解くか」という解釈の問題を扱う。ここで問題にしているのは、自社の施策評価というもっと手前の運用で、同じ構造の欠落が起きているという点だ。年次報告を作る担当者自身が、無意識のうちに生存者だけを合成して「効果」の物語を組み立てている。

企業内で作れる「疑似対照群」——完全なRCTがなくても検証可能な設計

反実仮想の欠如を認めたところで、多くの担当者は「では大企業の中でRCT(ランダム化比較試験)をやれというのか」と身構える。無作為に対象を割り付けて比較する完全な実験設計は、大半の推進部門にとってはまず稟議が通らない。しかし比較対象をゼロから作る必要はない。企業内で実行可能な「疑似対照群」の作り方は、少なくとも3つある。

まず、落選したチーム・非採択案件のその後を追跡する方法。応募したが選ばれなかったチームが1年後にどうなったかを確認するだけで、採択チームの成功が施策由来か母集団の性質由来かの手がかりが得られる。選考記録そのものは社内のどこかに残っているはずだが、それを追跡調査に回している事例は、多くはなさそうだ。

この発想を学術研究のレベルで実行した例はある。Gonzalez-Uribe と Leatherbeeは、公的アクセラレータープログラム「Start-Up Chile」を対象に、審査スコアが採択ラインぎりぎりの応募者だけに絞って落選者と採択者を比較する回帰不連続デザイン(regression discontinuity design)を用い、資金提供やコワーキングスペースといった基礎的支援だけでは成果に有意差が出ない一方、起業家教育(スクーリング)が伴って初めて成果に差が生まれることを示した(The Review of Financial Studies, 2018, 31巻4号)。Yuも、13のアクセラレーターに参加した約900社に対し、傾向スコアマッチング(propensity score matching)で属性の近い非参加企業900社を選び出した比較群と、落選した応募者の別サンプルを対照に用い、アクセラレーター参加企業はむしろ早期に撤退する割合が高いという、単純な「参加チームの◯割」という数字だけでは見えてこない結果を報告している(Management Science, 2020, 66巻2号)。いずれも、比較対象を一つ据えるだけで「効果」の中身がどれだけ変わり得るかを示す実例だ。

もう一つの手が、段階的ロールアウトを比較材料に変えること。ある部門には今期から導入し、別の部門には来期から導入する。ただし——これが疑似対照群として機能するのは、どちらを先にするかを成果が出そうな順で決めなかった場合に限る。意欲の高い部門や経営の関与が強い部門から先に入れれば、この記事が最初から問題にしてきたセレクションバイアスが、今度は導入順序に姿を変えて比較の中へ戻ってくる。

残る一つは、類似規模で施策を実施していない部門との差分を定点観測すること。いずれも完璧な統制ではない。それでも、「比較対象ゼロ」から「比較対象が一つある」への移行は、報告の説得力を根本から変える。

自社の直近の施策成果報告を1つ手元に取り出し、「比較対象は何か」を欄外に書き出してみるとよい。落選チームの追跡データか、段階的導入の差分か、それとも何もないか。空欄になった時点で、その報告が持つ説得力の限界が可視化される。

来期の施策報告書に、比較対象を記す欄はあるか。答えが「ない」なら、その報告が語っているのは施策の効果ではなく、施策が生き残らせた案件の物語を効果という言葉で言い換えたものにすぎない。