クロスチェックと反証可能性 ――データを固めるとは、自分を否定する材料を先に揃えておくこと

データが弱いのではない。データの扱われ方が弱い

この日の講義の後半は、前半で扱った債券市場の逆転現象を「一つの観測に二つの説明を当てて選び直す」実例として振り返るところから始まった。逆転を主権リスクとして読む説と、需給として読む説。どちらも同じデータを見ているのに、結論が正反対になる。ではどうやってどちらかを選ぶのか。その方法論が、この後半のテーマである。

マイキー氏がまず取り上げたのは、雇用統計をめぐる自身の発言だった。7月の時点で6月の雇用統計を語ったとき、数字が良かったから為替が素直に反応したが、その値動きは間違っている、と YouTube で述べた。結果として、8月に発表された7月の雇用統計は最悪の内容となり、相場は一気に反転した。ここで重要なのは予測が当たったことではなく、なぜそう読めたのか、という手続きである。多くの人は雇用統計や消費者物価の見出し数値だけで判断する。ひとつのデータが正しいと思ってしまう。だが本当に大事なのは、その数字の中身が何で構成されているかである。

この「中身を見る」という作業が、講義でいう因数分解にあたる。売上は伸びていないが資金調達が非常にうまくいった企業と、資金調達も営業利益も伸びている企業。フリーキャッシュフローが同じでも、この二つは価値が違う。営業キャッシュフローと投資キャッシュフローに分けて見れば、その差が現れる。データをひとつのまま扱えば判断できないものが、分解すれば判断できるようになる。手法としては残差分析、回帰分析、分散分解といったものが挙げられた。

そして講義は、因数分解を怠った議論の実例として、ある経済評論家の主張を取り上げる。人口減少下でも経済成長している国としてリトアニアとエストニアを挙げ、だから日本も移民を入れずに成長できる、と論じたもので、数十万回の再生を集めていた。マイキー氏の批判は、比較対象の条件がまるで揃っていないという一点に尽きる。先進国と発展途上国の違い、人口ピラミッドの形の違い、そして人口減少の原因の違い――バルト三国の人口減少には国外流出が大きく含まれており、出生率だけの話ではない。賃金水準が低いことで輸出競争力と外貨獲得力が確保されているという条件も揃っている。これらの変数を無視して結論だけを取り出せば、どんな主張でも作れてしまう。

後半では、この作法が二つの方向に展開された。ひとつは、公式統計や財務データの外側にある情報を使うオルタナティブデータ分析。もうひとつは、直接測れない概念を別の観測可能な指標で代替するプロキシ変数分析である。さらにゲストの上野氏（データサイエンティスト）、小島氏（医療系研究者）、渡辺氏（社会学）が加わり、交絡因子、実証主義の三段階、反証可能性、近代の二分法批判へと議論が広がっていく。最後には、マイキー氏自身がかつてアメリカで作った広告システム――クリック率だけを跳ね上げて売上に繋げず、その失敗をコンサル料に変換するという仕組み――が明かされ、「疑えないように設計する側」の視点が提示された。

ひとつのデータでは判断できない――因数分解という基本動作

講義が最初に置いた具体例は、二つの企業の比較である。片方は売上がまったく伸びておらず、営業利益もゼロだが、資金調達が非常にうまくいった。もう片方は資金調達もうまくいき、営業利益も伸びている。どちらが優良企業か。答えは明らかに後者である。だがフリーキャッシュフローの数値だけを見ると、この二つが同じ値になることがありうる。

ここで必要になるのが、キャッシュフローを営業キャッシュフローと投資キャッシュフローに分けて見る作業である。ひとつの合成された数字を、それを構成する要素に分解する。これが因数分解である。

表1：講義中の設例を整理したもの。同じ合成値でも、構成要素に分けると評価は逆転する。

手法としての因数分解

講義で挙げられた分析手法は次の三つである。いずれも「観測された値を、説明できる部分と説明できない部分に切り分ける」という思想で共通している。

表2：講義中に列挙された分析手法。名称はClaudeが正式表記に補正。

ここで上野氏に発言が振られた。一般の発信者が「なぜその数字になったのか」という構成要素の部分まで説明することは、ほぼないという指摘である。だからこそ、後ろ側のストーリーを話す人の話が面白く聞こえる。逆に言えば、面白く聞こえる理由が「珍しいから」である時点で、市場全体の分析水準がその程度だということでもある。

条件を揃えない比較――リトアニア・エストニアの事例をどう解体するか

講義が槍玉に挙げたのは、ある経済評論家の動画である。移民問題を扱う人間にはそれで得をする人がいるのであって、本当に国内経済を高めたいなら移民は入れるな――そういう主張だった。根拠として提示されたのが、人口減少下でも経済成長している国としてのリトアニアとエストニアである。

マイキー氏の批判は複数の層に分かれている。

第一に、比較対象のカテゴリが違う

先進国と発展途上国、あるいは経済規模も産業構造も異なる国を並べて「同じことができるはず」と論じている。これは前半の債券の議論と同じ誤りである。条件変数を揃えないまま、結論だけを持ってくる。

第二に、人口ピラミッドの形が違う

日本は高齢層が圧倒的に多く、出生率が低い。どちらが活発に消費するかといえば、中間層の年齢が厚い国である。総人口という一つの数字ではなく、その内訳を見なければならない。ここでも因数分解の話に戻る。

第三に、人口減少の原因が違う

バルト諸国の人口減少には、国外に出ていった人々が含まれる。出生率だけの現象ではない。原因が違えば、そこから導かれる政策的含意も違う。

第四に、成長の条件が違う

リトアニアやエストニアは賃金水準が相対的に低く、輸出しやすく外貨を稼ぎやすい条件が揃っている。だから人口が減っても経済が成長しうる。日本のバブル期の成長が、安価な労働力・当時高かったスキル・人口ボーナスという国内条件の組み合わせで生まれたのとは、構造がまるで違う。

会場から「確信犯で言っているのか」という問いが出た。回答は、確信犯でないならただの誤りであり、確信犯ならもっと悪い、という趣旨だった。さらに、日本の減税議論とアメリカの減税設計の違いが例に挙げられた。アメリカの減税は、富裕層の現金が増えるような設計と、一般層の支出負担が減るような設計を同時に組み合わせている。いろいろな角度から分析できるからこそ、そういう設計ができる。それに対して「減税したほうがいい」という謳い文句だけが流通し、そこに乗る人が非常に多い。設計を語れないまま結論だけが流通している状態が、データに対する考え方の劣化そのものである。

この議論の終わりに、政治の場での対比も挟まれた。国債を発行すればいいという主張に対して「金利はどうするのか」という指摘が入り、それに「金利のことは考えていない」と返す。この指摘のほうが正当であるにもかかわらず、コメント欄では指摘した側が叩かれる。マイキー氏はこれを「気持ち悪い」と表現し、参加者に対して、そちら側にはならないでほしい、と述べた。

オルタナティブデータ――公式統計の外から、統計そのものを検証する

では、景気が本当に良くなっているのかをどう確かめるのか。公式統計や財務データだけで判断するのではなく、まったく別系統の情報を使う。これがオルタナティブデータ分析である。

講義が最初に挙げた例が、衛星写真による夜間光の観測だった。産業が本当に成長しているなら、昼間の産業だけでなく夜の経済活動も活発になり、地上の光の量が増える。逆に、公表GDPと夜間光の量が乖離している国は、GDPを盛っている可能性がある。研究では、社会主義国ほどこの乖離が大きい傾向が出ている、と説明された。

図1：中国の累積GDP成長率（1992–2006年）――公式統計値と夜間光ベース推計値の比較。出典：セントルイス連銀の分析として報道された数値（Claude が WebSearch で確認）。

この事例が示しているのは、統計の外側から統計を検証できる、ということである。GDPを発表する主体と、衛星写真を撮る主体は別である。だから前者が数字を操作しても、後者は追随しない。クロスチェックとは、まさにこの「主体が違う情報源を突き合わせる」という作業を指す。

プロキシ変数――直接測れない概念を、測れるもので代替する

もうひとつの道具が、直接測定できない概念を扱うための代理変数である。心理状況がその典型で、これを直接数値化することはできない。そこで、その概念と連動して動くと考えられる観測可能な指標を持ってきて、傾向を推し量る。これがプロキシ変数分析である。

講義では景気の代理指標が具体的に列挙された。

表3：講義中に挙げられた景気のプロキシ指標。分類はClaudeによる整理。

プロキシ変数の議論は、後半でHIS（ハウスホールド・ストレス・インデックス）という指標に接続された。AとBとCを足し合わせるとこうなる、という筋道が読めていれば、人に説明したときに納得が得られる、という文脈である。この指標については質疑で綴りの確認が入っており、その扱いは後述する。

反証データを先に用意する――プレゼンテーションの技術としての誠実さ

ここで小島氏（医療系研究者）から質問が入った。自分たちも医学でデータを出すが、データ数が少なく本当かどうか分からないなかで、とりあえず事実としてこれがあります、ということだけは伝えなければいけないと思ってやっている。それは今の話からだいぶ離れているのか、という問いである。

回答は、離れていない、というものだった。あるデータを出して「こういう傾向がある」と強く言う。だが同時に、それを否定する考え方も必ず存在する。そして否定材料は調べればすぐに出せる。それを覆すものはこれです、という材料を準備しておくだけで、主張の信憑性は上がる。

マイキー氏は、これを露骨にテクニックとして使ってよいとも述べている。あえて否定的なデータを持ってきて、それを否定してみせることで肯定感が増す。その否定材料の中身が薄くても構わない。重要なのは、聞き手に「この人は反対側も検討済みだ」と伝わることである。自分の立場なら絶対に反証材料を出してから発表する、なぜなら相手は必ず質問してくるからだ、と付け加えられた。

加えて、事業相談の場で持ち込まれる資料の多くが「一方通行」であるという実感が語られた。ひとつの主張を支える材料だけで構成されていて、反対側が用意されていない。それは提示の仕方としてはむしろ分かりやすいのだが、質問が来た瞬間に崩れる。

交絡と時制――「一緒に起きていたもの」をどう捕まえるか

上野氏が加わり、議論はエクスポージャーの話に展開した。何かが起きたとき、あるいは何かに曝露したときに結果が出る。過去の事例を見ればこうだった、という観測はある。だが同時に、別のものも一緒に起きていたはずである。その部分を取れるかどうかで、真似して同じ結果が出るかがまるで変わる。一緒に起きていたもののほうが、実は大きな原因だったという可能性は十分にありうる。

小島氏がここで医療の実例を挙げた。コーヒーとがんの関係を調べた研究があったが、実際にはコーヒー自体はほとんど関係がなく、コーヒーを飲む人は同時にタバコを吸っているため、その影響が出ていた、というものである。ひとつの事象と別の事象が関係しているように見えるとき、他の要因が関係している可能性が常にある。自分が興味を持っていない領域のデータを取りにいけるか、新しい発想を持てるかで、結論は大きく覆される。

マイキー氏はこれを別の文脈に置き換えた。ある処置を受けて1週間以内に亡くなった人が何人いるか、という数字と、1週間以内にお茶を飲んで亡くなった人の数を並べれば、後者のほうが多い。本当にその処置が原因だったのかは、そこまで突き詰めなければ分からない。分母と対照群を置かない比較は、どんな結論にも使えてしまう。

未来・現在・過去でアプローチを変える

ここからマイキー氏は、時制の話を持ち出した。データ分析で未来を予測することはできる。だが過去に起きた事実については、それを分析するためのデータそのものが少ない。ITが存在しなかった時代について残っているのは書籍や文献であり、そこから判断するしかない。コミュニケーションの透明性という点で、過去は未来より薄い。

したがって、過去を語るときのアプローチは、未来を語るときとは別の方法でなければならない。未来については相関的に考えればよい。だが過去については、相関的に考えるのではなく、「こういう現象が起きたのだから、過去にこういうことがあったはずだ」という逆算的な思考を持つ必要がある。そしてこの切り替えを意識しないかぎり、歴史から何かを読み解くこと自体ができない。

実証主義・二分法・反証可能性

ここで渡辺氏（社会学）が参加し、議論は科学哲学へ移った。オーギュスト・コントの実証主義における三段階の法則――神学的段階、形而上学的段階、実証的段階――が引かれ、そこには数学・天文学・物理学・生物学がすべて含まれていたことが指摘された。つまり異なる思考様式を取捨選択して当てはめないと、科学としての社会学は成り立たない。当時の人々は、データがあるからといって人間の行為が直ちにそう成り立つ、という短絡はしていなかった。共同体の発達段階――軍事的段階か、法律的段階か、産業的段階か――を差し引いて考えるべきだと理解していた。ところが現代は科学的実証主義だけを取り出し、それを直ちに社会に応用してしまう風潮ができている。

さらにブルーノ・ラトゥールが引かれ、近代は二分法が進みすぎているという指摘がなされた。すべてのものはハイブリッドであり、悲観と客観、自然と人工は入り混じっているにもかかわらず、思考はすぐにどちらかに分けようとする。二分法では説明できないもののほうが多い。

これに対してマイキー氏は、文献も歴史書も、そこに思想が入っている段階でバイアスがかかっている、と応じた。日本で書かれた日本史の文献と、中国で書かれた日本についての文献はまるで違う。捉え方によってバイアスがかかった表現になるのだから、両方からアプローチすることで、何が最適な理解なのかを導き出すしかない。一方的な情報解釈をするから、互いの教育を非難し合うことになる。歴史を理解していれば、なぜそういう教育が生まれたのかも理解できる。

そして小島氏が、カール・ポパーの反証可能性という視点が抜けていることが多い、と付け加えた。渡辺氏の応答は鋭い。有用性や機能性が先に立っているから、純粋にひとつの理論として反証の余地があるかを検討するインセンティブがない。欲しい結果のためにデータを使っているだけで、データへのリスペクトも研究への興味もない。ただ自分の欲しい結論のために、たまたまこじつけられるデータを持ってくる。

この流れで、心理学の扱い方にも批判が及んだ。相手を変えたい心理学、自己啓発に接続された心理学はすべて同じ構造を持っている。答えが先にあり、それを証明したいところから逆算して話が組み立てられる。脳科学者と呼ばれる人々についても、まともなことを言っている人を見たことがない、という強い表現が用いられた。クオリアという概念を先に出して、そこに繋げているだけだ、と。

MBTIや血液型についても同様の指摘がなされた。人間を四種類に分けられるはずがない、という当然の話である。渡辺氏の補足では、MBTIはユングの研究をマイヤーズ＝ブリッグスが単純化したモデルにすぎず、ひとつのチェックポイントを見るツールとしては使えるが、それ以上のものではない、とされた。

疑えない仕組みを作る側――クリック率だけを跳ね上げた広告システム

講義の終盤、マイキー氏はかつてアメリカで作った仕組みを明かした。データを疑う話をしてきた直後に、「疑わせないように設計する側」の実例を出すという構成である。

仕組みはこうだ。広告代理店にとって、クリック率が上がれば単価を上げられる。だがクリック率が低ければ代理店の責任になり、クリック率が高いのに売れなければ「広告主のホームページに問題がある」ということになる。この責任の切れ目に着目した。

まず広告会社に営業をかけ、自社のシステムを使ってもらう。次に、100ドルで入会できるネットワークを作る。参加者は数十万人規模まで膨らんだ。彼らに1日10本の動画を見てクリックまで到達するよう指示し、達成したら報酬を払う。クリック率は一気に跳ね上がる。しかし当然、そのネットワークの参加者は商品を買わない。売上は伸びない。

そこで、ホームページのコンサルティング会社を別に用意し、「売れないのはホームページが問題だからです」と紐づけて売る。クリック率上昇で上がった広告単価の一部はネットワーク参加者への報酬に回し、参加者の依存度を高める。単価の上昇率を月1%、2%、3%と段階的に設計することで、広告主はその広告枠から外れられなくなる。その間にコンサル業務のフィーを取り続ける。二重・三重に収益を取る構造だった。

ローンチから1週間で数百件の契約が決まり、大ヒットした。この仕組みが露見したきっかけは、共同で動いていたメンバーが本人の知らないところで中国で展開したことだった。中国側がこれを見抜き、マイキー氏はその時点で離脱。1年ほど後に中国で問題化した。大手企業はどこも気づかなかった、とも語られている。

この話を受けて、前田氏から鋭い質問が出た。今日の講義は「データを正しくアセスメントできるようになれ」という趣旨だったはずだが、いま説明されたシステムを「これは違うのではないか」と疑うことは、どうすればできるのか。自分は絶対にハマる自信がある、と。

マイキー氏の回答は、ある意味で身も蓋もないものだった。そういうふうに疑えないような仕組みを作ってくる者が、金儲けがうまい。そして逆で、疑える人はそもそもそこに行かない。疑えない人がそこに行く。人参がぶら下がっていれば人は短絡的にそうなる。だから「行かない」という選択そのものが最も重要な防御になる、と。

さらに、この経験があったからこそ、広告代理店は自社の広告がどこでどう見られているかというデータを全部出すべきだ、と過去に発信していたことも明かされた。仕組みを作った側だから、何を隠せるかを知っている。

そして上野氏が、この日の議論を一本の線に戻した。データと情報と知識は本来まったく違うものであるにもかかわらず、同列に並べて語られている。それがまず最大の問題である、と。

質疑応答（このテーマに属する全件）

裏取りできなかった項目

宿題・アクションアイテム

1. 自分が最近出したデータについて、それを否定する材料を三つ探す。見つからないなら、探し方が足りないか、そもそも反証不能な主張になっている。後者なら主張の立て方から見直す。
2. 手元の主要指標をひとつ選び、構成要素に分解する。営業キャッシュフローと投資キャッシュフロー、名目と実質、量と価格――どの軸で割れるかを確認し、分解後に評価が変わるかを見る。
3. 関心のあるテーマについて、公式統計とは発信主体が異なるデータ源をひとつ確保する。衛星画像、予約サイトの空き状況、中古在庫、求人票――出所が違えば、操作の動機も違う。
4. プロキシ変数を三つ組み合わせて、いま景気が強いかどうかの自分なりの読みを作る。そのうえで、同じ観測が「備蓄需要」で説明できないかを必ず検討する。
5. 未来を語るときと過去を語るときで、自分の話し方が変わっているかを点検する。過去について確定的に語っていたら、そのぶん根拠を薄くしている可能性が高い。
6. カール・ポパーの反証可能性、オーギュスト・コントの三段階の法則、ブルーノ・ラトゥールの二分法批判を、それぞれ一次資料に近い形で確認する。

このレポートに出てきた理論・略語