統計には説得力があります

それはそれは強力なので
人々や組織 そして国が

最も重要な決定を下すときには
データを参考にします

でもここに ある問題があります

どんな統計でも 
その中に潜んでいるものが

結果を全く逆に
してしまうことがあるのです

例えば 年をとった親戚の手術のため

２つの病院から１つを
選ばねばならないとしましょう

各病院の直近1000人の患者のうち

Ａ病院では900人が生存していましたが

Ｂ病院では800人だけでした

するとＡ病院を選ぶのが
良いように見えます

でも決断する前に

思い出してください
来院する患者の健康度は

全員が同一ではありません

各病院の直近1000人の患者を

健康状態が良い者と
悪い者とに分けてみると

見えてくる状況は
大きく変わってきます

Ａ病院では 健康状態が悪い患者は
たった100人しか来ておらず

そのうち30人が生存していますが

Ｂ病院には状態の悪い患者が400人来て
210人を救うことができました

だから健康状態が悪い患者の場合は

Ｂ病院を選ぶ方が良いんです

生存率は52.5%です

ではその親戚の健康状態が
受診時に良好だったとしたら？

不思議なことに Ｂ病院の方が
やはり良い選択なんです

生存率は98%です

ではどちらのグループの生存率も
Ｂ病院が勝っているのに

どうしてＡ病院の生存率の方が
総計では上になるのでしょう？

私たちが陥っているのは
「シンプソンのパラドックス」です

同一のデータでも
グループの分け方によって

逆の傾向を示すことがあるんです

これがよく起きるのは 集められたデータが
ある条件変数を隠し持っているときです

それはときに
潜伏変数と言われるもので

結果に重要な影響を与えるような
隠れた別の要因のことです

ここでの隠れた要因とは
訪れる患者の健康状態に関する

相対的な比率です

シンプトンのパラドックスは
単なる仮説ではありません

現実の世界にときどき
現れているんです

重要な場面でも起こっています

英国でのある研究では

喫煙者が非喫煙者よりも

20年間にわたり
高い生存率を示しました

しかし対象者を
年齢で区分してみると

非喫煙者の平均年齢が
明らかに高いことが分かりました

したがって 研究期間中に
死亡する確率がより高いわけです

そもそも長く生きていますからね

ここでは年齢が潜伏変数であり

それに基づくグループ分けは
正確なデータ解釈に不可欠です

別の例は

フロリダの死刑に関する分析です

殺人で有罪となった被告が
黒人か白人かで

死刑宣告について人種の偏りは
全く見られませんでした

しかし被害者の人種でグループ分けすると
別の結果が見えてきました

被害者がどちらの場合でも

黒人の被告の方が 
死刑宣告の確率が高かったのです

白人被告の死刑宣告率が
総計するとわずかに高かったのは

被害者が白人の場合

被害者が黒人の場合よりも

死刑判決が下されやすく

大半の殺人は同じ人種間で
起きていたからです

ではこのパラドックスに陥るのを
どうすれば避けられるでしょう？

あいにく万能の答えはありません

データはどのようにも
グループ化 または分割できるうえ

誤解を招く あるいは恣意的な形で
カテゴリ化されたデータより

総計の方が正確である場合もあります

私たちにできることは
その統計が示す現実の状況を慎重に調べ

潜伏変数が存在する可能性を
検討することです

そうでないとデータで他人を操って

自分の方針を通そうとする人たちに対し
私たちは無防備になってしまいます