« 大学院が徒弟制度になるわけ (M=Cさんへのレス) | トップページ | 卒業式の君が代斉唱時の起立強制について (次郎さんへのレス) »

2005年4月 1日 (金)

「『社会調査』のウソ(谷岡一郎)」 のウソ???  

「社会調査」のウソ 谷岡一郎
 新聞などに載るような調査結果に、信用できないようものがどれだけ含まれているか知る上で、とても役立つ。もちろん、新聞で引用された社会調査結果、という母集団がはっきりしないのだから、問題のある例だけを見て、割合をどうこうするのはナンセンスだろう。しかし、どのようなタイプの記事に偏向がありそうか「疑いの目」を向けてみるきっかけにはなるはずだ(注1)。挙げられている例は、よく見つけてきたなあという「傑作」なものばかり。
 この機会に、以前から授業でいつも強調している、リサーチ・リテラシーとしての大原則を一つだけ述べるなら、世論調査などででてきた単独の数値の絶対的な値に振り回されてはならない、ということだろうか。たとえば<自衛隊容認80%>というような数字だ。こうした値そのものは質問票のワーディングを変えることで簡単に変えることができることは、この本のなかで朝日新聞と読売新聞による見事な例を引用しながら示されている。
 一方、意味のあるのは、同じ質問項目に対し、違う立場の人がどのように違った答えをしたか、というような<比較>を伴う数値である。たとえば年齢・性別によって支持・不支持の意見がどう変わるか、調査の時期によってどう変わるか、といったことである。
 もっともこうした比較は、「それ以外の条件を同じにした場合」という大前提が常に付される。たとえば、この本に政府の支持率の変化のグラフが取り上げられている(p.145)。ある時点で大きな支持率の低下が見られたが、それは調査の方法としてそのときだけ電話による方法ではなく、面接による方法をとっていた。調査方法が一貫していないのに、データをそのまま比較するのはどう考えてもナンセンスなのだが、それほど愚かしいことを毎日新聞はやってしまったようだ。
 同じ「比較」であっても、一つの選択肢の中での、選択された割合が一位とか二位といった「比較」に意味がないのは、<自衛隊容認80%>の場合と一緒だ。何を一位にするか、などというのはカテゴリーをどう組み合わせるかで簡単に操作ができるからだ。たとえばよくある<大人になったらなりたい職業>というような調査。いつも新聞記事で「一位は***」ということが発表される。これも毎年同じカテゴリーを用いて、大きなサンプルでやれば、その変化に意味も見出せるのだろうが、調査の規模はいつも大抵小さく、一位と二位の違いなんて誤差の範囲内だ。
 思いついてgoogleで検索して見ると次のような調査(谷岡の言う「ゴミ」)が出てきた (博報堂の調査)。
 もうひとつの第一生命のほうは、上記の調査よりは若干ましかもしれないが、五十歩百歩といわざるをえないだろう。 
 ただし一位、二位というランクに拘泥せず、大きなカテゴリーで変化を捉え、サンプリングのいい加減さにとりあえず目をつぶれば、それなりに意味のある結果も出せるかもしれない。たとえば、サッカー選手、野球選手などはスポーツ選手として括ったり、学者と学校の先生、医者を「知的職業」として括るなど。その際、できるだけ、こどもがもともと持っている概念的なカテゴリーに合わせてやる必要があるだろう(注2)。
 そのように括り、カテゴリーごとの実数を大きくすれば、統計的な有意差を語ることができるようになる。それではじめて、たとえば大工さんになりたいという3.8%(その実数はたった12人にすぎない!)の数字の細かな変動につられて無意味な議論をする必要がなくなるだろう。
 
 さて、「「社会調査」のウソ」の話に戻るが、この本において一点だけ異論があるとすれば、まさにその「カテゴリーを括る」という方法についてである。
 pp.103-105で、谷岡は、データの後付け的な仮説検証を批判している。まず仮説があってそれを検証するのではなく、データを見てから仮説をつくって検証する、という方法についてだ。彼もそれを完全に否定しているわけではないが、実証方法としては望ましくない、という立場のようだ。
 もちろん程度の問題ではあるが、探索的な多変量解析で、データの全体的な性格を押さえた後で、論理的な仮説を構築し、同じデータを使って検証まで進める、というのはとても強力な方法であり、これを否定するのは現実的ではないように思う。実際僕は常にそういう方法を用いており、そうした分析を「ゴミ」呼ばわりされるのであれば大変心外だ。
 
 特に、彼がここで例に挙げている「年齢によって、支持政党の違いが出てくるか」という仮説の検証方法だが、ここでの谷岡の批判は誤っているといわざるをえない。
 ここで彼は自民・非自民を一緒くたにすることで「有意差をひねり出す」ことを問題にしているが、これはカイ二乗検定の意味がよくわかっていないのではないかと疑ってしまう。セルの数を減らす、というのは本来恣意的な作業ではなく、どことどこのグループ間に違いを見出すのか、という問題のはずなのだ。
 単に、年齢が高いほど**であり、低いほど○○である、ということが言いたいのであれば、年齢は二分するだけでも構わないし、以下の条件でそれは許されるはずだ。すなわち、細かく年齢層を分類したデータによって、年齢の中間層だけが特殊な傾向を持つということはなく、年齢の高い層と低い層の中間的な値に納まっていることが確認できていることである。
 政党の区別についても同様だ。たとえば民主党、共産党、公明党それぞれの間に、年齢による支持のされ方が大きく違わないのであれば、もともと少ない調査規模のなかで無理して、民主と共産の支持の差、共産と公明の支持の差などを実証しようとせず、すべて非自民として括ってしまうほうが、よっぽど統計的に確かなことが言えるはずだ。モデルとしての単純さを増すことで、結果の解釈がよりわかりやすくなる。
 このデータに関していえば、もし僕だったら、論文にデータを載せる余裕がたっぷりあれば、まずもっとも情報量の多い、細かい年齢区分と支持等別のグラフを載せた上で、党は自民・非自民でわけ、年齢層は、20代から40代、50代から60代、70代以上、というように区分したクロス表を載せ、その検定を行うだろう。なぜなら、年齢層間の違いはちょうどその間にあらわれているからだ。ついでに順位相関係数も確認してもよいと思う。
 
 僕はこれまでそのように学生に教えてきたし、そうしたやり方の正当性に自信もある。これに対して谷岡氏は再反論できるのだろうか。 
 
注1 例によって書評を確認すると、ほとんどが好意的な内容であるが、大学の教官と思われるコメントとして、「これを読んだものは、統計はみな信用できないと思い込んでしまって困る」というようなものがあった。確かに、何もかも疑わずに受けて入れてしまうのも困るが、何もかも疑った結果吟味もせずに全て無視する、という態度もやはり困る。そういう意味でも、この本に挙げられている例は、苦心して探し出されたものであるに違いないことは、述べておいてもよいかもしれない。
 
注2 ただしサンプリングのいい加減さがどの程度のものなのかよくわからないので、そうした工夫ででる結果の信用性は不明である。

« 大学院が徒弟制度になるわけ (M=Cさんへのレス) | トップページ | 卒業式の君が代斉唱時の起立強制について (次郎さんへのレス) »

コメント

コメントを書く

コメントは記事投稿者が公開するまで表示されません。

(ウェブ上には掲載しません)

トラックバック

この記事のトラックバックURL:
http://app.f.cocolog-nifty.com/t/trackback/150203/3326632

この記事へのトラックバック一覧です: 「『社会調査』のウソ(谷岡一郎)」 のウソ???  :

« 大学院が徒弟制度になるわけ (M=Cさんへのレス) | トップページ | 卒業式の君が代斉唱時の起立強制について (次郎さんへのレス) »

2015年9月
    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30      
無料ブログはココログ