記事

論文の再現性について

 夏休みなのですが、文科省関係のいくつかの審議会の委員を務めていて、けっこう宿題があってブログの更新が遅れてしまいました。前のブログの続きを書かないとね。

 でも、その前に前回のブログのコメントで11jigenさんから、最近、論文の再現性の低いことが問題にされていることが書かれていますので、ちょっと僕のコメントも書いておきます。僕もまったく11jigenさんに同感です。僕は、論文の質だけではなく量も大切であると主張しているのですが、この論文の再現性の問題、つまり質の問題は何とかしていただかないといけませんね。

 ずいぶん前になりますが、僕は1984-86年にアメリカのテネシー州バンダービルト大学医学部の分子生理学部門にポスドクとして留学をしていました。研究テーマはインスリンの脂肪細胞における糖輸送促進作用についての基礎的な研究でした。その時のラボのボスが河野哲郎(故人)という日本人で、インスリンの糖輸送促進作用のメカニズムとして”トランスロケーション説”を初めて実証した業績で、その分野では有名な先生でした。研究の説明は長くなるので今回は省きます。

 ちなみに、河野哲郎先生は東大の農学部のご卒業で、彼のおじいさんは、第一回文化勲章を受賞した国文学者佐々木信綱です。もう1つちなみに佐々木信綱は三重県の出身です。三重県四日市市石薬師にある佐々木信綱記念館には、河野哲郎先生が幼いころ、おじいさんの佐々木信綱に宛てた和歌の手紙が残っていました。

 河野哲郎先生は、科学者として厳しい姿勢を貫かれた先生です。彼の研究者としての信条は、誰にでも追試ができる論文、つまり再現性のある論文を書くということでした。そのために、僕たち若手研究者のやった実験も、必ずご自分で追試をされ、再現できたデータだけを論文にしておられました。その結果、河野先生の論文の数は、他の研究者に比べて少なく、半年に1編くらいのペースだったと思います。もっとも、論文数が少なかった理由としては、ポスドクの数が少なく、研究室そのものが小さかったことも一因です。河野先生と、彼の実験助手が1人、あと日本人のポスドクが2人の4人だけでした。僕は幸い1年半にJournal of Biological Chemistryという、生化学の分野では、まずまず定評のある学術雑誌に幸い2編の論文を出すことができましたが、ポスドクの中には3年間滞在して1編も論文を書けずに帰国せざるをえない人もいました。

 彼の口癖は科学者としての信用がもっとも大切であるということでした。河野先生に言わせると、追試のできない、つまり、他者がやって再現できない論文がたくさんあり、定評のあるJournal of Biological Chemistryの論文ですら、8割は追試ができない、というものでした。

 8割はちょっと高すぎる数字なのではないかと僕は思っていました。追試のやり方が悪いという場合もありますしね。しかし、今回11jigenさんがあげておられる参考文献を見ると、河野先生がおっしゃっていた8割というのは、間違っていない数字だったかもしれませんね。

 いずれにせよ、再現のできない論文がたくさん存在するというのは、今に始まったことではなく、けっこう前からあるということだと思います。再現できない論文が多々あることの理由としては、意図的なねつ造の場合もありうるわけですが、多くはねつ造ではなく、研究者本人はほんとうにその結果が出たことを正しいと信じて論文を書いています。意識的ではなくても、自分が立てた仮説に好都合のデータがたまたま偶然の確率で出た場合には、それを信じ切って、そうならないデータを異常値であるとして切り捨ててしまうことなどは、十分に起こりうることであると感じます。

 河野先生ご自身も、いつもどおり追試をして再現ができたので論文を書き、いざ投稿しようとする直前に、まてよ、もういっぺん確認してみよう、と思い直して、再再度追試をやったところ、再現ができないことが時々あったとおっしゃっていました。そんなことで投稿直前までいったけれども間一髪でお蔵入りになった論文の原稿が、けっこううず高く積もっているとのことでした。それだけ、再現性のある論文を書くことは大変ということだと思います。

 河野先生は、他の研究者からも、彼の論文は追試ができるということで、高い評価を受けていました。つまり、科学者として信用されていました。再現性があるということは、論文として最低限満たさなければならない”質”だと思うのですが、再現性のある論文を書く研究者が尊敬されるということ自体、現実は、いかに再現性のない論文が多いかということの裏返しであるとも思います。

  研究者が非常に重要な発見をしたと思った場合に、他の研究者に先を越される危険があるので、十分な確認をせずに、見切り発車で論文を書いてしまうこともありうることです。一瞬の差でノーベル賞を逃した研究者の存在はしばしば聞き及ぶ話です。それが当たれば、たいへん高く評価されるわけですが、見切り発車であるが故に、再現ができない論文となる確率も高まることになります。

 インパクトファクターの高い学術誌ほど、論文のretraction rate、つまり、後で取り消すことになる論文の率が高いというデータがあるようですが、これを説明する仮説の一つとして、先ほどのことが挙げられています。他の可能性としては、有名な雑誌ほど、衆目の目が集まりやすく、間違いが見つかりやすいとか、あるいは、レフェリーの能力の限界が挙げられています。 

 多くの研究者に引用される論文には、追試ができない論文の割合は少ないのではないか、そして、追試のできない論文は、時間が経てば、他の研究者から引用されることもなく自然に忘れさられる運命にあるのではないか、と思うのですが、11jigenさんのあげておられる文献の中には、被引用数の多い論文でも追試のできない論文がけっこうあるようです。

 また、再現性とは異なりますが、論文の数にこだわりすぎる研究者の中には、同じような実験を手を変え品を変えて繰り返し、その都度論文にするというケースもしばしば見られます。僕の研究分野でも、毎月1編以上の論文を1人で産生している研究者もいましたが、ぼくにはそんな芸当はできませんでした。本質的に同じ実験を、手を変え品を変えて論文数を増やしても、その一連の論文が読者に伝えることのできるメッセージは少ないわけです。それを勘違いして、論文の数が多ければいいということで、とにかくおびただしい英語の論文を量産して、しかし、教授の選考で選ばれなかったケースを見ました。見る人が見れば、一見論文数は多いけれども、本質的なメッセージが少ないことは見抜けるわけです。

 僕たちが他の研究者の論文を引用する場合も、本質的に同じメッセージの論文を手を変え品を変えて数を増やした論文をすべて引用することはせずに、通常はその研究者の代表的論文を1つ引用することが多いのではないでしょうか。ですから、被引用数の多い論文を選ぶということは、このようなメッセージ性の少ない論文を省く作用もあるのではないかと想像します。

 11jigenさんのコメントの通り、論文の質は非常に大切です。そして、質×量、つまり、再現性があり、かつメッセージ性の高い論文の数を増やすことが最も大切であると思います。再現できない論文を0にすることは難しいと思いますが、少しでも少なくするような何らかの仕組みを導入しつつ、現時点では、論文数や注目度の高い論文数が増えれば、ある程度質の高い論文数も増えると仮定して、分析をするしかないのかなと思っています。

 いずれにせよ、論文の質×量を高めるには、お金が必要であるという考えに変わりはありません。

 時間が遅くなったので、前回のブログの続きは次回です。

あわせて読みたい

「論文」の記事一覧へ

トピックス

記事ランキング

  1. 1

    マタハラ、自爆営業…「たかの友梨」の実態

    国家公務員一般労働組合

  2. 2

    タブレットの終わりがあっけなく来たわけ

    永江一石

  3. 3

    ヘイト反対派が高市氏を罵倒している矛盾

    井戸まさえ

  4. 4

    門田隆将氏"日本貶める朝日は生き残れない"

    門田隆将

  5. 5

    左翼が読むのは"朝日"ではなく"日経"である

    三田次郎

  6. 6

    生活保護を批判する人たちのひどいコメント

    Hayato Ikeda

  7. 7

    朝日の誤報は"金のため"東スポとの違いは?

    長谷川豊

  8. 8

    今、熱海が「ロケ地」に選ばれているわけ

    Dentsu PR Digital

  9. 9

    コンテンツの"パクリ"はいけない事なのか?

    Hayato Ikeda

  10. 10

    尖閣を守れ!島しょ防衛に備える自衛隊

    JAPANISM

ランキング一覧

ログイン

ログインするアカウントをお選びください。
以下のいずれかのアカウントでBLOGOSにログインすることができます。

意見を書き込むには FacebookID、TwitterID、mixiID のいずれかで認証を行う必要があります。

※livedoorIDまたはYahoo!IDでログインした場合、ご利用できるのはフォロー機能、マイページ機能、支持するボタンのみとなります。