PNASという雑誌

いろいろなところで紹介されている、Proceedings of the National Academy of Science (PNAS)のEarly editionの論文

Physical and situational inequality on airplanes predicts air rage

headlines.yahoo.co.jp

…が、pubpeerやブログで問題が指摘されている。

 

PubPeer - Physical and situational inequality on airplanes predicts air rage

 

andrewgelman.com

(ちなみにPPNASと、余計にPが付いているのはPrestageousなPNAS、ということらしい)。

要は

  • 結論を出すのに使った統計が、「統計的優位」とされる5%ギリギリレベルだったりなど、データが非常に弱い
  • データは公開されていないのでよく分からない

ということだ。

本文以外にも、コメント欄のやりとりも興味深いのだけれども、その前にPNASがどういう雑誌なのかを説明したい。

実はこの論文が出版されたPNASというのは、確かに高いインパクトでPrestageousなのだが、いろいろ疑問の多い論文が載ったりもする。その理由の一つとして考えられるのは、雑誌のレビューに関するやりとりを担当するエディターの権限が一種独特であることだと思う。

PNASでは、レビューのプロセスに応じて、大きく分けて2種類の論文がある。1つはDirect submissionと呼ばれるもので、通常の論文レビューと似ていて、編集部にそのまま論文を提出してエディターがつく、というものである。2つ目はContributed submissionというもので、NAS会員が自分でレビューワーを選んで自分のmanuscriptをレビューしてもらうというものだ。direct submissionとcontributed submissionは、論文には明記されているのでどちらだったかはわかるのだが、このcontributed submissionというものになると、論文の質が微妙なものが多い…ように思う。direct submissionであっても、エディターになる人はNAS会員で、専門分野に合わせて指定したりする必要はある。また、すべての論文に誰がエディターであったか出るので、そのエディターの傾向のようなものを掴むのは容易だと思う。

今回の論文のエディターは、ブログのコメント欄で指摘されている通り、Power pose論文で有名なAmy Cuddyという人の先生だったそうだ。このPower pose論文に関して、結果が再現できない、統計的に弱かったのではないか?という指摘がすでにされている。

PNASはシステム的にちょっと変わっている、なかなかトリッキーな雑誌だとは思うけれども、こういうエディターの名前が明らかになるというのは結構面白い。最近はcontributed submissionの場合、レビューコメントをした人の名前も出るようになったみたいだ。

レビューワーを明らかにすることには賛否両論ある。いろいろ手間がかかって面倒とか、匿名性が保たれた方が率直なコメントをしやすいとかあるかもしれないが、エディターやレビューワーのレビューというメタレビューも面白いかもしれない。