前回は、インパクトファクター、正確にはジャーナルインパクトファクター（以下JIF）について、その成り立ちと誤用の問題を見てきました。結論は明確でした。JIFを、個々の論文の価値や、研究者個人の能力の評価には使えない、ということです。
では、ここで一つ、当然の疑問が浮かびます。
それなら、JIFをもとにした研究力指標は、すべて使ってはいけないのか。
今回取り上げる「Top10%ジャーナル掲載論文数」は、まさにこの問いを避けて通れない指標です。本学では第4期中期目標・中期計画期間において、「国際的に評価の高いジャーナル、すなわちTop10%ジャーナルへの掲載論文数」をKPIの一つとして掲げています。これは、Web of Scienceに収録されるジャーナルを対象に、分野カテゴリー内での相対的位置をもとに上位に位置するジャーナルを定め、そこに掲載された本学の論文数を数えるものです。
本学が使用する「Top10%ジャーナル掲載論文数」とは
ここでいうTop10%ジャーナルとは、クラリベイト社が定義する Average Journal Impact Factor Percentile（AJIF） を用いて、本学が独自に定めているものです。JIF Percentileとは、あるジャーナルのJIFが、その分野カテゴリー内でどの相対的位置にあるかをパーセンタイルで示したものです。さらにAJIFは、ジャーナルが複数の分野カテゴリーに属している場合、各カテゴリーにおけるJIF Percentileを平均した指標です。そこで本学では、Web of Scienceに収録されているジャーナルについて、このAJIFを参照し、上位10%に位置するジャーナルを「Top10%ジャーナル」として扱います。そして、そこに掲載された本学の論文数を「Top10%ジャーナル掲載論文数」として数えています。
注意すべきは、これはクラリベイト社が公式に定義している「Top10%ジャーナル掲載論文数」という標準指標ではない、という点です。クラリベイト社が提供しているAJIFという指標を用いながら、京都大学が自らの中期目標・中期計画におけるKPIとして設定している、本学独自の定義です。
さらに大事なことは、この指標が「JIFの高い雑誌に載ったから、その論文は優れている」と言っているわけではない、という点です。前回見たように、JIFは雑誌単位の平均的な被引用度を示す指標であり、個々の論文の質を保証するものではありません。高JIF誌にもあまり引用されない論文はありますし、低JIF誌にも長く読み継がれる重要な論文はあります。JIFを、個々の論文の価値や研究者個人の能力を測る代理指標としては使えない、という前回の警鐘は、この指標を考えるうえでも前提になります。
「Top10%ジャーナル掲載論文数」指標の意義・注意点
それでもなお、Top10%ジャーナル掲載論文数には、一定の意味があります。
なぜなら、研究成果をどのような場に届けているのか、という観点から、大学全体の国際的な発信状況を眺めるための指標になり得るからです。研究者にとって、投稿先のジャーナルは単なる「掲載場所」ではありません。同じ分野の研究者が集まり、読者がいて、査読者がいて、議論の文脈がある、一つの学術的な場です。その分野で国際的に注目されているジャーナルに論文が掲載されるということは、その研究成果が、少なくともその時点で、国際的な専門家コミュニティの主要な流通経路に乗ったことを意味します。
もう一つ、この指標には、比較的早い段階で研究活動の状況を捉えられるという特徴があります。研究のインパクトを測る指標としては、論文がその後どの程度引用されたかを見る「Top10%被引用論文数」などがあります。これは、個々の論文が学術コミュニティにどの程度影響を与えたかを捉えようとする点で一定の意義がありますが、引用が蓄積されるまでには時間がかかります。そのため、出版されたばかりの論文について、その影響を十分に判断することはできません。これに対して、Top10%ジャーナル掲載論文数は、論文が掲載されたジャーナルの位置づけをもとに算出するため、出版後比較的早い段階から指標として用いることができます。たとえば、直近一年間の研究活動の状況を確認したい場合にも利用しやすい、という特徴があります。
ただし、この指標を読むときには、いくつかの注意が必要です。
第一に、この指標が見ている範囲は限定されています。Top10%ジャーナル掲載論文数が対象としているのは、Web of Scienceに収録されたジャーナルです。したがって、そもそもWeb of Scienceに収録されていないジャーナルでの研究活動は、この指標には現れません。国内外の専門的な学術誌、地域に根ざした研究成果を発信する媒体、日本語での重要な論考、特定の実務コミュニティや政策現場に強く影響を与える媒体などが、必ずしも十分に捉えられるわけではありません。
さらに、分野によっては、ジャーナル論文が研究成果の主要な発表形態ではない場合もあります。書籍、編著書、作品、展示、設計、政策提言、データベース、ソフトウェア、臨床実践、特許、社会実装などが、研究成果として大きな意味を持つ分野もあります。これらの成果は、学術的にも社会的にも重要でありながら、Top10%ジャーナル掲載論文数という指標には入りにくい、あるいはまったく入らないことがあります。
第二に、AJIFを用いたTop10%ジャーナルという考え方は、分野間の違いを和らげる工夫ではありますが、分野差を完全に消し去るものではありません。今回の指標では、単純なJIFの大小をそのまま比べるのではなく、分野カテゴリー内での相対的位置、すなわちパーセンタイルに基づいてTop10%ジャーナルを定めます。これは、生命科学と数学、医学と人文学のように、引用文化や出版文化が大きく異なる分野をそのまま比べることの問題を和らげるための工夫です。しかし、それでもなお、分野ごとの研究成果の出し方、引用されるまでの時間、ジャーナル論文以外の成果の重要性といった違いが、完全に調整されるわけではありません。
第三に、これは上述したように、「論文そのものの質」や「研究者個人の能力」を直接測る指標ではありません。測っているのは、あくまで「どのようなジャーナルに掲載されたか」です。研究の独創性、方法の妥当性、データの信頼性、社会的意義、長期的な学術的貢献は、この数値だけからは分かりません。したがって、この指標を個々の研究者や個々の論文の評価に短絡的に使うことは、前回確認したJIFの誤用と同じ危険をはらみます。
ここには、「見えているもの」と「見えていないもの」の問題があります。Top10%ジャーナル掲載論文数は、Web of Scienceに収録されたジャーナル論文という範囲のなかで、国際的に評価の高いジャーナルへの掲載状況を見ています。その窓から見える景色は、たしかに重要です。しかし、その窓からは見えない領域の研究活動もまた、大学の研究力を形づくる大切な要素です。
つまり、Top10%ジャーナル掲載論文数は、研究力の全貌を映し出す鏡ではありません。むしろ、研究力の一側面――国際的に認知された学術誌という場に、どれだけ研究成果を送り出しているか――を映す、一枚の鏡です。そこに映る姿は重要ですが、それだけで研究力のすべてが見えているわけではありません。鏡の外にある活動や、別の角度から見なければ捉えられない価値もあります。
手がかりとしての「Top10%ジャーナル掲載論文数」
では、本学がこの指標をKPIとして掲げる意味はどこにあるのでしょうか。
それは、「国際的な学術コミュニティの主要な舞台で、京都大学の研究成果がどれだけ存在感を示しているか」を継続的に確認するためだと考えられます。京都大学の研究は、国内だけで完結するものではありません。世界中の研究者と競い、協力し、ときには分野そのものの方向を変えていく。そのような研究活動を大学として支え、社会に説明していくためには、何らかの客観的な手がかりが必要です。Top10%ジャーナル掲載論文数は、その手がかりの一つです。
ただし、手がかりは手がかりであって、答えそのものではありません。
数値が増えたから研究力が高まった、数値が減ったから研究力が衰えた、と直線的に判断するのは危険です。大切なのは、その変化の背景を読むことです。
- どの分野で増えているのか
- どのような研究グループが国際的な発信力を高めているのか
- どのような国際共著や研究ネットワークが形成されているのか
- 逆に、数値には表れにくいが、長期的には大きな価値を持つ研究がどこにあるのか。
Top10%ジャーナル掲載論文数は、そうした問いを立てるための入口として使うべきものです。
「Top10%ジャーナル掲載論文数」による研究力評価
前回のJIFの話は、指標を使うことへの警告でした。しかしそれは、指標を捨てよ、という意味ではありません。むしろ、指標の性質をよく知り、使いどころを見極めよ、という警告だったはずです。
Top10%ジャーナル掲載論文数も同じです。この指標を「高い雑誌に載せることが目的」と読んでしまえば、研究の方向を誤らせる危険があります。研究者が本来取り組むべき問いではなく、掲載されやすいテーマ、引用されやすいテーマ、Top10%ジャーナルに受け入れられやすい形式だけを追いかけるようになれば、それは指標の活用ではなく、指標への従属です。
一方で、この指標を「京都大学の研究成果が、国際的な学術コミュニティのどのような場に届いているのか」を確認する補助線として読めば、大学の強みや課題を考えるための有用な材料になります。数値の増減そのものを見るのではなく、その背後にある研究活動、分野ごとの特性、発信媒体の違い、国際的な研究ネットワークの広がりを読み解くことが重要です。
研究力分析に必要なのは、数字を信じすぎることでも、数字を拒むことでもありません。
数字が何を測り、何を測っていないのかを見極めること。
そして、数字の向こう側にある研究の実態を、丁寧に読み解くことです。
Top10%ジャーナル掲載論文数という指標もまた、そのような慎重さとともに使われるとき、はじめて京都大学の研究をより深く理解するための道具になるのではないでしょうか。
分析・評価部門 橋爪 寛
参考
「研究力分析の現場から」シリーズについて
「研究力分析の現場から」シリーズは、総合研究推進本部の研究力分析担当者が、研究力分析の現場で用いられる具体的な指標を題材にしつつ、分析の現場でどのような点に悩み、立ち止まっているのかも含めてお伝えするシリーズです。
研究評価に用いられる指標を一つずつ取り上げながら、「研究力」をどう捉え、どう説明していくのかを考えるコラムシリーズとして、順次お届けしていく予定です。
本コラムを読んで感じたことや、違和感があれば、ぜひ総合研究推進本部までお寄せください。
「うまく言葉にならないけれど気になる」といった段階でも構いません。
どうぞお考えをお聞かせください。