前回（第0回）では、研究力の一つの指標として「被引用数」を考えることができること、そして「引用される」こと自体が学術研究の営みの根幹にあることをお話ししました。
もちろん、被引用数”だけ”が研究力の指標となるわけではありません。研究力は複合的に判断すべきものであり、「多様な評価軸から見ることが何より重要である」 ということは、最初に改めて強調しておきたいと思います。 その上で今回は、被引用数を用いた代表的な指標である 「Q値（Top10%論文割合）」 について説明します。
多様化する「引用」と、今回扱うデータの範囲
一口に「被引用数」といっても、現代の学術研究では、成果発表や、研究成果への反応のあり方は多様化しています。 引用される側は、伝統的な論文誌だけでなく、書籍、国際会議の発表、Web上のプレプリントアーカイブ＊、さらにはSNS上の発信まで広がっています。また、論文の参考文献として明示的に引用されるだけでなく、PDFのダウンロードや閲覧、SNSでの言及といった形で反響が可視化されるようにもなりました。こうした新しい反響の測り方を扱う指標として、「オルトメトリクス＊」というものもあります。
今回は、発行された段階で内容が確定する論文誌や書籍といった、いわば「古典的でオーソドックスな引用」に限って話を進めます。
引用数をどうやって測り、どう比較するのか？
では、そのオーソドックスな引用は、どのように測られているのでしょうか。 引用数は主に、Clarivate社やElsevier社といった商業書誌データベースを運用する企業によって集計されています。今回は、Clarivate社の研究力分析ツール「InCites Benchmarking」を例にご説明します。
（※詳細な仕組みにご興味がある方は、KURAの解説記事もご参照ください。）
大まかな仕組みは次の通りです。まず、一定の基準を満たす学術誌を収録対象として選定します。次に、そこに収録された各論文が「どの論文を引用しているか」を網羅的に調べ上げ、論文ごとの「被引用数」を集計します。ここでは、”収録対象になった論文のみ”をカウントしていることに注意しておくことが必要です。
また、このように集計した各論文ごとの被引用数をそのまま直接比較することはできません。なぜなら、分野によっても引用のペースや文化は大きく異なるからです。また、去年発表された論文と5年前に発表された論文では、引用が蓄積される時間が全く違います。こうした、論文そのものとは別の要因を無視して直接比較しても意味がありません。
そこで、公平な比較をするために、「同じ条件のグループ内で順位づけする」 という考え方をとります。 具体的には、以下の3つの要素を揃えた「論文の集合」を作ります。
- 分野： Web of Science 分類（例：「物理学, 凝縮系」「地域研究」など全254分野）
- 出版年： 例：「2020年」
- 文献タイプ： 通常の論文、総説、国際会議録など
たとえば、「2020年に発表された、世界中の『物理学, 凝縮系』の通常論文の集合」という箱をつくり、その中で各論文を被引用数順に並べるのです。こうすることで、分野の文化や出版年の違いといった“ハンデ”をできるだけ取り除き、同条件のなかで、ある一つの論文がどれくらい注目されているか を見ることができます。
いよいよ本題：「Q値」とは何か？
さて、個々の論文の立ち位置は分かりました。では、大学、部局、研究室、あるいは個人研究者といった単位の研究力を考えるには、どうすればよいのでしょうか。 単純に集団内の論文の平均被引用数をとるなどしてしまうと、せっかく条件を揃えて比較した意味がなくなってしまいます。
そこで着目するのが、「発表された論文のうち、特に注目されている論文がどれくらいの割合で含まれているか」 という見方です。
先ほど同条件で順位づけをした際、被引用数が上位１割（Top10%）に入っている論文を 「Top10%論文」 と呼びます。 つまり、Top10%論文とは、その分野・その年・その文献タイプにおいて、世界的に見て上位１割に入る被引用数を持つ論文のことです。イメージとしては、同じテーマに取り組む世界中の競合・協業相手から広く参照されている、いわば「避けては通れない重要な論文」であり、前回触れた「洛陽の紙価を高からしむ」ような成果を示した論文だと考えられます。
では、各大学の「Top10%論文の”数”」を単純に比較すればいいかというと、これも少し違います。大学の規模（研究者の数）が大きければ、当然論文数も増えるため、純粋な質の比較になりません。 そこで、規模に依存しない指標にするために、Top10%論文数をその集団の総論文数で割ります。（このように、規模などの違いを排除して比較可能な形に整える操作を、データ分析では 正規化（Normalization） と呼びます。）
Top10%論文数 ÷ 総論文数 ＝ Top10%論文割合（＝Q値）
これがQ値です。 Q値は「その集団が発表している論文のうち、世界トップクラスの影響力を持つ論文がどのくらいの割合で含まれているか」を示します。 なお、全世界（全ての論文）を母集団とすれば、上位1割の割合なので当然「10.0%」になります。もし、ある集団のQ値が10%を大きく超えていれば、それだけ打率高く注目される研究を生み出しているということになります。規模や分野に左右されず、どのような場合でも汎用的に比較できるため、研究力分析の主力としてよく使われています。
Q値のメリットとデメリット：万能薬ではない
どんな指標にも特性があります。正しく使うためには、メリットとデメリットの両方を把握しておくことが欠かせません。よく指摘されているものを挙げます。
メリット
- 汎用性が高い： 分野や規模を問わず使えるため、分野ごとの強みの把握などに使えます。年次変化も追えるため、研究力の推移を見るのにも適しています。
- 優れた研究が反映されやすい： 例えば、2000年代の京都大学の免疫学分野のQ値は25%近くありました。Q値が25%あるということは、京都大学では免疫学分野で世界最高峰の研究が行われていることを意味しています。これは本庶先生、湊総長、坂口先生などに代表される研究が、後にノーベル賞等で評価されることになる免疫学のパラダイムシフトを起こしていた時期と重なっており、高い研究力がしっかりQ値に反映されることがわかります。
- 「粗製乱造」への歯止めになる： かつて「論文数」だけが評価された時代、一つの成果を細かく分けて論文数を稼ぐサラミ論文が問題になりました。しかしQ値では、質の低い論文を量産すると分母（総論文数）ばかりが増え、かえって値が下がります。その意味で、量だけを追う歪んだ研究活動への抑制としても機能します。
デメリット
- ハック（不正操作）のリスク： 仲間内で意図的に引用し合う「引用カルテル」によって、被引用数やインパクトファクター＊を不当に吊り上げる事例が存在します。
- 新興分野・異分野融合・未収録雑誌への弱さ： 既存のデータベースの分類枠（254分野）に当てはまらない、新しい境界領域の研究は正当に評価されにくい傾向があります。収録雑誌の範疇に入らない日本語論文やマイナー雑誌は、カウントすらされません。この指標を盲信すると、新しい研究の芽を摘みかねませんし、商業会社の視野にない分野を無視してしまいます。
- 流行テーマの優遇と、遅咲き研究の過小評価： 研究者人口が多く「流行っている」テーマは引用が回りやすくQ値が高くなりやすい一方、地道な基礎研究は低く出がちです。また、発表から数十年経ってから真価が認められるような研究論文は、計算の仕組み上、短期的には評価されにくいという限界もあります。
注意点
- 直近の論文評価には使えない（タイムラグ問題）： 本質的な問題点として、出版から引用が表に出るまでには必ずある程度の期間が必要なため、最近の論文の評価には使えない、使ってはいけない、という点があります。当たり前ですが、昨年末に出版された論文が、今年の年始に出た論文ですでに引用されているような例はほぼありません。分野にもよりますが、引用が落ち着くのは最低で3年、大体の傾向が測れるようになるには5年程度必要とされています。そのため、Q値を使って昨年や一昨年に発表されたばかりの直近の論文を評価するべきではありません。
Q値は「体温」である：数字に振り回されないために
これらを踏まえると、Q値は研究力をおおよそ判断する際の「バロメータ」として優れた指標です。私は、Q値は組織や個人の「体温」のようなものだと考えています。
体温を測ることで、健康状態（研究力）が正常かどうかを大まかに把握できます。しかし、仮に平熱でなかった（Q値が低かった）として、「体温を平熱に戻すこと（数値を上げること）」自体を目的にすることは本末転倒です。 高熱が出ているからといって、無理やり解熱剤を飲ませて一時的に熱を下げたところで、根本的な病気や疲労が治るわけではありません。あくまで例えですが、大きな災害に遭い冷たい波を被った人が極寒の屋外に放置されそのために高熱を出しているとするなら、治療法として取るべきは『解熱剤を飲んで熱が下がったら働け』ではなく、本当に必要なことは温かい食事と安らかな休息ではないでしょうか。闇雲な解熱剤の処方のようなやり方だと、まさに死に至る病です。
本当に必要なのは、「なぜ研究が推進できない状態（＝発熱）にあるのか」を丁寧に診察し、原因を解明することです。研究資金の不足か、事務作業の負担増か、それとも若手へのポスト不足か。原因に合わせて「十分な休息と栄養（＝研究に専念できる環境の整備や適切な支援）」を提供し、組織が快方に向かえ（研究を推進すれ）ば、体温（Q値）は自然と平熱（適切な値）に向かうはずです。
研究力分析は、決して順位づけをしたり、研究の優劣を切り捨てたりするために使うものではありません。「いかに京都大学の研究者が自由闊達に研究に邁進できる環境を作るか」「そのためにどんな戦略・支援が必要か」 を考えるためのカルテづくりこそが、我々URAが分析を行う真の目的なのです。
さて、次回は、このQ値（Top10%論文割合）という指標を、一歩下がって科学技術政策や国際的な文脈からとらえると、どのように見えるのか、視点を変えて考えてみたいと思います。
（注）本文中に（＊）をつけているものは、研究分析で重要な用語です。今回は説明を割愛しましたが、本コラムシリーズの中で順次取り上げていく予定です。
研究力分析担当
「研究力分析の現場から」シリーズについて
「研究力分析の現場から」シリーズは、総合研究推進本部の研究力分析担当者が、研究力分析の現場で用いられる具体的な指標を題材にしつつ、分析の現場でどのような点に悩み、立ち止まっているのかも含めてお伝えするシリーズです。
研究評価に用いられる指標を一つずつ取り上げながら、「研究力」をどう捉え、どう説明していくのかを考えるコラムシリーズとして、順次お届けしていく予定です。
最初に「皆さんと一緒に考えてみたい」と書きましたように、本コラムを読んで感じたことや、違和感があれば、ぜひ総合研究推進本部までお寄せください。
「うまく言葉にならないけれど気になる」といった段階でも構いません。
どうぞお考えをお聞かせください。