メタサイエンス

メタサイエンス（meta-science）またはメタ研究（meta-research）は、科学的方法を用いて科学そのものを研究対象とする学問分野である。「研究の研究（research on research）」あるいは「科学の科学（science of science）」とも呼ばれ、研究の実施方法、報告の質、再現性、制度的構造などを分析し、科学研究の質の向上と非効率の削減を目的とする。メタサイエンスはあらゆる分野の研究を対象とし、「科学の鳥瞰図」とも比喩されることがある^[1]。

スタンフォード大学の研究者であり、メタサイエンスの分野を牽引する存在とされるジョン・P・A・ヨアニディス（John P. A. Ioannidis）は、「科学は人類にとって最も素晴らしいものであるが、より良い方法があるはずである」と述べている^[2]。

メタサイエンスの先駆的研究の一つは1966年に発表されたもので、主要な医学雑誌10誌に掲載された295件の論文の統計的手法を分析した。この研究では、「読まれた報告の約73％において、結論の根拠が不適切であった」と指摘された^[3]。その後数十年にわたり、メタ研究は多くの分野で方法論的欠陥、非効率的な研究実施、不適切な報告が広く存在することを明らかにしてきた。特に医学や社会科学において、再現性の欠如が問題視されており、これが背景となって「再現性の危機（reproducibility crisis）」という概念が2010年代初頭に提唱された^[4]。

この問題への対応として、研究の事前登録、報告ガイドラインの整備（例：CONSORT、EQUATORネットワーク）、統計的手法の適正利用の推進、査読制度の改善、出版バイアスの是正、および研究インセンティブの見直しなど、多岐にわたる改革が進められている。さらに、科学出版に関するデータの体系的収集や、研究全体の品質と効率性の向上に向けた取り組みも進行中である^[5]。

メタサイエンスは、オープンサイエンス（Open Science）運動の中核的な方法論の一つと位置づけられており、現代科学の信頼性と再現性を支える重要な役割を果たしている。

Remove ads

歴史

要約

視点

メタサイエンスの初期の例は、1966年に発表された研究にさかのぼる。この研究では、主要な医学雑誌10誌に掲載された295件の論文の統計的手法が分析され、「読まれた報告の約73％において、結論の根拠が不適切であった」と報告された^[7]。1976年には、メタ研究への系統的支援の必要性が論じられ、「研究に関する研究（research on research）」を推進するための独立した専門グループの設立と長期的な資金提供が提案された^[8]。

この分野における重要な転機となったのが、2005年にジョン・P・A・ヨアニディス（John P. A. Ioannidis）が発表した論文「Why Most Published Research Findings Are False」である^[6]^[9]。同論文は、特に医療研究において、多くの研究成果が誤った結論に基づいている可能性を指摘し、後にパブリック・ライブラリー・オブ・サイエンスで最も多くダウンロードされた論文の一つとなった^[10]^[11]。この論文は、メタサイエンス分野の発展に大きな影響を与えたとされている^[12]。

ヨアニディスは、ジェレミー・ハウイック（Jeremy Howick）およびデスピナ・コレツィ（Despina Koletsi）らとの研究においても、医療介入の多くがGRADEアプローチに基づく「高品質」なエビデンスに支えられていないことを明らかにしている^[13]。

その後のメタ研究は、心理学や医学を含むさまざまな科学分野において、研究結果の再現性の低さを示す数多くの知見を蓄積し、これらの課題は「再現性の危機（reproducibility crisis）」と呼ばれるようになった。メタサイエンスはこの再現性の問題や、研究資源の無駄（research waste）に対する対応として成長してきた^[14]。

主要学術出版社もこの分野への関心を示しており、サイエンス、ランセット、ネイチャーなどは、メタ研究や再現性に関する特集や記事を継続的に掲載している^[15]。2012年にはPLOS ONEが「再現性イニシアチブ（Reproducibility Initiative）」を開始し、2015年にはBioMed Centralが4誌において「報告の最低基準チェックリスト」を導入した。

メタサイエンスに関する最初の大規模な国際会議の一つは、2015年にエディンバラで開催されたResearch Waste/EQUATORカンファレンスである。また、査読に関する国際会議としては、1989年に開催されたPeer Review Congressが初めての事例とされている^[16]。2016年には、Research Integrity and Peer Review誌が創刊され、査読、研究報告、研究倫理に関する問題に関する研究成果の発表を目的とする場として位置づけられた^[17]。

Remove ads

メタ研究の分野とテーマ

要約

視点

メタサイエンスは、主に5つの主要な分野に分類される：方法論、報告、再現性、評価、およびインセンティブ。これらはそれぞれ、研究を実施する方法、研究結果を伝える方法、研究の再現性を確認する方法、研究を評価する方法、および研究を報奨する方法に対応している^[18]。

方法

メタサイエンスは、研究における偏り、不適切な研究設計、統計の濫用など、不適切な研究実践を特定し、これらの実践を軽減する方法を模索することを目的としている^[19]。メタ研究は、科学文献において数多くの偏りを特定してきた^[20]。特に注目すべきは、P値の濫用と統計的有意性の濫用が広く行われている点である^[21]^[22]。

科学データサイエンス

科学データサイエンスは、データサイエンスを研究論文の分析に適用する分野である。定性的手法と定量的手法の両方を包含している。科学データサイエンスの研究には、不正検出^[23]と引用ネットワーク分析^[24]が含まれる。

ジャーナロロジー (Journalology)

ジャーナロロジー（出版科学）は、学術出版プロセスのあらゆる側面を学術的に研究する分野である^[25]^[26]。この分野は、学術出版においてエビデンスに基づく実践を導入することで、学術研究の質を向上させることを目的としている^[27]。「ジャーナロロジー」という用語は、ブリティッシュ・メディカル・ジャーナルの元編集長であるスティーブン・ロックによって考案された。1989年にイリノイ州シカゴで開催された第1回ピアレビュー会議は、ジャーナロロジーを独立した分野として確立する上で画期的な瞬間とされている^[28]。ジャーナロロジーの分野は、科学における研究の事前登録を推進する上で重要な役割を果たしてきた。特に臨床試験における事前登録は、現在ほとんどの国で期待されるようになっている^[29]。

報告

メタ研究は、特に社会科学と健康科学の分野において、研究の報告、説明、普及、一般化に関する不適切な実践を指摘している。不適切な報告は、科学的研究の結果を正確に解釈すること、研究を再現すること、および著者の偏りや利益相反を特定することを困難にする。解決策には、報告基準の施行や科学的研究における透明性の向上（利益相反の開示に関するより厳格な要件を含む）が含まれる。CONSORTやより大規模なEQUATORネットワークなどの報告機関によるガイドラインの策定を通じて、データと方法論の報告を標準化しようとする試みが行われている^[30]。

再現性

再現性の危機は、多くの科学的研究が再現困難または不可能であることが判明した継続的な方法論的危機である^[31]^[32]。この危機の根源は20世紀中盤から後半のメタ研究にあるが、「再現性の危機」という用語は、問題への認識が高まる中で2010年代初頭に^[33]初めて提唱された^[34]。再現性の危機は、心理学（特に社会心理学）と医学^[35]^[36]（がん研究を含む^[37]^[38]）において特に詳しく研究されてきた。再現性は科学的なプロセスにおける不可欠な要素であり、再現性の広範な失敗は、影響を受ける分野の信頼性を疑問視する要因となっている^[39]。

さらに、研究の再現（または再現不能）は、オリジナル研究に比べて影響力が低いとされ、多くの分野で発表される可能性が低い。これにより、研究の報告や、ひいては再現を試みる行為自体が抑制される傾向にある^[40]^[41]。

評価とインセンティブ

メタサイエンスは、査読の科学的基盤を確立することを目的としている。メタ研究は、事前ピアレビュー、事後ピアレビュー、オープンピアレビューを含む査読システムを評価する。また、より良い研究資金配分基準の開発を目指している^[42]。

メタサイエンスは、より良いインセンティブシステムを通じてより良い研究を促進することを目的としている。これには、研究のランキングや評価、およびそれらを行う研究者に対する異なるアプローチの正確性、効果、コスト、および利益を研究することが含まれる^[43]。批判者は、歪んだインセンティブが学術界に「出版か死か」という環境を生み出し、ジャンクサイエンス、低品質な研究、および偽陽性の生産を促進していると主張している^[44]^[45]。ブライアン・ノセックは次のように述べている。「私たちが直面する問題は、インセンティブシステムがほぼ完全に研究の発表に焦点を当てており、研究の正確性にはほとんど注目していない点である。」 ^[46] 改革を支持する人々は、インセンティブシステムを再構築し、より高品質な結果を重視するように求めている^[47]。例えば、品質を「指標のみ（または主に）ではなく、物語的な専門家評価」に基づいて判断し、機関の評価基準、透明性の確保、および専門的な基準を重視する仕組みを提案している^[48]。

著者資格

研究では、科学出版管理システム向けに機械可読な基準と（バッジの分類体系）を提案し、貢献度（誰がどのような研究作業にどの程度貢献したか）に焦点を当てたシステムを提唱している。これは、従来の「著者」という概念（出版物の作成に何らかの形で関与した人）に依存するのではなく、より詳細な貢献度を評価するものである^[49]^[50]^[51]^[52]。ある研究は、貢献の微妙な差異の無視が続くことに関連する問題の一つを指摘した。その研究では、「著者リストの延長(1つの論文あたりの共著者数の増加)、従来よりも少ない文章量の論文、出版数の急増により、出版物の数はもはや適切な指標ではなくなった」と指摘されている^[53]。

評価要因

雑誌社に投稿された論文原稿の内容以外の要因が、査読の評価に重大な影響を与えることがある^[54]。これらの要因には、研究者の過去の出版物の信頼性に関する記録の活用や、公共の利益との整合性など、重要な要素も含まれる場合がある。ただし、評価システム（査読を含む）は、分析指標（引用数やアルトメトリクスなど）と比較して、現実世界へのポジティブな影響、進歩、公共の利益といった目的に向けたメカニズムや基準が大幅に欠如している可能性がある。これらの分析指標は、評価するという目的の部分指標として使用される場合でも、本質的な評価基準として機能していない場合がある^[55]^[56]。学術的な報酬構造の再考、具体的には、「中間成果物（例えばデータ）に対するより正式な評価を提供する」ことは、ポジティブな影響をもたらし、データの非開示を減少させる可能性がある^[57]。

訓練と認定

あるコメンタリーによると、学術ランキングは、それぞれの研究者がどこ（国と機関）で訓練を受けたかを考慮していない^[58]。

科学計量学 (Scientometrics)

科学計量学(サイエントメトリクス)は、科学論文における書誌データの計測を扱う分野である。主要な研究課題には、研究論文や学術誌のインパクトの測定、科学的引用の理解、そしてこれらの測定値を政策やマネジメントの文脈で活用することが含まれる^[59]。

研究によれば、「学術的成功を測るために用いられる指標（論文数、被引用数、インパクトファクターなど）は、数十年間ほとんど変化しておらず」、ある程度においては「もはや有効な指標ではなくなっている」とされている^[53]^[22]。その結果、「過剰生産、不必要な細分化、過剰な売り込み、ハゲタカジャーナル（掲載料を取って論文を出す雑誌）、巧妙な剽窃、さらには科学的結果を意図的に曖昧にし、それを売り込むといった問題」が生じている^[60]。

この分野における新しいツールには、「被引用ノードが引用ノードにどれほど情報を与えているか」を定量化するシステムが含まれる^[61]。これにより、非加重の引用ネットワークを加重ネットワークに変換し、その後、出版物や著者などのさまざまな要素に対するインパクト指標を導き出すといった重要性の評価に利用できる^[62]。また、他の用途として、検索エンジンやレコメンデーションシステムにも応用可能である。

科学のガバナンス

科学研究の資金提供（サイエンスファンディング）や科学のガバナンスも、メタサイエンスを通じて検討され、知見を得ることができる。^[63]

インセンティブ

優先順位付けなどのさまざまな介入は重要である可能性がある。

たとえば、「差別的技術開発（differential technological development）」という概念は、技術の開発順序に影響を与えることでリスク、特に地球規模の壊滅的リスクを低減することを目的として、意図的に異なる予防的速度で技術を開発することを指す。具体的には、制御技術・安全技術・政策技術などを、リスクの高いバイオテクノロジーよりも優先して開発することなどが含まれる。^[64]^[65]

望ましい結果を確保するために、既存の立法制度やインセンティブだけに依存することは必ずしも十分ではない場合がある。というのも、こうした制度は多くの場合、対応が遅すぎたり、適切でなかったりすることがあるからである。^[66]

メタサイエンスに基づく改革を含め、科学および関連プロセスを適切に統治するための他のインセンティブとしては、以下のようなものが挙げられる：

特に公的資金による研究のアクセス可能性や、公共の関心に関わる多様な研究テーマに対して真剣に取り組んでいるかどうかという点で、一般市民への説明責任を果たすこと
有資格で生産的な科学者の人材層の拡充
科学の効率性を向上させることで、より広範な問題解決能力を高めること
人間の生理学など、明確で科学的根拠に基づいた社会的ニーズが、適切に優先され、対応されるようにすること

このような介入、インセンティブ、そしてその設計は、メタサイエンスの研究対象となり得る。

科学研究の資金提供と表彰

科学賞は、科学におけるインセンティブの一形態である。メタサイエンスは、既存の科学賞の制度や仮想的な制度を対象として検討することができる。たとえば、メタサイエンスの研究により、ノーベル賞で顕彰された研究は、ごく少数の科学分野に偏って集中していることが明らかになっている。実際、71の科学分野のうち少なくとも1つのノーベル賞を受賞した分野は36分野にとどまっている。さらに、DC2およびDC3という科学の分類体系に基づく849の細分類のうち、114の分類がノーベル賞と関連していたが、その中でも次の5分野が1995年から2017年に授与されたノーベル賞の半数以上を占めていたことが示された：^[67]^[68]

素粒子物理学（14.0%）
細胞生物学（12.1%）
原子物理学（10.9%）
神経科学（10.1%）
分子化学（5.3%）

ある研究では、政策決定者が責任を科学に委任し、科学がその後「社会にとって信頼でき有用な知識を提供する」と期待する、中央集権的な権威に基づくトップダウン型のアプローチは、あまりにも単純化されすぎていると指摘されている。^[69]

測定の結果、バイオメディカル分野の資源配分は、疾病負担よりも、過去の資源配分や既存の研究との相関が強いことが示されている。^[70]

ある研究は、次のように示唆している：

「査読が、研究報告や研究資金の競争的選定における主要な審査手段として維持されるのであれば、科学界はその運用が恣意的なものにならないよう十分に注意を払う必要がある。」^[71]

複数の研究は、「私たちが成功をどのように測定するかを再考する必要がある」ことを示している^[53]。

研究資金データ

助成金データベースや研究資金の謝辞欄から得られる研究資金に関する情報は、サイエントメトリクス（科学計量学）の研究におけるデータソースとなり得る。たとえば、資金資金に関する情報は、資金提供機関が科学技術の発展に与える影響を調査したり、評価したりする目的で活用される。^[72]

研究課題と調整

リスク・ガバナンス

科学コミュニケーションと公共利用

「科学には、グローバルな公共財としての価値を支える2つの基本的な特性がある」と主張されている。その特性とは、

1.知識の主張とその根拠となる証拠が公開され、検証にさらされること

2.科学研究の成果が迅速かつ効率的に伝達されること

である。^[73] メタサイエンスの研究では、サイエンスコミュニケーションに関するさまざまなトピック、たとえば科学報道のメディアでの扱い、科学ジャーナリズム、科学の教育者や科学研究者によるオンラインでの成果発信などが取り上げられている。^[74]^[75]^[76]^[77] ある研究では、学術界でソーシャルメディアの利用に対して与えられている主なインセンティブは「情報拡散（amplification）」であるとされ、さらに今後は、こうしたプラットフォームが研究との「実質的な関与（real engagement）」を促進するための、より制度的な文化への転換が必要であると指摘されている。^[78] また、科学コミュニケーションには、社会的なニーズ・関心・要望を科学者に伝えるという役割も含まれる。

代替指標ツール

代替指標ツールは、評価（パフォーマンスと影響力）^[79]や検索可能性の支援に役立つだけでなく、科学論文に関するソーシャルメディア（例：Reddit）での公開議論、Wikipediaでの引用、ニュースメディアでの研究に関する報道など、多くの公開議論を収集し、メタサイエンスでの分析に活用したり、関連ツールで提供・利用したりすることが可能である。^[80] 評価と発見可能性の観点から、代替指標は、ソーシャルメディアやその他のオンラインプラットフォームを通じた相互作用に基づいて、出版物のパフォーマンスや影響力を評価する。例えば、他の研究が引用する前に、測定された影響力に基づいて最近の研究を並べ替えるのに使用できる。確立された代替指標の具体的な手順は透明性がない^[81]ため、ユーザーはオープンソースソフトウェアのようにアルゴリズムをカスタマイズしたり変更したりできない。ある研究は、アルトメトリクスのさまざまな限界を説明し、「継続的な研究開発の方向性」を指摘している。^[82] また、研究者が受けた建設的なフィードバックを見つけるための主要なツールとしての使用にも限界がある。

社会的影響と応用

「科学と技術が社会に与える影響や応用に関する知的交流が、今後より重視され、促進されることが、科学の発展に有益である」との指摘がある。^[83]

知識の統合

一次研究は「文脈や比較、要約が欠如していると、最終的に限定的な価値しか持たない」ものであり、さまざまな種類の研究の統合や要約が一次研究を統合している。^[84] グローバルな環境アジェンダの主要な社会生態学的課題における進展は、「既存の科学的証拠の統合と要約の不足」により阻害されており、データ量の急速な増加、情報のかたまり化、および一般的に未解決のエビデンス統合の課題が存在している。^[85] Khalilによると、研究者は論文の過剰な量という問題に直面している——例えば2014年3月にはArXivに8,000件を超える論文が投稿された——ため、「膨大な文献量に対応するため、研究者は参考文献管理ソフトウェアを使用し、要約やメモを作成し、特定のテーマの概観を提供するレビュー論文に依存している」。彼は、レビュー論文は通常（のみ）「既に多くの論文が書かれたテーマを対象としており、迅速に古くなる可能性がある」と指摘し、「ウィキ・レビュー論文」を提案している。これは、テーマに関する新たな研究を継続的に更新し、多くの研究の結果を要約し、今後の研究の方向性を示すものである。^[86]ある研究では、科学的な出版物がウィキペディアの記事で引用されている場合、これがその出版物の何らかの影響力の指標として考慮される可能性があることが示唆されている。^[87] 例えば、時間が経つにつれ、その参考文献が与えられたトピックの高度な要約に貢献していることを示す可能性があるからである。

科学ジャーナリズム

科学ジャーナリストは、科学の生態系および一般市民への科学コミュニケーションにおいて重要な役割を果たしており、研究結果の信頼性を判断する際や、その報告の可否および方法を決める際に「関連する情報を適切に活用する能力」が求められる。それらの人々は、一般市民に伝達される研究結果を検証する役割を担っている。^[88]

科学教育

一部の研究では、科学教育が対象とされている。例えば、選択された科学的な論争に関する教育、^[89] 主要な科学的結論の歴史的発見プロセス、^[90] および一般的な科学的誤解などである。^[91] 教育は、より一般的なテーマとしても取り上げられることがある。例えば、科学的成果の質を向上させ、科学的作業に必要な時間を短縮する方法、または多様な科学的労働力を拡大し維持する方法などである。

科学に関する誤解と反科学的な態度

多くの学生は、科学とは何か、どのように機能するかという点で誤解を抱えている^[92]。反科学的な態度や信念も研究の対象となっている^[93]^[94]。ホテズは、反科学が「支配的な勢力として台頭し、極めて危険な存在となり、グローバルな安全保障を脅かすもの」として浮上したと指摘し、これに対抗するための「新たなインフラ」の必要性を強調している^[95]。

科学の進化

科学的な実践

メタサイエンスは、科学的なプロセスが時間とともにどのように進化するかを調査することができる。ある研究では、チームの人数が拡大しており、「10年ごとに平均17％増加している」ことが示されている^[96]。

非オープンアクセス出版の一般的な形態と、多くの伝統的な学術誌が課す料金（公的資金で支援された論文であっても）は、科学の進歩に対する不当な、不要な、または最適でない障害となっていることが判明した^[97]^[98]^[99]^[100]。オープンアクセスは、他の用途に充てられるべき多額の財政資源を節約し、開発途上国の研究者にとっての競争条件を平等化する可能性がある^[101]。購読料、特定の研究へのアクセス料、論文掲載料など、多額の費用がかかる。Paywall: The Business of Scholarshipは、このような問題を取り上げたドキュメンタリーである^[102]。

もう一つのテーマは、科学的なコミュニケーションの確立されたスタイル（例：長文形式の研究論文やレビュー）と科学出版の慣行である^[103]。従来の出版の「 glacial pace（氷河のような遅さ）」に対する懸念が指摘されている。プレプリントサーバーを利用して研究の草案を早期に公開する手法の活用が増加しており、オープンピアレビュー^[104]、研究を審査するための新たなツール^[105]、提出された原稿と審査員のマッチングの改善^[106]などが、出版を加速するための提案として挙げられている。

科学全体および分野内での発展

研究には、多様なメタデータが存在し、これらを有効に活用し、補完し、利用可能な形に加工することが可能である。OpenAlexは、2億件を超える科学論文の無料オンラインインデックスであり、出典、引用、著者情報、科学分野、研究テーマなどのメタデータを統合し提供している。そのAPIとオープンソースのウェブサイトは、メタサイエンス、サイエンティメトリクス、およびこの論文のセマンティック・ウェブをクエリする新しいツールの開発に利用可能である。^[107]^[108]^[109] 　開発中の別のプロジェクトであるScholiaは、科学出版物のメタデータを活用し、ウィキデータの「主要な主題」プロパティを使用して、SARS-CoV-2ウイルスの特定の特性に関する文献を要約するシンプルなユーザーインターフェースを提供するなどの可視化や集約機能を実現している。^[110]

Subject-level resolutions

人間が研究に明示的に付与したメタデータを超えて、自然言語処理とAIを活用することで、研究論文をトピックに分類することが可能である。例えば、科学賞の影響を調査したある研究では、論文のテキスト（キーワードだけでなく）をウィキペディアの科学トピックページの言語的内容（これらのページは科学者やユーザーがクラウドソーシングを通じて作成・更新されている）と関連付けるために、このような手法が用いられた。これにより、さらに分析やナビゲーションに役立つ、高精度な科学トピックの分類が作成された。^[111]

科学全体の成長か停滞か

メタサイエンス研究は、例えば文献データベースにおける論文の件数などのデータを用いて、科学全体の成長を調査している。ある研究では、異なる成長率を示すセグメントが「経済的（例：工業化）」段階——科学システムにおける必要不可欠な入力要素として資金が考慮される——「および/または政治的動向（例：第二次世界大戦）」と関連していることが示された。また、科学文献の量の最近の指数関数的成長を確認し、平均倍増期間を17.3年と算出した。^[112]

ただし、他の研究者たちは、科学の進歩を意味のある方法で測定することが困難である点を指摘している。その理由の一つは、特定の科学的発見がどれほど重要であるかを正確に評価することが難しいからである。科学の全体的な動向（影響力、主要な発見の数など）に関する多様な視点は、書籍や論文で説明されてきた。例えば、科学は「1ドルまたは1時間あたりのコスト」でますます困難になっていること、もし科学が「現在減速しているなら、それは科学が確立された分野に過度に焦点を当て続けているため」であること、論文や特許が「CD指数」^[113] で測定される過去との断絶という点で「破壊的」である可能性がますます低くなっていること、そして、例えば「コンピュータとインターネットを除けば、1970年代以来、ほとんど変化していない」というように、大きな停滞（おそらくより広範な傾向の一部^[114] ）が存在することなどが挙げられている。

潜在的な遅延要因をいくつかの指標に基づいてより深く理解することは、人類の未来を改善する大きな機会となる可能性がある。^[115] 例えば、科学的な生産性を測定する際の引用への過度の依存、情報過多^[116]、既存の知識の狭い範囲への依存（これには専門分野の細分化や関連する現代的な実践が含まれる可能性もある）^[117]、およびリスク回避型の資金調達構造^[118] は、「漸進的な科学への傾倒と、失敗の可能性が高い探索的なプロジェクトからの離反」を招く可能性がある。^[119] 「CD指数」を導入した研究では、論文の総数は増加している一方で、指数で測定された「極めて革新的な」論文の総数は増加していない（特に、1998年に発見された宇宙の加速膨張はCD指数が0である）。彼らの結果は、科学者や発明家が「知識の拡大のペースについていくのに苦労している」可能性を示唆している。^[120]^[117]

研究の「新規性」を測定するさまざまな方法、新規性指標^[121]が提案されており、潜在的な新規性バイアスを是正するため、テキスト分析^[121]や、参照された学術誌の組み合わせが初めてのものかどうかを測定する手法（困難度を考慮した^[122]）などが含まれる。他のアプローチには、リスクの高いプロジェクトを積極的に資金提供する^[123] 方法も含まれる。

トピックマッピング

科学地図は、特定の科学分野内の主要な相互に関連するテーマ、その時間的な変化、および主要な関係者（研究者、機関、学術誌）を示すことができる。これらは、新たな科学分野の出現や学際的分野の発展を左右する要因を特定するのに役立ち、科学政策の目的にも関連する可能性がある。^[124] 科学の変化に関する理論は、「可視化された知的構造と動的パターンの探求と解釈」を導くことができる。^[125] マップは、研究分野の知的、社会的、または概念的な構造を示すことができる。^[126] 可視化マップを超えて、専門家調査に基づく研究や類似のアプローチは、社会的に重要であるにもかかわらず研究が不足している領域、トピックレベルの課題（例えば、偏見や教条主義）、または潜在的な優先順位の誤りを特定する可能性がある。例として、公衆衛生に関する政策^[127]や気候変動緩和の社会科学^[128]に関する研究が挙げられる。後者では、気候変動関連研究の資金の0.12％しかそのような分野(気候変動緩和)に支出されていないと推定されているが、現在の局面で最も緊急の課題は気候変動の緩和方法の確立であり、一方、気候変動の自然科学は既に確立されている。^[128]

また、研究エビデンスの政策や実践への活用に関する研究など、特定の科学分野やテーマを調査する研究もあり、その一部はアンケート調査を活用している。^[129]

論争、現在の議論、および意見の相違

一部の研究では、科学的な論争や複数の論争を調査しており、現在進行中の主要な議論（例：未解決の問題）や、科学者や研究間の意見の相違を特定する可能性がある。^{[additional citation(s) needed]} ある研究では、意見の相違の程度が最も高かったのは社会科学と人文科学（0.61％）で、次いで生物医学と健康科学（0.41％）、生命科学と地球科学（0.29％）、物理科学と工学（0.15％）、数学とコンピュータ科学（0.06％）の順であった。^[130] こうした研究は、特にクラスター化している場合、視覚的にクラスター図などを使って、意見の相違がどこにあるかを示すこともできる。

プールされた結果の解釈における課題

特定の研究疑問や研究テーマに関する研究は、しばしば、複数の研究の結果を統合し、比較し、批判的に分析し、解釈する形で、より高いレベルの総説としてレビューされる。このような作品の例としては、科学的なレビューやメタアナリシスが挙げられる。これらの実践と関連する手法は、さまざまな課題に直面しており、メタサイエンスのテーマとなっている。

含まれている研究、または利用可能な研究におけるさまざまな問題、例えば、使用された方法の異質性などは、メタアナリシスの誤った結論につながる可能性がある。^[131]

知識の統合とリビング文書

多様な問題に対処するためには、新たな科学に基づく知識と既存の知識を迅速に統合する必要がある。特に、関連性が薄い多くのプロジェクトやイニシアチブが存在する状況では、共通の基盤や「コモンズ」が有効である。^[132]

エビデンスの統合は、重要かつ、特に比較的緊急かつ確実なグローバルな課題に適用可能である：「気候変動、エネルギー転換、生物多様性の喪失、抗微生物薬耐性、貧困の撲滅など」。より良いシステムとして、研究エビデンスの要約を「リビング系統的レビュー」を通じて最新に保つことが提案された。例えば、リビング文書として。科学論文やデータ（または情報とオンライン知識）の数は大幅に増加したが、公表された学術的系統的レビューの数は「2011年の約6,000件から2021年には45,000件を超えた」とされている。^[133] 根拠に基づくアプローチは、科学、政策、医療その他の実践における進展にとって重要である。例えば、メタアナリシスは既知の知識を定量化し、未解明の領域を特定^[134]し、確立された知識の文脈に「真に革新的で高度に学際的なアイデア」を位置付けることで、その影響力を高める可能性がある。^[135]

成功と進歩の要因

科学の成功要因に関するより深い理解が、「科学全体が社会問題に効果的に対応する可能性を向上させる」という仮説が提唱されている^[136]^[22]。

革新的なアイデアと破壊的な学術研究

2人のメタ科学者は、「破壊的な研究を促進し、新たなアイデアに焦点を当てる構造」が重要である可能性を指摘した。これは、成長する科学分野において、引用が既に多く引用されている論文に不均衡に集中する傾向があり、これにより規範的な進歩が鈍化し、阻害される可能性があるためである。^[137]^[138] 別の研究では、真に革新的で高度に学際的な新たなアイデアの影響力を高めるためには、それらを既成の知識の文脈に置くべきであると結論付けている。^[139]

メンターシップ、パートナーシップ、および社会的要因

他の研究者たちは、最も成功した（賞受賞の可能性、米国科学アカデミー（NAS）の会員選出、またはスーパースターとしての地位獲得の観点から）弟子たちは、弟子たちの指導期間後にその研究で賞を受賞した指導者たちのもとで研究を行ったと報告している。オリジナルなテーマを研究するのではなく、これらのメンターの研究テーマを研究することは、成功と正の関連性があった。.^[140]^[141] 高度な生産性を生むパートナーシップも研究のテーマとなっている。例えば、スキルを補完し合う2人の個人が頻繁に共著を行う「スーパー・タイズ」は、相互の信頼、信念、コミットメント、楽しさなど、他の要因の結果である可能性もある。^[142]^[143]

成功した科学者とそのプロセス、一般的なスキルと活動に関する研究

成功した科学者のアイデアの出現や起源も研究のテーマとなっている。例えば、メンデルが発見をした方法に関する既存のアイデアを再考すること^[144]――またはより一般的に、科学者の発見のプロセス――などが挙げられる。科学は「アイデアや発明（およびその他の知識や情報）の取り入れ、模倣、拡張、または組み合わせる多面的なプロセス」であり、孤立したプロセスではない。^[145] 科学者の習慣、一般的な思考パターン、読書習慣、情報源の活用方法、デジタルリテラシースキル、ワークフローなどを調査する研究はほとんどない。^[146]^[147]^[148]^[149]^[150]

労働力優位性

ある研究では、多くの分野において、エリート大学の科学的な生産性や成功の大きさは、彼らが持つ資金提供を受けた研究者のプールが大きいことから説明できると提唱されている。^[151]^[152] この研究では、大学の威信は、グループメンバーを持つ教員の生産性が高いことと関連していたが、単独で論文を発表する教員やグループメンバー自身とは関連していなかったことが示された。これは、エリート研究者の異常な生産性が、トップ大学によるより厳格な人材選別によるものではなく、資金へのアクセス拡大や、大学院生やポスドク研究者を引き付ける威信による労働上の優位性から生じているというエビデンスとして提示されている。

最終的な影響

科学における成功（テニュア審査プロセスで示されるように）は、通常、引用回数などの指標で測定され、人生や社会への最終的なまたは潜在的な影響^[153] では測定されない。賞は、時々人生や社会への最終的なまたは潜在的な影響で測定される。このような指標の問題点は、この記事の他の部分で概説されており、総説論文が原著研究の引用に置き換えられる点^[154]が含まれる。また、研究プロセスにおける社会的影響の認識を強化する学術的インセンティブシステムの変更に関する提案もある。^[155]

進歩研究

「進歩研究」という新たな分野は、科学者（または科学者の資金提供者や評価者）がどのように行動すべきか、具体的な介入策を考案し、進歩そのものを研究する可能性を模索するものである。^[156] この分野は2019年のエッセイで明示的に提唱され、行動を提言する応用科学として説明されている。^[157]

進展の加速に関して

研究によると、科学の進め方を改善することで、科学的な発見とその応用速度を加速させることができ、人類の課題に対する緊急の解決策の発見、人類の生活の向上、自然の理解の深化に役立つ可能性がある。メタ科学的研究は、科学の改善が必要な側面を特定し、その改善方法の開発を目指すことができる。^[158] 科学が経済成長と社会進歩の根本的な原動力として受け入れられる場合、これは「社会として、科学を加速し、社会の最も重要な問題の解決に向けて科学を導くために、私たちができることは何か」という疑問を提起する可能性がある。^[159] しかし、著者の一人は、万能なアプローチが正しい答えではないと指摘している。例えば、資金調達、DARPAモデル、好奇心駆動型手法、同僚が同意しなくても「単一の審査員がプロジェクトを支持する」ことを許可する手法など、多様なアプローチにはそれぞれ用途がある。それでも、それらを評価することは、何が機能するか、または最も効果的なかを理解する知識を構築するのに役立つ。^[160]

Remove ads

改革

科学実践における欠陥を特定するメタ研究は、科学の改革を促してきた。これらの改革は、低品質または非効率的な研究につながる科学実践上の問題を解決し、改善することを目的としている。

2015年の研究では、メタ研究における「断片的な」取り組みが指摘されている。^[161]

事前登録

科学的研究を実施する前にその研究を登録する実践は、事前登録と呼ばれる。これは、再現性の危機に対処するための手段として生まれた。事前登録には、登録報告書を提出することが必要であり、その報告書は、理論的根拠、実験設計、および提案された統計的分析に基づいて、雑誌への掲載が承認されるか、あるいは雑誌への掲載が拒否される。研究の事前登録は、出版バイアス（例：否定的な結果の非公表）を防止し、データドレッジングを軽減し、再現性を高める役割を果たす。^[162]^[163]

報告基準

報告の整合性や品質の低さを示す研究は、科学分野における報告基準やガイドラインの必要性を浮き彫りにし、その結果、CONSORT（Consolidated Standards of Reporting Trials）やEQUATORネットワークのような、報告基準を策定する組織の台頭につながった。

EQUATOR（Enhancing the QUAlity and Transparency Of health Research）^[164] ネットワークは、医療研究の透明性と正確な報告を促進し、医療研究文献の価値と信頼性を高めることを目的とした国際的なイニシアチブである。^[165] EQUATORネットワークは、研究報告の重要性に関する意識向上、異なる研究デザイン向けの報告ガイドラインの開発、普及、実施支援、健康科学文献における研究報告の質の状態監視、および健康研究報告の質に影響を与える問題に関する研究の実施を目的として設立された。^[166] EQUATORネットワークは「傘下組織」として機能し、報告ガイドラインの開発者、医学雑誌の編集者および査読者、研究資金提供機関、および研究出版物の品質と研究そのものの向上に共通の関心を持つ他の主要な利害関係者を結集している。

適用

要約

視点

情報通信技術

メタサイエンスは、技術システム（ICT）の創出と改善、および科学の評価、インセンティブ、コミュニケーション、委託、資金調達、規制、生産、管理、利用、出版に関する基準の策定に活用される。このようなアプローチは「応用メタサイエンス」^[167] と呼ばれ、研究の量、質、およびポジティブな影響を向上させる方法を探求する可能性がある。その一例として、代替指標の開発^[168] が挙げられる。

研究のスクリーニングとフィードバック

さまざまなウェブサイトやツールは、不適切な研究を特定したり、フィードバックを可能にしたりする機能を提供している。例えば、パブピア、コクランのバイアスリスク評価ツール、^[169] Retraction Watchなどが挙げられる。医療や学術分野の紛争は古代から存在し、ある研究では「建設的で執拗な批判」に関する研究や、「ソーシャルメディアを活発な議論の場に強化し、単なる闘技場の場ではなくする」ための政策の検討が提言されている。^[170] 研究へのフィードバックは、研究のウェブサイトに組み込まれていることが多いオルトメトリクスを通じて確認できる。最も一般的な形式は埋め込み型のオルトメトリクスバッジであるが、しばしば不完全な場合があり、例えば研究に直接リンクするソーシャルメディアの議論のみを表示し、研究に関するニュース記事へのリンクは表示しない場合がある。

使用されたツール、改変されたツール、拡張されたツール、または調査されたツール

ツールはメタ研究を通じて開発される可能性があり、またはそのような研究において使用または調査される可能性がある。主な例としては、以下のものが挙げられる：

Google Scholarのような検索エンジンは、研究論文を検索するために使用され、通知サービスであるGoogle アラートは、指定された検索語句に一致する新しい研究論文の通知を可能にする。学術コミュニケーションインフラには、検索データベースが含まれる。^[171]
シャドウライブラリ Sci-Hubはメタサイエンスのテーマである^[172]
研究、知識、タスク管理のための個人向け知識管理システムには、例えば、将来の使用のために情報を整理された方法で保存する^[173] 多文書テキストエディタなどが含まれる^[174]^[175]。このようなシステムは、例えばウェブブラウザ（タブ拡張機能[6]など）や検索ソフトウェアと共に、「マインド・マシン・パートナーシップ」の一部として、メタサイエンスによって科学の向上にどのように貢献できるかを調査する対象となる可能性がある^[176]。
Scholia – 学術出版物のメタデータを公開し、ウィキデータ経由で利用する取り組み^[177]。
多様なソフトウェアは、文献計量分析などの一般的なメタサイエンスの実践を可能にする^[178]。

開発

科学における再現性の問題のため、「研究が繰り返し行われた頻度を確認し、元の研究結果が確認されているかどうかを判断する簡単な方法が必要である」という研究結果がある^[179]^[180]。別の研究では、研究不正を早期に警告するサインを検出するためのツールが提案されている^[181]。

医学

医学における臨床研究はしばしば品質が低く、多くの研究は再現不可能である^[182]^[183]。研究資金の約85%が無駄になっていると推定されている^[184] 。さらに、バイアスの存在が研究の品質に影響を与える^[185] 。製薬業界は、医学研究の設計と実施に大きな影響力を及ぼしている。医学文献の著者^[186] や医学雑誌の編集者の間で利益相反は一般的である。ほぼすべての医学雑誌は著者に利益相反の開示を義務付けているが、編集者にはその義務はない^[187]。経済的利益相反は、ポジティブな研究結果の発生率が高いことと関連している。抗うつ剤の臨床試験では、製薬企業のスポンサーシップが試験結果の最も良い予測因子となっている^[188]。

盲検化はメタ研究のもう一つの焦点である。盲検化の不備による誤りは実験バイアスの原因となる。医学文献では盲検化が十分に報告されておらず、このテーマに対する広範な誤解が臨床試験における盲検化の適切な実施を妨げている^[189] 。さらに、盲検化の失敗はほとんど測定または報告されていない^[190]。抗うつ薬の臨床試験における盲検化の失敗を示す研究は、一部の科学者が抗うつ剤はプラセボよりも優れていないと主張する根拠となっている^[191]^[192]。メタ研究で示された盲検化の失敗を踏まえ、CONSORT基準はすべての臨床試験において盲検化の質を評価し報告することを推奨している^[193]。

既存の研究エビデンスに関する系統的レビューは、新たな研究の計画や結果の要約において、十分に活用されていないことが示されている^[194] 。医療介入の有効性を評価する研究の累積的メタアナリシスでは、新たな臨床試験を実施する前に既存のエビデンスの系統的レビューが実施されていれば、多くの臨床試験が回避できた可能性があることが示されている^[195]^[196]^[197]。例えば、Lauら^[195]は、急性心筋梗塞に対する静脈内ストレプトキナーゼの有効性を評価した33件の臨床試験（36,974人の患者を対象）を分析した。彼らの累積メタアナリシスでは、33件の臨床試験のうち25件は、新たな臨床試験を実施する前に系統的レビューが行われていれば回避できたことが示された。つまり、34,542人の患者をランダム化することは、潜在的に不要だった可能性がある。ある研究^[198]は、227のメタアナリシスに含まれる1,523件の臨床試験を分析し、「関連する過去の研究の四分の一未満」が引用されていたと結論付けた。また、以前の研究結果を確認し、ほとんどの臨床試験報告では、研究の正当化をするために、あるいは、結果の要約のために系統的レビューが提示されていないことを確認した^[199]。

現代医学で用いられている多くの治療法は、効果がない、あるいは、有害であることが証明されている。ジョン・P・A・ヨアニディスによる2007年の研究では、特定の一般的な治療法の有効性が明確に否定された後、医療界がその治療法を引用しなくなるまでに平均で10年かかったことが示されている^[200]^[201]。

心理学

メタサイエンスは、心理学的研究において重大な問題が存在することを明らかにした。この分野は、高いバイアス、低い再現性、統計の濫用が広く蔓延しているという問題を抱えている^[202]^[203]^[204]。再現性の危機は、他のどの分野よりも心理学に深刻な影響を及ぼしており、注目を浴びた研究結果の最大2/3が再現不可能である可能性がある^[205]。メタ研究によると、心理学的研究の80～95％が初期の仮説を支持しており、これは出版バイアスの存在を強く示唆している^[206]。

再現性の危機を受けて、重要な研究結果の再検証に向けた新たな取り組みが活発化している^[207]^[208]。出版バイアスやp値操作への懸念に対応するため、140を超える心理学の学術誌が結果盲検査読を採用している。この手法では、研究は事前に登録され、結果の如何にかかわらず出版される^[209] 。これらの改革の分析では、結果盲検化研究の61％が有意な結果を示さなかったのに対し、以前の研究では5～20％であった。この分析は、結果盲検化査読が出版バイアスを大幅に軽減することを示している^[210]。

心理学者たちは、統計的有意性と実践的な重要性を頻繁に混同し、重要でない事実に対して過剰な確信を表明する傾向がある^[211]。一部の心理学者たちは、P値への依存を排し、効果量統計の活用を拡大する方向で対応している^[要出典]。

物理学

リチャード・P・ファインマンは、物理定数の推定値が偶然によるものよりも、公表された値に近かったと指摘した。これは確証バイアスによるものと考えられていた：既存の文献と一致する結果は、より信じられやすく、したがって公表されやすかった。物理学者は現在、このようなバイアスを防ぐために盲検化を実施している。^[212]

コンピュータサイエンス

ウェブ測定研究は、特にセキュリティとプライバシーの分野において、現代のウェブの仕組みを理解するために不可欠である。しかし、こうした研究には、多くの場合、カスタムメイドまたは変更を加えたクロール設定が必要となり、その結果、同様のタスクのための分析ツールが氾濫している。Nurullah Demi 氏らの論文では、117 件の最近の研究論文を調査し、ウェブベースの測定研究におけるベストプラクティスを導き出し、再現性および再現可能性の基準を確立している。その結果、結果の再現や複製に必要な実験設定やその他の重要な情報が欠落しているケースが多いことがわかった。450 万ページ、24 種類の測定設定を用いた大規模なウェブ測定研究において、著者らは、実験設定のわずかな違いが全体的な結果に与える影響を実証し、正確かつ包括的な文書化の必要性を強調している^[213]。

Remove ads

組織と機関

世界にはメタ研究に取り組む複数の組織や大学が存在する。これにはベルリンのメタ研究イノベーションセンター^[214]、スタンフォードのメタ研究イノベーションセンター^[215]^[216]、ティルブルフ大学のメタ研究センター、インドのジョージ・グローバル・ヘルス研究所内のメタ研究・エビデンス統合ユニット、およびオープンサイエンスセンターが含まれる。メタサイエンスのツールを開発する組織には、OurResearch、科学の健全性センター、およびオルトメトリクス企業が含まれる。学際的メタ研究とオープンサイエンス協会（AIMOS）が主催する年次メタサイエンス会議と、オープンサイエンスセンターが主催する隔年会議が開催されている^[217]^[218]。