Metaanalyse
Eine Metaanalyse ist eine Zusammenfassung von Primär-Untersuchungen zu Metadaten, die mit quantitativen und statistischen Mitteln arbeitet. Sie versucht frühere Forschungsarbeiten quantitativ bzw. statistisch zusammenzufassen und zu präsentieren. Der Unterschied zur systematischen Übersichtsarbeit (auch „Review“ genannt) liegt darin, dass ein Review die früheren Forschungsdaten und Publikationen kritisch würdigt, während die Metaanalyse nur die quantitative und statistische Aufarbeitung der früheren Ergebnisse umfasst.
Metaanalysen werden in allen Forschungsgebieten durchgeführt, in welchen empirische Daten anfallen. Dazu gehören Sozialwissenschaften, Medizin und viele Naturwissenschaften. Eine Zusammenfassung mehrerer Metaanalysen wird als Meta-Meta-Analyse bezeichnet.<ref>{{#invoke:Vorlage:Literatur|f}}</ref>
In den letzten Jahren haben neben traditionellen Metaanalysen, die direkte Effekte von Interventionen vergleichen, indirekte Vergleiche und Netzwerk-Metaanalysen an Bedeutung gewonnen. Denn so können mehrere Effekte z. B. von Medikamentenstudien gleichzeitig und im gegenseitigen Vergleich untersucht werden.<ref>{{#invoke:Vorlage:Literatur|f}}</ref><ref>{{#invoke:Vorlage:Literatur|f}}</ref>
Schöpfung des Begriffs
Der Begriff wurde 1976 vom Psychologen Gene V. Glass (* 1940) in seinem Artikel „Primary, Secondary and Meta-Analysis of Research“ eingeführt. Er definiert Metaanalyse als […] analysis of analyses. I use it to refer to the statistical analysis of a large collection on analysis results from individual studies for the purpose of integrating the findings. (deutsch: „[…] Analyse von Analysen. Damit meine ich die statistische Analyse einer großen Sammlung von Analyse-Ergebnissen mehrerer Einzelstudien, die dadurch zusammengeführt werden sollen.“).<ref>Gene V. Glass: Primary, Secondary and Meta-Analysis of Research. In: Educational Researcher 5, 1976, S. 3–8, {{#invoke:Vorlage:Handle|f|scheme=doi|class=plainlinks|parProblem=Problem|errCat=Wikipedia:Vorlagenfehler/Parameter:DOI|errClasses=error editoronly|errHide=1|errNS=0 4 10 100}} {{#invoke:JSTOR|f|1=1174772}}{{#if:
| {{#ifeq: 0 | 0
| }}
}}.</ref> Durchgeführt wurde die erste Metaanalyse jedoch bereits 1904 von Karl Pearson, der die Teststärke von Studien mit wenigen Probanden durch Zusammenfassung erhöhen wollte.
Einsatzgebiete und Gründe
Metaanalysen ermöglichen die Zusammenfassung von verschiedenen Untersuchungen zu einem wissenschaftlichen Forschungsgebiet. Dabei werden die empirischen Einzelergebnisse inhaltlich homogener Primärstudien zusammengefasst. Ziel ist eine Effektgrößeneinschätzung. Es soll untersucht werden, ob ein Effekt vorliegt und wie groß dieser ist.
Gründe für die Durchführung von Metaanalysen sind unter anderem:
- Aus mancherlei Gründen sind die Stichproben der Primärstudien viel zu klein, um verlässliche Ergebnisse zu bringen, die auf ähnliche Fälle übertragbar sind. Wenn viele Untersuchungen geeignet zusammengefasst werden, so kann das damit gewonnene Ergebnis aufgrund der größeren Gesamtzahl von Stichproben zuverlässiger sein.
- Häufig benutzen die Primärstudien unterschiedliche Methoden, Definitionen oder ziehen ihre Stichproben nicht aus derselben Grundgesamtheit. Zudem gibt es Faktoren, die einzelne Ergebnisse beeinflussen können. In einer Metaanalyse kann festgestellt werden, welche Einflüsse es gibt und wie stark diese sind und ob trotzdem ein valides Gesamtbild möglich ist.
- Nicht zu unterschätzen ist, dass die Durchführung von Metaanalysen (und auch Reviews) relativ kostengünstig ist, und trotzdem wertvolle Ergebnisse liefert. Sie liefert für ein gesamtes Forschungsgebiet die Grundlage, um die künftigen Forschungstätigkeiten zu skizzieren.
- Der Publikationsbias, d. h. das Verhältnis zwischen positiven Befunden und „negativen“, also nicht-signifikanten Ergebnissen, kann ermittelt werden.
Methode
Eine Metaanalyse umfasst sämtliche Elemente des sozialwissenschaftlichen Forschungsprozesses, wie sie bei einer Primärforschung vollzogen werden (Cooper 1982; Schnell et al. 1995).
- Am Beginn stehen die Auswahl eines geeigneten Forschungsproblems sowie die genaue Eingrenzung des Forschungsgegenstandes.
- Die Datenerhebung besteht im Fall publikationsbasierter Metaanalysen in einer systematischen und möglichst erschöpfenden Literaturrecherche.
- Im Anschluss daran werden die Informationen in den gesammelten Publikationen codiert und elektronisch aufbereitet.
- Die eigentliche (statistische) Datenanalyse besteht in der Regel aus zwei Schritten: der Befundintegration und der anschließenden Heterogenitätsanalyse.
- Abschließend sind die Ergebnisse angemessen aufzubereiten und mit Bezug auf das Forschungsproblem zu interpretieren.
Das Verfahren der Metaanalyse ähnelt dem narrativen Review, das die einschlägige Literatur zu einem wissenschaftlichen Thema strukturiert vorstellt, vergleicht und mit kritischen Kommentaren versieht. Kritisiert wird die Subjektivität der Auswahl von Untersuchungen. Hier erreicht die Metaanalyse eine größere Objektivität, indem sie Kriterien für die Auswahl der Primärstudien für die Metaanalyse festlegt. Dadurch verringert sich allerdings die mögliche Anzahl der Untersuchungen, die in eine Metaanalyse aufgenommen werden können.
Die Zusammenfassung verschiedener Untersuchungen zu einem wissenschaftlichen Forschungsgebiet ist nur sinnvoll, wenn die Effektgrößen der einzelnen Untersuchungen Schätzungen einer gemeinsamen Populationseffektgröße sind. Es ist eine Homogenitätsprüfung notwendig.
Homogenitätsprüfungen gehen von einer einheitlichen Effektgröße Δ (sprich: Delta) aus. Δ ist ein universelles Effektgrößenmaß und entspricht der bivariaten Produkt-Moment-Korrelation. Es wird präferiert, da verschiedene statistische Kennwerte (z. B. r, t, F) in Δ transformiert werden können.
Die studienspezifischen Effektgrößen werden anschließend durch einen Signifikanztest auf Homogenität geprüft. Sind die Effektgrößen homogen, kann ein durchschnittlicher Δ-Wert berechnet werden, er entspricht der Schätzung der Populationseffektgröße und kann auf Signifikanz geprüft und hinsichtlich seiner Größe klassifiziert werden.
Liegen heterogene Effektgrößen vor, so kann man Strategien anwenden, die die Untersuchungen mit heterogenen Effektgrößen in homogene Subgruppen teilen. Anschließend sollte der Einfluss von Moderatorvariablen auf die Heterogenität bestimmt werden, dies geschieht varianz- oder clusteranalytisch. Bestehen keine direkten Annahmen über die Wirkung von Moderatorvariablen, kann eine Korrelation zwischen den Moderatorvariablen und den studienspezifischen Effektgrößen berechnet werden. Die Höhe der Korrelation beschreibt dabei den Einfluss der Moderatorvariablen auf die Heterogenität der einzelnen Effektgrößen.
Da Untersuchungsberichte häufig lückenhaft sind und teils nur über signifikante bzw. nicht-signifikante Ergebnisse berichtet wird, gibt es Verfahren, die es ermöglichen, auch diese Untersuchungen metaanalytisch zu verwenden (z. B. Auszählung, Vorzeichentest, Binomialtest und Berechnung der exakten Irrtumswahrscheinlichkeit, es resultiert die Stouffer-Prüfgröße). Mit Hilfe des ‚Fail-Safe N‘ (nach Rosenthal, 1979<ref name=":0">{{#invoke:Vorlage:Literatur|f}}</ref>) lässt sich beim Vorliegen eines signifikanten Gesamttests ausrechnen, wie viele Studien mit einem mittleren Effekt der Größe null noch zusätzlich vorhanden sein müssten, damit der Gesamttest nicht signifikant ist. Über die Berechnung des Fail-Safe N soll dem Problem begegnet werden, dass graue Literatur, also unveröffentlichte Untersuchungen, nicht erfasst wird (siehe unten).<ref name=":0" />
Die Metaanalyse kann am Ende mit einer sogenannten Meta-Regression abgerundet werden. Mit Regressionsverfahren wird festgestellt, welche Eigenschaften der Einzelstudien (z. B. diagnostische Kriterien, Herkunft, Anzahl Probanden, …) zu welchen Effektstärken führen.
Praktiken und Werkzeuge der Open Science können Metaanalysen vereinfachen und ihre Nachnutzbarkeit steigern.<ref>{{#invoke:Vorlage:Literatur|f}}</ref>
Diskussion der Methode
Garbage-in-Garbage-out-Problem
Kritisiert wird, die Ergebnisse einer Metaanalyse seien wenig valide, weil jede beliebige Untersuchung, unabhängig von ihrer methodischen Qualität, in die Metaanalyse eingeht. Allerdings kann der Einfluss der methodischen Qualität der Untersuchungen auf das Ergebnis der Metaanalyse kontrolliert werden, indem entweder Qualitätskriterien qualitativ hervorstehende Studien stärker gewichten, oder Ausschlusskriterien mangelhafte Studien ausschließen. Die Studien können nach methodischer Qualität gruppiert und separat ausgewertet werden.
Hervorzuheben ist hier, dass Studien mit einer geringen Anzahl Probanden oder Stichproben nicht per se mangelhaft sind.
Äpfel-Birnen-Problem
Kritisiert wird, dass Metaanalysen Untersuchungen mit unterschiedlichen Operationalisierungsvarianten zusammenfassen. Es wird gefordert, dass vor allem in Bezug auf die abhängige Variable homogene Operationalisierungen vorliegen müssen, da sie alle Indikatoren für das gleiche Konstrukt sein sollen. Andernfalls beziehen sich die Untersuchungen auf unterschiedliche Kriterien, eine Zusammenfassung wäre dann nicht sinnvoll.
Dieses Problem lässt sich ebenfalls damit beheben oder abmildern, indem die Studien nach Erscheinungszeitraum oder unterschiedlichen Definitionen/Operationalisierungen gruppiert und separat ausgewertet werden.
Schubladenproblem
<ref>Jürgen Bortz, Nicola Döring: {{#invoke:Vorlage:Literatur|f}}</ref> (engl. File Drawer Problem<ref>{{#invoke:Vorlage:Literatur|f}}</ref>): Häufig werden nur Ergebnisse publiziert, die angenommene Hypothesen bestätigen oder signifikante Ergebnisse aufweisen, während Untersuchungen mit nicht-signifikanten Ergebnissen nicht veröffentlicht werden (Publikationsbias). Dadurch erfolgt eine Verzerrung der metaanalytischen Ergebnisse, da diese die Existenz eines Effekts zu oft nachweisen.<ref name="Bortz S.674">Jürgen Bortz, Nicola Döring: Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 4., überarbeitete Auflage. Springer Medizin-Verlag, Heidelberg 2006, ISBN 3-540-33305-3, S. 674, (online).</ref> Unveröffentlichte Literatur bezeichnet man auch als graue Literatur. „Interessanterweise hatte die graue Literatur in der ehemaligen DDR als nicht zensierte Literatur meist einen höheren wissenschaftlichen Wert als die offizielle, staatlich kontrollierte Literatur.“<ref name="Bortz S.360">Jürgen Bortz, Nicola Döring: Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 4., überarbeitete Auflage. Springer Medizin-Verlag, Heidelberg 2006, ISBN 3-540-33305-3, S. 360, (online).</ref> „Eine Liste der neuesten Diplomarbeiten und Dissertationen im Fach Psychologie ist halbjährlich der Psychologischen Rundschau beigelegt.“<ref name="Bortz S.360"/> Das Problem, an graue Literatur heranzukommen, wird bei Marylu C. Rosenthal<ref>Marylu C. Rosenthal: The Fugitive Literature. In: Harris Cooper, Larry V. Hedges (Hrsg.): The Handbook of Research Synthesis. Russell Sage Foundation, New York NY 1994, ISBN 0-87154-226-9, S. 85–94.</ref> (1994) behandelt.<ref name="Bortz S.674"/>
Der Publikationsbias wird in jeder sorgfältigen Metaanalyse zum Beispiel mit dem Funnel-Plot abgeschätzt. Bereits zu Beginn einer Metaanalyse soll aber beurteilt werden, inwiefern und mit welchem Aufwand die graue, nicht publizierte Literatur beschafft und berücksichtigt werden soll. In der veröffentlichten Literatur finden sich aber nicht selten Hinweise auf nicht publizierte Forschungsergebnisse, und heutzutage ist es dank dem Internet einfach, Forscher um unveröffentlichte Daten anzufragen. Allerdings erzeugt dieses Vorgehen wiederum eine methodische Schwäche, die kaum zu beheben ist.
Problem der abhängigen Messungen
Dieses Problem tritt auf, wenn verschiedene (abhängige) Teilergebnisse an der gleichen Stichprobe erhoben worden sind. Dies kann etwa auftreten, wenn ein Wissenschaftler dasselbe Gesundheitsproblem mehrmals nacheinander im selben geografischen Gebiet untersucht hatte, und die Ergebnisse in mehreren Publikationen veröffentlichte. Da Untersuchungseinheiten von Metaanalysen aber Einzelstudien und nicht Teilstichproben sind, darf immer nur ein Ergebnis einer Untersuchung in die Metaanalyse mit eingehen, da andernfalls diese Untersuchung ein größeres Gewicht erhalten würde als eine Untersuchung, die nur mit einem Ergebnis in die Metaanalyse eingeht. Entweder beschränkt man sich auf das wichtigste oder aussagekräftigste Ergebnis unter den Teilergebnissen, oder man bildet das arithmetische Mittel als Schätzung des Gesamtergebnisses. Sind aber die Rohdaten aus allen Teilergebnissen vorhanden, lässt sich aber ein Gesamtergebnis rekonstruieren.
Literatur
- Harris M. Cooper: Scientific guidelines for conducting integrative research reviews. In: Review of Educational Research 52, 1982, {{#invoke:URIutil|{{#ifeq:1|1|linkISSN|targetISSN}}|0034-6543|0}}{{#ifeq:1|0|[!]
}}{{#ifeq:0|1
|{{#switch:00
|11= (print/online)
|10= (print)
|01= (online)
}}
}}{{#ifeq:0|0
|{{#ifeq:0|0
|{{#if:{{#invoke:URIutil|isISSNvalid|1=0034-6543}}
|
|{{#invoke:TemplUtl|failure|ISSN ungültig}}}}}}
}}, S. 291–302.
- Harris Cooper, Larry V. Hedges (Hrsg.): The Handbook of Research Synthesis. Russell Sage Foundation, New York NY 1994, ISBN 0-87154-226-9.
- Gene V. Glass: Primary, Secondary and Meta-Analysis of Research. In: Educational Researcher 5, 1976, {{#invoke:URIutil|{{#ifeq:1|1|linkISSN|targetISSN}}|0013-189x|0}}{{#ifeq:1|0|[!]
}}{{#ifeq:0|1
|{{#switch:00
|11= (print/online)
|10= (print)
|01= (online)
}}
}}{{#ifeq:0|0
|{{#ifeq:0|0
|{{#if:{{#invoke:URIutil|isISSNvalid|1=0013-189x}}
|
|{{#invoke:TemplUtl|failure|ISSN ungültig}}}}}}
}}, S. 3–8.
- Joachim Hartung, Guido Knapp, Bimal K. Sinha: Statistical meta-analysis with applications. J. Wiley & Sons, Inc., Hoboken NJ 2008, ISBN 978-0-470-29089-7, (Wiley Series in Probability and Statistics).
- John E. Hunter, Frank L. Schmidt, Gregg B. Jackson: Meta-Analysis. Cumulating research findings across studies. Sage Publications, Beverly Hills CA 1982, ISBN 0-8039-1864-X, (Studying organizations 4), (Empfehlenswerte Einleitung).
- Rainer Schnell, Paul B. Hill, Elke Esser: Methoden der empirischen Sozialforschung. 5. völlig überarbeitete und erweiterte Auflage. Oldenbourg Verlag, München u. a. 1995, ISBN 3-486-23489-7.
- {{#invoke:Vorlage:Literatur|f}}
Weblinks
- (Einführung; PDF-Datei; 250 kB)
- (Tutorial)
- <templatestyles src="Webarchiv/styles.css" />{{#if:20000503152039
| {{#ifeq: 20000503152039 | *
| {{#if: The Scientist, Sep. 15, 1997 | {{#invoke:WLink|getEscapedTitle|The Scientist, Sep. 15, 1997}} | {{#invoke:Webarchiv|getdomain|http://www.the-scientist.library.upenn.edu/yr1997/sept/hoffert_p1_970915.html}} }} (Archivversionen)
| {{#iferror: {{#time: j. F Y|20000503152039}}
| {{#if: || }}Der Wert des Parameters {{#if: wayback | wayback | Datum }} muss ein gültiger Zeitstempel der Form YYYYMMDDHHMMSS sein!
| {{#if: The Scientist, Sep. 15, 1997 | {{#invoke:WLink|getEscapedTitle|The Scientist, Sep. 15, 1997}} | {{#invoke:Webarchiv|getdomain|http://www.the-scientist.library.upenn.edu/yr1997/sept/hoffert_p1_970915.html}} }} {{#ifeq: | [] | [ | ( }}{{#if: {{#if: | {{{archiv-bot}}} | }} | des Vorlage:Referrer }} vom {{#time: j. F Y|20000503152039}} im Internet Archive{{#if: | ; }}{{#ifeq: | [] | ] | ) }}
}}
}}
| {{#if:
| {{#iferror: {{#time: j. F Y|{{{webciteID}}}}}
| {{#switch: {{#invoke:Str|len|{{{webciteID}}}}}
| 16= {{#if: The Scientist, Sep. 15, 1997 | {{#invoke:WLink|getEscapedTitle|The Scientist, Sep. 15, 1997}} | {{#invoke:Webarchiv|getdomain|http://www.the-scientist.library.upenn.edu/yr1997/sept/hoffert_p1_970915.html}} }} {{#ifeq: | [] | [ | ( }}{{#if: {{#if: | {{{archiv-bot}}} | }} | des Vorlage:Referrer }} vom {{#time: j. F Y| 19700101000000 + {{#expr: floor {{#expr: {{#invoke:Str|sub|{{{webciteID}}}|1|10}}/86400}} }} days}} auf WebCite{{#if: | ; }}{{#ifeq: | [] | ] | ) }}
| 9 = {{#if: The Scientist, Sep. 15, 1997 | {{#invoke:WLink|getEscapedTitle|The Scientist, Sep. 15, 1997}} | {{#invoke:Webarchiv|getdomain|http://www.the-scientist.library.upenn.edu/yr1997/sept/hoffert_p1_970915.html}} }} {{#ifeq: | [] | [ | ( }}{{#if: {{#if: | {{{archiv-bot}}} | }} | des Vorlage:Referrer}} vom {{#time: j. F Y| 19700101000000 + {{#expr: floor {{#expr: {{#invoke:Str|sub|{{#invoke:Expr|base62|{{{webciteID}}}}}|1|10}}/86400}} }} days}} auf WebCite{{#if: | ; }}{{#ifeq: | [] | ] | ) }}
| #default= Der Wert des Parameters {{#if: webciteID | webciteID | ID }} muss entweder ein Zeitstempel der Form YYYYMMDDHHMMSS oder ein Schüsselwert mit 9 Zeichen oder eine 16-stellige Zahl sein!{{#if: || }}
}}
| c|{{{webciteID}}}}} {{#if: The Scientist, Sep. 15, 1997 | {{#invoke:WLink|getEscapedTitle|The Scientist, Sep. 15, 1997}} | {{#invoke:Webarchiv|getdomain|http://www.the-scientist.library.upenn.edu/yr1997/sept/hoffert_p1_970915.html}} }} ({{#if: {{#if: | {{{archiv-bot}}} | }} | des Vorlage:Referrer}} vom {{#time: j. F Y|{{{webciteID}}}}} auf WebCite{{#if: | ; }}{{#ifeq: | [] | ] | ) }}
}}
| {{#if:
| Vorlage:Webarchiv/Today
| {{#if:
| Vorlage:Webarchiv/Generisch
| {{#if: The Scientist, Sep. 15, 1997 | {{#invoke:WLink|getEscapedTitle|The Scientist, Sep. 15, 1997}} | {{#invoke:Webarchiv|getdomain|http://www.the-scientist.library.upenn.edu/yr1997/sept/hoffert_p1_970915.html}} }}
}}}}}}}}{{#if:
| Vorlage:Webarchiv/archiv-bot
}}{{#invoke:TemplatePar|check
|all = url=
|opt = text= wayback= webciteID= archive-is= archive-today= archiv-url= archiv-datum= ()= archiv-bot= format= original=
|cat = Wikipedia:Vorlagenfehler/Vorlage:Webarchiv
|errNS = 0
|template = Vorlage:Webarchiv
|format = *
|preview = 1
}}{{#ifexpr: {{#if:20000503152039|1|0}}{{#if:|+1}}{{#if:|+1}}{{#if:|+1}}{{#if:|+1}} <> 1
| {{#if: || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Genau einer der Parameter 'wayback', 'webciteID', 'archive-today', 'archive-is' oder 'archiv-url' muss angegeben werden.|1}}
}}{{#if:
| {{#switch: {{#invoke:Webarchiv|getdomain|{{{archiv-url}}}}}
| web.archive.org =
{{#if: || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Im Parameter 'archiv-url' wurde URL von Internet Archive erkannt, bitte Parameter 'wayback' benutzen.|1}}
| webcitation.org =
{{#if: || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Im Parameter 'archiv-url' wurde URL von WebCite erkannt, bitte Parameter 'webciteID' benutzen.|1}}
| archive.today |archive.is |archive.ph |archive.fo |archive.li |archive.md |archive.vn =
{{#if: || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Im Parameter 'archiv-url' wurde URL von archive.today erkannt, bitte Parameter 'archive-today' benutzen.|1}}
}}{{#if:
| {{#iferror: {{#iferror:{{#invoke:Vorlage:FormatDate|Execute}}|}}
| {{#if: || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Der Wert des Parameter 'archiv-datum' ist ungültig oder hat ein ungültiges Format.|1}}
| }}
| {{#if: || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Der Pflichtparameter 'archiv-datum' wurde nicht angegeben.|1}}
}}
| {{#if:
| {{#if: || }}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Der Parameter 'archiv-datum' ist nur in Verbindung mit 'archiv-url' angebbar.|1}}
}}
}}{{#if:{{#invoke:URLutil|isHostPathResource|http://www.the-scientist.library.upenn.edu/yr1997/sept/hoffert_p1_970915.html}}
|| {{#if: || }}
}}{{#if: The Scientist, Sep. 15, 1997
| {{#if: {{#invoke:WLink|isBracketedLink|The Scientist, Sep. 15, 1997}}
| {{#if: || }}
}}
| {{#if: || }}
}}{{#switch:
|addlarchives|addlpages= {{#if: || }}{{#if: 1 |}}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: enWP-Wert im Parameter 'format'.|1}}
}}{{#ifeq: {{#invoke:Str|find|http://www.the-scientist.library.upenn.edu/yr1997/sept/hoffert_p1_970915.html%7Carchiv}} |-1
|| {{#ifeq: {{#invoke:Str|find|{{#invoke:Str|cropleft|http://www.the-scientist.library.upenn.edu/yr1997/sept/hoffert_p1_970915.html%7C4}}%7Chttp}} |-1
|| {{#switch: {{#invoke:Webarchiv|getdomain|http://www.the-scientist.library.upenn.edu/yr1997/sept/hoffert_p1_970915.html }}
| abendblatt.de | daserste.ndr.de | inarchive.com | webcitation.org =
| #default = {{#if: || }}{{#if: 1 |}}{{#invoke:TemplUtl|failure| Fehler bei Vorlage:Webarchiv: Archiv-URL im Parameter 'url' anstatt URL der Originalquelle. Entferne den vor der Original-URL stehenden Mementobestandteil und setze den Archivierungszeitstempel in den Parameter 'wayback', 'webciteID', 'archive.today' oder 'archive-is' ein, sofern nicht bereits befüllt.|1}}
}}
}}
}} Stephen P. Hoffert: Meta-Analysis Gaining Status In Science And Policymaking
Einzelnachweise
<references />
{{#ifeq: s | p | | {{#if: 4169552-5 | |
}} }}{{#ifeq:||{{#if: | [[Kategorie:Wikipedia:GND fehlt {{#invoke:Str|left|{{{GNDCheck}}}|7}}]] }}{{#if: | {{#if: | | }} }} }}{{#if: | {{#ifeq: 0 | 2 | | }} }}{{#if: | {{#ifeq: 0 | 2 | | }} }}{{#ifeq: s | p | {{#if: 4169552-5 | | {{#if: {{#statements:P227}} | | }} }} }}{{#ifeq: s | p | {{#if: 4169552-5 | {{#if: {{#invoke:Wikidata|pageId}} | {{#if: {{#statements:P227}} | | }} }} }} }}{{#ifeq: s | p | {{#if: | | {{#if: {{#statements:P244}} | | }} }} }}{{#ifeq: s | p | {{#if: | {{#if: {{#invoke:Wikidata|pageId}} | {{#if: {{#statements:P244}} | | }} }} }} }}{{#ifeq: s | p | {{#if: | | {{#if: {{#statements:P214}} | | }} }} }}{{#ifeq: s | p | {{#if: | {{#if: {{#invoke:Wikidata|pageId}} | {{#if: {{#statements:P214}} | | }} }} }} }}Vorlage:Wikidata-Registrierung
- Seiten mit defekten Dateilinks
- Wikipedia:Vorlagenfehler/Parameter:JSTOR
- Wikipedia:Vorlagenfehler/Parameter:ISSN
- Wikipedia:Vorlagenfehler/Vorlage:Webarchiv
- Wikipedia:Vorlagenfehler/Vorlage:Webarchiv/Archiv-URL
- Wikipedia:Vorlagenfehler/Parameter:URL
- Wikipedia:Vorlagenfehler/Parameter:Linktext
- Wikipedia:Vorlagenfehler/Vorlage:Webarchiv/Linktext fehlt
- Wikipedia:GND fehlt
- Wikipedia:Normdaten-TYP falsch oder fehlend
- Wikipedia:GND in Wikipedia fehlt, in Wikidata vorhanden
- Wikipedia:GND in Wikipedia vorhanden, fehlt jedoch in Wikidata
- Wikipedia:LCCN in Wikipedia fehlt, in Wikidata vorhanden
- Wikipedia:LCCN in Wikipedia vorhanden, fehlt jedoch in Wikidata
- Wikipedia:VIAF in Wikipedia fehlt, in Wikidata vorhanden
- Wikipedia:VIAF in Wikipedia vorhanden, fehlt jedoch in Wikidata
- Metaanalyse
- Publikation
- Wissenschaftsforschung
- Wissenschaftspraxis
- Ökonometrie