Es lässt sich gut und lange darüber streiten, was angemessen ist, wenn es darum geht, die Relevanz, Qualität und Bedeutung von Forschungsarbeit zu bewerten und messbar zu machen. Die hier ausgewählten Links bieten eine Reihe von Perspektiven, Open-Access-Repositorien, Evaluierungsparameter zum Thema Messbarkeit von Forschung.
Beginnen wir ausnahmsweise einmal nicht mit theoretischen Ausführungen, sondern ganz praktisch. Der Forschungsleitfaden “Your Impact” der University of Illinois at Chicago (UIC) bietet umfassende Informationen zur Bewertung des Impacts von Forschung. Er behandelt verschiedene Metriken, Instrumente und Methoden zur Bewertung der gesellschaftlichen, akademischen und wirtschaftlichen Wirkung von Forschung. Dieser Leitfaden bietet Forschern, Bibliothekaren und Verwaltungsangestellten praktische Ratschläge, wie sie sich in der komplexen Landschaft der Forschungsbewertung zurechtfinden und den Wert und die Bedeutung ihrer Arbeit aufzeigen können.
Die Qual der Methodenwahl
Natürlich beeinflusst die Wahl der Methode immer die Ergebnisse. Dies gilt auch für Methoden zur Forschungsevalutaion. Ein kürzlich von RAND Europe durchgeführtes Projekt zur Bewertung von Forschung zielt darauf ab, das Verständnis und die Methoden zur Bewertung von Forschungsqualität und -auswirkungen zu verbessern. Die Website bietet wertvolle Einblicke für politische Entscheidungsträger, Finanzierungsagenturen und Forschungseinrichtungen, die Evaluierungsverfahren verbessern und evidenzbasierte Entscheidungen treffen möchten.
Wenn Sie auf der Suche nach einer klaren und theoretisch fundierten Einführung in das Thema Forschungsevaluation sind, ist Evaluating Research in Context: A Method for Comprehensive Assessment von Jack Spaapen, Huub Dijstelbloem und Frank Wamelink aus dem Jahr 2007 zu empfehlen. Wie der Titel vermuten lässt, liegt der Schwerpunkt dabei auf einer Sache: Kontext. Der richtige Kontext ist wichtig, wenn nicht nur Publikationen in Zeitschriften und deren Rankingwerte gezählt werden sollen. Forschung findet in verschiedenen Bereichen statt, von denen jeder seine eigenen Ziele, Methoden und Zeitpläne hat. Wenn man sich daher ausschließlich auf universelle Indikatoren stützt, kann der Bewertungsprozess zu stark vereinfacht werden und die Nuancen der verschiedenen Disziplinen werden nicht erfasst. Durch die Berücksichtigung kontextbezogener Aspekte wie feldspezifische Metriken, geografische Faktoren und Forschungsziele lässt sich eine genauere Bewertung der Auswirkungen erzielen, so der Tenor des Buches.
Vielfältige Forschung erfordert vielfältige Assessment-Methoden
Bei Oikoplus arbeiten wir an einer Reihe von Projekten, die von Horizon Europe, dem Forschungs- und Innovationsprogramm der Europäischen Union, finanziert oder kofinanziert werden. Dies wirft eine sehr praktische Frage auf: Wie misst die EU die Auswirkungen der Projekte, die sie (mit-) finanziert? Die EU-Kommission nennt ihren neuen Rahmen für die Wirkungsbeobachtung “Key Impact Pathways”. Ein kürzlich veröffentlichtes Arbeitspapier gibt einen Einblick in die verschiedenen Indikatoren, die von der EU-Kommission zur Bewertung von Projekten verwendet werden. Ein Blick hinein, kann nicht schaden.
Wenn es um Evaluation und Messbarkeit geht, ist es naheliegend, Erfolg in Zahlen zu operationalisieren. Allerdings gibt es für diese Operationalisierung kein Schema, das die verschiedenen Arten der wissenschaftlichen Praxis vergleichbar abbilden kann. Die Forschung ist sich dessen bewusst. Eine Antwort auf das Problem ist die Coalition for Advancing Research Assessment (CoARA). Hunderte von Universitäten, Instituten und wissenschaftlichen Institutionen sind der Coalition bereits beigetreten, verbunden von der Vision, dass die Bewertung von Forschung, Forscher:innen und Forschungsorganisationen die vielfältigen Ergebnisse, Praktiken und Aktivitäten anerkennt, die die Qualität und Wirkung der Forschung maximieren. Das erfordert, dass die Bewertung in erster Linie auf einer qualitativen Beurteilung beruht, für die die Peer Review von zentraler Bedeutung ist, unterstützt durch einen verantwortungsvollen Einsatz quantitativer Indikatoren.” Dem sei an dieser Stelle nichts hinzuzufügen.
