Reading List EN Uncategorized

RL #030: Beyond Comparing Numbers: Qualitative Research Assessment 

It can be argued well and lengthy about what is appropriate when it comes to evaluating the relevance, quality and significance of research work and making it measurable. The selected good reads encompass a range of perspectives, including open access repositories, research impact assessment, research evaluation projects, comprehensive assessment methods, and research grant evaluation. 

For once, let’s not start with theory work, but in a very practical way. The “Your Impact” research guide by the University of Illinois at Chicago (UIC) offers comprehensive information on evaluating research impact. It covers various metrics, tools, and methodologies to assess the societal, academic, and economic impacts of research. This guide provides practical advice to researchers, librarians, and administrators on navigating the complex landscape of research evaluation, empowering them to demonstrate the value and significance of their work.

Choose your methods wisely – they might be assessed

Of course, the choice of method always influences the results. And this also applies to the methods used to measure the impact of science. A recent project on evaluating research conducted by RAND Europe aims to improve understanding and methodologies for assessing research quality and impact. Their website offers insights into ongoing projects, publications, and tools related to research evaluation. RAND Europe’s expertise in research evaluation provides valuable insights for policymakers, funding agencies, and research institutions seeking to enhance evaluation practices and inform evidence-based decision-making.

If you are looking for a clear and theoretically sound introduction to the topic of research evaluation, Evaluating Research in Context: A Method for Comprehensive Assessment by Jack Spaapen, Huub Dijstelbloem and Frank Wamelink from 2007 is recommended. The focus is on one thing, as the title suggests: Context. The right context is important if not only publications in journals and their ranking values are to be counted. Contextual consideration is crucial in science impact assessment. Research takes place within diverse fields, each with its own objectives, methodologies, and timelines. Therefore, relying solely on universal indicators may oversimplify the evaluation process and fail to capture the nuances of different disciplines. By accounting for the contextual aspects, such as field-specific metrics, geographic factors, and research goals, a more accurate assessment of impact can be achieved.

Assessment of research should recognise diversity of outputs, practices and activities

At Oikoplus, we work in a number of projects funded or co-funded by Horizon Europe, the European Union’s research and innovation program. This raises a very practical question: How does the EU measure the impact of the projects it (co-)funds? The EU Commission calls its new impact monitoring framework ‘Key Impact Pathways’. A recent working document provides an insight into the various indicators used by the EU Commission to evaluate projects.

Science impact assessment is essential for evaluating the broader influence and value of research.

When it comes to evaluation and measurability, it is obvious to operationalize success in numbers. However, there is no scheme for this operationalization that can represent the different types of scientific practice in a comparable way. Researchers are aware of this. One answer to the problem is the Coalition for Advancing Research Assessment (CoARA). Hundreds of universities, institutes, and scientific institutions have already joined the Coalition, united by the vision “that the assessment of research, researchers and research organisations recognises the diverse outputs, practices and activities that maximise the quality and impact of research. This requires basing assessment primarily on qualitative judgement, for which peer review is central, supported by responsible use of quantitative indicators.”

Research assessment should always consider the indicators used and the specific context of the research being assessed. By adopting a comprehensive and contextual approach to impact assessment, stakeholders can gain a more nuanced understanding of research outcomes, encourage diverse research pathways, and make informed decisions to support the advancement of science and its positive societal impact.

Reading List EN

RL #006: How to Measure the Impact of Social Science

Research is funded when it is socially relevant. This is the zeitgeist. Even before the first calls for research funding in the context of the EU’s HorizonEurope framework programme were published, it is clear that the research projects put forward by scientists had to be effective. The research funded by the EU should have social and economic impact and be scientifically excellent. The egg-laying woolly-milk-sow.

The contributions in this Reading List deal with how qualitative social science methods become demonstrably effective. Because they are interested in depth and not width, it is for them particularly difficult to quantify results and impact. 

Impact initially denotes a push or impulse. The focus, however, goes with the consequence of the impulse that occurs during social science research and has become part of the self-understanding in the field. Thus, the editors of the SOWI Impact Blog at the University of Vienna argue that social science research not only produces knowledge about society, but above all for and with society. Participatory methods, research at eye level and reflexivity are frequently used keywords in the community. On the SOWI Impact Blog, you will find several best practice examples that demonstrate impact without focusing on immediate measurability.

Measuring what Happens: Interaction and Encounter

Contrary to the approach of the University of Vienna, Wiljan van den Acker and Jack Sapper focus on the measurability of social impact for social science research.  In Productive Interactions: Societal Impact of Academic Research in the Knowledge Society, the authors argue that impact is the result of dynamic and open network processes with engagement. With the openness of the networks, they reject the linear effectiveness known from economics, but suggest counting meetings and their participants as a proxy for network nodes. Is this the final answer, though?

Twelve Paths to Impact

Counting meetings and interactions to illustrate the impact of research does not convince Reetta Muhonen and her colleagues. In the recently published paper “From Productive Interactions to Impact Pathways”, the authors therefore develop twelve typologies of impact pathways, which emphasise the prerequisites for and the nature of the interactions in a way the impact itself has a goal. The interaction becomes the starting point, the social added value the goal. New production processes, behavioural change or lines of argumentation are goals that, moreover, are not achieved only at the end of the research. Realising that impact is concrete and purposeful helps in writing research proposals and formulating intended (intermediate) outcomes.

Indicators of Effectiveness? Phu…

More applied, Elena Louder and her colleagues ask which indicators make sense for measuring impact in the social sciences. In their blogpost published on the Impact Blog of the London School of Economics, the authors give four principles for choosing frameworks and indicators to determine the impact of social science research: the relevance of change in the research context, the temporal dimension and nature of impact during research, the capacity to accommodate unexpected effects of research, and the level of detail of perceived impact. These and other aspects should certainly feature your chapters on expected impact and measures to increase impact.

Impact yes – but not at any price!

Ultimately, however, there are also a whole range of reasons not to bother with the topic at all. Mary K. Gugerty and Dean Karlan on the Open Access Blog of Northwestern University argue that most (social innovation) projects lack tools and resources to adequatly assess their impact. A rather fatalistic approach that challenges the meaning and benefit of immediate impact in social innovation projects. What may we learn from this contribution? Do not underestimate time and effort needed to conduct an appropriate assessment of your projects’ impact!

From our projects

In the ArcheoDanube project, in which Oikoplus is involved together with the Sustainication e.V. association, we are currently working on recommendations for the design of archaeological parks. More information here.

In the SYNCITY project, our Urban Innovation Toolbox goes into production. You can find more information about the project on our project website and the Cureghem Tales.

In the EnergyMEASURES project, the pandemic-related obstacles to contacting households have been overcome. Partners started to collect data and communication work has gained momentum. Read more about the project here.

Reading List DE

RL #006: Wie man das Wirken sozialwissenschaftlicher Forschung misst

Forschung wird gefördert, wenn sie gesellschaftlich relevant ist. Das ist der Zeitgeist. Schon bevor die ersten Ausschreibungen für Forschungsförderungen im Kontext des EU Rahmenprogramms von HorizonEurope überhaupt  veröffentlicht wurden ist klar, dass die von den Wissenschafter*innen vorgebrachten Forschungsvorhaben wirkmächtig zu sein haben. Die von der EU geförderten Forschung soll sozialen und ökonomischen Impact haben und wissenschaftlich exzellent sein. Eine eierlegende Wollmilchsau.

Die Beiträge in dieser Reading List setzen sich damit auseinander, wie vor allem qualitativ sozialwissenschaftliche Methoden nachweislich wirkmächtig werden. Weil sie per Definition an der Tiefe und nicht in der Breite interessiert sind, fällt es ihnen nämlich besonders schwer Ergebnisse zu quantifizieren und messbare Wirkmächtigkeit zu argumentieren. 

Wirkmächtigkeit bezeichnet zunächst einen Stoß oder Impuls. Im Mittelpunkt steht die Auswirkung. Dieser Anstoß mit Auswirkung kann im Rahmen einer sozialwissenschaftlichen Forschung geschehen und ist dort Teil des Selbstverständnisses geworden. So argumentiert die Redaktion des SOWI Impact Blog der Universität Wien, dass sozialwissenschaftliche Forschung nicht nur Wissen über, sondern vor allem auch für und mit der Gesellschaft produziert. Partizipative Methoden, Forschen auf Augenhöhe und Reflexivität sind vielgenannte Stichworte in der Szene. Auf dem SOWI Impact Blog finden sich eine Reihe an Best Practice Beispielen, die den Impact aufzeigen, ohne die unmittelbare Messbarkeit in den Vordergrund zu stellen.

Messen was passiert: Interaktion und Zusammentreffen

Entgegen dem Ansatz der Universität Wien rücken Wiljan van den Acker und Jack Sapper die Messbarkeit sozialer Wirkungsmächtigkeit für die sozialwissenschaftliche Forschung in den Vordergrund. In ”Productive Interactions: Societal Impact of Academic Research in the Knowledge Society“ argumentieren die Autoren, Wirkmächtigkeit sei das Resultat dynamischer und offener Netzwerkprozesse mit Engagement. Sie entsagen mit der Offenheit der Netzwerke zwar einer linearen Wirkmächtigkeit, wie sie in der Ökonomie bekannt ist, legen aber doch nahe, stellvertretend für Netzwerkknoten Meetings und deren Teilnehmer*innen zu zählen. Aber ist das der Weisheit letzter Schluss?

Zwölf Pfade zur Wirkmächtigkeit

Das Zählen von Meetings und Interaktionen zum Darstellen der Wirkungsmächtigkeit von Forschung überzeugt Reetta Muhonen und ihre Kolleg*innen nicht. Im frisch erschienenen Paper „From Productive Interactions to Impact Pathways“ entwickeln die Autor*innen daher zwölf Typologien von Impact Pathways, die die Voraussetzungen für und die Art der Interaktionen jeweils so in den Vordergrund rücken, dass der Impact selbst ein Ziel hat. Die Interaktion ist der Startpunkt, der soziale Mehrwert das Ziel. Neue Produktionsprozesse, Verhaltensänderung oder neue Argumentationslinien sind Ziele, die außerdem nicht erst am Ende der Forschung erreicht werden. Sich zu verdeutlichen, dass Wirkmächtigkeit konkret und zielgerichtet ist, hilft beim Schreiben von Forschungsanträgen und beim Formulieren angestrebter (Zwischen-)Ergebnisse.

Indikatoren für Wirkmächtigkeit? Phu…

Angewandter stellen sich Elena Louder und ihre Kolleg*innen in einem Artikel veröffentlicht auf dem Impact Blog der London School of Economics die Frage, welche Indikatoren für das Messen von Wirkmächtigkeit in den Sozialwissenschaften Sinn machen. In ihrem Blogpost geben die Autor*innen vier Prinzipien für die Wahl der Rahmenbedingungen und Indikatoren für das Bestimmen von Wirkmächtigkeit sozialwissenschaftlicher Forschung an: die Relevanz von Veränderung im Forschungskontext, die zeitliche Dimension und Art der Wirkmächtigkeit während einer Forschung, die Kapazität, unerwartete Wirkungen einer Forschung aufnehmen zu können, und den Detailgrad wahrgenommener Wirkung. Diese und andere Aspekte sollten auch in Kapiteln rund um die erwartete Wirkmächtigkeit und die Maßnahmen zur Steigerung von Wirkmächtigkeit vorkommen.

Wirkung ja – aber nicht um jeden Preis!

Zu guter Letzt gibt es aber auch eine ganze Reihe an Gründen, sich gar nicht erst weiter mit dem Thema auseinanderzusetzen. Mary K. Gugerty und Dean Karlan argumentieren jedenfalls auf dem Open Access Blog der Northwestern University, dass eine Vielzahl an (Social Innovation) Projekten ohnehin nicht die richtigen Werkzeuge, den richtigen Zeitpunkt oder die notwendigen Ressourcen haben, um die eigene Wirkmächtigkeit in einem Rahmen zu erheben, der für das Projekt selbst, geschweige denn für den Fördergeber einen Mehrwert erzielt. Ein etwas fatalistischer Ansatz, der den Sinn und den Mehrwert unmittelbar wirksamer Wirkmächtigkeit in sozialen Innovationsprojekten in Frage stellt. Was wir von diesem Beitrag lernen können? Unterschätzen Sie den personellen und eventuell auch technischen Aufwand nicht!

Aus unseren Projekten

Im Projekt ArcheoDanube, an dem Oikoplus gemeinsam mit dem Verein Sustainication e.V. beteiligt ist, arbeiten wir aktuell an Empfehlungen für die Gestaltung Archäologischer Parks. Mehr Infos hier

Im Projekt SYNCITY geht unsere Urban Innovation Toolbox in die Produktion. Infos zum Projekt finden sie auf unserer Projekt Website und den Cureghem Tales

Im Projekt EnergyMEASURES konnten die pandemie-bedingten Hürden hinblicklich dem in Kontakt treten mit Haushalten überwunden werden. Daten werden gesammelt und auch die Kommunikationsarbeit hat an Fahrt aufgenommen. Hier erfahren Sie mehr über das Projekt.