Categories
Reading List EN

RL #006: Can we Make this Measurable? The Impact of Social Science Research

Research is funded when it is socially relevant. This is the zeitgeist. Even before the first calls for research funding in the context of the EU’s HorizonEurope framework programme were published, it is clear that the research projects put forward by scientists had to be effective. The research funded by the EU should have social and economic impact and be scientifically excellent. The egg-laying woolly-milk-sow.

The contributions in this Reading List deal with how qualitative social science methods become demonstrably effective. Because they are interested in depth and not width, it is for them particularly difficult to quantify results and impact. 

Impact initially denotes a push or impulse. The focus, however, goes with the consequence of the impulse that occurs during social science research and has become part of the self-understanding in the field. Thus, the editors of the SOWI Impact Blog at the University of Vienna argue that social science research not only produces knowledge about society, but above all for and with society. Participatory methods, research at eye level and reflexivity are frequently used keywords in the community. On the SOWI Impact Blog, you will find several best practice examples that demonstrate impact without focusing on immediate measurability.

Measuring what Happens: Interaction and Encounter

Contrary to the approach of the University of Vienna, Wiljan van den Acker and Jack Sapper focus on the measurability of social impact for social science research.  In Productive Interactions: Societal Impact of Academic Research in the Knowledge Society, the authors argue that impact is the result of dynamic and open network processes with engagement. With the openness of the networks, they reject the linear effectiveness known from economics, but suggest counting meetings and their participants as a proxy for network nodes. Is this the final answer, though?

Twelve Paths to Impact

Counting meetings and interactions to illustrate the impact of research does not convince Reetta Muhonen and her colleagues. In the recently published paper “From Productive Interactions to Impact Pathways”, the authors therefore develop twelve typologies of impact pathways, which emphasise the prerequisites for and the nature of the interactions in a way the impact itself has a goal. The interaction becomes the starting point, the social added value the goal. New production processes, behavioural change or lines of argumentation are goals that, moreover, are not achieved only at the end of the research. Realising that impact is concrete and purposeful helps in writing research proposals and formulating intended (intermediate) outcomes.

Indicators of Effectiveness? Phu…

More applied, Elena Louder and her colleagues ask which indicators make sense for measuring impact in the social sciences. In their blogpost published on the Impact Blog of the London School of Economics, the authors give four principles for choosing frameworks and indicators to determine the impact of social science research: the relevance of change in the research context, the temporal dimension and nature of impact during research, the capacity to accommodate unexpected effects of research, and the level of detail of perceived impact. These and other aspects should certainly feature your chapters on expected impact and measures to increase impact.

Impact yes – but not at any price!

Ultimately, however, there are also a whole range of reasons not to bother with the topic at all. Mary K. Gugerty and Dean Karlan on the Open Access Blog of Northwestern University argue that most (social innovation) projects lack tools and resources to adequatly assess their impact. A rather fatalistic approach that challenges the meaning and benefit of immediate impact in social innovation projects. What may we learn from this contribution? Do not underestimate time and effort needed to conduct an appropriate assessment of your projects’ impact!

From our projects

In the ArcheoDanube project, in which Oikoplus is involved together with the Sustainication e.V. association, we are currently working on recommendations for the design of archaeological parks. More information here.

In the SYNCITY project, our Urban Innovation Toolbox goes into production. You can find more information about the project on our project website and the Cureghem Tales.

In the EnergyMEASURES project, the pandemic-related obstacles to contacting households have been overcome. Partners started to collect data and communication work has gained momentum. Read more about the project here.

Categories
Reading List DE

RL #006: Können wir das messbar machen? Das Wirken sozialwissenschaftlicher Forschung

Forschung wird gefördert, wenn sie gesellschaftlich relevant ist. Das ist der Zeitgeist. Schon bevor die ersten Ausschreibungen für Forschungsförderungen im Kontext des EU Rahmenprogramms von HorizonEurope überhaupt  veröffentlicht wurden ist klar, dass die von den Wissenschafter*innen vorgebrachten Forschungsvorhaben wirkmächtig zu sein haben. Die von der EU geförderten Forschung soll sozialen und ökonomischen Impact haben und wissenschaftlich exzellent sein. Eine eierlegende Wollmilchsau.

Die Beiträge in dieser Reading List setzen sich damit auseinander, wie vor allem qualitativ sozialwissenschaftliche Methoden nachweislich wirkmächtig werden. Weil sie per Definition an der Tiefe und nicht in der Breite interessiert sind, fällt es ihnen nämlich besonders schwer Ergebnisse zu quantifizieren und messbare Wirkmächtigkeit zu argumentieren. 

Wirkmächtigkeit bezeichnet zunächst einen Stoß oder Impuls. Im Mittelpunkt steht die Auswirkung. Dieser Anstoß mit Auswirkung kann im Rahmen einer sozialwissenschaftlichen Forschung geschehen und ist dort Teil des Selbstverständnisses geworden. So argumentiert die Redaktion des SOWI Impact Blog der Universität Wien, dass sozialwissenschaftliche Forschung nicht nur Wissen über, sondern vor allem auch für und mit der Gesellschaft produziert. Partizipative Methoden, Forschen auf Augenhöhe und Reflexivität sind vielgenannte Stichworte in der Szene. Auf dem SOWI Impact Blog finden sich eine Reihe an Best Practice Beispielen, die den Impact aufzeigen, ohne die unmittelbare Messbarkeit in den Vordergrund zu stellen.

Messen was passiert: Interaktion und Zusammentreffen

Entgegen dem Ansatz der Universität Wien rücken Wiljan van den Acker und Jack Sapper die Messbarkeit sozialer Wirkungsmächtigkeit für die sozialwissenschaftliche Forschung in den Vordergrund. In ”Productive Interactions: Societal Impact of Academic Research in the Knowledge Society“ argumentieren die Autoren, Wirkmächtigkeit sei das Resultat dynamischer und offener Netzwerkprozesse mit Engagement. Sie entsagen mit der Offenheit der Netzwerke zwar einer linearen Wirkmächtigkeit, wie sie in der Ökonomie bekannt ist, legen aber doch nahe, stellvertretend für Netzwerkknoten Meetings und deren Teilnehmer*innen zu zählen. Aber ist das der Weisheit letzter Schluss?

Zwölf Pfade zur Wirkmächtigkeit

Das Zählen von Meetings und Interaktionen zum Darstellen der Wirkungsmächtigkeit von Forschung überzeugt Reetta Muhonen und ihre Kolleg*innen nicht. Im frisch erschienenen Paper „From Productive Interactions to Impact Pathways“ entwickeln die Autor*innen daher zwölf Typologien von Impact Pathways, die die Voraussetzungen für und die Art der Interaktionen jeweils so in den Vordergrund rücken, dass der Impact selbst ein Ziel hat. Die Interaktion ist der Startpunkt, der soziale Mehrwert das Ziel. Neue Produktionsprozesse, Verhaltensänderung oder neue Argumentationslinien sind Ziele, die außerdem nicht erst am Ende der Forschung erreicht werden. Sich zu verdeutlichen, dass Wirkmächtigkeit konkret und zielgerichtet ist, hilft beim Schreiben von Forschungsanträgen und beim Formulieren angestrebter (Zwischen-)Ergebnisse.

Indikatoren für Wirkmächtigkeit? Phu…

Angewandter stellen sich Elena Louder und ihre Kolleg*innen in einem Artikel veröffentlicht auf dem Impact Blog der London School of Economics die Frage, welche Indikatoren für das Messen von Wirkmächtigkeit in den Sozialwissenschaften Sinn machen. In ihrem Blogpost geben die Autor*innen vier Prinzipien für die Wahl der Rahmenbedingungen und Indikatoren für das Bestimmen von Wirkmächtigkeit sozialwissenschaftlicher Forschung an: die Relevanz von Veränderung im Forschungskontext, die zeitliche Dimension und Art der Wirkmächtigkeit während einer Forschung, die Kapazität, unerwartete Wirkungen einer Forschung aufnehmen zu können, und den Detailgrad wahrgenommener Wirkung. Diese und andere Aspekte sollten auch in Kapiteln rund um die erwartete Wirkmächtigkeit und die Maßnahmen zur Steigerung von Wirkmächtigkeit vorkommen.

Wirkung ja – aber nicht um jeden Preis!

Zu guter Letzt gibt es aber auch eine ganze Reihe an Gründen, sich gar nicht erst weiter mit dem Thema auseinanderzusetzen. Mary K. Gugerty und Dean Karlan argumentieren jedenfalls auf dem Open Access Blog der Northwestern University, dass eine Vielzahl an (Social Innovation) Projekten ohnehin nicht die richtigen Werkzeuge, den richtigen Zeitpunkt oder die notwendigen Ressourcen haben, um die eigene Wirkmächtigkeit in einem Rahmen zu erheben, der für das Projekt selbst, geschweige denn für den Fördergeber einen Mehrwert erzielt. Ein etwas fatalistischer Ansatz, der den Sinn und den Mehrwert unmittelbar wirksamer Wirkmächtigkeit in sozialen Innovationsprojekten in Frage stellt. Was wir von diesem Beitrag lernen können? Unterschätzen Sie den personellen und eventuell auch technischen Aufwand nicht!

Aus unseren Projekten

Im Projekt ArcheoDanube, an dem Oikoplus gemeinsam mit dem Verein Sustainication e.V. beteiligt ist, arbeiten wir aktuell an Empfehlungen für die Gestaltung Archäologischer Parks. Mehr Infos hier

Im Projekt SYNCITY geht unsere Urban Innovation Toolbox in die Produktion. Infos zum Projekt finden sie auf unserer Projekt Website und den Cureghem Tales

Im Projekt EnergyMEASURES konnten die pandemie-bedingten Hürden hinblicklich dem in Kontakt treten mit Haushalten überwunden werden. Daten werden gesammelt und auch die Kommunikationsarbeit hat an Fahrt aufgenommen. Hier erfahren Sie mehr über das Projekt.