Direkt zum Inhalt wechseln

Datenerhebung muss nicht kompliziert sein: Auch kleine Non-Profits können Wirkungsdaten ermitteln – sofern sie strukturiert vorgehen. So geht´s.

Datenerhebung vorbereiten

Um an Wirkungsdaten zu gelangen, sind drei Schritte nötig:

  1. Im ersten Schritt erstellt ihr einen Datenerhebungsplan, der euch hilft, den Prozess der Datenerhebung zu strukturieren, und der definiert, wann welche Daten benötigt werden.
  2. Im zweiten Schritt identifiziert ihr die Datenquellen, d.h. ihr ermittelt, woher die Daten kommen und wer zuständig ist etc.
  3. Im dritten Schritt geht es dann darum, die Daten tatsächlich zu erheben.

Es gibt verschiedene, unterschiedlich komplexe Methoden, um Wirkungsdaten zu erhalten, hierzu die Abbildung weiter unten. Einige dieser Methoden können auch mit vergleichsweise geringen Vorkenntnissen und wenigen Ressourcen angewendet werden. Bei vielen Methoden ist es jedoch hilfreich, Fachleute hinzuzuziehen. (Was es dabei zu beachten gibt, haben wir hier aufgeschrieben: “Evaluation & Wirkungsanalyse: Wer macht’s und was kostet’s?”.

Schritt 1: Datenerhebungsplan erstellen

Der Datenerhebungsplan hilft euch, die Datenerhebung zu strukturieren und dauerhaft den Überblick zu behalten. Ein Muster findet ihr hier zum Download:

Schritt 2: Datenquellen identifizieren

Nun müsst ihr herausfinden, woher ihr die Daten bezieht. Die besten Quellen für Wirkungsdaten sind bspw. Mitglieder der Zielgruppe und andere Stakeholder sowie Berichte, Auswertungen und sonstige Dokumente.

Für jeden der im Vorfeld festgelegten Wirkungsindikatoren benötigt ihr mindes­tens eine Datenquelle. Um diese ausfindig zu machen, helfen folgende Fragen:

  • Liefert die Quelle hochwertige Daten (oder nur welche Pi mal Daumen)? 
  • Ist die Datenquelle leicht zugänglich und kann regelmäßig abgerufen werden?
  • Sind die Kosten vertretbar, die die Datenquelle erfordert?

Habt ihr eine Datenquelle ermittelt, müssen ihr eine passende Metho­de bestimmen, mit der die Informationen erhoben werden.

Schritt 3: Daten erheben

Für das Daten erheben habt ihr zwei Möglichkeiten: Ihr könnt a) bereits vorhandene Daten nutzen oder b) Daten grundsätzlich neu erheben.

Vorhandene Daten nutzen: Viele Informationen zu Resultaten, Ergebnissen und Wirkungen liegen häufig bereits an anderer Stelle vor. Neben den Daten aus externen Quellen, wie z.B. offizielle Statistiken und Erhebungen, könnt ihr z.B. auch auf innerhalb der Organisation vorliegende Informa­tionen zurückgreifen. Zu finden sind solche Daten in Dokumentationen und Projektunter­lagen, in Evaluationen und Jahresberichten, in Teilnehmer*innen-Informationen, Anmelde­bögen etc. – vor allem aber in den Köpfen aller Mitarbeitenden. Die Mitarbeiter*innen sind eine unverzichtbare Quelle und sollten schon allein deshalb von Anfang an in die Wirkungs­analyse mit einbezogen werden.

Neue Daten erheben: Reichen die bestehenden Daten nicht aus oder existieren noch gar nicht, müsst ihr selbst welche ermitteln. Hierfür stehen euch eine Vielzahl an Datenerhe­bungsmethoden zur Verfügung, von komplex & aufwendig bis ressourcenfreundlich & in Eigenregie. Für welchen Ansatz ihr euch entscheidet, hängt von den zur Verfügung stehenden Ressourcen ab sowie davon, in welcher Detailtiefe und in welchem Umfang ihr die Informationen benötigt. – Die Kunst besteht darin, dass ihr diejenige auswählt, die zu eurem Kontext passt.

Methoden der Datenerhebung

Grundsätzlich unterschieden werden quantitative und qualitative Erhebungsmethoden.

Quantitative Methoden
eignen sich beson­ders dann, wenn …

  • präzise Daten vorliegen sollen 
  • ihr euch einen generellen Überblick verschaffen möchtet 
  • Vergleiche zwischen verschiedenen Gruppen oder Personen nötig sind 
  • statistische Abhängigkeiten zwischen dem Problem und den vermuteten Ursachen zu prüfen sind 
  • der Beweis erbracht werden soll, dass ein Projekt (zählbare) Erfolge liefert

Quantitative Methoden sind unter anderem Messungen, Zählen, die Analyse statistischer Daten, Befragungen, Tests sowie strukturier­te Beobachtungen. Bei der qualitativen Datenerhebung werden detaillierte, subjektive und indivi­duelle Erkenntnisse über Einstellungen und Handlungen ermittelt. Hierfür werden Einzelfälle auf ihre Besonder­heiten hin untersucht.

Qualitative Daten be­schreiben einen Sachverhalt und helfen, ein vertieftes Verständnis von einer Situation zu bekommen. Das macht sie für die wirkungs­orientierte Steuerung von Projekten auch so wichtig: Meist ergeben sich erst aus der Kom­bination quantitativer und qualitativer Daten vollständige Ursachen und Zusammenhänge.

Qualitative Erhebungsmethoden sind da­durch gekennzeichnet, dass sie sich mit dem Wie und Warum eines Sachverhalts oder einer Entwicklung beschäftigen. Sie eignen sich v.a., wenn es darum geht, …

  • eine Situation in einem bestimmten Kontext genau zu verstehen
  • herauszufinden, wie Personen oder Gruppen ihre Situation einschätzen und welche Erwartungen und Wünsche sie haben
  • qualitative Entwicklungen nachzuweisen und zu verfolgen
  • Projekte wirkungsorientiert zu planen

Qualitative Methoden sind unter anderem verschiedene Formen von Interviews (Einzel­interviews, Fokusgruppen, etc.), Beobach­tungen und Dokumentenanalysen.

Übersicht möglicher Erhebungsmethoden zur Wirkungsanalyse

Fragen, die bei der Auswahl der Datenerhebungsmethode helfen

Um die für euch passende Erhebungsmethode zu ermitteln, stellt euch folgende Fragen:

  • Was genau möchtet ihr herausfinden? – Möchtet ihr wissen, wie groß die erreichte Zielgruppe ist, oder geht es darum zu ermitteln, warum das Projekt bei einer ganz bestimmten Personengruppe keine Wirkung erzielt? 
  • Wofür braucht ihr die Informationen? – Möchtet ihr gegenüber Geldgebenden die Relevanz eines Problems verdeutlichen, eignen sich besonders quantitative Daten. Wollt ihr hingegen ein Problem durchdringen oder Details und Unterschiede herausarbeiten, sind qualitative Methoden zielführender.

Die geeignete Erhebungsmethode(n) auswählen

Die Entscheidung für die passende Metho­de ist alles andere als einfach und erfordert in vielen Fällen Erfahrung. Deshalb ist es sinnvoll, sich mit Fachleuten auszutau­schen oder Menschen zu befragen, die in ähnlichen Projekten arbeiten.

Zu überlegen ist, wofür ihr die Informa­tionen braucht und wie aussagekräftig und belastbar die Daten sein müssen.

Allgemein gilt: Je mehr Blickwinkel ihr ein­nehmt, umso aussagekräftiger ist das Bild, das sich ergibt. Aus diesem Grunde bietet es sich an, verschiedene Datenquellen und Erhebungsmethoden miteinander zu kombinieren – quantitative und qualitati­ve gleichermaßen.

Ihr müsst keinesfalls Evaluationsprofis sein, um im Zuge der Wirkungsanalyse Daten erheben zu können. Natürlich un­terscheiden sich die Erhebungsmethoden hinsichtlich Aufwand und Vorkenntnissen sowie Aussagekraft bzw. Belastbarkeit der Daten (Validität), die Übersicht oben liefert hierzu einen ersten Überblick. Gleichwohl aber gibt es für nahezu jedes soziale Pro­jekt geeignete und ressourcenschonen­de Erhebungsmethoden.

Ist das Budget klein oder steht ihr ganz am Anfang, beginnt am besten mit kleinen, übersichtlichen Maßnahmen, die ihr über die Zeit ausbaut. Die Ergebnis­se sind anfangs vielleicht weniger exakt, aber sie sind in vielen Fällen ausrei­chend, um Lern- und Verbesserungspro­zesse anzustoßen.

Beabsichtigt ihr, die Daten für weit­reichende Entscheidungen wie z.B. die Fortführung oder Beendigung des Projekts zu nutzen, sollten diese entsprechend fundiert sein.

Die Entscheidung für oder gegen eine Me­thode ist letztlich abhängig von …

  • den Fragen, die ihr mithilfe der Daten beantworten wollt 
  • den Indikatoren, anhand derer ihr feststellt, ob und inwieweit ihr ein Wirkungsziel erreicht haben.

Um die Komplexität zu reduzieren, könnt ihr folgende Übersicht zurate ziehen:

Fragen für die Wirkungsanalyse

Qualitätskriterien für die Datenerhebung

Nutzt verschiedene Datenquellen und Erhebungsmethoden! Auch in der Wirkungsanalyse ist es wichtig, verschiedene Datenquellen und Methoden der Datenerhebung zu kombinieren, um die Datenqualität zu überprüfen und zu verbessern. Nutzt also für eine aussagekräftige Analyse sowohl quantitative als auch qualitative Erhebungsmethoden.

Die wichtigsten Erhebungsmethoden sind …

  • Fragebögen
  • Einzelinterviews
  • Expert*inneninterviews (individuell oder in der Gruppe)
  • Fokusgruppen
  • Informelle Gespräche & Anekdoten
  • systematische Beobachtungen
  • Tests und Messungen
  • Fallstudien
  • Dokumentenanalysen

Testet die Methode vorher! Bevor es ernst wird und ihr mit der Daten­erhebung beginnt, solltet ihr eure Instru­mente der Datenerhebung erproben, z.B. den Fragebogen oder Interviewleitfaden. Denn egal, wie gut die Instrumente erarbeitet und das Vorgehen geplant wurden: Es können sich immer Fehler einschleichen, die die Qualität der Erhebung gefährden. Daher lohnt sich der Aufwand, die Instrumente zunächst bei einer kleinen Zahl von Personen zu testen.

Im Pretest sollte das Augenmerk auf folgende Punkte gelegt werden:

  • Sind die Fragen klar und unmissverständlich formuliert? Kann die befragte Zielgruppe mit der Wortwahl etwas anfangen, oder kommen Fremdworte etc. vor? 
  • Ist die Fragestellung wirklich zielführend?
  • Sind die Fragen so formuliert, dass sie kein Unbehagen oder eine Abwehrhaltung erzeugen?
  • Sind die Anweisungen an diejenigen, die das Interview durchführen, klar und unmissverständlich?
  • Ist die Länge der Befragung / des Fragebogens angemessen? (Manche Befragungen nehmen zu viel Zeit in Anspruch, dadurch werden die Befragten ungeduldig und unkonzentriert, was sich negativ auf die Qualität der Antworten auswirkt.)

Weniger ist mehr! Für kleine Organisationen gibt es budgetfreundliche Datenerhebungsme­thoden. Lasst euch nicht einschüchtern, sondern beginnt mit kleinen, übersichtlichen Maßnah­men, die ihr nach und nach ausweitet. Welche das sein können, haben wir hier aufgeschrieben: “Datenerhebung im Projektalltag: 5 unaufwändige Methoden, um die Wirkung eines sozialen Projekts zu ermitteln”.

Vermeidet exzessives Datensammeln! Blockiert das Projekt nicht mit exzessivem Datensam­meln! Häuft keine Datenberge an, diese kann ohnehin niemand auswerten. Überlegt deshalb beizeiten, welche Informationen ihr tatsächlich und ganz wirklich brau­cht.

Erhebungsdesign festlegen in der Praxis

Beschäftigt euch mit den Daten!

Das Wichtigste zum Schluss: Alle Daten nützen nichts, wenn niemand sie sehen oder aus ihnen lernen will. Überlegt vorab gut, welche Daten ihr braucht, und nutzt diese dann aber auch zur Steuerung. Eine Datenerhebung um des Erhebens willen ergibt wenig Sinn. Umgekehrt lassen sich Projekte ganz wunderbar und argumentativ überzeugend steuern, wenn die Daten Hinweise liefern, dass des Fehlentwicklungen gibt oder die Ziele wie erhofft erreicht wurden.