17 Monitoring und Evaluation
Nach der Planung und der Umsetzung eines Projektes, müssen die durchgeführten Aktivitäten und das Budget ständig kontrolliert und überprüft werden.
Monitoring (auf deutsch „Beobachtung“) ist das systematische und fortlaufende Zusammentragen, Analysieren und Dokumentieren von Daten und Informationen, um das Projekt kurz-, lang- und mittelfristig zu steuern. Es zielt auf eine Verbesserung der Effizienz und Wirksamkeit eines Projekts oder einer Organisation ab. Als Grundlage der Beobachtung dienen die Ziele und Aktivitäten, welche bei der Projektplanung festgelegt wurden. Systematisches Monitoring hilft, die verschiedenen Aktivitäten im Überblick zu halten und erlaubt es, Schwierigkeiten und Fehler aufzudecken und wenn nötig, verbessernde Massnahmen einzuleiten.
Um die Aktivitäten und die Zielsetzungen genau zu überprüfen, müssen während der Projektplanung realistische und messbare Indikatoren festgelegt worden sein, welche helfen, die Projektentwicklung zu steuern. Indikatoren sind messbare und greifbare Angaben, mit Hilfe derer die Zielerreichung und Fortschritte gemessen werden können, d.h. sogenannte „Quellen“ zur Nachprüfbarkeit der Projektziele. Dabei kann in quantitative (z.Bsp. Anzahl durchgeführte Workshops) qualitative Indikatoren (z.Bsp. Erweiterung der Kenntnisse der Menschenrechte der Teilnehmenden) unterteilt werden. Die Indikatoren sollten nach den Schlüsselaktivitäten und den spezifischen Bedürfnissen der Begünstigten ausgewählt werden, damit das Oberziel des Projekts erreicht werden kann.
Zur Bewertung der Indikatoren müssen nun die relevanten Informationen und Daten gesammelt und analysiert werden, am die Projektentwicklung gutzuheissen oder allfällige Änderungen und Verbesserung einzuführen.
Informationen und Daten können mit folgenden Methoden erhoben werden:
- Interviews
- Fragebögen
- Teilnehmerbeobachtung
- Abschlussbesprechung
Hier ein Beispiel, die gesammelte Information aufgearbeitet werden kann, um die gewählten Indikatoren zu messen:
| Indikator | Effektive Situation | Jegliche Abweichung? | Möglicher Grund für Abweichung | Lessons learned und Empfehlungen |
| Mindestens 80% der Teilnehmenden sind weiblich. | 40% der angemeldeten Jugendlichen sind weiblich. | Weit weniger eingeschrieben als erwartet (nur die Hälfte) | 1. Projekt nicht spezifisch auf Mädchen zugeschnitten 2. Kulturelle Gründe: Mädchen müssen zu Hause helfen und dürfen nicht teilnehmen |
1. Gender mainstreaming in der Projektplanung und – weiterentwicklung systematisch anwenden 2. Direkter Kontakt zu den Familien suchen |
Evaluation (auf deutsch „Beurteilung“) ist die Beurteilung von erzielten Resultaten und der Wirkung eines Projekts oder einer Aktivität. Als Vergleichsbasis dienen die während der Projektplanung im Projektdokument festgelegten Ziele und Aktivitäten. Die Evaluation beurteilt, auf welche Art und Weise die vorgenommenen Ziele erreicht wurden und was dabei herausgekommen ist. Somit kann entschieden werden, ob das Richtige richtig getan wurde. Die Evaluation gibt zudem Ausschluss über die aufgewendeten Ressourcen vs. geplante Ressourcen (Zeit, Geld, Personal, Material). Bei einem mehrjährigen Projekt empfiehlt es sich, eine halb- oder jährliche Zwischenevaluation durchzuführen, um die Umsetzung zu optimieren, neue/andere Massnahmen zu ergreifen, etc. Eine Endevaluation dient zur Auswertung des ganzen Projektes und zur Entscheidung, ob und wie das Projekt verbessert weitergeführt werden soll.
Eine Evaluation besteht aus verschiedenen Evaluationsfragen, welche schon bei der Projektplanung festgelegt werden sollen (dies hilft auch beim Monitoring). Hier einige Beispiele:
- Zielerreichung/Auswirkung: Welche Ziele wurden erreicht, welche nicht? Weshalb nicht (interne und externe Faktoren)? Was hat sich für die Jugendlichen vor Ort konkret verbessert, welcher Nutzen und Wirkung? Wie viele Jugendliche konnten erreicht werden?
- Bedürfnisse: Entsprach das Projekt den Bedürfnissen der begünstigten Jugendlichen? Wie wurden diese erhoben?
- Partizipation: Wie wurden die Jugendlichen in den Projektzyklus einbezogen?
- Gleichstellung: Wie konnte die Gleichstellung der Geschlechter erreicht werden?
- Lessons learned: Welches sind die grössten Misserfolge / Erfolge?
- Methodologie: Hat sich der gewählte methodische Ansatz bewährt? Welcher Ansatz wäre effizienter?
- Nachhaltigkeit: Wie geht das Projekt weiter, ist es lokal verankert? Liegt der ownership bei der lokalen Partnerorganisation?
Eine Evaluation kann je nach Ziel und Ressourcen auf verschiedene Arten durchgeführt werden:
- Selbstevaluation: Interne Evaluation der Organisation und der beteiligten Personen (Innenansicht).
- Externe Evaluation: Aussensicht, wird von einem sorgfältig ausgesuchten externen Team vorgenommen wird.
- Interaktive Auswertung: Interaktion zwischen einem/r externen AuswerterIn/ Auswertungsteam und der Organisation oder dem auszuwertenden Projekt. z.Bsp. Einbezug eines/r ProjektmitarbeiterIn ins Auswertungsteam miteinbezogen.
Links:
DEZA, Evaluation allgemein:
http://www.deza.admin.ch/
DEZA: Evaluation – Arbeitshilfen und Methoden:
http://www.deza.admin.ch
GTZ: Evaluierung:
http://www.gtz.de
ETH Zürich, Evalguide:
http://www.evalguide.ethz.ch
PDF-Version [Download]