Lars Balzer - evaluiert (E-Book)

Der Evaluationsgegenstand muss konkret bestimmt werden

Für eine konkrete Evaluation muss eine gut begründete Eingrenzung vorgenommen und der tatsächliche Evaluationsgegenstand detailliert beschrieben werden. Zunächst scheint dies eine leichte Aufgabe, denn der Wunsch nach Informationen über den Evaluationsgegenstand geht im Regelfall einer Evaluationsbeauftragung voraus. Demzufolge haben Auftraggebende zumindest eine grobe Vorstellung vom Gegenstand, also «innere Bilder» von der Bildungsmaßnahme und auch Ideen, was davon beschrieben und bewertet werden soll; doch reicht dies nicht aus. Deswegen müssen sich die Evaluierenden – mithilfe der Auftraggebenden und auch anderer Quellen – Klarheit über den Evaluationsgegenstand verschaffen.

Wie bestimmt man einen Evaluationsgegenstand?

Um einen Evaluationsgegenstand im Bereich der Bildung zu bestimmen, ist als Erstes eine kurze, aber schriftlich festgehaltene, auch für Außenstehende nachvollziehbare Erstbeschreibung des zu evaluierenden Bildungsangebotes auf Basis der und mit Verweis auf die Programmunterlagen zu erstellen.

Merkmale des Evaluationsgegenstandes

Relevante Beschreibungsdimensionen sind dabei:

❙ Name, Träger, Abschlusstyp

❙ Initiatoren, Verantwortliche, Mitarbeitende und deren Qualifikationen, Nutznießende

❙ Ziele (z.B. Lehr- und Lernziele, aufzubauende Kompetenzen)

❙ fachwissenschaftliche Bezüge

❙ Inhalte bzw. Themen (z.B. im Zusammenhang mit Durchführungsplänen, Medien und Materialien, Lehrmitteln)

❙ Elemente (Präsenzveranstaltungen, begleitete und unbegleitete schriftliche Arbeiten, selbst gesteuertes Lernen, Prüfungen etc.)

❙ didaktische Prinzipien und Methoden sowie wichtigste vorgesehene (Lehr-)Interventionen

❙ Umfang (Dauer, Kontaktstunden, Workload z.B. in ECTS-Leistungspunkten) und Preis

❙ zur Verfügung stehende Ressourcen (u.a. Kompetenzen von Mitarbeitenden, Finanzen)

❙ Kennzahlen (z.B. Anzahl Teilnehmende, realisierte Teilnehmendenstunden/-tage, Anzahl und Art der Abschlüsse, Abbruchquoten und -gründe, Umsatzzahlen)

❙ «History» (Veränderungen z.B. bezüglich Rechtsgrundlagen oder Zielen/Inhalten/Workload sowie Darstellung überwundener Schwächen früherer Durchführungen)

❙ Besonderes (z.B. Kooperationen, Wettbewerbsposition)

Wenn Informationen zu einem wichtigen Punkt fehlen und sie nicht mit geringem Aufwand (z.B. Experteninterview mit der Programmleitung) zu beschaffen sind, ist dies festzuhalten.

Teil- oder Gesamtevaluation?

Zur Bestimmung des Evaluationsgegenstandes gehört in einem zweiten Schritt, dass festgestellt wird,

❙ ob die gesamte Bildungsmaßnahme Gegenstand der Evaluation wird, oder

❙ ob Teile davon als Evaluationsgegenstand vereinbart werden.

Oft wird stillschweigend davon ausgegangen, dass eine Gesamtevaluation vorgenommen wird. Man muss sich jedoch fragen, ob dies sinnvoll und leistbar ist:

❙ Beim Evaluationszweck ( ➞ Kapitel 6.1) Rechenschaftslegung wird oft eine Gesamtbetrachtung angemessen sein.

❙ Wenn es um Verbesserung geht, kommt es darauf an, ob man bereits im Vorhinein stabile, reife Programmelemente einerseits und instabile, optimierungsbedürftige Elemente andererseits unterscheiden kann. Ist dies der Fall, wird man die Evaluation auf die kritischen Teile fokussieren.

❙ Bei Bildungsmaßnahmen mit langen Laufzeiten ist eventuell eine Beschränkung auf Phasen sinnvoll oder – aus Ressourcengründen – erforderlich.

Wenn die Entscheidung – was oft der Fall sein wird – auf eine Teilevaluation fällt, muss der fokussierte Teil intensiver beschrieben werden als die Gesamtmaßnahme. Außerdem muss die Gegenstandsbeschreibung die Grenzen des fokussierten Gegenstandes markieren.

➞ Lösung auf Seite 233

Ziele des Evaluationsgegenstandes

Der nächste Schritt ist, die Zielsetzungen des Evaluationsgegenstandes genau zu identifizieren (wohlgemerkt: Es geht hier nicht um die Zwecke der Evaluation – ➞ Kapitel 6.1–, sondern um die Ziele des Evaluationsgegenstandes). Die Ziele des Evaluationsgegenstandes sind ausschlaggebend dafür was in der Evaluation im Detail untersucht werden muss. Oft geht es darum, zu überprüfen, in welchem Maße diese Ziele erreicht werden – dazu mehr in ➞ Kapitel 6.

BEISPIEL 2

Ein wichtiges Ziel von IT-Schulungen ist: Die Teilnehmenden verfügen am Ende der Schulung über klar definiertes Wissen und Können zu einem bestimmten Bereich der IT. Idealerweise können sie nach Abschluss der Schulung auf Basis dieses Wissens und der erworbenen Fertigkeiten reale Probleme im beruflichen oder privaten Kontext lösen. Ein weiteres Ziel kann darin bestehen, dass Mitarbeitende an ihrem Arbeitsplatz motiviert sind, sich neues IT-Wissen und Können selbst oder in Peer-Gruppen anzueignen. Ein anderes Ziel kann sein, Mitarbeitende von vielen weit entfernten Standorten zusammenzubringen, damit sie sich (besser) kennenlernen und zukünftige Kommunikationskanäle leichter genutzt werden. Der eigentliche Lerninhalt würde dabei in den Hintergrund treten. Wenn eine Firmenschulung mehrere Ziele verfolgt – z.B. Lernzuwachs, Motiviertheit zum Selbstlernen und Verbesserung der Firmenkommunikation –, sind diese bereits in dieser frühen Phase der Evaluation zu identifizieren, damit alle folgenden Schritte darauf zugeschnitten werden können.

Relevante und geklärte Ziele sind Voraussetzung sowohl für gelingende Bildungsprogramme als auch für nützliche Evaluationen. Diese Aufgabe gehört nicht originär zur Evaluationstätigkeit, sondern vorrangig in den Bereich der didaktischen Planung. Lernen kann danach «als die kompetenzbildende Aneignung von Kenntnissen, Fähigkeiten und Fertigkeiten bezeichnet werden», was beiläufig als «funktionales Lernen» in informellen Settings wie auch absichtsvoll als «intentionales Lernen» stattfinden kann (Arnold & Gómez Tutor, 2007, S.63). Evaluation interessiert sich vorrangig für intentionales Lernen, das im Rahmen von Bildungsprogrammen und -kursen stattfindet.

Ein allgemeines Leitziel von Lernen

Allgemein kann man sagen: «Lernen ist gelungen, wenn ein Individuum sein Wissen und Können erweitert, seine Persönlichkeit entfaltet und seine soziale Integration erhöht hat. Das heißt, Lernen erweitert die Handlungsfähigkeit des Subjektes und damit seine Möglichkeit, ein selbstbestimmtes Leben in der Gesellschaft zu führen. Gelungenes Lernen ist ein Lernen, das der Lernende selbst wertschätzt […]» (Zech, 2008, S.18).

Ziele im Konzept und der Weg zur Zielerreichung

Die Ziele einer Bildungsmaßnahme und die Wege dorthin sind – in der Regel schriftlich – in einem Programmkonzept niedergelegt. Unter einem Konzept wird ein gedanklicher Entwurf der Programmverantwortlichen verstanden: Mithilfe welcher Lehrinterventionen und Lehr-Lern-Arrangements, welcher Lehr-Lern-Methoden, Materialien und Medien, anschließend an welche bereits vorhandenen Kompetenzen sollen welche Outcomes bis wann, wo und bei wem ausgelöst werden? Interventionen von Lehrenden können dann einen Beitrag zu gelingendem Lernen leisten, wenn sie schlüssig in ein genügend, aber auch nicht zu komplex gestaltetes Konzept eingebettet sind.