Der Bildungsmonitor 2009 - Initiative Neue Soziale Marktwirtschaft
Methodik des Bildungsmonitors 2009
Die Studie vergleicht die Bildungssysteme der 16 deutschen Bundesländer an Hand von 102 Indikatoren. Diese werden 13 bildungspolitischen Handlungsfeldern (mehr dazu im Glossar) zugeordnet. Mit einem linearen Standardisierungsverfahren werden die Variablen, die unterschiedliche Skalierungen aufweisen, in eine Punkteskala 0 bis 100 “übersetzt” und so vergleichbar gemacht. Die verwendeten Indikatoren wurden unter anderem von den Statistischen Landesämtern der Bundesländer und der OECD erhoben und stammen mehrheitlich aus dem Jahr 2006, dem aktuellsten statistisch erhobenen Kalenderjahr, das derzeit vorliegt.
Das so genannte Dynamik-Ranking vergleicht die Länder in Bezug auf die Veränderungen bei einzelnen Handlungsfeldern zwischen dem Bildungsmonitor 2008 und dem Bildungsmonitor 2009. Alle hier dokumentierten Veränderungswerte sind Punktwerte.
Das so genannte Bestands-Ranking vergleicht die Länder an Hand der absoluten Zahlen zum im aktuellen Bildungsmonitor betrachteten Zeitraum. Alle Werte werden hier in den entsprechenden Einheiten angegeben: Prozent, Euro, etc.
Zum Benchmarking
Der Bildungsmonitor hat das Ziel, auf Basis von 13 Handlungsfeldern die Bildungssysteme der 16 deutschen Bundesländer einem systematischen Benchmarking zu unterziehen. Da Bildung als ein kumulativer Prozess aufgefasst werden muss, werden die vier Bildungsbereiche: Elementar-, Primar-, Sekundar- und Tertiärbereich betrachtet.
Auf diese Weise wird zum einen die gesamte Zeitachse von der Vorschule bis zur Universität und beruflichen Weiterbildung berücksichtigt. Auf der anderen Seite erlaubt der der Studie zugrunde liegende Ansatz Rückschlüsse darauf, welche Stärken und Schwächen das jeweilige Bundesland – im Vergleich zu den anderen – in den einzelnen Handlungsfeldern aufweist. Muster sowie Stärken/Schwächen-Profile werden somit sichtbar.
Die Qualität, die Effizienz und die Effektivität eines Bildungssystems können mittels Indikatoren erfasst und evaluiert werden (Kurz, 2005, 427 ff.; Autorengruppe Bildungsberichterstattung, 2008, 1ff.). Diese Zielsetzung wird im Bildungsmonitor 2008 umgesetzt, indem die humankapitaltheoretisch begründeten Bildungsziele als Handlungsfelder formuliert werden. Die konkrete Methodik bei der aktuellen Studie ist ebenso wie bei früheren Bildungsmonitor-Studien somit das indikatorengestützte Benchmarking.
Das Benchmarking dient einerseits dazu, unterschiedliche Ziele, Institutionen und Untersuchungsobjekte miteinander vergleichbar zu machen. Zu diesem Zweck werden die einzelnen Aspekte der Bildungssysteme der 16 deutschen Bundesländer mit Hilfe der insgesamt 102 Input- und Outputindikatoren operationalisiert und standardisiert. Zwischen den Input-/Prozessvariablen und dem Output wird kein monokausaler Zusammenhang vorausgesetzt. Vielmehr werden die Zusammenhänge als ein komplexes Zusammenspiel aller Faktoren betrachtet, das in seiner systemischen Gesamtheit gesehen werden muss (Kurz, 2005, 427 ff.; Klein/Hüchtermann, 2003, 93 ff.; Descy/Tessaring, 2006, 135ff.).
Das Benchmarking kann der Bildungspolitik Entscheidungshilfen geben und aufzeigen, in welchen Bereichen bildungspolitisches Handeln besonders dringend geboten ist. Es gibt Aufschluss über mögliche Ansatzpunkte für bildungspolitische Reformbemühungen, damit die bildungsökonomischen Ziele realisiert werden können (OECD, 2006a, 19; Autorengruppe Bildungsberichterstattung, 2008, 3).
Die Methodik des Benchmarking als Bewertungssystem für Vergleiche von Bildungssystemen wird häufig hinterfragt, weil nicht messbare Tatbestände, die ebenfalls auf die Zielgröße einwirken, unberücksichtigt bleiben. Der Wert der Methodik des Benchmarkings wird dadurch aber nicht eingeschränkt. Basierend auf seinen Ergebnissen kann für jedes Land eine passgenaue Lösung zur Lösung der aufgezeigten Probleme entwickelt werden (Descy/ Tessaring, 2006, 157). In Abhängigkeit der Ausgangssituation können spezifische Ziele definiert werden. Ein Benchmarking kann zudem die Fortschritte beim Grad der Zielerreichung dokumentieren, wenn das Bewertungsverfahren einen zeitlichen Vergleich ermöglicht.
Die Auswahl der in den Handlungsfeldern verwendeten Kennziffern entspricht im Großen und Ganzen dem Indikatoren-Set der Bildungsmonitor-Studie 2007. Da die Auswahl von Bildungsindikatoren grundsätzlich von der eigenen Zielsetzung bestimmt wird (Meyer, 2004, 11) und sich in der vorliegenden Studie konzeptionell-methodische Weiterentwicklungen ergaben, wird die Indikatorenliste regelmäßig überarbeitet. Bei der Auswahl und Modifizierung der Indikatoren orientierte man sich nach folgenden Grundsätzen (vergleiche auch Anforderungen an Indikatoren-Auswahl bei Meyer, 2004, 24; Autorengruppe Bildungsberichterstattung, 2008, 4f.):
- Die Indikatoren sollten einen Erklärungsbeitrag hinsichtlich der bildungsökonomischen Ziele und der Handlungsfelder leisten können,
- sie sind messbar und
- zur Lösung der formulierten Probleme im gewünschten Arbeitskontext relevant und
- für die Zielgruppen der Studie nachvollziehbar.
Standardisierungs- und Aggregations-Verfahren
Der Bildungsmonitor soll die Bildungssysteme der Bundesländer einerseits zu einem bestimmten Zeitpunkt vergleichen und andererseits Verschlechterungen oder Verbesserungen bei den Voraussetzungen zur Förderung des wirtschaftlichen Wachstums aufzeigen. Die Studie stellt daher wie in den Vorjahren sowohl einen Quer- als auch Längsschnittvergleich an.
In einem ersten Schritt wurde zunächst ein Stützzeitraum ausgewählt, der die Jahre 1998 bis 2002 umfasst. Wenn für ein Jahr (k) innerhalb des Stützzeitraums bei einem Indikator (j) für ein Bundesland (i) ein absoluter Wert vorhanden war, wurde dieser mittels eines linearen Standardisierungsverfahren in dimensionslose Punktwerte transformiert, um den Vergleich unterschiedlich skalierter Kenngrößen zu erlauben. Die Ausprägungen werden dabei für jedes verfügbare Datenjahr zwischen 0 und 100 normiert.
Falls höhere Absolutwerte als günstiger eingeschätzt werden, ergibt sich der standardisierte Punktwert (E) aus:
| (1a) |  |
Werden hingegen höhere Absolutwerte als schlechtere Ausprägung angesehen, berechnet sich der Punktwert (E) aus:
| (1b) |  |
Das lineare Standardisierungsverfahren weist zudem den Vorteil auf, dass es bei jeder Kennziffer die Abstände der Bundesländer untereinander maßstabsgetreu zu den Abständen widerspiegelt, die aus einer Betrachtung der Absolutwerte resultieren. Hinzu kommt, dass das lineare Standardisierungsverfahren Ausreißerwerte nach oben und unten betont. Kleinere Unterschiede zwischen zwei Bundesländern gehen in den Fällen weniger stark in die Bewertung ein, wenn ein drittes Bundesland sich von den anderen beiden erheblich abhebt. Dieses Vorgehen ist gerade für den Vergleich der regionalen Bildungssysteme innerhalb Deutschlands sinnvoll. Die an sie gestellten Anforderungen sind identisch, denn die Bundesländer bilden einen einheitlichen Wirtschaftsraum, in dem sich Personen und Unternehmen frei bewegen können.
Die Bewertung eines Bundeslands bei einem Indikator für den gesamten Stützzeitraum – im folgenden Bildungsmonitor 2004 genannt – wird aus dem Durchschnitt der Bewertungen für die einzelnen Jahre zwischen 1998 und 2002 ermittelt. Für eine Reihe von Kennziffern – zum Beispiel die PISA-Ergebnisse – liegen jedoch Daten nur für ein Jahr oder nur für wenige Jahre vor. In diesen Fällen resultiert die Durchschnittsbeurteilung entsprechend aus weniger Datenpunkten. Das Bewertungsverfahren führt dazu, dass ein Bundesland im Bildungsmonitor 2004 bei einer Kennziffer nur dann den maximal möglichen Punktwert 100 erzielen kann, wenn das betreffende Bundesland sich in jedem vorhandenen Erhebungsjahr des Stützzeitraumes durch die bestmögliche Ausprägung auszeichnet. Analog hierzu ergibt sich die Minimalbewertung von Null Punkten nur in dem Fall, wenn ein Land zu jedem Erhebungszeitpunkt die schlechtestmögliche Ausprägung bei einem Indikator aufweist. Im Unterschied zur Betonung von Ausreißerwerten durch das lineare Standardisierungsverfahren verringert die Bildung des Stützzeitraums die Wahrscheinlichkeit, dass der Ausgangwert durch ein einziges Ausreißerjahr verzerrt wird.
In einem zweiten Schritt erfolgt dann die Bewertung für das aktuelle Berichtsjahr, die neben dem Vergleich zwischen den Bundesländern eine Längsschnittbetrachtung für jedes einzelne Bundesland zulässt. Dazu wird der Vergleichsmaßstab im Standardisierungsverfahren wie in den Vorjahren modifiziert. Die aktuellen Absolutwerte eines Indikators werden zu den Durchschnitten der Minima und Maxima im Stützzeitraum 1998-2002 in Beziehung gesetzt. Die Formeln (1a) und (1b) ändern sich wie folgt, mit mj,n = 0, falls für das Jahr n keine Daten vorliegen, und mj,n = 1, sofern Daten für das betreffende Erhebungsjahr existieren:
| (2a) |  |
| (2b) |  |
Im Unterschied zum Bildungsmonitor 2004 kann ein Bundesland im aktualisierten IW-Bildungsmonitor 2009 bei einer ungünstigen Entwicklung gegenüber dem Zeitraum 1998-2002 einen Punktwert für einen Indikator kleiner als null zugewiesen bekommen. Andererseits kann eine sehr günstige Entwicklung dazu führen, dass ein Punktwert von größer als 100 erzielt wird. Auch beim modifizierten Verfahren bleibt der Vorteil erhalten, dass Ausreißer unter den Bundesländern nach oben oder unten eine hohe Aufmerksamkeit erhalten.
Zum Beispiel: Bayern und Bremen bilden in den beiden für den Stützzeitraum verfügbaren Datenjahren das Minimum und das Maximum bei den relativen Bildungsausgaben. Thüringen liegt sowohl gemessen am Absolutwert (113,8 Prozent) als auch am Punktwert genau in der Mitte mit einem gleich großen Abstand zu beiden Extremwerten. In den beiden Folgejahren verbessern sich die relativen Bildungsausgaben in Thüringen erheblich und nähern sich nicht nur dem Bestwert des Stützzeitraums an, sondern darüber hinaus auch dem nur leicht gestiegenen Wert Bayerns.
| (3) |  |
mit aj = 1 oder aj = 0,5 oder aj = 0
Die Bewertungen der einzelnen Indikatoren werden anschließend zu einer Bewertung für jedes Handlungsfeld (l) zusammengeführt (Gleichung 3). Die Indikatoren erhalten dabei in der Regel das gleiche Gewicht (a). Davon ausgenommen sind 20 der 102 Kennziffern, bei denen es aufgrund der Datengrundlage möglich war, den eigentlich interessierenden Zusammenhang zwischen der Kennziffer und dem Untersuchungsziel in zwei Teilaspekte aufzuspalten. Um eine Übergewichtung zu verhindern, erhalten diese Kennziffern lediglich das halbe Gewicht. Da zudem bei wenigen Indikatoren für einzelne Bundesländer aus erhebungstechnischen Gründen keine Daten vorliegen, sinkt in einigen Fällen die Anzahl der berücksichtigten Indikatoren unter die Gesamtzahl von 102 Kennziffern. Die fehlenden Indikatoren werden bei der Beurteilung der betroffenen Bundesländer mit dem Faktor aj = 0 gewichtet. Anschließend gehen die 13 Handlungsfelder mit dem gleichen Gewicht in die Berechnung des Gesamtbenchmarkings ein (Gleichung 4).
| (4) |  |
Das Ergebnis des Bildungsmonitors hängt vom Aggregationsverfahren und damit von der Gewichtung der einzelnen Kennziffern sowie der Handlungsfelder ab. Dieser Einwurf gilt für jedes Benchmarking. Im Folgenden wird auf die einfachste Gewichtungsvariante – dies ist die Gleichgewichtung der Faktoren und Handlungsfelder – zurückgegriffen, weil weder für die Hauptfragestellung des Bildungsmonitors, in welchem Umfang ein Bildungssystem gute Voraussetzungen zur Förderung des wirtschaftlichen Wachstums schafft, noch für jedes einzelne Handlungsfeld ein geschlossenes Modell formuliert werden kann, das eine Hilfestellung für die Gewichtungsentscheidung bietet (Plünnecke/Stettes, 2005, 21 ff.). Es existieren weder für die einzelnen Handlungsfelder noch für die Gesamtbeurteilung operationalisierbare Ergebnisvariablen, deren Abhängigkeit von den Einzelindikatoren durch ein ökonometrisches Verfahren zutreffend beschrieben werden kann. Das führt im Bildungsmonitor dazu, dass das effektive Gewicht einer einzelnen Kennziffer für die Gesamtbewertung von der Zahl der Kennziffern in den einzelnen Handlungsfeldern abhängt. Aus diesem Grund wird die Robustheit des Benchmarkings durch Sensitivitätsanalysen überprüft, in denen die Gewichtung der Handlungsfelder oder der einzelnen Kennziffern modifiziert wird.
Die Ergebnisse, eine Literaturliste sowie ausführlichere Darstellung der Ergebnisse von Sensitivitätsanalysen finden sich im Gesamtbericht zum "Bildungsmonitor 2009" (siehe "Downloads").
