Der Bildungsmonitor 2007 - Initiative Neue Soziale Marktwirtschaft
Methodik des Bildungsmonitors 2007
Die Studie vergleicht die Bildungssysteme der 16 deutschen Bundesländer an Hand von 104 Indikatoren. Diese werden 13 bildungspolitischen Handlungsfeldern (mehr dazu im Glossar) zugeordnet. Mit einem linearen Standardisierungsverfahren werden die Variablen, die unterschiedliche Skalierungen aufweisen, in eine Punkteskala 0 bis 100 “übersetzt” und so vergleichbar gemacht. Die verwendeten Indikatoren wurden unter anderem von den Statistischen Landesämtern der Bundesländer und der OECD erhoben und stammen mehrheitlich aus dem Jahr 2005, dem aktuellsten statistisch erhobenen Kalenderjahr, das derzeit vorliegt.
Das so genannte Dynamik-Ranking vergleicht die Länder an Hand der Veränderungen bei einzelnen Indikatoren zwischen dem Bildungsmonitor 2004 und dem Bildungsmonitor 2007. Alle hier dokumentierten Veränderungswerte sind Punktwerte.
Das so genannte Bestands-Ranking vergleicht die Länder an Hand der absoluten Zahlen zum im aktuellen Bildungsmonitor betrachteten Zeitraum. Alls Werte werden hier in den entsprechenden Einheiten angegeben: Prozent, Euro, etc.
Zum Benchmarking
Der Bildungsmonitor hat das Ziel, auf Basis von 13 Handlungsfeldern die Bildungssysteme der 16 deutschen Bundesländer einem systematischen Benchmarking zu unterziehen. Da Bildung als ein kumulativer Prozess aufgefasst werden muss, werden die vier Bildungsbereiche: Elementar-, Primar-, Sekundar- und Tertiärbereich betrachtet.
Auf diese Weise wird zum einen die gesamte Zeitachse von der Vorschule bis zur Universität und beruflichen Weiterbildung berücksichtigt. Auf der anderen Seite erlaubt der der Studie zugrunde liegende Ansatz Rückschlüsse darauf, welche Stärken und Schwächen das jeweilige Bundesland – im Vergleich zu den anderen – in den einzelnen Handlungsfeldern aufweist. Muster sowie Stärken/Schwächen-Profile werden
somit sichtbar.
Die Qualität, die Effizienz und die Effektivität eines Bildungssystems können mittels Indikatoren erfasst und evaluiert werden (Kurz, 2005, 427 ff.). Diese Zielsetzung wird im Bildungsmonitor 2007 umgesetzt, indem die humankapitaltheoretisch begründeten Bildungsziele als Handlungsfelder formuliert werden. Die konkrete Methodik bei der aktuellen Studie ist ebenso wie bei früheren Bildungsmonitor-Studien somit das indikatorengestützte Benchmarking.
Das Benchmarking dient einerseits dazu, unterschiedliche Ziele, Institutionen und Untersuchungsobjekte miteinander vergleichbar zu machen. Zu diesem Zweck werden die einzelnen Aspekte der Bildungssysteme der 16 deutschen Bundesländer mit Hilfe der insgesamt 104 Input- und Outputindikatoren operationalisiert und standardisiert. Zwischen den Input-/Prozessvariablen und dem Output wird kein monokausaler Zusammenhang vorausgesetzt. Vielmehr werden die Zusammenhänge als ein komplexes Zusammenspiel aller Faktoren betrachtet, das in seiner systemischen Gesamtheit gesehen werden muss (Kurz, 2005, 427 ff.; Klein/Hüchtermann, 2003, 93 ff.).
Das Benchmarking kann der Bildungspolitik Entscheidungshilfen geben und aufzeigen, in welchen Bereichen bildungspolitisches Handeln besonders dringend geboten ist. Es gibt Aufschluss über mögliche Ansatzpunkte für bildungspolitische Reformbemühungen, damit die bildungsökonomischen Ziele realisiert werden können (zum Nutzen von Bildungs-Benchmarking-Studien vergleiche OECD, 2006a, 19).
Die Methodik des Benchmarking als Bewertungssystem für Vergleiche von Bildungssystemen wird häufig hinterfragt, weil nicht messbare Tatbestände, die ebenfalls auf die Zielgröße einwirken, unberücksichtigt bleiben.1 Der Wert der Methodik des Benchmarkings wird dadurch aber nicht eingeschränkt. Basierend auf seinen Ergebnissen kann für jedes Land eine passgenaue Lösung zur Lösung der aufgezeigten Probleme entwickelt werden (Descy/ Tessaring, 2006, 157). In Abhängigkeit der Ausgangssituation können spezifische Ziele definiert werden. Ein Benchmarking kann zudem die Fortschritte beim Grad der Zielerreichung dokumentieren, wenn das Bewertungsverfahren einen zeitlichen Vergleich ermöglicht. Die überwiegende Menge der in den Handlungsfeldern verwendeten Kennziffern entspricht dem Indikatoren-Set der vorherigen Bildungsmonitor-Studien. Da die Auswahl von Bildungsindikatoren grundsätzlich von der eigenen Zielsetzung bestimmt wird (Meyer, 2004, 11) und sich in der vorliegenden Studie konzeptionell-methodische Weiterentwicklungen ergaben, wurde die Indikatorenliste leicht überarbeitet. Bei der Auswahl und Modifizierung der Indikatoren orientierte man sich nach folgenden Grundsätzen (vergleiche auch Anforderungen an Indikatoren-Auswahl bei Meyer, 2004, 24):
- Die Indikatoren sollten einen Erklärungsbeitrag hinsichtlich der bildungsökonomischen Ziele und der Handlungsfelder leisten können,
- sie sind messbar und
- zur Lösung der formulierten Probleme im gewünschten Arbeitskontext relevant und
- für die Zielgruppen der Studie nachvollziehbar.
Die Studie vergleicht die Bildungssysteme der 16 deutschen Bundesländer an Hand von 104 Indikatoren. Diese werden 13 bildungspolitischen Handlungsfeldern (mehr dazu im Glossar) zugeordnet. Mit einem linearen Standardisierungsverfahren werden die Variablen, die unterschiedliche Skalierungen aufweisen, in eine Punkteskala 0 bis 100 “übersetzt” und so vergleichbar gemacht. Die verwendeten Indikatoren wurden unter anderem von den Statistischen Landesämtern der Bundesländer und der OECD erhoben und stammen mehrheitlich aus dem Jahr 2005, dem aktuellsten statistisch erhobenen Kalenderjahr, das derzeit vorliegt.
Das so genannte Dynamik-Ranking vergleicht die Länder an Hand der Veränderungen bei einzelnen Indikatoren zwischen dem Bildungsmonitor 2004 und dem Bildungsmonitor 2007. Alle hier dokumentierten Veränderungswerte sind Punktwerte.
Das so genannte Bestands-Ranking vergleicht die Länder an Hand der absoluten Zahlen zum im aktuellen Bildungsmonitor betrachteten Zeitraum. Als Werte werden hier in den entsprechenden Einheiten angegeben: Prozent, Euro, etc.
Zum Benchmarking
Der Bildungsmonitor hat das Ziel, auf Basis von 13 Handlungsfeldern die Bildungssysteme der 16 deutschen Bundesländer einem systematischen Benchmarking zu unterziehen. Da Bildung als ein kumulativer Prozess aufgefasst werden muss, werden die vier Bildungsbereiche: Elementar-, Primar-, Sekundar- und Tertiärbereich betrachtet.
Auf diese Weise wird zum einen die gesamte Zeitachse von der Vorschule bis zur Universität und beruflichen Weiterbildung berücksichtigt. Auf der anderen Seite erlaubt der der Studie zugrunde liegende Ansatz Rückschlüsse darauf, welche Stärken und Schwächen das jeweilige Bundesland – im Vergleich zu den anderen – in den einzelnen Handlungsfeldern aufweist. Muster sowie Stärken/Schwächen-Profile werden
somit sichtbar.
Die Qualität, die Effizienz und die Effektivität eines Bildungssystems können mittels Indikatoren erfasst und evaluiert werden (Kurz, 2005, 427 ff.). Diese Zielsetzung wird im Bildungsmonitor 2007 umgesetzt, indem die humankapitaltheoretisch begründeten Bildungsziele als Handlungsfelder formuliert werden. Die konkrete Methodik bei der aktuellen Studie ist ebenso wie bei früheren Bildungsmonitor-Studien somit das indikatorengestützte Benchmarking.
Das Benchmarking dient einerseits dazu, unterschiedliche Ziele, Institutionen und Untersuchungsobjekte miteinander vergleichbar zu machen. Zu diesem Zweck werden die einzelnen Aspekte der Bildungssysteme der 16 deutschen Bundesländer mit Hilfe der insgesamt 104 Input- und Outputindikatoren operationalisiert und standardisiert. Zwischen den Input-/Prozessvariablen und dem Output wird kein monokausaler Zusammenhang vorausgesetzt. Vielmehr werden die Zusammenhänge als ein komplexes Zusammenspiel aller Faktoren betrachtet, das in seiner systemischen Gesamtheit gesehen werden muss (Kurz, 2005, 427 ff.; Klein/Hüchtermann, 2003, 93 ff.).
Das Benchmarking kann der Bildungspolitik Entscheidungshilfen geben und aufzeigen, in welchen Bereichen bildungspolitisches Handeln besonders dringend geboten ist. Es gibt Aufschluss über mögliche Ansatzpunkte für bildungspolitische Reformbemühungen, damit die bildungsökonomischen Ziele realisiert werden können (zum Nutzen von Bildungs-Benchmarking-Studien vergleiche OECD, 2006a, 19).
Die Methodik des Benchmarking als Bewertungssystem für Vergleiche von Bildungssystemen wird häufig hinterfragt, weil nicht messbare Tatbestände, die ebenfalls auf die Zielgröße einwirken, unberücksichtigt bleiben.1 Der Wert der Methodik des Benchmarkings wird dadurch aber nicht eingeschränkt. Basierend auf seinen Ergebnissen kann für jedes Land eine passgenaue Lösung zur Lösung der aufgezeigten Probleme entwickelt werden (Descy/ Tessaring, 2006, 157). In Abhängigkeit der Ausgangssituation können spezifische Ziele definiert werden. Ein Benchmarking kann zudem die Fortschritte beim Grad der Zielerreichung dokumentieren, wenn das Bewertungsverfahren einen zeitlichen Vergleich ermöglicht. Die überwiegende Menge der in den Handlungsfeldern verwendeten Kennziffern entspricht dem Indikatoren-Set der vorherigen Bildungsmonitor-Studien. Da die Auswahl von Bildungsindikatoren grundsätzlich von der eigenen Zielsetzung bestimmt wird (Meyer, 2004, 11) und sich in der vorliegenden Studie konzeptionell-methodische Weiterentwicklungen ergaben, wurde die Indikatorenliste leicht überarbeitet. Bei der Auswahl und Modifizierung der Indikatoren orientierte man sich nach folgenden Grundsätzen (vergleiche auch Anforderungen an Indikatoren-Auswahl bei Meyer, 2004, 24):
- Die Indikatoren sollten einen Erklärungsbeitrag hinsichtlich der bildungsökonomischen Ziele und der Handlungsfelder leisten können,
- sie sind messbar und
- zur Lösung der formulierten Probleme im gewünschten Arbeitskontext relevant und
- für die Zielgruppen der Studie nachvollziehbar.
Standardisierungs- und Aggregations-Verfahren
Der Bildungsmonitor soll die Bildungssysteme der Bundesländer einerseits zu einem bestimmten Zeitpunkt vergleichen und andererseits Verschlechterungen oder Verbesserungen bei den Voraussetzungen zur Förderung des wirtschaftlichen Wachstums aufzeigen. Die Studie stellt daher wie in den Vorjahren sowohl einen Quer- als auch Längsschnittvergleich an.
In einem ersten Schritt wurde zunächst ein Stützzeitraum ausgewählt, der die Jahre 1998 bis 2002 umfasst. Wenn für ein Jahr (k) innerhalb des Stützzeitraums bei einem Indikator (j) für ein Bundesland (i) ein absoluter Wert vorhanden war, wurde dieser mittels eines linearen Standardisierungsverfahren in dimensionslose Punktwerte transformiert, um den Vergleich unterschiedlich skalierter Kenngrößen zu erlauben. Die Ausprägungen werden dabei für jedes verfügbare Datenjahr zwischen 0 und 100 normiert.
Falls höhere Absolutwerte als günstiger eingeschätzt werden, ergibt sich der standardisierte Punktwert (E) aus:
| (1a) |  |
| (1b) |  |
Das lineare Standardisierungsverfahren weist zudem den Vorteil auf, dass es bei jeder Kennziffer die Abstände der Bundesländer untereinander maßstabsgetreu zu den Abständen widerspiegelt, die aus einer Betrachtung der Absolutwerte resultieren. Hinzu kommt, dass das lineare Standardisierungsverfahren Ausreißerwerte nach oben und unten betont. Kleinere Unterschiede zwischen zwei Bundesländern gehen in den Fällen weniger stark in die Bewertung ein, wenn ein drittes Bundesland sich von den anderen beiden erheblich abhebt. Dieses Vorgehen ist gerade für den Vergleich der regionalen Bildungssysteme innerhalb Deutschlands sinnvoll. Die an sie gestellten Anforderungen sind identisch, denn die Bundesländer bilden einen einheitlichen Wirtschaftsraum, in dem sich Personen und Unternehmen frei bewegen können.
Die Bewertung eines Bundeslands bei einem Indikator für den gesamten Stützzeitraum – im folgenden Bildungsmonitor 2004 genannt – wird aus dem Durchschnitt der Bewertungen für die einzelnen Jahre zwischen 1998 und 2002 ermittelt. Für eine Reihe von Kennziffern – zum Beispiel die PISA-Ergebnisse – liegen jedoch Daten nur für ein Jahr oder nur für wenige Jahre vor. In diesen Fällen resultiert die Durchschnittsbeurteilung entsprechend aus weniger Datenpunkten. Das Bewertungsverfahren führt dazu, dass ein Bundesland im Bildungsmonitor 2004 bei einer Kennziffer nur dann den maximal möglichen Punktwert 100 erzielen kann, wenn das betreffende Bundesland sich in jedem vorhandenen Erhebungsjahr des Stützzeitraumes durch die bestmögliche Ausprägung auszeichnet. Analog hierzu ergibt sich die Minimalbewertung von Null Punkten nur in dem Fall, wenn ein Land zu jedem Erhebungszeitpunkt die schlechtestmögliche Ausprägung bei einem Indikator aufweist. Im Unterschied zur Betonung von Ausreißerwerten durch das lineare Standardisierungsverfahren verringert die Bildung des Stützzeitraums die Wahrscheinlichkeit, dass der Ausgangwert durch ein einziges Ausreißerjahr verzerrt wird.
In einem zweiten Schritt erfolgt dann die Bewertung für das aktuelle Berichtsjahr, die neben dem Vergleich zwischen den Bundesländern eine Längsschnittbetrachtung für jedes einzelne Bundesland zulässt. Dazu wird der Vergleichsmaßstab im Standardisierungsverfahren wie in den Vorjahren modifiziert. Die aktuellen Absolutwerte eines Indikators werden zu den Durchschnitten der Minima und Maxima im Stützzeitraum 1998-2002 in Beziehung gesetzt. Die Formeln (1a) und (1b) ändern sich wie folgt, mit mj,n = 0, falls für das Jahr n keine Daten vorliegen, und mj,n = 1, sofern Daten für das betreffende Erhebungsjahr existieren:
| (2a) |  |
| (2b) |  |
Zum Beispiel: Bayern und Bremen bilden in den beiden für den Stützzeitraum verfügbaren Datenjahren das Minimum und das Maximum bei den relativen Bildungsausgaben. Thüringen liegt sowohl gemessen am Absolutwert (113,8 Prozent) als auch am Punktwert genau in der Mitte mit einem gleich großen Abstand zu beiden Extremwerten. In den beiden Folgejahren verbessern sich die relativen Bildungsausgaben in Thüringen erheblich und nähern sich nicht nur dem Bestwert des Stützzeitraums an, sondern darüber hinaus auch dem nur leicht gestiegenen Wert Bayerns.
| (3) |  |
Die Bewertungen der einzelnen Indikatoren werden anschließend zu einer Bewertung für jedes Handlungsfeld (l) zusammengeführt (Gleichung 3). Die Indikatoren erhalten dabei in der Regel das gleiche Gewicht (a). Davon ausgenommen sind 20 der 104 Kennziffern, bei denen es aufgrund der Datengrundlage möglich war, den eigentlich interessierenden Zusammenhang zwischen der Kennziffer und dem Untersuchungsziel in zwei Teilaspekte aufzuspalten. Um eine Übergewichtung zu verhindern, erhalten diese Kennziffern lediglich das halbe Gewicht. Da zudem bei wenigen Indikatoren für einzelne Bundesländer aus erhebungstechnischen Gründen keine Daten vorliegen, sinkt in einigen Fällen die Anzahl der berücksichtigten Indikatoren unter die Gesamtzahl von 104 Kennziffern. Die fehlenden Indikatoren werden bei der Beurteilung der betroffenen Bundesländer mit dem Faktor aj = 0 gewichtet. Anschließend gehen die 13 Handlungsfelder mit dem gleichen Gewicht in die Berechnung des Gesamtbenchmarkings ein (Gleichung 4).
| (4) |  |
