Didaktik beruflicher Bildung

Der proximalen Erfassung des (fachspezifischen) Lehrerwissens kommt in der vergangenen Dekade eine erhöhte Bedeutung zu. Aktuelle Forschungsperspektiven zielen nun auf die Analyse des Lehrerwissens über die bislang recht gut erforschten Domänen hinaus, unter stärkerer (validitätsbezogener) Berücksichtigung der bei der Aufgabenbearbeitung zugrunde liegenden Denkprozesse (NEUWEG 2011). Der Beitrag, der sich auf die durchgeführte BMBF-Studie zur Modellierung und Erfassung des wirtschaftsdidaktischen Wissens von (angehenden) Lehrkräften im kaufmännisch-verwaltenden Bereich stützt (FKZ: 01JG0928), greift den Aspekt der Analyse von wirtschaftsdidaktischen Aufgaben mittels kognitiver Interviews heraus. Ausgehend von einem entwickelten Theoriemodell, welches die unterrichtspraktischen Anforderungen an eine Lehrkraft um spezifische kaufmännisch-verwaltende Bezüge präzisiert, werden insbesondere die modellierten Denkprozesse und deren Operationalisierung mittels situationsnaher Aufgaben mit offenem und Multiple Choice (MC)-Format in den Blick genommen. Es wird untersucht, inwieweit die Aufgaben die theoretisch postulierten wirtschaftsdidaktischen Denkprozesse bei der Aufgabenbearbeitung tatsächlich anregen können und so ein weiterer Hinweis zur Beurteilung der Validität des Testinstruments geliefert werden kann. Hierzu werden die Befunde vorgestellt, die mittels der Methode des lauten Denkens bei Studierenden der Wirtschaftspädagogik und Lehrenden mit Fach Wirtschaft gewonnen wurden. Der Durchführung kognitiver Interviews dürfte, wie unsere Befunde nahelegen, im Rahmen von Validierungsstudien zum fachdidaktischen Lehrerwissen eine hohe Bedeutung zukommen.

1 Relevanz kognitiver Interviews im Rahmen der Validierung

Die Beurteilung und Optimierung der fachdidaktischen Lehrerausbildung auf der Basis von Output-Messungen setzt eine kritische Prüfung derjenigen Testinstrumente voraus, die eine valide Erfassung fachdidaktischer Kompetenz beanspruchen. Neben den geläufigen Validierungsverfahren hat sich in den letzten Jahren ein weiteres Verfahren etabliert, das im Rahmen von Pretests zur Anwendung kommt und wichtige Einblicke in die Messqualität und Zielgenauigkeit von Testitems ermöglicht. Es handelt sich um das sogenannte kognitive Interview (KURZ/ PRÜFER/ REXROTH 1999) . Es erweitert die aus herkömmlichen Testentwicklungsverfahren (wie quantitative Pretests, Experteninterviews) gewonnenen Daten um Informationen zu den Aufgabenbearbeitungsprozessen, also den Denkprozessen, Entscheidungsstrategien, Heuristiken, Schlussweisen und weiteren Reflexionen der Probanden. Damit eröffnet es einen empirischen Zugang zu denjenigen kognitiven Prozessen, die einer Aufgabenbearbeitung („task performance“) zugrunde liegen. In vielen erziehungswissenschaftlichen Studien werden sie – wenn überhaupt – nur auf theoretischer Ebene behandelt und bleiben so für einen qualitätsrelevanten Erkenntnisgewinn in Sachen Validität ungenutzt (KANE 2009; LEIGHTON 2004) . Gängige Validierungsverfahren beschränken sich häufig auf einen quantitativen Zugang zur Prüfung der Konstruktvalidität, bei dem im Wesentlichen Lösungen bestimmter Testitems aggregiert, generalisiert und mit zusätzlich erhobenen Kriterien (z. B. Anzahl besuchter Lehrveranstaltungen) unter Bezugnahme auf die theoretisch postulierten Annahmen verglichen werden. Diese Analysen finden mittels Methoden der klassischen und/oder probabilistischen Testtheorie bspw. in Form von Faktorenanalysen, Strukturgleichungsmodellierungen und anderen statistischen Verfahren statt und werden als hinreichender Indikator für die Validität eines Tests angesehen. Solche Verfahren liefern jedoch ähnlich wie klassische Multitrait-Multimethod-Matrizen (CAMPELL/ FISKE 1959) nur generalisierte Produktinformationen und vernachlässigen prozessbezogene Aspekte von Validität, wie sie bspw. in den Validierungsansätzen von u.a. KANE (2009) und MESSICK (1989) seit langem gefordert werden.

Ausgehend vom Forschungsstand zu kognitiven Interviews lassen sich im Wesentlichen zwei Aufgaben identifizieren, die für die Testkonstruktion und den mit ihr einhergehenden Validierungsprozess von besonderer Relevanz sind: die formale Prüfung der Testaufgaben sowie ihre kognitive Validierung ( LEIGHTON et al. 2011) . Während die formale Prüfung („Item clarity“) vor allem eine Beurteilung der Aufgaben hinsichtlich ihrer sprachlichen Eindeutigkeit, Verständlichkeit und Fehlerfreiheit ermöglicht, dient die Analyse der kognitiven Prozesse einem Abgleich von erwarteten Denkprozessen bei der Aufgabenbearbeitung mit den von den Probanden tatsächlich gezeigten bzw. verbalisierten Prozessen im Sinne eines „Alignments“ ( FERRARA et al. 2004; LEIGHTON et al. 2011) . Die Analyse der kognitiven Prozesse kann neben einem reinen Vergleich der Denkprozesse (Alignment 1. Ordnung) auch um die Folgerichtigkeit der Lösung auf Basis der tatsächlich gezeigten Denkprozesse erweitert werden (Alignment 2. Ordnung) (BRÜCKNER/ KUHN 2013). Insoweit können a-priori getroffene Annahmen über konstruktbezogene Denkprozesse, die für die Aufgabenbearbeitung als notwendig erachtet werden, hinsichtlich ihrer Gültigkeit überprüft werden.

Die Erforschung des domänenspezifischen Lehrerwissens konnte auf nationaler Ebene insbesondere in der vergangenen Dekade große Fortschritte erzielen. Allerdings liegen die Dinge jenseits der relativ gut untersuchten Domänen (v.a. Mathematik, Naturwissenschaften, u. a. BLÖMEKE/ KAISER/ LEHMANN 2008; KUNTER et al. 2011; RIESE/ REINHOLD 2012) noch weitgehend im Dunkeln, insbesondere hinsichtlich der kognitiven Prozesse, die bei der Bearbeitung realer oder testbasierter Aufgaben durchlaufen werden (z. B. NEUWEG 2011). Die unserer Untersuchung zugrundeliegende BMBF-geförderte Studie, die sich in erster Linie der theoretischen Modellierung und validen Erfassung des wirtschaftsdidaktischen Wissens von (angehenden) Lehrern [1] im kaufmännisch-verwaltenden Bereich widmet (vgl. für einen Überblick in KUHN 2013; KUHN et al. 2013), greift ein breites Spektrum von Forschungsfragen auf. Im vorliegenden Beitrag fokussieren wir auf die Itemanalyse mittels kognitiver Interviews, die einen ersten qualitativen Zugang zur Beurteilung der für einen entsprechenden Test vorgesehenen wirtschaftsdidaktischen Aufgaben ermöglichen.

In Kapitel 2 wird das Konstrukt „wirtschaftsdidaktisches Wissen“ präzisiert. Dies ermöglicht die Identifikation derjenigen Denkweisen, die für die Lösung einschlägiger Testaufgaben erforderlich sind und auf deren Durchlaufen bei der Analyse der kognitiven Prozesse daher zu achten sein wird. In Kapitel 3 folgt eine Beschreibung der Durchführung von sechs kognitiven Interviews zu den vorgesehenen Testitems mittels der Methode des „concurrent“ und „retrospective“ Laut-Denkens, an die sich die Darstellung der angewandten Kodierverfahren anschließt. Kapitel 4 enthält anhand von Probandenantworten eine exemplarische Darstellung und Interpretation der Ergebnisse, die sich sowohl auf die formale Prüfung der Items als auch auf die Analyse der bei der Testbearbeitung ablaufenden kognitiven Prozesse beziehen. Sie liefern wichtige Hinweise zur Einschätzung und Überarbeitung der wirtschaftsdidaktischen Testaufgaben. Im abschließenden Kapitel 5 diskutieren wir die Relevanz und das Potential der Methode des lauten Denkens zur Validitätsbeurteilung von Testitems. [2]

2 Konzeptionierung und Operationalisierung des  wirtschaftsdidaktischen Wissens

2.1 Konzeptionierung des wirtschaftsdidaktischen Wissens

Hinsichtlich der Erfassung des wirtschaftsdidaktischen Wissens von (angehenden) Lehrern steht die Forschung noch ganz am Anfang (KUHN et al. 2013, zu ersten Ansätzen vgl. insb. SEEBER/ MINNAMEIER 2010; SEIFRIED/ WUTTKE 2010; REETZ 2009). Gerade für den berufsbildenden Unterricht zeigen sich – im Vergleich zum allgemeinbildenden Unterricht – Besonderheiten darin, dass nicht der traditionellen Fächerstrukturierung, sondern einer an beruflichen Handlungen ausgerichteten Lernfeldorientierung gefolgt wird. Daher ist weniger vom „Fach“ Wirtschaft die Rede, sondern vielmehr vom kaufmännisch-verwaltenden Bereich, der unterschiedliche wirtschaftsbezogene Lernfelder und -bereiche umschließt. [3]

Um dennoch an die Studien aus anderen Domänen (s. o.) anschließen und bereits vorliegende Strukturierungen des fachdidaktischen Lehrerwissens nutzen zu können, wurden umfassende Dokumentenanalysen durchgeführt, die eine tiefergehende kognitionsbezogene und domänenspezifische Präzisierung erlauben sollten. Mit Blick auf die Zielstellung dieses Beitrags, die sich auf die Aufgabenanalyse mittels kognitiver Interviews richtet, wird im Folgenden nur auf einen Ausschnitt der Konzeptionierung des wirtschaftsdidaktischen Wissens eingegangen, der als Ausgangspunkt für die Aufgabenkonstruktion und die daran anschließenden (kognitiven) Analysen diente (zum gesamten Strukturmodell vgl. KUHN 2013; auch KUHN et al. 2013). Die Gründe für diesen eingeschränkten Testausschnitt lieferten die Dokumentenanalysen, ergänzt um Gespräche mit Experten (Fachleiter der BWL und VWL, Dozenten fachdidaktischer Lehrveranstaltungen, Lehrer mit Fach Wirtschaft).

Ausgehend von den bereits vorliegenden Strukturierungen des fachdidaktischen Lehrerwissens in anderen Domänen wurde ein anforderungsbezogenes Verständnis des wirtschaftsdidaktischen Wissens zugrunde gelegt, das sich auf die Aspekte der „Unterrichtsplanung“ und der „Reaktion auf Schüleräußerungen“ bezieht. Trotz der erforderlichen Einschränkungen bleiben damit unterschiedliche inhaltliche Facetten des Konstrukts gewahrt, die eine lehrbezogene und lernprozessbezogene Perspektive der unterrichtspraktischen Anforderungen abbilden (vgl. insb. BLÖMEKE 2008; HEINZER/ OSER/ SALZMANN 2009).

Unter Bezugnahme auf SHULMAN (1986) sowie mit Blick auf die Operationalisierung mittels kontextspezifischer Testaufgaben erfolgte eine Fokussierung des fallbezogenen Wissens von Lehrern, das vom propositionalen und strategischen Wissen unterschieden wird. Um dem stark handlungs- und situationsbezogenen Charakter des Konstrukts auch bei der Testbearbeitung zu genügen, werden die – in der Taxonomie nach ANDERSON und KRATHWOHL (2001) höher angesiedelten – kognitiven Prozesse des „Anwendens“, „Analysierens“ sowie des „Kreierens“ als notwendig erachtet, um die wirtschaftsdidaktischen Aufgaben bewältigen zu können. Zwar gehen in diese Leistungen auch Prozesse des „Erinnerns“ und „Verstehens“ ein, doch können mit ihnen allein – i. S. SHULMANS (1987) „Comprehension alone is not sufficient” (14) […] „Comprehended ideas must be transformed in some manner if they are to be taught“ (16) – keine fachdidaktischen Anforderungen, wie sie hier verstanden werden, erfüllt werden.

Um die Vielfalt der zu unterrichtenden Lernfelder und Lernbereiche des kaufmännisch-verwaltenden Bereichs im Anforderungskontext an den Lehrer ansatzweise zu berücksichtigen, wurden die Inhaltsgebiete Verkauf, Beschaffung und Gesamtwirtschaft fokussiert. Sie können als Kerngebiete erachtet werden, die für viele kaufmännisch-verwaltende Ausbildungsberufe und Schulformen relevant sind (u. a. BRÖTZ et al. 2011). Im Zuge der Geschäftsprozessorientierung im berufsbildenden Unterricht bilden sie neben operativen Prozessen auch unternehmerische Rahmenbedingungen ab (s. auch WINTHER/ ACHTENHAGEN 2009). Mit den drei zu unterrichtenden Kerngebieten werden auch bestimmte zu fördernde Schülerkompetenzen fokussiert (bspw. Entscheidungen erwägen, Konflikte bewältigen), denen im kaufmännisch-verwaltenden Unterricht ein besonderer Stellenwert zugeschrieben wird (u. a. DOLZANSKI 2012; KUTSCHA 2009).

Dieses für die Operationalisierung zugrunde gelegte Verständnis von „wirtschaftsdidaktischem Wissen im kaufmännisch-verwaltenden Bereich“ ist in Abbildung 1 in Form einer 4-Felder-Matrix vereinfachend dargestellt. [4]

Wirtschaftsdidaktisches Wissen im kaufmännisch-verwaltenden Bereich
Praktische Anforderungen	Kognitive Prozesse
	Anwenden & Analysieren	Kreieren
Unterrichtsplanung	6 Items	5 Items
Reaktion auf Schüleräußerungen	3 Items	3 Items
… in den Kerngebieten „Verkauf“, „Beschaffung“, „Gesamtwirtschaft“ bezogen auf zu fördernde Schülerkompetenzen (z. B. Entscheidungen erwägen, Konflikte bewältigen)

Abb. 1: 4-Felder-Matrix zur systematischen Itemkonstruktion (in Anlehnung an KUHN et al. 2013)

2.2 Konstruktion wirtschaftsdidaktischer Aufgaben

Die 4-Felder-Matrix diente dazu, die Breite des oben definierten Konstrukts in den zu entwickelnden Testaufgaben systematisch abzubilden. Unter Einbezug der o. g. Experten konnten auf dieser Grundlage reale Anforderungssituationen in der Lehrerbildung und Berufspraxis gesammelt und für die Formulierung der Items mittels situationsbasierter Aufgabenstämme genutzt werden. Ergänzend wurden weitere Bezüge in die Itementwicklung einbezogen, die u. a. wirtschaftsdidaktische Literaturbezüge (z. B. BÖHNER 2010; REETZ 2009), Materialien aus der Lehrerbildung (z. B. Unterrichtsentwürfe für Lehrproben), curriculare Vorgaben (z. B. Modulbeschreibungen) sowie Schulbücher, Rahmenlehrpläne oder Prüfungsbögen der IHK umfassten. Durch den Einbezug authentischer Bezüge konnte eine möglichst handlungsnahe Erfassung, trotz des zugrunde gelegten Paper-Pencil-Formats, zusätzlich begünstigt werden. Bei der Wahl nach einem geeigneten Antwortformat wurden für das „Kreieren“ offene Aufgaben, für „Anwenden und Analysieren“ – auch aus ökonomischen Gründen – MC-Aufgaben formuliert. [5] Gemeinsam mit allgemeinen Richtlinien (z. B. CARLSON 1990; HALADYNA/ DOWNING 2004) wurden die für die Itemkonstruktion bedeutsamen studienspezifischen Hinweise in einem Leitfaden gesammelt und der Itementwicklung zugrunde gelegt.

Ein erster Aufgabenpool umfasste 34 Items, die mit Experten unter dem Aspekt ihrer angemessenen Formulierung und ihrer inhaltlichen Relevanz diskutiert wurden. Der Revisionsprozess (Überarbeitungen und Eliminierungen) führte zu einer vorläufigen Testversion mit 17 Items (s. Abbildung 1). Entsprechend den drei Kerngebieten wurden auch drei sog. Metakontexte formuliert, die eine kontext- bzw. lernfeldbezogene Einbettung der Items ermöglichten. Dem Probanden sollten sie als Orientierung dienen, sich in seine Rolle und den Kontext hineinzuversetzen (z. B. „Als Lehrkraft werden Sie im Lernfeld 3 „Beschaffungsprozesse […]“ bei Groß- und Außenhandelskaufleuten im ersten Ausbildungsjahr eingesetzt“) und inhaltsbezogene Grundlagen in Erinnerung zu rufen (durch einen abgebildeten Auszug aus dem Lernfeld). Insbesondere mit Blick auf die weiteren Analysen der kognitiven Prozesse (vgl. Kap. 3 und 4) wird im Folgenden exemplarisch ein Item dargestellt und hinsichtlich seiner zugrundeliegenden Annahmen erläutert (s. Abbildung 2).

[Subkontext] Sie sind mit Ihrem Unterricht vorangeschritten. Ihre Schüler des Groß- und Außenhandels haben gelernt, wie man anhand eines quantitativen Angebotsvergleichs (Preis als Entscheidungskriterium) eine Lieferantenauswahl vornehmen kann. Ihr Ziel ist es nun, dass die Schüler Entscheidungen unter Abwägung unsicherer Faktoren treffen können. Als Ausgangspunkt dient Ihnen die folgende Aufgabenstellung für die Schüler.

Abb. 2: 4-Felder-Matrix zur systematischen Itemkonstruktion (in Anlehnung an KUHN et al. 2013)

Das Item ist dem Kerngebiet „Beschaffung“ zugeordnet. Der Subkontext beschreibt zunächst den Vorwissensstand der Schüler („anhand eines quantitativen Angebotsvergleichs […] eine Lieferantenauswahl vornehmen“) und die sich nun ergebende Zielstellung („Entscheidungen unter Abwägung unsicherer Faktoren treffen können“). Die vorgelegte Aufgabenstellung genügt jedoch nicht dieser Zielstellung. Die Anforderungssituation an den Probanden als Teilaspekt der Unterrichtsplanung verlangt daher nach einer zielorientierten Aufbereitung der Aufgabe (s. REETZ 2009). Die Bewältigung dieser Aufgabe setzt voraus, dass sich der Proband an relevante fachdidaktische und fachliche Aspekte erinnert und diese versteht (z. B. Wonach verlangen Entscheidungsprozesse?, s. DOLZANSKI 2012). [6] Die Aufgabe selbst kann jedoch erst bewältigt werden, wenn diese Aspekte auf die spezifische Lernsituation angewandt und analysiert (z. B. was ist mit „Abwägung unsicherer Faktoren“ in diesem Kontext gemeint?) sowie eigene Ideen zur Umsetzung kreiert werden. Konkret werden hier zwei Verbesserungsvorschläge vom Probanden gefordert, die sich im Wesentlichen auf die Hinzunahme eines weiteren Angebots (als Voraussetzung für eine Entscheidungsmöglichkeit), auf die Aufnahme von qualitativen Aspekten (z. B. Termintreue, gemäß dem „qualitativen Angebotsvergleich“) und auf die Lebensnähe der Schüler (Auszubildende im Groß- und Außenhandel sind keine Handy-Verkäufer) beziehen können.

2.3 Bedeutung der Analyse kognitiver Prozesse

Mit der Durchführung kognitiver Interviews sollte ein weiteres Qualitätskriterium in den Konstruktions- und Validierungsprozess der wirtschaftsdidaktischen Aufgaben aufgenommen werden, nämlich die (kognitiven) Reaktionen der Probanden auf die Items. In Ergänzung zur Sicht der Experten, die eine inhaltliche Fundierung der wirtschaftsdidaktischen Items lieferte [7], war in diesen frühen Phasen der Itemkonstruktion eine substanzielle Verbesserung bzw. eine Sicherung der Testvalidität zu erwarten (BRÜCKNER/ KUHN 2013).

Mittels der im nächsten Kapitel dargestellten kognitiven Interviews wurden die Items neben einer formalen Prüfung auch einer Analyse der kognitiven Prozesse unter zwei Annahmen unterzogen. Diese Annahmen bildeten den Ausgangspunkt für die Entwicklung des Kodierschemas (s. Kap. 3) und damit zugleich für die Interpretation bei einem Abgleich mit den verbalisierten Gedanken der Probanden (s. Kap. 4):

1. Die Lösung wirtschaftsdidaktischer Aufgaben setzt zunächst voraus, dass sich der Proband an relevante fachdidaktische Aspekte (und dabei auch an relevante fachbezogene und allgemeindidaktische Aspekte i. S. des fach- und allgemeindidaktischen Wissens [8] ) erinnert und diese versteht. Die Lösung setzt jedoch auch voraus, dass diese Aspekte auf die in den Items vorgegebene spezifische Lernsituation bezogen werden (Anwendung und Analyse im Falle der MC-Aufgaben). Eigene Ideen zur Umsetzung (im Falle der offenen Aufgaben) sollten nur auf der Grundlage solcher Anwendungs- und Analyseleistungen kreiert werden können.
2. Die kognitive Verarbeitung (das Analysieren, Anwenden und Kreieren) ist elaborierter, wenn – unter Einbezug der entsprechenden fachdidaktischen Aspekte – eine umfassendere Perspektive auf die betrachtete Lernsituation eingenommen wird. Eine solche umfassendere Perspektive (Berücksichtigung einer größeren Zahl von Aspekten) kann – unter Bezugnahme auf die Expertiseforschung (vgl. BROMME/ HAAG 2004; ERICSSON 2000) – von Personen erwartet werden, die sich eher am Ende ihrer (fachdidaktischen) Lehrerausbildung befinden (z. B. Referendare mit Fach Wirtschaft).Sie generieren elaboriertere Lösungen als Personen, die eher am Anfang stehen (z. B. Bachelor-Studierende der Wirtschaftspädagogik).

3 Durchführung und Auswertung der kognitiven Interviews

3.1 Stichprobe und Ablauf

Die Auswahl der Probanden für die kognitiven Interviews erfolgte nicht nur mit Blick auf die Stichprobe des späteren Feldtests, sondern sollte vor allem hinsichtlich der erwartbaren Varianz der Antworten möglichst breit streuen, so dass durch eine hohe Vielfalt der Gedanken potentielle Probleme in den Aufgabenstellungen sichtbar würden (MITTAG et al. 2003). Es geht somit im Unterschied zu quantitativen Pretests nicht darum, Qualitätsprobleme der Items mittels der Häufigkeiten oder anderer Messcharakteristika in den Antwortverteilungen bei einer hohen Probandenzahl zu identifizieren, sondern vielmehr darum, die Breite des Spektrums möglicher Bearbeitungsschwierigkeiten und Messzielverfehlungen zu sondieren. So lässt sich erkennen, welche Fehlannahmen und begrifflichen Unschärfen in den Aufgaben enthalten sind, die zu Lösungen führen, welche von den Testkonstrukteuren nicht intendiert waren und die das Ziel der Messung nicht repräsentieren.

In aller Regel werden kognitive Interviews mit wenigen Personen (ca. 5-20) durchgeführt (NIELSEN 1994). In der vorliegenden Untersuchung zum fachdidaktischen Wissen bestimmt sich die Zugehörigkeit zur auszuwählenden Personengruppe über die im vorherigen Kapitel getroffenen Annahmen. Demzufolge wurden drei Studierende der Wirtschaftspädagogik mit unterschiedlichem Studienfortschritt sowie zwei Referendare mit Schwerpunktfach Wirtschaft interviewt. Zum Zweck der (diskriminanten) Validierung wurde auch ein Studierender der Wirtschaftswissenschaften gegen Ende seines Studiums befragt, dessen Fachwissen nicht zur Lösung der Aufgabe ausreichen sollte. Unter den vier Studierenden und den beiden Referendaren mit einem Durchschnittsalter von 25,83 Jahren (SD = 2,36) war die Geschlechtszugehörigkeit gleichverteilt.

Kognitive Interviews dieses Typs werden in einem zweiteiligen Ablauf durchgeführt, um eine möglichst umfassende Qualitätseinschätzung der Aufgaben zu erhalten. Einer „concurrent“ Laut-Denken-Phase, in der ausschließlich die Testbearbeitung bei lautem Denken vorgesehen ist, folgt eine „retrospective“ Phase, in der, anhand von Notizen, Rückfragen durch den Testleiter gestellt werden. Mit Blick auf potentielle Störfaktoren (z. B. Tonbandaufzeichnung, Interviewerverhalten, Ermüdungserscheinungen) wurde der Ablauf der Interviews durch einen Leitfaden (Instruktionsanweisung, Warm-up Aufgabe [9] und Redestimulationsbefehl) sowie eine beschränkte Interviewdauer von maximal 1,5 Stunden weitgehend standardisiert (KURZ et al. 1999).

3.2 Kodierung

Im Anschluss an die Interviews wurde das Datenmaterial der „concurrent“ Laut-Denken- Phase transkribiert, mit Memos versehen, welche die Prosodie und (sofern für den Lösungsprozess für bedeutsam erachtet) Mimik und Gestik der Probanden chronologisch festhalten, und mit der Software MAXQDA10 kodiert. Hierbei ist es notwendig, die Kodierung entsprechend den beiden Zielen (formale Aufgabenprüfung und Analyse der kognitiven Prozesse) getrennt durchzuführen, was zwei unterschiedliche Kodierschemata voraussetzt.

Zur Identifizierung von formalen Aufgabenproblemen bietet sich eine Kodierung nach sechs Problembereichen an (BRÜCKNER/ KUHN 2013). Sie umfassen (1) Darstellungsprobleme, typographische und grammatikalische Fehler der Aufgabe, (2) unpassendes Aufgabenformat, (3) Mehrdeutigkeiten und ungenaue Formulierungen der Fragestellungen, (4) überflüssige Inhalte und Wörter im Aufgabenstamm, in der Aufgabe oder in den Antwortmöglichkeiten (MC), die die Aufgabenlösung verzögern, (5) weitere richtige/falsche Aufgabenlösungen, die im Voraus nicht bekannt waren, (6) zu leichte oder zu schwierige Aufgaben, die jeder oder kein Proband lösen kann. [10] Die einzelnen Bereiche werden durch verschiedene Subcodes allgemeiner kognitiver Prozesse wie Wortwiederholungen, stockendes Lesen, Interjektionen des Missverstehens (bspw. „Häh?“, „Wie?“) sowie durch die retrospective Phase, also durch Nachfragen des Testleiters zu bestimmten Äußerungen des Probanden, präzisiert. Die Kodierungen ermöglichen es, Schwächen entlang der sechs Problembereiche in den Aufgaben zu erkennen und notwendige Überarbeitungen vorzunehmen.

Zur Analyse der kognitiven Prozesse und damit zur Prüfung, ob die Aufgaben die postulierten kognitiven Prozesse anstoßen können, ist es notwendig, die Transkripte zunächst in Form eines mehrstufigen Lösungsprozesses zu kodieren. In den aktiven Äußerungen zu verschiedenen Aspekten einer Aufgabe kommen sowohl relevante als auch irrelevante Gedanken zur Lösung der Aufgaben zur Sprache, die schließlich in der richtigen, bei offenen Aufgaben teilweise richtigen oder falschen Lösung einer Aufgabe resultieren. Hierbei folgt den Teilphasen der Informationsaufnahme und des Verstehens des Aufgabenstammes das Abrufen und Verarbeiten der Informationen (i. S. des Anwendens und Analysierens oder zusätzlich des Kreierens) sowie das Entscheiden für eine Antwortalternative bzw. bei offenen Fragen das Formulieren einer Antwort. [11] Diese Grobstruktur des Lösungsprozesses wird auf Basis der Transkripte sowie unter Rückbezug auf die in Kapitel 2 getroffenen Annahmen noch detaillierter untersucht, um Lösungsstrategien zu identifizieren und somit erfolgreichere von weniger erfolgreichen Bearbeitungsprozessen zu unterscheiden.

Zur Überprüfung der Reliabilität der Kodierungen führte eine zweite geschulte Person die Auswertung der Daten durch. Es ergab sich ein sehr akzeptabler mittlerer Wert der Intra-Klassen-Korrelation (two-way mixed, unjustiert) über alle Interviews hinweg ( ) [12], der zeigte, dass die verwendeten Kategorien tragfähige Informationen für die Beurteilung der Aufgabenqualität liefern (WIRTZ/ CASPAR 2002).

4 Ergebnisse und Weiterentwicklung der Items

4.1 Formale Aufgabenprüfung

Bevor im Folgenden näher auf konkrete Ergebnisse der formalen Aufgabenprüfung anhand von Beispielen eingegangen wird, kann resümierend festgehalten werden, dass bei ca. einem Drittel der 17 Aufgaben formale Mängel aufgedeckt werden konnten. Hinweise auf einen Änderungsbedarf ergaben sich dabei insbesondere aus der ersten Phase der kognitiven Interviews, der „concurrent“ Laut-Denken Phase. Bei vier der Aufgaben handelte es sich um Mängel, die durch relativ wenig Aufwand behoben werden konnten (z. B. durch einfache Umformulierungen im Aufgabenstamm). Drei Aufgaben erforderten eine etwas aufwendigere Überarbeitung (unter Einbezug von Experten), insbesondere deshalb, weil es um die Änderung von Antwortmöglichkeiten ging. Es konnten jedoch keine gravierenden formalen Fehler identifiziert werden, die zum Ausschluss einer Aufgabe geführt hätten.

Als Beispiele für das Problemfeld „Darstellungsprobleme, typographische und grammatikalische Fehler der Aufgabe“ können insbesondere verwendete Abkürzungen angeführt werden, die zwar den Referendaren, jedoch nicht allen Studierenden bekannt waren (z. B. „L-S-Gespräch“ für „Lehrer-Schüler-Gespräch“). Ebenso wunderten sich einige der Probanden über den Verweis „siehe Ausgangssituation 2“, der noch aus einer älteren Testversion stammte und so zu einem Fehlverständnis führte (s. Abbildung 3).

Wo ist Ausgangssituation 2, was meinen Sie damit? Verstehe ich nicht, was ist mit 2 gemeint? Gruppenarbeit, Planspiel?

Abb. 3: Transkriptausschnitt

Bei einer Aufgabe zeigten sich Mehrdeutigkeiten und ungenaue Formulierungen insofern sehr deutlich, als vier der sechs Probanden die Intention der Aufgabenstellung nicht verstanden. Ihre diesbezügliche Unsicherheit äußerte sich in entsprechend verbalisierten Fragen (z. B. „Ähm, zu reagieren heißt die Konversation weiterzuführen oder wie!?“; „Also ich jetzt als Schüler soll reagieren oder als Lehrer!?“).

Der Umstand, dass Aufgaben, die jeder oder kein Proband löst, keinen Erkenntnisgewinn schaffen, trat bei einer Aufgabe durch eine sehr hohe Lösungshäufigkeit mit nur wenigen Verbalisierungen ganz besonders hervor. Die Probanden sollten hier das gravierendste Problem erkennen, das sich ergeben kann, wenn der einfache Wirtschaftskreislauf anhand eines Monopoly-Spiels veranschaulicht wird. Innerhalb kürzester Zeit (im Durchschnitt ca. 40 sec.) konnten die Probanden alle Disktraktoren ausschließen [13] und sich für die richtige Lösung entscheiden (s. Abbildung 4).

Also ich denke, dass die Schüler Schwierigkeiten haben die Perspektiven von Haushalt und Unternehmen zu verstehen. Alles andere ist echt klar!

Da jeder bestimmt schon mal Monopoly gespielt hat, stellen die ersten drei Antworten eher nicht das Problem dar, sondern das eher das Problem des Umswitchens der Perspektive, dass sie eben nicht nur Konsument sind, wenn sie ein Hotel kaufen, sondern auch Unternehmer sind, wenn sie ein Hotel kaufen und nicht nur Haushalte!

Die Schüler müssen erst mal wissen, was Unternehmen sind, was Haushalte sind, was Wirtschaftskreislauf ist. B sollte auch bekannt sein, ansonsten ist dies ja auch eher trivial. Logisches Denken hilft hier massiv

Abb. 4: Transkriptausschnitt

4.2 Analyse der kognitiven Prozesse[14]

Wie in Kapitel 3 beschrieben, wurden die verbalisierten Probandenantworten zum Zweck der Analyse der kognitiven Prozesse entsprechend einem vierphasigen Aufgabenbearbeitungsablauf kodiert: 1. Informationsaufnahme und -verständnis (i. S. des Erinnerns und Verstehens), 2. Bewertung der Informationsrelevanz 3. Informationsabruf und -verarbeitung (i. S. des Anwendens und Analysierens sowie zusätzlich des Kreierens bei offenen Aufgaben), 4. Auswahl einer Antwortalternative (MC-Aufgaben) oder Formulierung einer Antwort. Der vierphasige Ablauf spiegelt den Lösungsprozess wider und ermöglicht, die tatsächlichen Denkprozesse einem Abgleich mit den Annahmen zu den erwarteten Denkprozessen, wie sie in Kapitel 2 dargestellt wurden, zu unterziehen. [15]

Die Kodierung bestätigte größtenteils die Annahme, dass die Referendare mit Fach Wirtschaft eine umfassendere fachdidaktische Perspektive einnehmen als Studierende der Wirtschaftspädagogik, die noch am Anfang ihres Studiums stehen. Im Einzelnen zeigte sich, dass die Referendare eher auf fachdidaktisch spezifische Strategien zurückgriffen (z. B. unter Einbezug curricularer Zusammenhänge, der Lerngruppe o. ä.), wogegen die Studierenden eher auf ihre eigenen Erfahrungen als Berufsschüler bzw. Auszubildende zurückgriffen und somit nicht immer zu einer richtigen bzw. vollständigen Lösung gelangten (s. Kap. 2.3, Annahme 2). Es zeigte sich auch, dass der Studierende der Wirtschaftswissenschaften lediglich auf fachbezogenes Wissen zurückgreifen konnte, mit dem er (bis auf eine Ausnahme bei einer offenen Aufgabe) keine richtige Lösung generieren konnte.

Exemplarisch werden im Folgenden die Verbalisierungen von zwei Probanden entsprechend den Kodierregeln den jeweiligen Phasen zugeordnet (s. Abbildung 5). Proband 1 verbalisiert den Lösungsprozess für eine MC-Aufgabe (zur Aufgabenstellung s. u.) und Proband 6 den Lösungsprozess für die in Abbildung 2 exemplarisch aufgezeigte offene Aufgabe.

Abb. 5: Verbalisierter Lösungsprozess

Beispiel 1: Eine wirtschaftsdidaktische MC-Aufgabe

Zur Aufgabenstellung

Den Probanden wurde die folgende Situation geschildert: Sie sollten eine Unterrichtseinheit planen (Anforderungsaspekt der „Unterrichtsplanung“), bei der die Schüler (Auszubildende im Einzelhandel) die Phasen eines Verkaufsgesprächs kennenlernen. Als Unterrichtsmaterial erhielten sie Informationen zu den Zielen (Förderung der Fachkompetenz) und Inhalten (Grundlagen für ein erfolgreiches Verkaufsgespräch schaffen: Kontakt-, Analyse-, Angebots-, Prüfungs-, Abschlussphase). Auf dieser Basis sollten die Probanden eine Entscheidung darüber treffen, welche Methode samt der jeweils ihr zugeordneten vorgegebenen Begründung sie für die geeignetste halten. Je zwei Antwortmöglichkeiten begannen mit „das Rollenspiel, weil“ bzw. mit „die Expertenmethode, weil“. Die geeignetste Antwort war demzufolge nicht allein auf die Methode zurückzuführen, sondern auf die dahinterstehende Begründung, welche eine Rückbesinnung auf das vorgegebene Ziel und den vorgegebenen Inhalt verlangte.

Erläuterung/Interpretation des Lösungsprozesses

Bei Proband 1 handelt es sich um einen Studierenden der Wirtschaftspädagogik (s. Abbildung 5). Seine Äußerungen lassen darauf schließen, dass er sich an relevante Aspekte erinnert (Phase 1) und ein Verständnis dafür entwickelt, was genau von ihm verlangt wird (Phase 2). Die Begriffe „Fachkompetenz“ und „Methode“ werden jedoch kaum assoziiert oder in einen Bedeutungszusammenhang eingeordnet. Es erfolgt eine reine Wiedergabe der Aufgabenstruktur. In Phase 3 unternimmt er den Versuch, die Informationen auf die Lernsituation anzuwenden und analysiert sie unter aus seiner Sicht relevanten Aspekten. Es ist zu erkennen, dass ihm die Begriffe „Rollenspiel“ und „Expertenmethode“ durchaus bekannt sind und er sie auch im Zusammenhang mit der Unterrichtssituation interpretiert (s. Kap. 2.3, Annahme 1). Die Gründe, die er dafür anführt, sind jedoch z.T. nicht (fachdidaktisch) adäquat („mag ich nicht“), basieren auf eigenen Erfahrungen aus einer affektiven Manifestation („habe ich immer im Unterricht das Gefühl gehabt, da kommt nix bei raus“) bzw. sind rein anwendungsbezogen („wenn man das anhand einer konkreten Situation übt“). Es ist daher nicht verwunderlich, dass er zu keiner richtigen Lösung in Phase 4 kommt (s. Kap. 2.3, Annahme 2). Zwar wird anhand seiner Verbalisierungen deutlich, dass er im Lösungsprozess durchaus relevante Informationen gedanklich erfasst und zwei der Antwortalternativen auf Basis seiner Begründungen ausschließt. Jedoch bleibt unklar, warum er sich letztlich für Antwortmöglichkeit C (als eine von zwei übrig gebliebenen Möglichkeiten, die beide das Rollenspiel betreffen) entscheidet. Diese von außen nicht rekonstruierbare Determinante folgt aus einer nur unzureichend kognitiv verarbeiteten Aufgabenstellung. [16]

Da insbesondere die Phase 3 als relevant erachtet wird, um den Lösungsprozess der Aufgaben darzustellen, sollen im Folgenden noch weitere Probandenantworten zu dieser MC-Aufgabe wiedergegeben werden, die die Gemeinsamkeiten mit und die Unterschiede zum o.g. Probanden verdeutlichen.

Verbalisierter kognitiver Prozess

…nicht die Expertenmethode wählen würde, weil ich aus eigener Erfahrung weiß, dass man das in dieser Situation, also, wenn man das anhand einer konkreten Situation übt irgendwie, mehr verinnerlicht wird. Ich finde, jetzt auf spielerische Weise die Fachkompetenz zu fördern, ist mir ein bisschen zu salopp ausgedrückt! Es geht ja darum, dass man erkennt, dass es verschiedene Phasen im Verkaufsgespräch gibt und diese halt auch bewusst anwendet. Weil, wenn ich das bewusst anwende, und bewusst diese Phasen abspule und dies meinetwegen im Rollenspiel mehrmals mache, dann verinnerliche ich das am besten und dann geht mir das so in meine Handlung über!

.. Ich würde Antwort c nehmen. Weil da die Phasen in dem Rollenspiel wirklich nachgespielt werden können und so wurde es auch bei uns in der Bankausbildung geübt!

Abb. 6: Antworten von zwei weiteren Studierenden der Wirtschaftspädagogik

Verbalisierter kognitiver Prozess

Also ich muss ganz ehrlich sagen, warum sollen sie ein Rollenspiel machen, wenn sie jetzt irgendwie erst die Grundlagen für Verkaufsgespräche dafür bekommen! Das würde für mich jetzt gar keinen Sinn machen. Sie machen doch die Grundlagen erst, wenn ich hier jetzt die Dinge bei dem Verkaufsgespräch lese. Ich würde das so machen, so kenne ich das auch von… (Leitung des Fachseminars), ich würde auf jeden Fall die Expertenmethode nehmen, ähm. Jetzt überlege ich auch noch gerade welches der beiden gut ist. .. Expertenmethode, da sollen ja die Schüler sich selber oder sich gegenseitig ja das erklären und nicht weil sie aus Sicht von Experten das gut irgendwie verinnerlichen. Also daher würde ich … jetzt nehmen….Wenn sie dies alles erst mal verstanden haben, dann kann man auch übergehen zu einem Rollenspiel.

Abb. 7: Antwort eines Referendars mit Fach Wirtschaft

Verbalisierter kognitiver Prozess

Was genau ist eine Expertenmethode ? Da bin ich mir jetzt nicht ganz sicher, aber es kann auch einfach daran liegen, dass das ein Wipäd Begriff ist, der mir nicht bekannt istDie Expertenmethode scheint mir so als Einstieg ein bisschen komplizierter. Vielleicht zu umfangreich oder zu anspruchsvoll als Experte. Besonders überzeugt an a hat mich eben die spielerische Weise, weil das eben sehr anschaulich ist.

Abb. 8: Antwort des Studierenden der Wirtschaftswissenschaften

Es wird offensichtlich, dass die beiden Studierenden der Wirtschaftspädagogik (s. Abbildung 6) ähnliche Argumente heranziehen wie ihr Kommilitone „Proband 1“ (s. Abbildung 5). Alle drei ziehen vorwiegend pädagogisches Alltagswissen heran, das aus der eigenen Berufsausbildung oder der Schulzeit stammt und somit ein eher egozentrisches als ein fachdidaktisch begründetes Erklärungsmuster aufweist. Die didaktischen Methoden des Rollenspiels und der Expertenmethode sind ihnen aber, wie durch Nachfragen in der retrospektiven Phase festgestellt worden ist, durchaus bekannt. Jedoch setzen sie diese unabhängig von der Zielstellung dieser Unterrichtseinheit und den gegebenen Rahmenbedingungen ein. Der Referendar mit Fach Wirtschaft hingegen greift bei der Problemlösung eher auf sehr spezifische Strategien zurück und bringt sowohl die Schüler- als auch die Lehrerperspektive in einen fachdidaktisch sinnvollen Zusammenhang (s. Abbildung 7). So war es ihm möglich, die Situation hinsichtlich des curricularen Bezugs präzise planerisch zu analysieren und auf einer elaborierten Wissensbasis pädagogische und fachinhaltliche Wissenselemente bei der Lösung aus beiden Perspektiven heraus zu verknüpfen („Expertenmethode und Grundlagen des Verkaufsgesprächs. Im Unterschied dazu wird bei dem Studierenden der Wirtschaftswissenschaften deutlich, dass er eher pauschalisierende Strategien und Urteile nutzt und kaum von dem begrifflichen Rahmen der Aufgaben abstrahieren kann (s. Abbildung 8). Aufgrund mangelnder allgemeindidaktischer Vorkenntnisse stand für ihn die semantische Bedeutung der Expertenmethode im Sinne von „Experten“ im Widerspruch zur „Schaffung von Grundlagen für ein Verkaufsgespräch“, da nach seinem Verständnis eine „Expertenmethode“ nur bei entsprechenden Experten angewendet werden können und nicht bei Schülern, die bislang über kein Grundlagenwissen verfügen. Seine Erklärungen bleiben somit eher auf einem deskriptiven Niveau und zeichnen sich, wie auch schon bei den Studierenden der Wirtschaftspädagogik, durch einen hohen Egozentrismus aus.

Es konnte demnach festgestellt werden, dass ein Defizit an rein didaktischem oder fachinhaltlichem Wissen nicht als die alleinige Ursache für eine schlechtere Testleistung interpretiert werden kann. Die Unterschiede im Aufgabenlösungsprozess sind auch auf die (fehlerhafte) Verknüpfung der Wissenselemente in den zugrundeliegenden Informationsverarbeitungsprozessen zurückzuführen (in Übereinstimmung mit Befunden der Expertiseforschung, s. z. B. BROMME/ HAAG 2004). Hinsichtlich der Analyse der kognitiven Prozesse der Aufgabe wird somit auch aus der Prozesssicht eine hinreichende Gültigkeit nachgewiesen, da die Aufgabe zwischen Probandengruppen mit unterschiedlich ausgeprägtem fachdidaktischen Wissen separiert und damit die Intentionen der Testentwickler erfüllt.

Beispiel 2: Eine wirtschaftsdidaktische offene Aufgabe

Zur Aufgabenstellung: s. ausführlich Kap. 2

Erläuterung/Interpretation des Lösungsprozesses

Proband 6 verfügt als Referendar bereits über eine recht umfassende fachdidaktische Wissensbasis (s. Abbildung 5). Phase 1 zeigte, dass er durch Unterstreichen und lautes Vorlesen einzelne Aspekte des Aufgabenstammes aufnahm und durch seine affektiv wertende Äußerung („Oh Gott“) auch mit bestehenden Vorstellungen und Wissensbeständen assoziierte. Eine summative Bewertung der Informationen des Aufgabenstammes bezüglich der Aufgabenstellung folgte in Phase 2 („Aber die Aufgabe, die eigentlich gestellt ist, ist ja total einfach“). In Phase 3 folgte der Abruf („weitere Größe hinzunehmen“, „zwei Angebote“ etc.) sowie die Verknüpfung mit weiteren Informationen („…, so dass sie“, „…, welches besser“), die schließlich zum Aufzeigen von Verbesserungsvorschlägen (Phase 4) führten. Es ist jedoch ersichtlich, dass der Proband neben dem Vorschlag, ein weiteres Angebot hinzuziehen, lediglich auf einen weiteren quantitativen Aspekt (Skonto) eingeht, den es im zweiten Angebot abzuändern gilt. Die an den quantitativen Angebotsvergleich anschließende Betrachtung des qualitativen Angebotsvergleichs, auf die die Aufgabe zielte, wird vom Probanden hier nicht assoziiert.

Deutlich wird jedoch auch, dass das kreative Zusammenfügen verschiedener Informationen in den offenen Aufgaben gegenüber dem Analysieren und Anwenden bei MC-Aufgaben weitere kognitive Ressourcen erfordert (s. Kap. 2.3, Annahme 1). Das logische (abduktive; MINNAMEIER 2005) Schließen in offenen Aufgaben kann dabei als informationengenerierend und in MC-Aufgaben als informationenreflektierend bezeichnet werden.

5 Diskussion und Ausblick

Die hier nur exemplarisch dargestellten Ergebnisse machen deutlich, dass der Durchführung von kognitiven Interviews zur Prüfung und Validierung neu konstruierter, hier wirtschaftsdidaktischer Aufgaben eine methodisch interessante und bedeutsame Rolle zukommt. Sie erlauben eine angemessene Berücksichtigung der Probandenperspektive im Rahmen des Pretests, welche eine systematisch notwendige Ergänzung zur üblicherweise einbezogenen Expertenperspektive sowie zu den standardmäßig angewandten quantitativen Prüfungsverfahren darstellt (s. Kap. 1 & 2). Im Rahmen von Validierungsstudien stellen sie eine geeignete, Mikrostrukturen ausleuchtende Möglichkeit dar, um Belege für die – auf der Konstruktausprägung beruhende – Vergabe von Aufgabenscores zu sammeln sowie diese zu interpretieren und insbesondere zu erklären (vgl. FERRERA et al. 2004; MESSICK 1989).

Im Einzelnen konnten durch die formale Aufgabenprüfung bei etwa einem Drittel der Aufgaben sprachliche Schwächen und formal-inhaltliche Inkonsistenzen identifiziert werden, die zu einer Überarbeitung führten. Die kognitiven Validitätsprüfungen konnten auf diejenigen Aufgaben angewandt werden, die den formalen Kriterien genügten, d.h. (nach unmittelbar erfolgter Überarbeitung von vier Aufgaben) bei 14 der geprüften Aufgaben. Für den Großteil der Aufgaben ergab sich dabei eine hohe Konvergenz zwischen erwarteten und den tatsächlich verbalisierten Lösungsprozessen (i. S. des „Alignment“nach FERRERA et al. 2004) und somit auch eine konstruktrelevante Zuordnung der Aufgabenscores (HALADYNA/ DOWNING 2004). Dies kann als erster Hinweis darauf gesehen werden, dass von einem erzielten Aufgabenscore auf die zugrundeliegenden kognitiven Prozesse des Probanden geschlossen und hieraus ein valides Urteil über die Ausprägung des wirtschaftsdidaktischen Wissens im kaufmännisch-verwaltenden Bereich gefällt werden kann.

Nach Durchführung der kognitiven Interviews mündete der Itemrevisionsprozess in eine vorläufige Testendfassung mit 17 Aufgaben zum wirtschaftsdidaktischen Wissen von (angehenden) Lehrern im kaufmännisch-verwaltenden Bereich. Mit dem Ziel, die Erkenntnisse aus dem geschilderten qualitativen Zugriff auch quantitativ zu prüfen, wurde der Test in einer quantitativen Erhebung bei der Zielgruppe (Studierende der Wirtschaftspädagogik, Referendare und Lehrer mit Erstfach Wirtschaft) und der Kontrastgruppe (Studierende der Wirtschaftswissenschaften und Referendare mit anderen Fächern als Wirtschaft) eingesetzt. Die Ergebnisse zeigen, dass sich die qualitativen Befunde zu den Gruppenunterschieden auch quantitativ bestätigen lassen und so eine Gesamteinschätzung des neu konstruierten Tests zum wirtschaftsdidaktischen Wissen ermöglicht worden ist (zu den Befunden vgl. KUHN et al. 2013; KUHN 2013).

---