Kompetenzentwicklung im wirtschaftspädagogischen Kontext: Programmatik – Modellierung – Analyse.

1 Ausgangsbedingungen

Studien zur Messung beruflicher Kompetenzen in möglichst authentischen beruflichen Handlungssituationen konzentrierten sich bislang auf ausgewählte kaufmännische und gewerbliche Berufe (vgl. Nickolaus/Gschwendtner/Abele 2009; Achtenhagen/Winther 2009; Abele 2015, Klotz 2015). Um dabei die berufliche Kompetenz möglichst valide zu erfassen, wurden simulationsgestützte Testumgebungen entwickelt, auf deren Grundlage die beruflichen Kompetenzen von Auszubildenden gemessen und in ihrer Ausprägung näher bestimmt wurden. Während also für eine Reihe kaufmännischer und gewerblich-technischer Berufe bereits modellhafte Ansätze vorlagen, wurde mit der BMBF-ASCOT-Initiative (vgl. dazu Oser/Landenberger/Beck 2016) für die gesundheits-pflegerischen Berufe mit dieser Form der Kompetenzmessung Neuland betreten (vgl. Döhring et al. 2016; Seeber et al. 2016). Bis dahin überwogen in den gesundheits-pflegerischen Fachberufen konzeptionelle Kompetenzmodelle, für deren Ausdifferenzierung nach unterschiedlichen Teilkompetenzen empirische Evidenzen weitgehend fehlten. Insofern bestand hier eine beträchtliche Diskrepanz zwischen dem normativen Charakter von Kompetenzkonzepten einerseits und deren Operationalisierung und Messung andererseits. Verfahren zur Beurteilung der erreichten Kompetenzen, die auf Berufs­ausbildungsebene in diesen Berufen eingesetzt wurden, beschränkten sich weitgehend auf Selbst- und Fremdeinschätzungsinstrumente, die dem Anspruch einer validen und reliablen Messung (vgl. Klieme/Hartig 2007, 24) nicht gerecht werden. Dem Fortschritt im Einsatz moderner Medien in medizinisch-pflegerischen Ausbildungsgängen wie technologiebasierter Lernprogramme stand (und steht nach wie vor) eine deutliche Lücke in der theoretisch-begründeten und empirisch belastbaren Diagnostik beruflicher Kompetenzen gegenüber.

Bezogen auf dual ausgebildete Gesundheitsberufe konnten allererste Erfahrungen zur Messung beruflicher Kompetenzen bei medizinischen und zahnmedizinischen Fachangestellten im Rahmen der Hamburger ULME-III-Studie gesammelt werden (vgl. Seeber 2007; Seeber 2014). Allerdings erfolgte dort die Erfassung beruflicher Kompetenzen in Form papierbasierter, überwiegend auf deklarative Wissensstrukturen ausgerichteter Tests. Diese haben den Nachteil, lediglich eine wichtige wissensbasierte Facette beruflicher Handlungskompetenzen zu erfassen, schließen jedoch gerade die für die Handlungsausführung relevanten prozeduralen Wissenskomponenten sowie weitere, z. B. konditionale und strategische Wissensfacetten beruflicher Fachkompetenz, weitgehend aus. Zudem haben sie den Nachteil, dass eine Situationsmodellierung nur unzureichend und wenig authentisch gelingt und somit wichtige Aspekte beruflicher Fachkompetenz wie die Interpretation von Situationen und die Informationsentnahme aus Situationen für berufliche Handlungsentscheidungen und Handlungsausführungen fehlen. Diese papierbasierten Ansätze zur Messung von beruflichen Kompetenzen sind nicht ohne Kritik geblieben, wobei neben dem unzureichend geklärten Verhältnis von Kompetenz und Performanz insbesondere Zweifel an der Rolle des Fachwissens für berufliche Handlungskompetenz geäußert wurden. Während die Zweifel am Einfluss des beruflichen Fachwissens auf die beruflichen Fachkompetenzen zumindest im gewerblich-technischen Bereich und in ausgewählten kaufmännischen Berufen widerlegt werden konnten (für Kfz-Mechatroniker vgl. Abele 2014; für Elektroniker für Automatisierungstechnik vgl. Walker et al. 2016, 163; für Bankkaufleute vgl. Rosendahl/Straka 2011; für Industriekaufleute vgl. Achtenhagen/Winther 2009), blieben die übrigen Kritiken an der Kompetenzmessung auch bei technologiebasierten Verfahren bestehen. Insbesondere werden fehlende holistische Ansätze zur Messung beruflicher Fachkompetenzen, das ungeklärte Verhältnis von Kompetenz und Performanz sowie die unzureichende Berücksichtigung anderer, beispielsweise sozialer Kompetenzen konstatiert. Die holistische Sichtweise auf die Messung beruflicher Fachkompetenzen ist in der Kompetenzmessung jedoch mit mehreren Problemen behaftet. Insbesondere werden diagnostische Gütekriterien wie Objektivität und Reliabilität mit den aus diesem Anspruch nahezu zwangsläufig resultierenden Verfahren (z. B. Beobachtungen am Arbeitsplatz) nur unzureichend eingelöst (Nickolaus/Seeber 2013). Die Kontroverse um die Dichotomie von Kompetenz und Performanz wurde vor allem mit Blick auf moderne Ansätze der (beruflichen) Kompetenzmessung jedoch konstruktiv aufgegriffen (vgl. dazu Blömeke/Gustafson/Shavelson 2015), indem verstärkt computerbasierte Testformate entwickelt werden, die eine angemessene Situationsmodellierung bei der Messung von Kompetenzen ermöglichen und somit eine Brücke zwischen Kompetenz und Performanz schlagen (vgl. Baethge/Seeber 2016).

Will man der „Curriculum-Instruction-Assessment-Triangle“ (Pellegrino 2010) in der Kompetenzmessung gerecht werden, bedeutet dies für die berufliche Bildung, dass die unterschiedlichen Lernsettings, die sich mit den Lernorten Betrieb und Schule verbinden, zudem als Bezugspunkte der Kompetenzmessung zu berücksichtigen sind (vgl. dazu Winther 2010, 86ff.). Die beiden Ausbildungsorte Berufsschule und Betrieb bzw. im spezifischen Fall die Arztpraxis, Klinik, medizinische Forschungseinrichtung oder das Labor, setzen unterschiedliche Schwerpunkte in den Zugängen zum Handlungsfeld und in den Lerngelegenheiten. Insbesondere ist davon auszugehen, dass deutliche Unterschiede in der didaktischen Strukturierung der Lerninhalte bestehen, denen bei der Domänen- und Kompetenzmodellierung sowie der Kompetenzmessung Rechnung zu tragen ist. Während das betriebliche Lernen stärker auf den Erwerb von prozeduralem und handlungsbezogenem Wissen gerichtet ist, spielt in schulischen Lernprozessen der Erwerb deklarativen Wissens – trotz Lernfeldkonzepts und stärkerer Handlungsorientierung –, eine größere Rolle. Mit Blick auf die Lernorte und die unterschiedlichen dort anzutreffende didaktisch-methodischen Ausbildungsansätze verweist Winther (2010, 93) insbesondere darauf, dass in der beruflichen Praxis an und in realen beruflichen Situationen gelernt wird, während in den schulischen Settings mehr oder weniger authentische Modelle der realen berufspraktischen Situation oder Abstraktionen der beruflichen Realität als Lernkontext gewählt werden. Daher ist davon auszugehen, dass unterschiedliche Wissensrepräsentationen vorliegen, die für die Bewältigung von beruflichen Anforderungen notwendig sind und die es im Rahmen einer Domänenanalyse zu identifizieren gilt. Konsequenterweise ziehen unterschiedliche Wissensrepräsentationen bei deren Messung auch differenzierte Testformate nach sich (zur Messung unterschiedlicher Wissensarten vgl. Shavelson/Ruiz-Primo/Wiley 2005, 415f., Shavelson 2012).

In dem vorliegenden Beitrag wird die Konstruktion eines Domänen- und Kompetenzmodells für die Messung beruflicher Fachkompetenzen bei MFA näher erörtert. Dabei wird auf das im Rahmen der BMBF-Initiative ASCOT (www.ascot-vet.net) bis Mai 2015 geförderte Projekt CoSMed „Kompetenzdiagnostik: Simulationen in medizinischen Fachberufen (Competence Diagnostics: Simulations in Medical Settings)“ zurückgegriffen. Nach zunächst allgemeinen Überlegungen zu der dort getroffenen Auswahl des Assessmentmodells erfolgen Konkretisierungen des Assessments von der Domänenanalyse über die Kompetenzmodellierung bis hin zur Itemkonstruktion und der Entscheidung über die psychometrischen Modelle, mit denen vom Testverhalten auf die Kompetenz (als latentes Konstrukt) geschlossen wird.

2 Überlegungen zum Assessmentmodell

In der Forschung werden unterschiedliche Modelle diskutiert, die der Entwicklung eines Assessments zur Messung von Kompetenzen zugrunde gelegt werden können (vgl. einen Überblick bei Winther 2010, 59ff.). In Assessmentmodellen werden dabei verschiedene Gestaltungskriterien für die Entwicklung von Testinstrumenten formuliert. Die Entscheidung für ein Assessmentmodell kann daher nicht unabhängig von dem zu messenden Konstrukt und den mit der Kompetenzmessung verbundenen Intentionen erfolgen.

Die nachfolgenden Überlegungen zur Auswahl eines Assessmentmodells und zur Domänen- und Kompetenzmodellierung basieren auf einem Kompetenzkonzept, das auf Annahmen von Weinert (2001, 27f.) zurückgeht und Kompetenzen als Dispositionen auffasst, durch die die Individuen situative Anforderungen in einer Domäne mit Hilfe verschiedener individueller Ressourcen bewältigen. Es wird also ein Kompetenzverständnis in der kognitionspsychologischen Tradition zugrunde gelegt, das den Kognitionen in beruflichen Handlungsprozessen einen hohen Stellenwert einräumt (vgl. Minnameier 2002; Baethge et al. 2006). Insofern ist auch der hier verwendete Begriff der beruflichen Handlungskompetenz als analytisches Konzept zu verstehen, das sich abgrenzt von dem in der Berufs- und Wirtschaftspädagogik vorherrschenden Verständnis einer normativen Kategorie (vgl. Baethge/Seeber 2016, 15). Analog zu den Zielen der ASCOT-Initiative, die nicht den Anspruch erhob, „komplexe Zielvorstellungen beruflicher Handlungskompetenz abzubilden“ (ebd., 17), geht es also um berufliche Kognitionen als zentrale Facette beruflicher Handlungskompetenz (vgl. dazu auch Nickolaus/Seeber, 2013, 171).

Nach Shavelson (2012), der einem ähnlichen Kompetenzverständnis folgt, sollte eine Kompetenzmessung, die belastbare Aussagen über die Bewältigung von Anforderungen in der “realen” bzw. beruflichen Welt zulässt, folgende Anforderungen erfüllen:

„A measure of competence should tap complex physical and/or intellectual abilities and skills to produce observable performance on a common standardized set of tasks that simulate with high fidelity the performances that are expected to be enacted in the «real world» («criterion») situations to which inferences of competence are to be drawn, with scores reflecting the level of performance (mastery or continuous) on tasks where improvement can be made through dispositions for self-regulation, learning, and deliberative practice.” (Shavelson 2012, 78)

Akzeptiert man diesen Anspruch, so setzt die Messung beruflicher Fachkompetenzen voraus, dass der künftige berufliche Handlungsbereich und dessen Anforderungen möglichst präzise bestimmt werden und sich die Messverfahren „an den jeweiligen Arbeitstätigkeiten und -prozessen des Berufsfeldes“ (Klotz 2015, 18) bei der Aufgabenkonstruktion orientieren. Ein Assessmentmodell, bei dem ein solcher Anspruch umsetzbar erscheint, ist das Evidence Centered Assessment Design (vgl. Mislevy/Riconscente, 2005; Mislevy/Haertel 2006; Abb. 1), ein theoretisches Modell zur Spezifikation einer Assessmentkonstruktion, bei der alle Prozesse und Schritte der Entwicklung aufeinander abgestimmt werden. Ausgangspunkt ist dabei die Analyse der Domäne, die neben spezifischen Wissensrepräsentationen, Fähigkeiten und Fertigkeiten auch die Herausarbeitung von typischen Werkzeugen, Instrumenten sowie Anforderungssituationen und Interaktionsmuster einschließt, die während der Testbearbeitung relevant werden können.

Abbildung 1: Schichten des Evidence Centered Design for Educational Assessment (in Anlehnung an Mislevy/Riconscente 2005; Mislevy/Haertel 2006)

In einem nächsten Schritt erfolgen die Domänenmodellierung und die Ausdifferenzierung eines Kompetenzmodells, dem theoretische Annahmen über die Fachkompetenz und deren hierarchisch strukturierten Anforderungen zugrunde gelegt werden. Im Assessmentkonzept ist der Schritt der Kompetenzmodellierung zwar nicht explizit genannt, jedoch werden wesentliche Aspekte der Kompetenzmodellierung in der Domänenmodellierung und im Assessment-Framework aufgegriffen, bei dem zum einen das Wissen, die Fähigkeiten und Fertigkeiten sowie situative Anforderungen zu spezifizieren sind und zum anderen das Verhältnis von Testverhalten und daraus abgeleiteten Schlussfolgerungen auf die Kompetenz explizit angesprochen wird. Winther (2010, 69) bemerkt hierzu, dass an dieser Stelle zu klären ist, „was genau über das Assessment gemessen werden soll und wie die Beziehung zwischen dem „analytischen“ Testergebnis (Ѳ) und der „realen“ Fähigkeit des Probanden (Ѳ±|x|) zu modellieren ist“. Mislevy und Haertel (2006, 13) formulieren den Zusammenhang von Testverhalten, situativer Einbettung der Anforderungen und den Rückschluss vom Testverhalten auf das zu messende Konstrukt (z. B. berufliche Fachkompetenz) über drei Komponenten, das „Student Model“, das „Task Model“ und das „Evidence Model“. Das „Student Model“ enthält Beschreibungen über das zu messende Konstrukt und seine Ausdifferenzierungen, z. B. eine oder mehrere Kompetenzdimension. Das „Task Model“ bezieht sich auf das Testformat, insbesondere die Aufgabenpräsentationen, die Art und Weise der Aufgabenbearbeitung, die Antwortmöglichkeiten einschließlich der Referenzpunkte für die Bewertung des Testverhaltens, z. B. Arbeitsprodukte, Auswahl von Handlungsalternativen etc. Das „Evidence Model“, das „Student Model“ und „Task Model“ miteinander verknüpft, enthält eine Evaluationskomponente und ein psychometrisches Modell, auf dessen Grundlage die Testdaten abgebildet und interpretiert werden. Es werden also die Kodierung des beobachteten Testverhaltens und das Scoring festgelegt, die in Evaluationsregeln und -prozeduren dokumentiert werden (Evaluationskomponente). Darüber hinaus sind Entscheidungen über das psychometrische Modell zu treffen, das mathematische Regeln umfasst, nach denen das beobachtete Testverhalten in (inhaltliche bzw. anforderungsbezogene) interpretierbare Leistungen überführt wird (vgl. Winther 2010, 70f.).

Um die Zusammenhänge zwischen der Fachkompetenz und dem in der Testsituation beobachteten Verhalten zu modellieren, wird die berufliche Fachkompetenz in kognitions­psychologischen Zugängen als „latente“ Personenvariable dargestellt und über Messmodelle der Item-Response-Theorie (IRT) abgebildet (vgl. Fischer/Molenaar 1995), ein Vorgehen, das auch hier zugrunde gelegt wurde.

Nachfolgend wird vor diesem allgemeinen Hintergrund eines Assessmentmodells ein mögliches Vorgehen zur Entwicklung eines Messinstruments für die Erfassung von berufsfachlichen Kompetenzen von MFA näher beschrieben und diskutiert.

3 Vom Domänenmodell zum Kompetenzmodell

3.1 Das Domänenmodell

Die Messung beruflicher Fachkompetenzen setzt voraus, dass der künftige berufliche Handlungsbereich und dessen Anforderungen möglichst präzise erfasst werden. Daher wird hier zunächst ein Domänenmodell entwickelt, das den Handlungs- und Anforderungsbereich der MFA umschreibt und als Grundlage für die Ausdifferenzierung eines Kompetenzmodells dient.

Unter einer Domäne wird dabei ein fachbezogener Leistungsbereich verstanden, der sich durch spezifische Anforderungssituationen charakterisieren lässt (Klieme et al. 2003). Allerdings ist gerade für den beruflichen Handlungsbereich eine klare Abgrenzung der Domänen nicht unproblematisch (Beck, 2005). Nickolaus und Seeber (2013) verweisen insbesondere darauf, dass sich eine berufliche Domäne nicht durch Merkmale eines Faches und die dort vorfindlichen typischen Denkmuster und Wissensaneignungsprozesse auszeichnet, sondern für den je spezifischen Situationskontext, der der beruflichen Kompetenzmessung zugrunde gelegt wird, auszudifferenzieren ist. So können Domänenbeschreibungen in Abhängigkeit von den Intentionen der beruflichen Kompetenzmessung variieren, je nachdem, ob berufsspezifische oder berufsübergreifende Kompetenzen erfasst werden sollen. Winther (2010) nutzt in diesem Zusammenhang für den kaufmännischen Bereich das Konzept von domänenverbundenen und domänenspezifischen Anforderungen. Die bisherigen Domänenmodellierungen zeigen, dass in Abhängigkeit von dem zu messenden Konstrukt die Grenzziehung der Domäne variiert, wobei in beruflichen Handlungskontexten in der Regel das Berufsbild und die dort anzutreffenden typischen und zentralen Anforderungssituationen für die Ausdifferenzierung der Domäne zugrunde gelegt werden. Im beruflichen Bereich greifen Studien mitunter nur ausgewählte Referenzpunkte auf, z. B. die Curricula in den beruflichen Schulen mit einer entsprechenden Konzentration auf deklarative Wissensbestände (vgl. Lehmann/Seeber 2007; Tramm/Seeber 2006), oder sie beziehen sich auf Anwendungskontexte des Fachwissens in berufstypischen Situationen. In einer Reihe von Studien werden auch beide Perspektiven miteinander verknüpft (vgl. z. B. die Untersuchungen von Nickolaus/Gschwendtner/Abele 2009; Abele 2014; Seifried et al. 2016; Winther et al. 2016; Klotz 2015; Liedtke/Seeber 2015). Allerdings bleiben nicht selten die Ausführungen in einer Vielzahl von Studien zur Modellierung der Domäne sehr vage. Ein Beispiel hierfür sind die PISA- und PIACC-Untersuchungen in verschiedenen Domänen, die zwar lebens- bzw. berufsweltliche Kontexte als Bezugspunkte der Kompetenzmessung reklamieren, letztlich jedoch die Domäne dieser Kontexte nur wenig differenziert beschreiben (für die Mathematik in PISA vgl. z. B. Frey et al. 2010; für die Domänen in PIACC vgl. OECD 2013).

Für das technologiebasierte Assessment zur Messung von berufsfachlichen Kompetenzen von MFA kamen für die Domänenmodellierung unterschiedliche methodische Ansätze zur Anwendung. So wurden unter anderem Dokumentenanalysen durchgeführt, wobei z. B. Ordnungsmittel, betriebliche Ausbildungspläne, Ausbildungshefte, Arbeitsplatzbeschreibungen und Stellenanzeigen für die Beschreibung des beruflichen Handlungsfelds sowie Rahmenlehrpläne, Lehrbücher, Arbeitsblätter und Prüfungsaufgaben zum Theorieteil der Abschlussprüfungen beleuchtet wurden. Experteninterviews zu den relevanten Aufgabenfeldern und Arbeitsanforderungen, Beobachtungen am Arbeitsplatz unter Nutzung der Critical Incident Technique (vgl. Ertelt/Frey 2003) zur Beschreibung von Verhaltensweisen in kritischen Situationen sowie quantitative Befragungen von und Workshops mit Fachexperten (Aus­bilderinnen und Ausbilder, Arbeitgeber, ausgebildete MFA sowie für den schulischen Bereich Lehrerinnen und Lehrer) waren ebenfalls Bestandteil der Domänenanalyse (vgl. Abb.2).

Im Ergebnis der verschiedenen Zugänge zur Beschreibung der Domäne wurde eine Vielzahl an Tätigkeiten und Handlungsanforderungen identifiziert, die anschließend nach Merkmalen übergreifender Handlungssituationen und notwendiger wissenschaftlicher Referenzsysteme zur erfolgreichen Bewältigung der Anforderungen geclustert wurden. Dabei konnten folgende übergreifende Merkmale der Anforderungssituationen für die Zuordnung nach Clustern zugrunde gelegt werden:

• Unterscheidung zwischen kaufmännisch-verwaltenden und medizinisch-gesundheitsbezogenen Handlungsanforderungen à Differenzierung aufgrund unterschiedlicher fachwissenschaftlicher Referenzsysteme und damit verschiedener Wissensrepräsentationen, Denkprozesse, Arbeitsmittel, Arbeitsergebnisse;
• Unterscheidung innerhalb der medizinisch-gesundheitsbezogenen Handlungsanforderungen nach patientenbezogenen Tätigkeiten und nicht unmittelbar patientenbezogenen Tätigkeiten à Differenzierung aufgrund unterschiedlicher Interaktionsmuster und Schwerpunkten in den wissenschaftlichen Bezugssystem mit ebenfalls Besonderheiten in den Wissenspräsentationen, Arbeitsmitteln und Arbeitsergebnissen.

 Abbildung 2: Methodisches Vorgehen zur Ausdifferenzierung des Domänenmodells bei MFA (in Anlehnung an Seeber et al. 2016)

Abbildung 3 zeigt die Zuordnung auf der Grundlage der Lernfelder, Abbildung 4 die Zuordnung der betrieblichen Ausbildungsschwerpunkte zu den drei identifizierten zentralen Handlungsbereichen. Auch die bei den Befragungen von 30 ausgebildeten MFA’s genannten und die durch Beobachtungen von Arbeitstätigkeiten in verschiedenen Praxen und Kliniken identifizierten Handlungsbereiche lassen die Zuordnung der erfassten bzw. beobachteten Handlungen zu diesen Schwerpunkten zu. Allerdings zeigt sich, dass sowohl auf der Grundlage der curricularen Analyse, als auch auf Basis der Befragungen und Beobachtungen an den Arbeitsplätzen nicht immer eindeutige inhaltliche Bezüge herzustellen sind. So waren in bestimmten Situationen und sich daraus ergebenden beruflichen Handlungen teilweise Wissen und Können aus verschiedenen Tätigkeitsschwerpunkten heranzuziehen. In der Regel konnte jedoch eine Gewichtung der Inhalts-/Handlungsbereiche erfolgen, so dass alle Aufgaben einem Inhalts- bzw. Tätigkeitsschwerpunkt zugeordnet werden konnten. Beispielsweise wurden Entscheidungen über die Beschaffung von Materialien und Instrumenten für die Praxis dem kaufmännischen Handlungsbereich zugeordnet, und zwar auch dann, wenn in Einzelfällen auf medizinisch-gesundheitsbezogenes Wissen aus dem Bereich der Patientenversorgung oder aus dem Gebiet der Labordiagnostik zurückgegriffen werden musste. Dies war etwa der Fall, wenn dringend benötigte Materialien nicht fristgerecht geliefert werden konnten und alternative Produkte auszuwählen waren, die bestimmte behandlungsrelevante Anforderungen erfüllen mussten.

 Abbildung 3: Synopse der curricularen Analyse (in Anlehnung an Tramm 2007)

Überschneidungen zeigen sich vor allem zwischen den Bereichen der Patientenbetreuung, -begleitung und -versorgung sowie dem Handlungsfeld der Labordiagnostik und des Hygienemanagements, bei dem berufliches Handeln die Hinzuziehung unterschiedlicher fachbe­zogener Referenzsysteme mit verschiedenen Wissensrepräsentationen und jeweils akzen­tuierten mentalen Prozessen der Informationsverarbeitung erfordert. Insofern wird davon ausgegangen, dass mit einer zunehmenden Entwicklung von beruflicher Expertise eine starke Integration vorher separierter Wissensbereiche im Ausbildungsverlauf erfolgt, zumindest sprechen empirische Daten in gewerblichen-technischen Berufen für solche Verflechtungsprozesse (vgl. Abele 2014). Daher wurde in dem spezifizierten Kompetenzmodell davon ausgegangen, dass es sich nicht um unabhängige Kompetenzbereiche handelt, sondern die drei Kompetenzdimensionen miteinander korrelieren (vgl. Abschnitt 2.3).

Abbildung 4: Synopse der Analyse des betrieblichen Ausbildungsplans

Im Ergebnis der Domänenanalysen wird ein Domänenmodell formuliert, das – neben den institutionellen Rahmenbedingungen beruflichen Handelns – die drei herausgearbeiteten zentralen beruflichen Handlungsbereiche umfasst, die durch je typische Denk- und Arbeitsweisen geprägt sind: (1) die Patientenversorgung, -begleitung- und -betreuung, (2) die nicht unmittelbar personenbezogenen Tätigkeiten in der Labordiagnostik und im Hygienemanagement und (3) die verwaltungsbezogenen Tätigkeiten. Im Domänenmodell  (Abb. 5) wird ferner davon ausgegangenen, dass die institutionellen Gegebenheiten, unter denen die MFA’s ihre Tätigkeit ausüben, mit Blick auf die Organisationsstruktur, die materiellen, finanziellen und personellen Ressourcen, aber auch in den Wert- und Normorientierungen Differenzierungen aufweisen, welche die Art und Weise der Arbeitshandlungen und die zu treffenden Entscheidungen im Einzelfall beeinflussen. Dieser Einfluss wurde auch in den Beobachtungen an den Arbeitsplätzen deutlich. Allerdings ließen sich viele institutionenübergreifende berufliche Handlungen, Situationen und Abläufe herausfiltern, die „Berufstypisches“ repräsentierten und somit für das Assessment nutzbar gemacht werden konnten.

In der weiteren Ausdifferenzierung des Domänenmodells und für die Entwicklung des Kompetenzmodells wurden typische Tätigkeiten, Handlungs- und Entscheidungssituationen sowie zugehörige Entscheidungsalternativen etc. näher bestimmt und deren Bezüge zu den Referenzsystemen hergestellt. In diesem Zusammenhang wurden Konzepte, Begriffe und Konstrukte, Arbeitsmittel und -methoden, technische Geräte und andere typische „Repräsentationsformen“ identifiziert, die ebenso Vorstellungen über notwendiges Wissen und Können sowie typische Handlungsabläufe und Arbeitsergebnisse einschlossen (Abb. 5).

Abbildung 5: Domänenmodell für den Ausbildungsberuf MFA mit exemplarisch ausdifferenzierten kognitiven Anforderungen im Handlungsbereich „Labordiagnostik und Hygienemanagement“ (in Anlehnung an Seeber et al. 2016)

3.2 Kompetenzmodell

Auf der Grundlage des oben dargestellten Domänenmodells wurde in einem nächsten Schritt ein Kompetenzmodell spezifiziert, dem theoretische Annahmen über die Fachkompetenz und deren hierarchische Struktur zugrunde gelegt wurden. In Anlehnung an das Domänenmodell wurde von einem mehrdimensionalen Kompetenzmodell ausgegangen, in dem sich die drei genannten zentralen Tätigkeitsbereiche als Subdimensionen der Fachkompetenz widerspiegeln. Abbildung 6 zeigt das Kompetenzmodell mit drei unterscheidbaren Dimensionen beruflicher Fachkompetenz von MFA‘s, die sich letztlich auch empirisch bestätigt haben (vgl. Seeber et al. 2016) und die sich durch je spezifische Situationen, Handlungslogiken und fachwissenschaftliche Bezugssysteme auszeichnen. Korrespondierende, Erklärungen bietende Bezugswissenschaften für die ersten beiden Dimensionen sind vor allem die Medizin, Biologie und Chemie, in denen neben einfachen Wissensanwendungen auch höhere kognitive Leistungen wie Schlussfolgerungen zu ziehen, Folgewirkungen zu beachten und mentale Modelle zu bilden für die Bewältigung der Anforderungen erforderlich sind. Im kaufmännisch-verwaltenden Handlungsbereich sind insbesondere ökonomische und mathematische Domänenbezüge, aber auch zivilrechtliche Fragen (z. B. im Rahmen von Mahnverfahren und Kaufvertragsstörungen bei Beschaffungsprozessen) von Belang (vgl. Seeber et al. 2016).

Abbildung 6: Kompetenzmodell MFA (Seeber/Ketschau/Rüter im Druck)

Auch für die Niveaumodellierung lieferten die Vorerfahrungen aus der ULME-Studie (vgl. Lehmann/Seeber 2007) sowie aus dem Pilotprojekt ALUSIM (Achtenhagen/Winther 2009; Winther 2010) wichtige Anhaltspunkte für die fachdidaktische Begründung der Aufgaben­modellierung mit Blick auf das kognitive Anspruchsniveau, die inhaltliche Komplexität der einzelnen Aufgaben und die inhaltlichen Modellierungsleistungen, die bei der Aufgabenbearbeitung jeweils gefordert werden. Für die Konstruktion der Aufgaben wurden die genannten drei Facetten kognitiver Anforderungen zugrunde gelegt und die Aufgaben systematisch variiert.

4 Konsequenzen für das Assessmentkonzept zur Messung beruflicher Fachkompetenzen

Anschließend erfolgt die Entwicklung der Assessmentkonstruktion, die die Itemkonstruktion unter Berücksichtigung technologischer Handlungsmöglichkeiten und die Erstellung von Kodierungsregeln für die Auswertung der Antworten umfasste. Um dem Situations- und Handlungsbezug von Kompetenzen gerecht zu werden, bestand das Ziel des Projektes darin, die berufliche Fachkompetenz so authentisch wie möglich zu messen. Daher erfolgte die Entwicklung eines technologiebasierten Assessment mit computersimulierten Arbeitsanforderungen sowie Videovignetten zur Darstellung von Situationen, aus denen zugleich Informationen zu entnehmen und in die Handlungsentscheidung einzubeziehen waren. Es wurde eine virtuelle Arztpraxis mit verschiedenen Arbeitsplätzen einer MFA (z. B. Empfangsbereich, Labor, Sprechzimmer) abgebildet. Dabei wurden auch authentische Dokumente wie Überweisungsscheine, Rezeptbescheinigungen, Patientenakten, Terminplaner, Gebührenverordnung etc. hinterlegt und bestimmte Tools wie E-Mails, Taschenrechner etc. nachgebildet.

Wie bereits ausgeführt, bieten die beiden Ausbildungsorte Berufsschule einerseits und Arztpraxis, Klinik, Labor oder medizinische Forschungseinrichtung andererseits unterschiedliche Zugänge zum beruflichen Handlungsfeld. Um die Unterschiede in der didaktischen Strukturierung der Lerninhalte und den damit verbundenen Lernprozessen und Wissensrepräsentationen angemessen zu berücksichtigen, wurden – auch mit Blick auf die Testökonomie – zwei verschiedene Testverfahren konzipiert. Zum einen wurde ein adaptives Testmodul zur Messung des deklarativen beruflichen Fachwissens entwickelt (zum adaptiven Testen vgl. van der Linden/Glas 2000), bei dem sich die Aufgaben auf die drei zentralen Inhalts- und Handlungsbereiche aus der Domänenanalyse bezogen. Mit diesem adaptiven Test wurden in erster Linie Ergebnisse berufsschulischer Lernprozesse erfasst. Zum anderen wurde ein aus acht Teilmodulen bestehendes video- und simulationsgestützte Testelement konzipiert, das vor allem „berufstypische“ Anforderungssituationen beinhaltete, deren Bewältigung primär prozedurales Wissen und Begründungswissen erforderte.

Der adaptive Test zur Messung des beruflichen Fachwissens enthält 87 Items im Multiple-Choice-Format sowie ein Startitem, das später bei der Skalierung im Rahmen der Nullsummennormierung der Itemschwierigkeiten fixiert wurde. Im Rahmen des adaptiven Tests werden jedem Probanden nur jene Items vorgelegt, die im Fähigkeitsspektrum der jeweiligen Person liegen, da die nächste Aufgabe in Abhängigkeit vom Erfolg der Bewältigung einer bereits gestellten Aufgabe mit höherem oder niedrigerem Schwierigkeitsniveau dargeboten wird. Dadurch ist es möglich, das deklarative Fachwissen in wesentlich kürzerer Testzeit bei hoher Messqualität für den Einzelnen zu erfassen.

Der video- und simulationsbasierte Test, bestehend aus acht Teilmodulen, umfasst 24 komplexe Video- und Audioszenen sowie 22 simulationsbasierte Szenarien mit insgesamt 79 Testitems. Die Testitems beider Testmodule verteilen sich proportional zu den curricularen und betrieblichen Schwerpunktsetzungen in der Ausbildung (vgl. Seeber et al. 2016, 212). Der Entscheidung für zwei verschiedene Testformate liegt die Intention zugrunde, den unterschiedlichen Lernumwelten in der Ausbildung gerecht zu werden und zudem die verschiedenen Facetten beruflicher Fachkompetenz angemessen, d.h. unter diagnostischen und testökonomischen Prämissen, zu erfassen. Abbildung 7 gibt einen Überblick über die beiden Testverfahren, die zum Einsatz kamen und über dort jeweils erfassten Wissensfacetten.

Abbildung 7: Testformate und Wissensarten (zu den Wissensarten Anderson/Krathwohl, 2001; Shavelson/Ruiz-Primo/Wiley 2005)

Da für die Erfassung beruflicher Kompetenzen häufig die Dynamik von Situationen von hoher Bedeutung ist, kommen traditionelle Testverfahren wie Papier-und-Bleistift-Tests, die eine Situationsmodellierung nur begrenzt erlauben oder auch Beobachtungsverfahren, die massive Probleme in der Sicherung diagnostischer Gütekriterien haben, an ihre Grenzen. Über interaktive Computersimulationen können typische berufliche Handlungssituationen abgebildet werden, die sich zudem nahezu beliebig offen und prozessorientiert gestalten lassen (Jude/Wirth 2007, 50). Im speziellen Fall wurden sie durch Videovignetten von arbeitsplatzspezifischen Situationen unterstützt, auf deren Grundlage das Antwortverhalten von Testpersonen hinsichtlich verschiedener Kriterien beurteilt werden kann.

5 Diskussion des Assessmentkonzepts vor dem Hintergrund grundlegender Befunde

Das Assessment wurde im 2. Halbjahr des 3. Ausbildungsjahres von MFA in verschiedenen Bundesländern bei 997 Probanden eingesetzt. Die Zusammenhänge zwischen dem in der Testsituation beobachteten Verhalten und den verschiedenen Facetten der beruflichen Fachkompetenz wurden über probabilistische Testmodelle abgebildet. Im Falle des adaptiven Tests zum deklarativen Fachwissen kamen ein- und mehrdimensionale Rasch-Modelle zur Prüfung (vgl. z. B. Rost 2004), für die mittels videogestützter Elemente erfasste berufliche Handlungskompetenz wurde das Partial-Credit-Modell (Wright/Masters 1982) genutzt, wobei auch hier ein- und mehrdimensionale Annahmen hinsichtlich der Passung von Modell und Daten getestet wurden.

Eine gute Schätzung der Personenfähigkeiten wurde bereits nach ca. 15 Items erreicht. Abbildung 8 zeigt exemplarisch für acht Probanden, wie bereits nach wenigen Items der adaptive Algorithmus eine gute Auswahl von Items im Fähigkeitsspektrum des jeweiligen Probanden ermöglicht.

Abbildung 8: Exemplarischer Verlauf des adaptiven Tests mit einer Testlänge von 15 Items

Die 87 Items des adaptiven Tests verteilen sich recht gut über das Leistungs- bzw. Fähig­keitsspektrum der Probanden, allerdings – und dies zeigten bereits die Ergebnisse aus der Kalibrierungsstudie, anhand derer die Schwierigkeitsparameter der Aufgaben geschätzt und in den adaptiven Algorithmus implementiert wurden –, war eine leicht höhere Repräsentanz und bei Items mit mittlerer und niedrigerer Schwierigkeit gegeben. D.h., der Test ist sehr messgenau im unteren und mittleren Fähigkeitsbereich, zeigt jedoch leichte Einschränkungen in der Itemzahl im oberen Bereich. Die nachfolgende Abbildung 9 verdeutlicht allerdings, dass keine Deckeneffekte bestehen und auch die Fähigkeiten der leistungsstärksten Probanden noch gut abgebildet werden. Die Farbskala der Abbildung markiert in Grün die leichten Items, Orange und Gelb kennzeichnen Items mit mittlerer Schwierigkeit und Rot sind die anspruchsvolleren Items. Die Summe am Ende der Spalten gibt die Häufigkeit der Itemaufrufe wieder. Dabei wird ersichtlich, dass überproportional oft Items im mittleren Bereich (Gelb und Orange) den Probanden vorgelegt wurden, sehr leichte Items (grün) jedoch viel seltener genutzt wurden. Insgesamt zeigt der Test gute Anpassungen an den Leistungsbereich der MFA’s gegen Ende der Ausbildung. Darüber hinaus veranschaulicht die Abbildung nochmals, dass etwa beim neunten Item eine gute Auslotung des Fähigkeitsbereichs der Probanden erreicht war. Nur noch wenige zusätzliche Items waren darüber hinaus erforderlich. Im konkreten Fall wurde daher das Abbruchkriterium auf 15 Items begrenzt, weil sich nach dem 9. Item der Personenschätzer kaum noch veränderte und auch der Messfehler sich nicht weiter verringerte.

 Abbildung 9: Itembelegungen im adaptiven Test (Kleinhans/Schumann 2015)

Die mittlere Fähigkeit der Probanden liegt bei 0,3 Logits und damit etwas über der mittleren Itemschwierigkeit von 0, die Streuung der Fähigkeiten der Testteilnehmer reicht von -1,97 bis 2,21, die EAP/PV Reliabilität ist mit 0.77 bei einem sehr heterogenen Anforderungsprofil als gut einzuschätzen. Die Dimensionsanalysen des adaptiven deklarativen Fachwissenstests zeigen eine bessere Passung für das eindimensionale Modell. Dies bedeutet, dass sich beim deklarativen Fachwissen die theoretischen Annahmen zur Ausdifferenzierung Kompetenzstruktur nicht bestätigen ließen. Dieses Ergebnis steht im Kontext der Befunde aus Re-Analysen zum Test für MFA im Rahmen der ULME-III-Studie (Seeber 2014), die keine signifikant bessere Passung mehrdimensionaler Modelle ergeben hatten. Auch die latente messfehlerbereinigte Korrelation von .96 zwischen den beiden medizinisch-gesundheitsbezogenen Fachdimensionen auf der einen und der kaufmännisch-verwaltenden Dimension auf der anderen Seite spricht für die Annahme der Eindimensionalität (vgl. ausführlicher Seeber et al. 2016).

Für die video- und simulationsgestützte Testkomponente wurden die Testergebnisse ebenfalls auf Dimensionalität geprüft. Der Test wurde sowohl eindimensional als auch nach den Inhalts- und Handlungsbereichen dreidimensional skaliert. Die eindimensionale Skalierung weist eine EAP-/PV-Reliabilität von .79 auf, zudem sprachen die guten Modelfitwerte der einzelnen Items zunächst für die Annahme einer entsprechenden Modellpassung. Die dreidimensionale Raschskalierung zeigte jedoch einen deutlich besseren Modellfit als die eindimensionale Variante, so dass die Auswertung der Testergebnisse auf der Grundlage von drei Testwerten erfolgt. Die empirischen Daten bestätigten den erwarteten relativ engen Zusammenhang zwischen den Kompetenzen in der Patientenbetreuung, -begleitung und
-beratung und den Kompetenzen in der Labordiagnostik und im Hygienemanagement ebenso wie die moderater ausfallenden Zusammenhänge zwischen diesen beiden Dimension der Fachkompetenz und den kaufmännisch-verwaltenden Kompetenzen (vgl. ausführlicher Seeber/Ketschau/Rüter im Druck).

Die unterschiedlichen Kompetenzprofile in den drei Dimensionen werden auch in Abbildung 9 erkennbar, bei der die mittleren Personenfähigkeiten für die spezifischen Facetten der beruflichen Fachkompetenz nach schulischem Vorbildungsniveau abgebildet sind. Die Ergebnisse verweisen dabei auf zweierlei Besonderheiten: Zunächst ist erkennbar, dass die die Anforderungen in den drei Bereichen in unterschiedlichem Maße von den Jugendlichen gegen Ende der Ausbildung bewältigt werden. Die Anforderungen im Bereich der Patientenbetreuung und -versorgung werden vergleichsweise besser bewältigt als die Aufgaben auf den Gebieten des kaufmännisch-administrativen Bereichs und des Labor- und Hygienemanagements. Zudem wird ersichtlich, dass sich Unterschiede in den kognitiven Lernausgangslagen am Beginn der Ausbildung – erfasst über die schulische Vorbildung – in der Ausbildung selbst tendenziell „fortschreiben“, denn in allen drei Bereichen zeigen sich signifikante Leistungsdifferenzen nach den allgemeinen Schulabschlüssen bei Eintritt in die Ausbildung.

Abbildung 10: Mittlere Kompetenzausprägung in den drei Dimensionen der beruflichen Fachkompetenzen nach Vorbildungsniveau

Bemerkenswerte Differenzen sind in den Leistungsprofilen auch nach Migrationshintergrund feststellbar. So weisen die Jugendlichen mit nicht deutscher Familiensprache signifikant niedrigere durchschnittliche berufliche Leistungen auf als die Jugendlichen ohne Zuwanderungsgeschichte. Die Unterschiede sind vor allem im kaufmännisch-verwaltenden Bereich sowie auf dem Gebiet der Labordiagnostik und des Hygienemanagements erkennbar, auffällig geringer fallen sie für das Gebiet der Patientenbetreuung und -versorgung, dem Haupttätigkeitsfeld der MFA’s, aus. Offenbar kann es in der beruflichen Bildung gelingen, migrationsbedingte Disparitäten zu vermindern, allerdings zeigen die Befunde, dass dies zumindest für die hier erfasste Berufsgruppe noch nicht für alle Bereiche gilt.

Tabelle 1:     Facetten beruflicher Fachkompetenzen: Mittelwerte nach Testkomponenten und Migrationshintergrund

Ferner unterstützen die empirischen Daten die Hypothese der unterschiedlichen Fähigkeiten, die bei der Bearbeitung geschlossener Items zum deklarativen Fachwissen und der eher in offenen, video- und simulationsgestützten Formaten dargebotenen Aufgaben mit einer situativen Einbettung adressiert werden. Die relativ moderaten Korrelationen zwischen adaptivem Test und den drei Fachkompetenzfacetten des video- und simulationsgestützten Tests verweisen darauf, dass unterschiedliche Fähigkeiten mit den beiden Testmodulen angesprochen werden.

Zudem machen die Befunde deutlich, dass die Zusammenhänge zwischen den verschiedenen Facetten beruflicher Fachkompetenz und die Kompetenzen in den Bereichen Lesen, Naturwissenschaften und Mathematik moderat ausfallen. Auf korrelativer Ebene zeigen sich zwar signifikante Zusammenhänge, insbesondere zwischen den Fähigkeiten in Mathematik, Naturwissenschaften und Lesen und den kaufmännisch-verwaltenden Fachkompetenzen, die allerdings recht niedrig ausfallen. Der engste Zusammenhang zeigt sich erwartungskonform zwischen dem deklarativen Fachwissen (adaptiver Test) und dem Lesetest. Die Ergebnisse über die Zusammenhänge der gemessenen latenten Konstrukte können im Sinne diskriminanter Validität gesehen werden und belegen, dass mit den hier gemessenen Facetten der beruflichen Kompetenz ein von den genannten Basiskompetenzen relativ disjunkter Fähigkeitsbereich gemessen wurde (Tab. 2).

 

Tabelle 2:     Korrelationen zwischen den Basiskompetenzen und den beruflichen Fachkompetenzen

		deklaratives Fach-wissen (medizinisch-gesundheitsbezogen und kaufmännisch)	kaufmännisch-verwaltende Kompetenzen	Kompetenzen in der Patienten-betreuung und -versorgung	Kompetenzen in der Labordiagnostik und im Hygiene-management
Mathematische Kompetenzen	N	239	239	239	239
	Korrelation nach Pearson	,232**	,260**	,118	,050
Lese-kompetenzen	N	228	231	231	231
	Korrelation nach Pearson	,390**	,265**	,119	-,011
Naturwissen­schaftliche Kompetenzen	N	232	232	232	232
	Korrelation nach Pearson	,197**	,303**	,123	,094
**. Die Korrelation ist auf dem Niveau von 0,01 (2-seitig) signifikant.

6 Diskussion und Reflexion der Ergebnisse unter Validitätsaspekten

Chancen und Risiken technologiebasierter Assessments können unter verschiedenen Perspektiven betrachtet werden. Hier wären zum einen die Gütekriterien zu benennen, insbesondere Validitäts- und damit zusammenhängende Konstruktfragen, Aspekte der Messgüte und der Testfairness sowie der Verwertbarkeit der Ergebnisse des Tests. Weitere Güte­kriterien sind die Komplexität (Theorie-, Dimensions- und Variablenkomplexität), die ökologische Validität im Sinne einer adäquaten Repräsentation von situativen Anforderungen im Beruf, die Bereichs-/Berufsspezifität, mit der in der Regel eine Beschränkung des Gültigkeitsanspruchs einhergeht (Jäger 1997, 161f.; Seeber 2011).

Auch verbinden sich mit der Entwicklung eines solchen Assessments, das mit den beiden unterschiedlichen Testmodulen zugleich differenzierte Zugänge zum Lernen abbildet, die den Besonderheiten der jeweiligen Lernorte Rechnung tragen, Vorstellungen über die Nutzung des Assessments in Lernkontexten. Eine weitere Perspektive ist der Ausbau des Assessments auf Konstrukte, die bislang bei der Messung beruflicher Kompetenzen vernachlässigt wurden. Dies betrifft insbesondere die sozial-kommunikativen Kompetenzen, die gerade in den personennahen Dienstleistungsberufen, zu denen auch die Gesundheitsberufe zählen, wichtiger Bestandteil beruflichen Handelns sind. Auch sind mit der Beschränkung auf kognitive Aspekte beruflicher Fachkompetenz weitere Einflussfaktoren auf das Handeln wie volitionale und emotionale Dispositionen nicht bzw. lediglich indirekt über das Testverhalten erfasst, deren Beitrag für berufliches Lernen und Handeln nicht nur aus einer Forschungsperspektive, sondern auch aus einer Anwendungsperspektive zur Verbesserung pädagogischer Prozesse von Interesse ist.

Nachfolgend sollen einige erste Reflexionen zu den psychometrischen Eigenschaften und Testgütekriterien des Assessments aufgegriffen werden, wobei Validitätsfragen im Zentrum stehen. Betrachtet man die erreichte Messgüte der Testkomponenten, so sind sicherlich insbesondere im video- und simulationsgestützten Test noch Weiterentwicklungen und Optimierungen erforderlich. Insbesondere zeigen die Ergebnisse, dass die Messqualität im kaufmännischen Handlungsbereich noch verbessert werden kann. Des Weiteren haben die Ergebnisse verdeutlicht, dass die Aufgaben aus der Simulation sehr anspruchsvoll waren. Ein Grund mag das Testformat gewesen sein, das den Auszubildenden wenig vertraut war und zu einer hohen Anstrengung geführt hat, zumindest geht dies aus den Rückmeldungen zum Test hervor. Weitere Gründe sind wohl im Testkonzept selbst zu suchen, bei dem in den einzelnen Situationen oftmals nach „Standardoptionen“ beruflicher Handlungen und Entscheidungen gefragt wurde, jedoch auch zusätzlich in einer Reihe von Aufgaben Aufforderungen zu alternativen Handlungsstrategien integriert waren. Dabei zeigte sich, dass nur wenige Auszubildenden solche alternativen Handlungs- und Entscheidungsmöglichkeiten einsetzen konnten. Anspruchsvolle Aufgaben, die dem Bereich des Problemlösens zuzuordnen sind, im Besonderen kritische Fälle, komplexe Handlungssituationen und Nicht-Routine-Aufgaben, bereiteten große Schwierigkeiten, obwohl gerade den beruflichen Problemlösekompetenzen in den normativen Leitbildern des Berufs und in den curricularen Zielvorgaben eine hohe Relevanz beigemessen wird. Damit werden zugleich Validitätsfragen, in erster Linie Aspekte der Inhaltsvalidität, aber auch der prognostischen Validität hinsichtlich beruflicher Leistungen angesprochen. Zwar wurden beide Komponenten des Assessments einer Beurteilung durch Fachexperten unterzogen, die die Praxisrelevanz insgesamt relativ hoch bewerteten, jedoch waren in der Beurteilung des Anspruchsniveaus des Assessments auch divergierende Einschätzungen durch Fachdidaktikexperten und Fachpraxisexperten zu erkennen. Das Assessment geriet im Zuge der Beurteilung der inhaltlichen und berufsbezogenen Validität zugleich in die Professionalisierungsdebatte der medizinisch-gesundheitsbezogenen Berufe, die nur schwer aufzulösen war, weil auch innerhalb der jeweiligen Expertengruppen unterschiedliche Positionen vertreten wurden. Prognostische Validitätsprüfungen stehen bisher noch aus, stellen jedoch durch das dafür notwendige Längsschnittdesign in die Berufslaufbahn der Probanden hinein hohe Ansprüche an das Studiendesign und die Feldpflege.

Fragen der Konstruktvalidität wurden bereits im Kapitel 5 thematisiert. Hier zeigte sich, dass mit dem jeweiligen Testmodul eine spezifische Facette beruflicher Fachkompetenz gemessen wurde, die zudem den unterschiedlichen Lernumgebungen Rechnung trägt. Nicht zuletzt unterstreichen dies die Lerngelegenheiten in Schule und Ausbildungspraxis, die jeweils einen Erklärungsbeitrag zur Varianz in den Leistungen beim deklarativen Fachwissen bzw. bei den Handlungskompetenzen in der Simulation liefern. Ebenso wurde berichtet, dass die Facetten beruflicher Fachkompetenz nur mäßig mit den Basiskompetenzen korrelieren, was im Rahmen diskriminanter Validität erwünscht und erwartet wurde. Konvergente Validitätsrüfungen fielen teilweise erwartungswidrig aus. So überraschten die relativ geringen Korrelationen zwischen dem adaptivem Test und den simulationsgestützten Testkomponenten, da in anderen Domänen zumindest engere Zusammenhänge zwischen handlungsrelevanten Kognitionen einerseits und dem deklarativen Fachwissen andererseits festgestellt wurden. Zu nennen wären hier die Zusammenhänge zwischen der „verstehensbasierten Kompetenz“ und der „handlungsbasierten Kompetenz“ bei Industriekaufleuten (Achtenhagen/ Winther 2009, 29ff.), aber auch die Befunde im gewerblich-technischen Bereich (z. B. Walker et al. 2016, 163). Weitere Validierungsstrategien könnten auch Prüfungen von Zusammenhängen zwischen Testleistungen und Ergebnissen der Abschlussprüfungen sein. Darüber hinaus stehen noch differenziertere Konstruktprüfungen aus, etwa DIF-Analysen nach Personenmerkmalen wie dem Migrationshintergrund, der schulischen Vorbildung und dem spezifischen institutionellen Ausbildungskontext.

Die Komplexität von Assessments bietet eine Vielzahl an Chancen, Nachteile herkömmlicher Testverfahren zu neutralisieren. Dessen ungeachtet entstehen ebenso neue Herausforderungen, die mit den aufgezeigten Validierungsstrategien oder mit Fragen der Testfairness verbunden sind. Letztere werden vor allem dann virulent, wenn Überlegungen eines „high stake testing“ (Pellegrino 2010) mit dieser Art des Assessments verbunden sind und somit die Testergebnisse beispielsweise Relevanz für Berufschancen haben (vgl. die Diskussion zur Implementierung solcher Assessments in die Prüfungspraxis bei Walker et al. 2016, 164).