wbv   Bundesverband der Lehrerinnen und Lehrer an Wirtschaftsschulen e.V.

 

 

Schrift vergrößern Schrift zurücksetzen Schrift verkleinern download pdf-file pdf 178kb | www.bwpat.de

 
 

 

 bwp@ Ausgabe Nr. 8 | Juli 2005
Prüfungen und Standards in der beruflichen Bildung

Ganzheitliche Leistungsmessung durch erweiterte Verhaltensbeobachtungen


 

 

 

Mit Inkrafttreten der Neuordnung der industriellen Metallberufe am 1. August 2004 wurde auch deren Prüfungsstruktur geändert. Ziel war dabei, die Prüfungen arbeits- und geschäftsprozessorientiert zu gestalten und stärker auf das Prüfen beruflicher Handlungskompetenz auszurichten (vgl. GESAMTMETALL, IG-METALL 2001, 4). Analog zu den beruflichen Abschlussprüfungen in den IT-Berufen und bei den Mechatronikern wurde als „Variante 1“ ein „betrieblicher Arbeitsauftrag“ als Prüfungsform festgelegt. Ausgehend von dem Ansatz der Geschäfts- und Arbeitsprozessorientierung werden nachfolgend ein Verfahren zur Messung beruflicher Handlungskompetenz sowie beispielhafte Indikatoren einer kriterienorientierten Leistungsmessung für die Abschlussprüfung in den industriellen Metallberufen vorgeschlagen, begründet und mit Forschungsergebnissen untermauert.

1.  Geschäfts- und Arbeitsprozessorientierung beruflicher Abschlussprüfungen

Geschäfts- und Arbeitsprozessorientierung der Ausbildung bedeutet, zu erwerbende Fertigkeiten und Fähigkeiten in den Arbeitszusammenhang einzubetten. Der moderne Arbeitsprozess ist keine tayloristische Aneinanderreihung einzelner Tätigkeiten (Fertigkeiten und Fähigkeiten), sondern eine verwobene Abfolge von Informieren, Planen, Entscheiden, Ausführen, Kontrollieren und Bewerten, eingebunden in den betrieblichen Ablauf (Geschäftsprozess). Geschäfts- und Arbeitsprozessorientierung drückt sich darüber aus, dass der eigene Arbeitsprozess nicht losgelöst vom betrieblichen Geschäftsprozess betrachtet wird, sondern mit diesem in Beziehung steht. Es müssen Schnittstellen zu anderen Betriebsprozessen sowie insbesondere zu vor- und nachgelagerten Arbeitsprozessen betrachtet werden. Geschäfts- und Arbeitsprozessorientierung, bzw. die dadurch geforderten Kompetenzen, stehen somit nicht außerhalb des Profils beruflicher Handlungskompetenz. Sie bündeln und fokussieren vielmehr aus diesem Profil die Kompetenzen, die aufgrund der Prozessorientierung der modernen Produktionskonzepte besonders gefordert sind.

1.1  Defizite „konventioneller“ Abschlussprüfungen

Zwar sind seit ca. zehn Jahren Bestrebungen vorhanden, Handlungskompetenz zu prüfen, aber durch die Arbeits- und Geschäftsprozessorientierung der beruflichen Bildung geraten die Abschlussprüfungen, speziell im gewerblich-technischen Bereich, wiederum ins Kreuzfeuer der Kritik (vgl. z.B. SCHMIDT F. 2000, 2; STEIN 2003, 20; LENNARTZ 2003, 10 f.). Die praktischen Prüfungsteile gewerblich-technischer Berufe bis zur Neuordnung – „konventionelle“ Arbeitsproben und Prüfungsstücke – erfassten zwar die fachlichen Fertigkeiten, zeigten aber einerseits Defizite hinsichtlich der Integration des eigenen Arbeitsprozesses in den betrieblichen Geschäftsprozess auf. Andererseits standen rein fachliche Aspekte im Vordergrund, das im Beruf geforderte Spektrum beruflicher Handlungskompetenz wurde damit nur teilweise erfasst. Zunehmend wichtigere Teilkompetenzen, wie etwa Problemlösefähigkeiten, Interaktion im betrieblichen Kontext, Kooperation und Kommunikation blieben unberücksichtigt. Dieser auf Kenntnisse und Fertigkeiten ausgerichtete Ansatz genügt somit den Ansprüchen handlungsorientierter Prüfungen in keiner Weise (vgl. ZIMMER, DIPPL 2003, 17).

Kompetenz zeigt sich nur an der Bewältigung konkreter Aufgaben. Dabei ist allerdings anzumerken, dass immer nur ein Teil der „gesamten“ beruflichen Handlungskompetenz eines Prüflings erfasst wird. Das tatsächlich vorhandene Kompetenzpotential geht aber weit darüber hinaus und wächst zudem mit der Bewältigung jeder neuen Anforderung (vgl. ZIMMER, DIPPL 2003, 10). Die jeweilige Aufgabenstellung kann zudem nur eine begrenzte Anzahl der vielen z.T. verschiedenartigen Aufgaben eines Facharbeiters des jeweiligen Berufes repräsentieren. Berufliche Handlungskompetenz wird in Prüfungen somit nur aufgabenbezogen bzw. situationsbezogen ermittelt (vgl. ZIMMER, DIPPL 2003, 10). Die vollständige Ermittlung der Handlungskompetenz eines Prüflings ist bestenfalls über einen längeren Zeitraum mit unterschiedlichen Arbeiten am Arbeitsplatz möglich. Eine Prüfung kann daher lediglich eine Stichprobe sein.

Diesen Makel besitzen auch die konventionellen Prüfungen. Für eine authentische Prüfungsaufgabe im Falle der beruflichen Abschlussprüfung ist demnach nur wichtig, dass sie repräsentativ für die Arbeitsaufgaben eines Berufes ist. Die Repräsentanz darf sich aber nicht nur auf die fachlichen Anforderungen beziehen, wie dies z.B. bei der Bewertungsmatrix der Mechatroniker-Abschlussprüfung geschieht, sondern muss überfachliche Anforderungen gleichermaßen mit abdecken. Die inhaltliche Aussagekraft einer geschäftsprozessorientierten Prüfung beruflicher Handlungskompetenz wird bei der ausschließlichen Betrachtung fachlicher Aspekte wieder eingeschränkt.

Die geschäfts- und arbeitsprozessorientierte Erfassung von beruflicher Handlungskompetenz ist somit als (wichtigstes) Validitätsmerkmal der jeweiligen Prüfungsform anzusehen (vgl. LENNARTZ 2004; ALT, REISSE 1996, 18 f.; OTT 2000, 224). Wenn berufliche Handlungskompetenz geschäfts- und arbeitsprozessorientiert erfasst werden soll, werden Prüfungsmethoden relevant, die nach Aufgabenstellung und Ablauf die betriebliche Praxis integrieren und ihr damit entsprechen (vgl. REISSE 2002, 12).

1.2  Der betriebliche Auftrag der industriellen Metallberufe

Mit der betrieblichen Projektaufgabe bzw. dem betrieblichen Auftrag wurde nun auch für die industriellen Metallberufe eine Prüfungsmethode geschaffen, die sowohl eine vollständige Handlung implementiert als auch in reale Arbeits- und Geschäftsprozesse eingebettet ist. Für diesen „betrieblichen Arbeitsauftrag“, bei dem es sich vorzugsweise um einen „echten Kundenauftrag“ handelt (vgl. GESAMTMETALL, IG-METALL 2001, 4), ist in der VERORDNUNG ÜBER DIE BERUFSAUSBILDUNG IN DEN INDUSTRIELLEN METALLBERUFEN (§ 13 Abs. 4) lediglich festgelegt, dass „der Prüfling ... in höchstens 21 Stunden einen betrieblichen Auftrag durchführen und mit praxisbezogenen Unterlagen dokumentieren sowie darüber ein Fachgespräch von höchstens 30 Minuten führen“ soll. Prüfungsanforderungen sind somit reale Berufsanforderungen und das Handeln in der Prüfung ist realem Arbeitshandeln annähernd gleichzusetzen. Die für die Bewältigung betrieblicher Arbeitsaufgaben in einem betrieblichen Arbeitsumfeld notwendigen Kompetenzen werden von bzw. in der Prüfungsform weitgehend gefordert. Die Kompetenzen zur Bewältigung der Prüfung decken sich somit diesbezüglich weitgehend mit der im Beruf benötigten Handlungskompetenz. Dies zeigen auch die Erkenntnisse der bisherigen Evaluationen sowohl der IT- als auch der Mechatroniker-Abschlussprüfungen (vgl. EBBINGHAUS, GÖRMAR, STÖHR 2001; EBBINGHAUS 2003a). Daher lässt sich schlussfolgern: Authenzität als wichtigstes Validitätskriterium einer auf Handlungskompetenz abzielenden Prüfungsmethode ist in dem betrieblichen Auftrag im Wesentlichen erfüllt.

Die Prüfungsform gewährleistet damit einerseits, dass die Idee, die reale betrieblichen Arbeit zu beurteilen, nicht durch standardisierte Prüfungsaufgaben verwässert wird, führt aber andererseits dazu, dass Aufgabenstellungen in Inhalt und Niveau schwer vergleichbar sind. Dies wird sowohl durch die Prüfungsform selbst als auch durch das Fehlen von (geeigneten) Kriterien zur Zulassung der Aufgabenstellung bedingt (vgl. EBBINGHAUS, GÖRMAR, STÖHR 2001, 27; EBBINGHAUS 2003a, 17). In den industriellen Metallberufen sind diese Kriterien zwar noch zu erarbeiten, die Umsetzungshilfen für die IT-Systemelektroniker bspw. aber fordern lediglich, dass die Projektaufgabe das „Erstellen, Ändern oder Erweitern eines Systems der Informations- und Telekommunikationstechnik einschließlich Arbeitsplanung, Materialdisposition, Montage der Leitungen und Komponenten, Dokumentation, Qualitätskontrolle sowie Funktionsprüfung“ (BMBF 2000, 26) beinhalten soll. Bei Mechatronikern wird mit einer Bewertungsmatrix, die Beschreibungen enthält und Mindestpunktzahlen je genanntem Bereich festlegt, zumindest versucht, die fachliche Vergleichbarkeit zu erhöhen und vollständiges Handeln zu gewährleisten.

Der geforderte Prüfungsinhalt wurde mit dieser Matrix zwar (sehr weitläufig) beschrieben, erforderliche (Mindest-)Kompetenzen aber nur bezogen auf eine vollständige Handlung in den Richtlinien (vgl. BMBF 2000) festgelegt. Überfachliche Mindestanforderungen werden an die Projektaufgabe nicht gestellt. Ein Derivat besteht damit noch in einer Beschreibung, insbesondere von überfachlichen Mindestanforderungskriterien, an die betrieblichen Projektaufgaben bzw. die betrieblichen Aufträge (vgl. EBBINGHAUS, GÖRMAR, STÖHR 2001, 29). Diesen Aspekt gilt es insbesondere bei den Durchführungsrichtlinien der Prüfungen der industriellen Metallberufe zu berücksichtigen. Dieses Derivat zu beseitigen würde auch einen wesentlichen Beitrag zur Vergleichbarkeit der Prüfungen leisten.

Mit dem betrieblichen Auftrag ist zwar die Prüfungsform determiniert, hinsichtlich des Verfahrens der Leistungsmessung und Leistungsbewertung werden über die Aussage hinaus, dass der Auftrag zu dokumentieren ist und ein Fachgespräch stattfinden soll, in der Ausbildungsordnung der industriellen Metallberufe jedoch keine weiteren Festlegungen getroffen. Die Gestaltung/Umsetzung der Prüfung sowie der Leistungsmessung und das Erarbeiten entsprechender Richtlinien obliegen den zuständigen Stellen. Dies stellt eine zentrale Aufgabe für den Erfolg der Neuordnung dar. Nur wenn es gelingt, die im betrieblichen Auftrag geforderten Kompetenzen auch mess- und beurteilbar zu machen, wird es auch möglich sein, den Ansatz der Geschäfts- und Arbeitsprozessorientierung langfristig durchzusetzen (vgl. OTT 2002, 51). Insgesamt lässt sich festhalten, dass betriebliche Projektaufgaben der geeignete Ansatz sind, berufliche Handlungskompetenz geschäfts- und arbeitsprozessorientiert vom Prüfling zu fordern.

2. Messung beruflicher Handlungskompetenz in Arbeits- und Geschäftsprozessen

„Messen“, „Bewerten“, „Beurteilen“ sind sowohl alltagssprachlich als auch wissenschaftlich uneinheitlich definierte Begriffe (vgl. z. B. BECKER 1998, SCHMIDT 2003). Unter Messung wird hier der Prozess der Aufnahme der Ausprägung eines Merkmals verstanden. Bewertung hingegen bezeichnet den Soll-Ist-Vergleich und die Interpretation der Abweichung des aufgenommenen Wertes von einem Vergleichswert. Beide Teilprozesse der Leistungsbeurteilung (vgl. Abb. 1) sind zur Schaffung der Überprüfbarkeit des Ergebnisses und damit zur Objektivität von Leistungsbeurteilungen zu trennen. Die Frage nach einem Vergleichsmaßstab und damit der Bewertungsaspekt werden im Rahmen dieses Artikels ausgeblendet, da ein valider Bewertungsprozess zunächst eine fehlerfreie Aufnahme der Merkmalsausprägung voraussetzt.

Eine ebenso über verschiedene Wissenschaftsdisziplinen uneinheitliche Definition findet sich für den Begriff „Leistung“. Menschliche (Arbeits-)Leistung erweitert den technischen Leistungsbegriff (geleistete Arbeit pro Zeit) um die Dimension der Qualität. Andererseits bezieht sich ein so verstandener Leistungsbegriff nicht nur auf das Arbeitsergebnis, sondern schließt das Verhalten bei der Leistungserstellung explizit mit ein. Leistungsmessung muss daher – dies wurde vom Bundesverfassungsgericht 1979 bereits bestätigt – sowohl das Leistungsergebnis als auch das Leistungsverhalten, also das Verhalten, das beim Erstellen des Leistungsergebnisses gezeigt wurde, berücksichtigen.

2.1  Probleme der Messung beruflicher Handlungskompetenz beim „betrieblichen Auftrag“

Der „betriebliche Auftrag“ ist, wie oben dargelegt, eine geeignete Prüfungsform, um berufliche Handlungskompetenz geschäfts- und arbeitsprozessorientiert vom Prüfling zu fordern. Durch diese Prüfungsform werden aber auch Probleme bei der Erfassung der Handlungskompetenz impliziert.

Der durch die Einführung des „betrieblichen Auftrags“ gewonnene Validitätszuwachs der Abschlussprüfungen in den industriellen Metallberufen wird, wie die Vorgänger-Beispiele zeigen, auf Kosten der Objektivität erkauft. Auch die Wiederholbarkeit und damit der Nachweis der Reliabilität des Ergebnisses sind bei dieser Prüfungsform in Frage gestellt. Eine Wiederholung der Aufgabe bzw. des Auftrages, wenn es denn von betrieblicher Seite möglich ist, besitzt für den Prüfling weitaus geringere Anforderungen. Die Planungsphase würde quasi entfallen und die Aufgabe zu einer Wiedergabe von Handlungsabläufen, ähnlich der derzeitigen Arbeitsprobe (vgl. LENNARTZ 2003, 12), degenerieren. Die Gütekriterien, insbesondere Objektivität und Reliabilität, können daher in den projektförmigen Prüfungsmethoden nur in Ansätzen erfüllt werden (vgl. ELSTER 2003, 160).

Die vollständige Ermittlung der Handlungskompetenz eines Prüflings ist bestenfalls über einen längeren Zeitraum mit unterschiedlichen Arbeiten am Arbeitsplatz möglich (s. o.). Um berufliche Handlungskompetenz umfassend zu messen, wäre darüber hinaus eine permanente Beobachtung des Prüflings von Nöten. Bei dem betrieblichen Auftrag mit einem Umfang von etwa 30 Stunden ist dies aus (prüfungs-)ökonomischen Gründen nicht möglich, da die Prüfer die Arbeit eines Prüflings nicht über diesen Zeitraum begleiten können (vgl. EBBINGHAUS 2000, 12). Zudem würde die geforderte Authentizität durch die permanente Begleitung des Prüfers wiederum stark eingeschränkt. Eine stete Begleitung des betrieblichen Auftrages durch eine (zudem betriebsfremde) Person entspricht nicht der betrieblichen Praxis.

Das zweite Problemfeld stellt die geforderte Berücksichtigung von Leistungsergebnis und Leistungsverhalten dar. Das Leistungsergebnis (das Handlungsprodukt) wurde sowohl in den IT- Berufen als auch bei den Mechatronikern, deren Ausbildungsordnungen die Grundlage für die Gestaltung der Prüfungen der industriellen Metallberufe bildeten, nicht direkt mit einbezogen. Der Auftrag selbst bzw. das Auftragsergebnis werden nicht direkt bewertet. Dies widerspricht zunächst der oben aufgestellten Forderung nach einer Leistungsmessung, die sowohl das Leistungsergebnis als auch das Leistungsverhalten beinhalten soll. Man versuchte stattdessen der Forderung nach Berücksichtigung des Leistungsergebnisses durch die Beurteilung der Dokumentation genüge zu tun. In ihr sollten Leistungsverhalten und Leistungsergebnis zu Tage treten und somit kombiniert gemessen werden. Dass dieser Zugang nicht geeignet ist, zeigen die jeweiligen Evaluationsergebnisse des Bundesinstitutes für Berufsbildung, welche die Bewertung der Dokumentation besonders in Frage stellen (vgl. EBBINGHAUS 2003a).

Einerseits ist kritisch anzumerken, dass über die Dokumentation das Leistungsverhalten nicht direkt ersichtlich ist. Als Voraussetzung müssten zumindest entsprechende Aspekte in der Dokumentation festgehalten werden. Dies ist für überfachliche Aspekte des Arbeitshandelns anzuzweifeln. Der hohe Anteil an Prüfern bei den Mechatroniker-Abschlussprüfungen, die weitere Informationsquellen hinzuzogen, belegt, dass allein die Dokumentation nicht ausreichend ist, um entsprechende und notwendige Informationen zur Leistungsmessung zu erhalten.

Andererseits lässt die Dokumentation andere Kompetenzen (beispielsweise Gestaltung der Dokumentation) in den Vordergrund treten als die zur Durchführung des Auftrages benötigten und fokussiert außerdem nur die theoretische, kognitive Facette eines Auftrages (vgl. EBBINGHAUS 2003a, 24). Die berufliche Handlungsfähigkeit wird somit in der Dokumentation nicht adäquat abgebildet. Die Dokumentation im Rahmen der Abschlussprüfung überschreitet zudem bei weitem den betriebsüblichen Umfang und Charakter, auch wenn diese Fähigkeit durch die Qualitätsnormen DIN-ISO 9000 ff. im betrieblichen Umfeld immer mehr gefordert wird.

Aus der Ausbildungsordnung der industriellen Metallberufe geht hervor, dass neben der Dokumentation auch ein Fachgespräch Teil der Leistungsmessung des „betrieblichen Auftrages“ sein soll. Auch im Fachgespräch des Projektes werden die durchgeführten Arbeitshandlungen nur verbal oder in schriftlicher Form wiedergegeben. Die im Arbeitsprozess geforderten Kompetenzen, wie Problemlösekompetenzen, Kooperationsfähigkeit, Selbstständigkeit und Eigeninitiative kommen dadurch nicht oder nur indirekt über die Kommunikationsfähigkeit zum Tragen. Darüber hinaus besteht bei einem Fachgespräch die Gefahr, dass es zu einer mündlichen Kenntnisabfrage degeneriert und folglich nur deklaratives (Fach-)Wissen und keine berufliche Handlungskompetenz beurteilt wird. Die betriebliche Projektaufgabe verliert dadurch ihre Authentizität und der Nachweis beruflicher Handlungskompetenz wird verfälscht. Die betriebliche Praxis beurteilt die Leistungsmessung der Projektaufgabe bei den Mechatronikern dementsprechend skeptisch (vgl. EBBINGHAUS, GÖRMAR, STÖHR 2001, 29). Es wird im betrieblichen Umfeld bereits vom „Kommunikationsmechaniker“ gesprochen.

Aber auch eine Ergebnismessung, wenn Sie denn durchgeführt wird, kann nicht in einer umfangreichen und peniblen externen Prüfung, z.B. aller Maße eines Werkstückes, bestehen. Dies widerspricht der betrieblichen Praxis und damit der Authentizitätsforderung. So prüft beispielsweise der Kunde eines Bauteiles auch nur die für ihn relevanten Maße. Die Ergebnisprüfung muss sich zum adäquaten Abbilden beruflicher Handlungskompetenz an der beruflichen Praxis orientieren. Für die Herstellung eines Werkstückes oder einer Vorrichtung kann dies z.B. heißen, dass lediglich eine Sicht- und Funktionsprüfung durchgeführt wird sowie Anschluss- und Funktionsmaße kontrolliert werden. Ansonsten würde das Leistungsergebnis gegenüber dem Leistungsverhalten dominieren und die berufliche Handlungskompetenz verzerrt gemessen werden.

2.2  Verhaltensbeobachtung als wesentliches Element zur Messung beruflicher Handlungskompetenz

Im gewerblich-technischen Bereich scheinen insbesondere bei Aufträgen, bei denen eine Produkterstellung im Zentrum steht, die fachlichen Fähigkeiten über die konkreten Arbeitsergebnisse beurteilbar zu sein. Bereits bei dienstleistungsorientierten Aufträgen wird dieser Ansatz deutlich in Frage gestellt. Überfachliche Kompetenzen lassen „sich aber nur indirekt, über die Beobachtung von Verhalten, erschließen“ ( RIPPER, WEISSCHUH 1999, 15). So basiert das Beurteilungsverfahren der DAIMLERCHRYSLER AG „Ausbildung im Dialog“ auch auf der Erkenntnis, dass Verhaltensbeobachtungen ein adäquates Instrument sind, um das Leistungsverhalten zu erfassen. Die Methode der Verhaltensbeobachtung zur Erfassung beruflicher Handlungskompetenz wird ebenso von wissenschaftlicher Seite immer wieder favorisiert (vgl. OTT 2002, 55; OTT 2000, 221).

Der Ansatz einer ganzheitlichen Berufsbildung (vgl. OTT 1995) übertragen auf berufliche Abschlussprüfungen bedeutet, auch in Prüfungen berufliche Handlungskompetenz in allen Kompetenzbereichen (gemeinsam) zu erfassen. Denn überfachliche Kompetenzen zeigen sich im Kontext fachlichen Handelns und wirken nach dem Schlüsselqualifikationsansatz mit den fachspezifischen Kompetenzen zusammen (vgl. REISSE 2002, 4). Im Sinne einer ganzheitlichen Messung beruflicher Handlungskompetenz muss somit Zielsetzung sein, überfachliche (Schlüssel-)Kompetenzen mit zu erfassen und diese nicht isoliert zu prüfen (vgl. REISSE 2002, 4). Daher sind die Verfahren Verhaltensbeobachtung und Ergebnisprüfung aufeinander zu beziehen, denn auch Fachkompetenz drückt sich nicht allein im Leistungsergebnis aus, da für viele Tätigkeiten, auch im gewerblichen Bereich, eine eindeutige Beziehung zwischen dem fachlichen Handeln (Leistungsverhalten) und dem Leistungsergebnis nicht ohne weiteres herstellbar ist (vgl. SOMMERHOFF 1999, 41).

Die Methode der Verhaltensbeobachtungen ist mit weiteren Schwächen und Einschränkungen behaftet. Das Messen der gesamten Handlungskompetenz – durch die Projektaufgabe bereits nur stichprobenartig möglich – wird durch die Verhaltensbeobachtung weiter eingeschränkt. Verhaltensbeobachtungen sind immer mit selektiver Wahrnehmung verbunden. Eine absolut vollständige Beobachtung ist damit unerreichbar, weil selektive Wahrnehmung subjektiv beeinflusst und fehlerbehaftet ist (s. Kap. 2.1. und vgl. SEYFRIED 1995, 145; SCHULER, BARTHELME 1995, 93).

2.3  Erweiterung der Verhaltensbeobachtung

Verhaltensbeobachtungen sind nach dem oben gezeigten Ansatz bereits um eine Ergebnisprüfung zu erweitern. Dennoch bleibt das Problem der eingeschränkten Beobachtungsmöglichkeiten damit zunächst ungelöst. Schwerer als dieses Problem wiegt aber, dass vom Verhalten auf die Kompetenz geschlossen werden muss (vgl. NERDINGER 2001, 55; WALZIK 2003, 48). Gemessen werden können nur manifestierte Kompetenzen. Beispielsweise zeigt sich Planungskompetenz in einer sinnfälligen und korrekten Reihenfolge der Ausführung. Ein Rückschluss von falscher Reihenfolge auf fehlende Planungskompetenz ist nicht zwangsläufig, es kann auch an der „Umsetzungskompetenz“ des Prüflings mangeln. Hinzu kommt, dass nicht ohne weiteres aus nichtbeobachteten Verhaltensweisen auf Kompetenzdefizite geschlossen werden kann.

Hier kann aber die Dokumentation des „betrieblichen Auftrages“ weiterhelfen, in der beispielsweise Ergebnisse der Planungsphase dokumentiert werden bzw. Änderungen im Vorgehen begründet werden können. Die Dokumentation sollte sich aber dennoch an der betrieblichen Praxis (Qualitätsdokumentation) orientieren und darf nicht alleinige Grundlage der Leistungsmessung sein. Auch das Fachgespräch hat vor diesem Hintergrund seinen Sinn. Der Prüfling kann die von ihm getroffenen Entscheidungen oder Vorgehensweisen, die bei einer praxisorientierten Dokumentation i. d. R. nicht vollständig dargelegt werden, erläutern und begründen. Auch dies entspricht (betrieblicher) Praxis. Ein Kunde, der mit seinem Produkt nicht zufrieden ist, akzeptiert dieses i. d. R. nicht einfach. Er äußert seinen Unmut und eröffnet damit indirekt die Möglichkeit, Sachverhalte zu erklären oder darzulegen. Beobachtung, Dokumentation und Fachgespräch sollten damit ein integratives Ganzes bilden und keine getrennten Aspekte der Leistungsmessung sein oder gar, wie im Fall der IT-Berufe und Mechatroniker, noch mit unterschiedlichen Gewichtungen versehen werden.

In diesem Sinne erweiterte Verhaltensbeobachtungen können auch (auftragsspezifische) Kenntnisse erfassen, die Voraussetzungen des Leistungsverhaltens und des Leistungsergebnisses sind. Ihnen kommt in manchen Aufträgen besondere Bedeutung zu (vgl. NERDINGER 2001, 55). Bei einem Verständnis des Fachgespräches als ein „Gespräch unter Fachleuten“, in dem das Vorgehen erläutert wird, erfolgt entsprechend der betrieblichen Realität keine „Wissensabfrage“. Stattdessen müssen Kenntnisse situationsbezogen eingesetzt werden. Zudem lassen sich auch weitere Aspekte der beruflichen Handlungskompetenz, z.B. das adäquate Verwenden der Fachsprache, erfassen.

Dieser Ansatz der erweiterten Verhaltensbeobachtung wurde u.a. im Rahmen des Promotionsvorhabens „Indikatoren für eine ganzheitliche Leistungsmessung beruflicher Handlungskompetenz in Produktionsprozessen“ (SCHEIB 2005) in Form einer erweiterten Verhaltensbeobachtung begründet und untersucht. Hierbei wurden mit einem multimethodischen Vorgehen Ausbildungsverantwortliche, Ausbildungsbeauftragte sowie Ausbilder, die teilweise als Prüfer fungieren, befragt. Auf die Frage nach der Bedeutung der verschiedenen Informationsquellen antworteten die schriftlich befragten Ausbilder und Ausbildungsbeauftragten wie folgt:

Die Tatsache, dass weit über die Hälfte der Befragten Verhaltensbeobachtungen als „sehr wichtig“ ansehen, lässt den Schluss zu, dass Verhaltensbeobachtungen essentiell sind, um berufliche Handlungskompetenz zu messen, denn berufliches Handeln zeigt sich nicht nur in einer Dokumentation und einem Fachgespräch. Alleinige Verhaltensbeobachtungen reichen jedoch nicht aus, denn wesentliche Aspekte beruflicher Handlungskompetenz, wie Planungsprozesse und Gründe für Entscheidungen, kommen im Verhalten nicht vollständig zum Tragen. Die hohen Werte für alle drei Verfahren (vgl. Abb. 2) belegen den Ansatz einer erweiterten Verhaltensbeobachtung. Danach sollten Verhaltensbeobachtungen, erweitert durch die Projektdokumentation und ein Fachgespräch, zur Messung beruflicher Handlungskompetenz hinzugezogen werden, um die Validität beruflicher Abschlussprüfungen zu erhöhen.

2.4  Beobachtungen Dritter

Das Messen der gesamten Handlungskompetenz – durch die Projektaufgabe bereits nur stichprobenartig möglich – wird durch die Verhaltensbeobachtung weiter eingeschränkt. Verhaltensbeobachtungen sind erstens immer mit selektiver Wahrnehmung verbunden. Wie bereits oben angerissen verschärft sich dieses Problem, da die Prüfer den betrieblichen Auftrag nicht in vollem Umfang begleiten können. Zudem haben Prüfer eine Perspektive auf den betrieblichen Auftrag, der u.U. nicht mit den authentischen Perspektiven realer betrieblicher Arbeitsaufträge übereinstimmt. Daher sind weitere „Gewährspersonen“ hinzuzuziehen.

Nach modernem Qualitätsverständnis ist die Zufriedenheit des Kunden ein wesentlicher Qualitätsmaßstab. Im Sinne dieser Kundenorientierung ist somit der Kunde eines erstellten Produkts oder einer Dienstleistung in die Leistungsmessung mit einzubeziehen (vgl. LOHAUS 1998, 29). Eine solche Einbeziehung in die Leistungsmessung beruflicher Abschlussprüfungen wurde seitens des BIBB (vgl. EBBINGSHAUS 2003b, 12) in Frage gestellt. Ein „Projekt, das zur Zufriedenheit des Kunden ausgeführt wurde, [kann, T.S.] kaum negativ bewertet werden“. Es wird also im Wesentlichen eine Beeinflussung der Objektivität der Leistungsmessung befürchtet.

Dem ist entgegen zu halten, dass die Beobachtungen bzw. Aussagen des Kunden über die erbrachte Leistung eines Prüflings sich, sofern er der Produkterstellung nicht beiwohnt, nur auf das Leistungsergebnis beziehen. Somit sind bei Defiziten im Leistungsverhalten – trotz guter Kundenbeurteilung – sehr wohl negative Ergebnisse denkbar und vertretbar bzw. erklärbar. Außerdem geht es nicht um die Bewertung durch den Kunden, sondern lediglich um seine Wahrnehmung des Produktes oder der Leistungserstellung, also der Aufnahme des Messwertes (vgl. Abb. 1). Zudem sollte sie sich, wie oben angedeutet, an vorher festgelegten Kriterien orientieren. Eine Beurteilung des Projektes bzw. der Abschlussprüfung durch den Kunden ist dadurch nicht gegeben. Neben dem Kunden sind z.B. Kollegen oder Mitarbeiter involvierter Betriebsabteilungen als weitere Informationsquellen zur Leistungsmessung heranzuziehen.

Eine Peer-to-Peer-Beurteilung bei betrieblichen Aufträgen, die von zwei oder mehreren Auszubildenden gemeinsam durchgeführt werden, erscheint allerdings nicht sinnvoll. Es zeigt sich zwar bei Entwicklungsbeurteilungen und betrieblichen Leistungsbeurteilungen, dass Gleichgestellte auch bei enger Bindung zueinander exaktere Verhaltensbeispiele nennen können als Vorgesetzte (vgl. SEYFRIED 1995, 147), aber für Leistungsstandbeurteilungen mit der Bedeutung von Abschlussprüfungen erscheint es nicht zulässig, dass Prüflinge gegenseitig an der Leistungsmessung der jeweils anderen beteiligen werden. Vom Ergebnis der Beobachtung eines „Konkurrenten“ bzw. seiner diesbezüglichen Aussage kann u.U. der spätere Arbeitsplatz abhängen.

Sowohl die Akzeptanz als auch befürchtete Einschränkungen in der Objektivität beim Hinzuziehen Dritter zur Leistungsmessung sowie deren Bedeutung waren Nebenfragestellungen des hier zu Grunde liegenden Promotionsvorhabens ( SCHEIB 2005). Als Ergebnis aller Phasen des multimethodischen Vorgehens zeigt sich, dass das Hinzuziehen von „Aussagen Dritter“ zulässig, wichtig und unverzichtbar ist. Das Hinzuziehen von Gewährspersonen zur Leistungsmessung ist in Anbetracht der fehlenden Beobachtungsmöglichkeit für (prüfende) Ausbilder nötig. Die Evaluationsergebnisse der Mechatroniker-Abschlussprüfung werden dadurch bestätigt. Interessenbeeinflussung und daraus resultierende Objektivitätsverringerung, wie in der Evaluation der Mechatroniker-Abschlussprüfungen befürchtet (vgl. EBBINGHAUS 2003b, 12), werden nicht gesehen. Im Gegenteil wird, so die Berufsbildungsexperten und Verantwortliche in Ausbildungsorganisationen, durch verschiedene Perspektiven eine objektive Leistungsmessung unterstützt. Als besonders bedeutend werden die Aussagen des Kunden hervorgehoben, der Mängel in der Leistung feststellen kann. Seine Zufriedenheit stellt daher das wichtigste Merkmal dar. Die befragten Ausbilder, die letztendlich die Beurteilung durchführen und verantworten, äußern diese Befürchtung einer Beeinflussung der Beurteilung durch „Fremde“ ebenso nicht. Auch sie sehen im Gegenteil die „Aussagen Dritter“ zur Leistungsmessung als nötig an. Darüber hinaus wird von ihnen sogar angeregt, diese Gewährspersonen in den gesamten Beurteilungsprozess zu integrieren. Als besonders bedeutend werden ebenso die Meinungen und Beobachtungen des Kunden eingeschätzt.

Der Kunde „spüre“ am ehesten die eventuellen Mängel der erstellten Leistung. Auch über den Kunden hinaus werden Aussagen Dritter, wie z.B. von Facharbeitern des durchführenden Betriebes oder anderer Abteilungen, nicht nur durchweg von den Ausbildern akzeptiert, sondern ihnen wird absolut vertraut. Ein Ausbilder drückte dies mit den Worten aus: „Von den Ausbildungsbeauftragten [ist; T.S.] die Sache so beobachtet worden. Ich werde mich da in keinster Weise korrigierend einbringen.“ Insgesamt ist nach Ansicht der Ausbilder eine Verringerung der Objektivität durch die Einbeziehung Dritter in die Leistungsmessung nicht gegeben.

2.5 Kriterienorientierte Verhaltensbeobachtungen

Verhaltensbeobachtungen, auch wenn diese um scheinbar „objektive“ Instrumente erweitert werden, unterliegen subjektiven und schwer erfassbaren Einflüssen. Die Fehler bleiben daher oft unreflektiert und sind damit nicht korrigierbar. Insbesondere die Trennung von Messung und Bewertung wird teilweise aufgehoben, da ein Mensch seine Beobachtungen immer vor dem Hintergrund eigener Erfahrungen und Werte interpretiert. Objektivität als Gütekriterium kann daher nur bedingt eingehalten werden.

Eine vollständige Objektivität und Fehlerfreiheit bei der Einschätzung von Handlungskompetenz ist auch mit einer erweiterten Verhaltensbeobachtung nicht zu erreichen. Dies soll aber nicht bedeuten, dass auf die Kriterien Objektivität und Reliabilität ganz verzichtet werden soll und „Beurteilungen den Anschein der Beliebigkeit erwecken“ ( OTT 2000, 221). Vielmehr gilt es, eine „objektive[re; T.S.] Beurteilung durch vorab festgelegte einheitliche Kriterien“ ( OTT 2000, 221) zu erreichen (vgl. auch WALZIK 2003, 52; EBBINGHAUS 2003b, 21; ZIMMER, DIPPL 2003, 14 f. ). Solche Leistungskriterien oder Indikatoren müssen erwartete Verhaltensweisen auf eine operationale Ebene transformieren.

Die kriterienorientierte Leistungsbeurteilung stellt zumindest in Deutschland im betrieblichen Rahmen die verbreitetste Form dar (vgl. SOMMERHOFF 1999, 41; LOHAUS 1998, 24). Viele Verfahren trennen aber nicht zwischen Messung und Bewertung. Die bei diesen Verfahren zu Grunde gelegten Indikatoren beinhalten starke Werturteile. Elaborierte Beurteilungsverfahren dagegen basieren in der Regel auf dem Prinzip, Beobachtung und Bewertung zeitlich voneinander zu trennen, denn vor der Beurteilung muss die Beobachtung liegen (vgl. SEYFRIED 1995, 141). Zur Trennung von Beobachtung und Beurteilung müssen daher Indikatoren angestrebt werden, die konkrete Verhaltensbeschreibungen beinhalten. Im günstigsten Fall sind diese mit „beobachtet“ oder „nicht beobachtet“ zu beantworten. Nur dann kann eine spätere Beurteilung vorurteilsarm erfolgen (vgl. SEYFRIED 1995, 141). Diese Anforderung an Indikatoren ist, insbesondere bei Fremdbeobachtung, für die Objektivität der Leistungsmessung wesentlich.

3. Indikatoren für eine geschäfts- und arbeitsprozessorientierte Leistungsmessung

3.1 Anforderungen an Indikatoren

Die Forderung, dass Indikatoren mit einem eindeutigen und belegbarem „Ja“ oder „Nein“ zu beantworten sind, begründet die Verwendung des Indikatorbegriffes, der im Gegensatz zum Kriterium als „beweiskräftiges Merkmal“ bzw. als „beweiskräftiger Hinweis für etwas“ definiert ist. Der Indikatorbegriff wird, volkswirtschaftlich geprägt, mit etwas Quantifizierbarem verbunden (vgl. CENTRE FOR EDUCATIONAL RESEARCH AND INNOVATION 1994, 80). Bei Verhaltensbeobachtungen ist hierbei allerdings eine erweiterte Sichtweise des Begriffes einzunehmen. Indikatoren sind alle Variablen „[which; T.S.] represent the aggregate status or change in status of persons, objects, institutions or elements [and are also; T.S.] essential to report of status or change of status“ (Centre for Educational Research and Innovation 1994, 80). Zur Gewährleistung der Güte der Messung beruflicher Handlungskompetenz sind an die Indikatoren drei Hauptanforderungen zu stellen (vgl. Ott , Scheib 2002, 102, Centre for Educational Research and Innovation 1994, 89 ff.) , die sich wie folgt zusammenfassen lassen:

Indikatoren müssen:

• sensitiv sein, das heißt, sie spiegeln Verhaltensänderungen wider;

• spezifisch sein, das heißt, sie sind im Wesentlichen auf einen Aspekt beruflicher Handlungskompetenz gerichtet;

• reliabel sein, das heißt, sie können zuverlässig ermittelt werden.

Diese Anforderungen können über die sogenannte „RUMBA-Regel“ operationalisiert werden. Die „RUMBA-Regel“ dient gleichzeitig dazu, Qualitätsindikatoren zu prüfen und zu bewerten (vgl. BUNDESÄRZTEKAMMER 2000, 99; KLEINBECK, SCHMIDT 1993, 83). RUMBA ist ein Akronym für die englischen Begriffe:

• R_elevant (Relevanz): Ist der Indikator relevant für die Messung eines Merkmals? Spiegelt er dieses wieder und besteht eine kausale Beziehung zwischen Merkmal und Indikator?

• U_nderstandable (Verständlichkeit): Ist der Indikator allen Beteiligten verständlich und seine Anwendung nachvollziehbar?

• M_easurable (Messbarkeit): Ist der Indikator durch eine erweiterte Leistungsmessung überhaupt messbar?

• B_ehaviourable (Beeinflussbarkeit): Beeinflusst eine Veränderung des Leistungsverhaltens des Prüflings oder des Leistungsergebnisses den Indikator?

• A_chievable (Erreichbarkeit): Ist die mit dem Indikator festgelegte Verhaltensbeschreibung bzw. sind die Aspekte des Leistungsergebnisses vom Prüfling überhaupt erreichbar?
(vgl. Ott, Scheib 2002, 103; Centre for Educational Research and Innovation 1994, 88 ff.)

Die hier dargestellten Anforderungen bilden somit die Grundlage zur Entwicklung geeigneter Kriterien bzw. Indikatoren der Leistungsmessung.

3.2  Entwicklung möglicher Indikatoren zur Abbildung der Geschäfts- und Arbeitsprozessorientierung

Geschäfts- und Arbeitsprozessorientierung der Ausbildung und Abschlussprüfung muss sich auch in den Kriterien (Indikatoren) der Leistungsmessung niederschlagen. Diese müssen demnach nicht nur anzeigen, dass der Prüfling eine für sich allein stehend (isoliert vom betrieblichen Umfeld) gute Leistung erbringt, sondern dass diese Leistungserbringung in die betrieblichen Strukturen und Prozesse eingebettet ist und dies vom Auszubildenden bei der Leistungserstellung berücksichtigt wird.

Vor diesem Hintergrund wurden als zentrale Fragestellung in der oben bereits erwähnten Untersuchung (SCHEIB 2005) in Kooperation mit der DEGUSSA SERVICEEINHEIT AUSBILDUNG (in Marl) geeignete Indikatoren zur Leistungsmessung der beruflichen Handlungskompetenz in der Abschlussprüfung unter besonderer Berücksichtigung moderner Produktionskonzepte entwickelt, erprobt und evaluiert. In einer praxisforschungsorientierten Grundhaltung wurden, ausgehend von mehreren konkreten Lern- und Arbeitsaufgaben, in Kooperation mit der betrieblichen Praxis (Ausbilder, Ausbildungsbeauftragte, Vorgesetzte, Kollegen aber auch Kunden der zu erbringenden Leistung) zunächst mögliche Indikatoren exploriert. Hierbei standen mehrere Leitfragen, die sowohl die Perspektive des Leistungsergebnisses (z.B. „Wann sind Sie als Kunde mit dem Produkt/der Dienstleistung zufrieden?“) als auch des Leistungsverhaltens berücksichtigten (z.B. „Was zeichnet einen guten Kollegen aus?“ oder „Woran sieht man bereits im Prozess, ob das Produkt gut wird?“). Die gesammelten Aspekte wurden vom konkreten Projekt abstrahiert, auf eine einheitliche sprachliche Ebene überführt und zu 17 Handlungszielen mit je 3-4 Indikatoren geclustert. In mehreren Diskursen wurden auf Basis der oben dargestellten RUMBA-Kriterien 27 Indikatoren ausgewählt, die zur Leistungsmessung der konkreten Praxisprojekte herangezogen wurden. Durch Interviews mit den an den Praxisprojekten Beteiligten, Gruppendiskussionen mit Ausbildungsbeauftragten und Berufsbildungsexperten sowie einer schriftlichen Befragung von Ausbildern und Ausbildungsbeauftragten der DAIMLERCHRYSLER AG wurden die Indikatoren evaluiert. Letztgenannte waren von besonderer Bedeutung, da sie durch das Verfahren „Ausbildung im Dialog (AiD)“ (vgl. RIPPER, WEISSCHUH 1999) bereits Erfahrung mit einem ganzheitlichen Verfahren der Leistungsmessung besitzen und die Automobilbranche der größte Ausbilder für Industriemechaniker ist.

3.3  Geeignete Indikatoren zur Abbildung der Geschäfts- und Arbeitsprozessorientierung

Die Ergebnisse der einzelnen Forschungsphasen sind nahezu deckungsgleich. Theoriekonform zeigte sich, dass nur eine begrenzte Anzahl von Indikatoren handhabbar ist. Die im Rahmen dieses Forschungsprozesses zu Grunde gelegte Zahl von 25 Indikatoren für Arbeitsaufgaben im Umfang von 70 Stunden stellt dabei eher die Obergrenze dar. Weiterhin trat bereits in den Interviews zu Tage, dass Geschäftsprozessorientierung und Arbeitsprozessorientierung von den Befragten durchaus differenziert betrachtet werden. Dies wurde in den nachfolgenden Evaluationsschritten berücksichtigt. Geschäftsprozessorientierung wird dabei als die Einbettung des eigenen Arbeitsprozesses in den betrieblichen Gesamtprozess verstanden und bedeutet, unter Berücksichtigung des Total-Quality-Management Ansatzes und eines kundenorientierten Qualitätsverständnisses, auch den Nachfolgeprozess als Kunden anzusehen. Arbeitsprozessorientierung wird als Fähigkeit verstanden, die eigene Tätigkeit als Arbeitsprozess anzusehen und diesen Prozess mit all seinen Phasen zu durchlaufen. Dieses Verständnis korrespondiert daher mit dem prozessorientierten, handlungsanalytischen Deutungsansatz beruflicher Handlungskompetenz.

In seiner Bedeutsamkeit für die Arbeitsprozessorientierung stand das Handlungsziel „Auszubildende erfüllen Anforderungen und Spezifikationen des Auftrags“ an erster Stelle, Es spiegelt sich in den Indikatoren „Produkt erfüllt die geforderte Funktion“ und „Kunde ist mit dem Produkt zufrieden“ sehr gut wider. Dies ist insofern erwähnenswert, da es aus theoretischer Sicht für die Prozessbetrachtung eigentlich von geringerer Bedeutung ist, denn bei diesem Ziel dominiert das (Prozess-)Ergebnis. Aus den einzelnen Phasen einer vollständigen Handlung, im Sinne eines Arbeitsprozesses, ragte die Planung etwas heraus, wobei weniger der Indikator „Auszubildende arbeiten analog eines selbst entwickelten Arbeitsplans“ als vielmehr die Reflektion und damit (wenn nötig) die begründete Veränderung des Vorgehens als Nachweis angesehen wurde. Die Dokumentation des eigenen Arbeitsprozesses fällt insgesamt dagegen etwas ab, wenngleich dem Indikator „Der Arbeitsprozess lässt sich anhand der Dokumentation wiederholen/nachvollziehen“ eine sehr hohe Bedeutung beigemessen wurde.

Für die Abbildung der Geschäftsprozessorientierung im Sinne von „the next process is your customer“, ist der oben bereits dargestellte Indikator der Kundenzufriedenheit ergänzt durch die Indikatoren „ Auszubildende erfragen Anforderungen und Wünsche des Kunden“ sowie „Auszubildende reagieren auf Wünsche des Kunden z.B. mit Veränderungen des Zeitplans“ von Bedeutung. Für die Geschäftsprozessorientierung wurde aber nicht nur der Blick nach „vorne“ sondern auch „zur Seite“ als besonders bedeutsam angesehen. So müssen die Indikatoren hierfür insbesondere die Kooperation mit den Kollegen sowie die Abstimmung der eigenen Tätigkeiten mit dem betrieblichen Ablauf abbilden. Dies ist mit Indikatoren, wie z.B. „Auszubildende unterstützen Kollegen bei Schwierigkeiten“, insgesamt sehr gut gelungen. Die entwickelten Indikatoren weisen nach Ansicht der Befragten aber auch Defizite insbesondere im Hinblick auf die Mitwirkung bei Entscheidungsprozessen auf, wobei die Frage gestellt werden muss, inwiefern dieser Aspekt bei einer beruflichen Abschlussprüfung überhaupt zum Tragen kommt.

Dies sind nur ausgewählte Beispiele und Ergebnisse. Insgesamt lässt sich bei Betrachtung der Ergebnisse aller Forschungsphasen jedoch festhalten, dass sich die Geschäfts- und Arbeitsprozessorientierung in den entwickelten Indikatoren sehr gut abbildet. Besonders die Arbeitsprozessorientierung findet sich darin deutlich wieder. Die vollständige Handlung wird von den Indikatoren – dies bestätigen insbesondere die Interviewergebnisse – „optimal“ dargestellt. Der komplette Arbeitsprozess wird erfasst. Nachweise können aufgrund der fehlenden Möglichkeit einer permanenten Beobachtung allerdings nur stichprobenartig erfolgen. Die Indikatoren bieten aber ausreichend Interpretationsspielraum, um genügend adäquate Verhaltensbeispiele zu finden.

Geschäftsprozessorientierung ist in den Handlungszielen insgesamt gut dargestellt. Die Zufriedenheit des Kunden, auch im Sinne des Nachfolgeprozesses, stellt demnach das wichtigste Qualitätskriterium dar. Die Abbildung dieses Aspektes wird in den verschiedenen Ergebnissen divergent beurteilt. Nach den mündlich Befragten spiegeln die Indikatoren das Selbstverständnis als Dienstleister wider. In den Gruppendiskussionen wird darauf hingewiesen, dass Kundenzufriedenheit darin nicht ausreichend definiert sei. Der Indikator „Kundenzufriedenheit“ besitzt eine große Bedeutung, denn er wird sowohl vom Leistungsverhalten als auch vom Leistungsergebnis beeinflusst. Die schriftlich Befragten beurteilen das diesbezügliche Handlungsziel als Aspekt der Geschäftsprozessorientierung im Verhältnis zu den anderen Handlungszielen weniger positiv. Dass derartige Handlungsziele aber eine besondere Bedeutung in der Abschlussprüfung besitzen, ergibt sich aus der Forderung, dass es sich bei dem betrieblichen Auftrag vorzugsweise um einen Kundenauftrag handeln soll (vgl. GESAMTMETALL, IG-METALL 2001, 4).

4.  Fazit

Zu resümieren ist, dass die Methode einer an Kriterien orientierten „erweiterten Verhaltensbeobachtung“ – wenn auch mit Schwächen behaftet – als am besten geeignete Methode angesehen werden kann, um berufliche Handlungskompetenz zu erfassen. Voraussetzung ist, dass sie sich sowohl auf fachliche als auch überfachliche Kompetenzen erstreckt, eine Dokumentation bzw. ein Fachgespräch und eine Leistungsergebnismessung in oben dargestelltem Sinne mit einbezieht und auch Fremdbeobachtungen (von Kollegen, Kunden etc.) aus Gründen der Objektivität (vgl. SEYFRIED 1995, 138) integriert. Gerade zur Gewährleistung der Objektivität von Verhaltensbeobachtungen ist es wichtig, vorab Beobachtungs- bzw. Leistungskriterien zu entwickeln, wie sie beispielhaft im vorhergehenden Kapitel dargestellt wurden. Dennoch darf man nicht der Illusion erliegen, dass eine gänzlich objektive Beobachtung möglich sei (vgl. SEYFRIED 1995, 143 u. 151 f.; BUSIAN 2003, 76; WALZIK 2003, 60). Über die Erhöhung der Objektivität hinaus halten strukturierte und standardisierte Verfahren die Prüfungskosten in Grenzen und sind praktikabel in der Handhabung (vgl. SEYFRIED 1995, 140). Das Prinzip der Praktikabilität bedeutet im Kontext für erweiterte Verhaltensbeobachtungen, dass es mit Hilfe festgelegter Kriterien auch ohne psychologische Kenntnisse angewendet werden kann. So ist es möglich, (verhaltens-) diagnostisch nur bedingt geschulte Prüfer zu befähigen, menschliches Arbeitsverhalten (prüfungs-) adäquat zu beurteilen.

 

Literatur

ALT C./REISSE W. (1996): Qualität in der beruflichen Bildung und speziell bei beruflichen Abschlussprüfungen. In: Berufsbildung in Wissenschaft und Praxis, Jg. 1996, H. 5, 18-20.

BECKER, F. (1998): Grundlagen betrieblicher Leistungsbeurteilungen. Leistungsverständnis und -prinzip, Beurteilungsproblematik und Verfahrensprobleme. Stuttgart: Schäffer.

BMBF (2000): Umsetzungshilfen für die neuen IT-Berufe. Abschlussbericht. Bonn: BMBF.

BMWA (2004): Verordnung über die Berufsausbildung in den industriellen Metallberufen. Vom 9. Juli 2004. Bonn (= Bundesgesetzblatt Teil 1 Nr. 34)

BUNDESÄRZTEKAMMER (2000): Curriculum Qualitätssicherung/ärztliches Qualitätsmanagement. 2. Auflage. Köln: Bundesärztekammer.

BUSIAN, A. (2003): Erfassung und Bewertung von Projekta rb eit im Modellversuch „INTRALOK“. In: ELSTER, F./DIPPL, Z./ ZIMMER, G. (Hrsg.): Wer bestimmt den Lernerfolg? Leistungsbeurteilung in projektorientierten Lernarrangements. Bielefeld : Bertelsmann, 67-85.

CENTRE FOR EDUCATIONAL RESEARCH AND INNOVATION (OECD) 1994: Making Education Count. Developing and Using International Indicators. Paris : OECD/OCDE.

EBBINGHAUS, M. (2000): Praxis- und handlungsorientierte Prüfungsmethoden. In: Cramer, G./Schmidt, H./Wittwer, W. (Hrsg.): Ausbilder-Handbuch. Aufgaben, Konzepte, Praxisbeispiele. Köln: Deutscher Wirtschaftsdienst; mit erg. Lfg. bis Oktober 2003. Kap. 5.4.10 (erg. Lfg. April 2000).

EBBINGHAUS, M. (2003a): Anspruch und Wirklichkeit. Abschlussprüfung von Mechatronikern und Mechatronikerinnen. Bielefeld: Bertelsmann.

EBBINGHAUS, M. (2003b): Zwischenprüfung und Abschlussprüfung in der dualen Berufsausbildung. In: CRAMER, G./SCHMIDT, H./WITTWER, W. (Hrsg.): Ausbilder-Handbuch. Aufgaben, Konzepte, Praxisbeispiele. Köln: Deutscher Wirtschaftsdienst; mit erg. Lfg. bis Oktober 2003, Kap. 5.4.2.3; 61. (erg. Lfg. Juni 2003).

EBBINGHAUS, M. (2004): Zum zweiten Mal evaluiert: Abschlussprüfung in den IT-Ausbildungsberufen. In: Berufsbildung in Wissenschaft und Praxis, Jg.2004.

EBBINGHAUS, M./GÖRMAR, G./STÖHR, A. (2001): Evaluiert: Projektarbeit und ganzheitliche Aufgaben. Ergebnisbericht zur Evaluation der Abschlussprüfungen in den vier IT-Berufen. Bielefeld: Bertelsmann.

ELSTER, F. (2003): Leistungsbeurteilung in projektorientierten Lernarragements – zum Stand der Diskussion. In: Elster, F./Dippl, Z./Zimmer, G. (Hrsg.): Wer bestimmt den Lernerfolg? Leistungsbeurteilung in projektorientierten Lernarrangements. Bielefeld: Bertelsmann 2003, 153-161.

GESAMTMETALL, IG-METALL (2001): Industriearbeit im Wandel. Mit neuen Berufen in das dritte Jahrtausend. Rahmenvereinbarung zwischen Gesamtmetall und IG-Metall zur Neugestaltung der industriellen Metallberufe. Köln, Frankfurt a. M.

KLEINBECK, U.; SCHMIDT K.-H. (1993): Das Managementsystem PPM. Durch Mitarbeiterbeteiligung zu höherer Produktivität. München: Beck.

LENNARTZ, D. (2003): Innovation in der Prüfung. In: Cramer, G./Schmidt, H./Wittwer, W. (Hrsg.): Ausbilder-Handbuch. Aufgaben, Konzepte, Praxisbeispiele. Köln: Deutscher Wirtschaftsdienst; mit erg. Lfg. bis Oktober 2003, Kap. 5.4.2.1; 59. (erg. Lfg. April 2003).

LENNARTZ, D. (2004): Aktionsfeld Prüfungen: Zwischenbilanz und Zukunftsperspektiven. In: Berufsbildung in Wissenschaft und Praxis, Jg. 2004.

LOHAUS, D. (1998): Kontexteffekte bei der Leistungsbeurteilung. Hamburg: Dr. Kovac.

NERDINGER, F.-W. (2001): Formen der Beurteilung in Unternehmen. Anforderungen, Verfahren, Anwendungen. Weinheim, Basel: Beltz.

OTT, B (2002): Leistungscontrolling im Kontext ganzheitlicher Kompetenzentwicklung In: Jenewein, K./Knauth, P./Zülch, G. (Hrsg.): Kompetenzentwicklung in Unternehmensprozessen. Beiträge zur Konferenz der Arbeitsgemeinschaft gewerblich-technische Wissenschaften und ihre Didaktiken in der Gesellschaft für Arbeitswissenschaft am 23./24. September 2002 in Karlsruhe. Aachen: Shaker; 51-57.

OTT, B. (1995):Ganzheitliche Berufsbildung. Theorie und Praxis handlungsorientierter Techniklehre in Schule und Betrieb. Stuttgart: Franz Steiner Verlag.

OTT, B. (2000): Grundlagen des beruflichen Lernens. Ganzheitliches Lernen in der beruflichen Bildung. Berlin: Cornelsen.

OTT, B; SCHEIB, T. (2002): Qualitäts- und Projektmanagement in der beruflichen Bildung. Einführung und Leitfaden für die Aus- und Fortbildung. Berlin: Cornelsen.

REISSE, W. (2002): Handlungskompetenz, Schlüsselqualifikationen und Prüfungen. In: Cramer, G./Schmidt, H./Wittwer, W. (Hrsg.): Ausbilder-Handbuch. Aufgaben, Konzepte, Praxisbeispiele. Köln: Deutscher Wirtschaftsdienst; mit erg. Lfg. bis Oktober 2003. Kap. 5.4.8; (erg. Lfg. Februar 2002).

RIPPER, J./ WEISSCHUH, B. (1999): Ausbildung im Dialog. Das ganzheitliche Beurteilungsverfahren für die betriebliche Berufsausbildung. Kontanz: Christiani.

SCHEIB, T. (2005): Indikatoren für die ganzheitliche Leistungsmessung beruflicher Handlungskompetenz in Produktionsprozessen. Bielefeld: Bertelsmann.

SCHMIDT, F. (2000): Prüfungen – Stiefkinder der dualen Berufsbildung? In: berufsbildung. 54. Jg. (2000), H. 64, 2.

SCHMIDT, J.-U. (2003): Leistungsbewertung. In: Cramer, G./Schmidt, H./Wittwer, W. (Hrsg.): Ausbilder-Handbuch. Aufgaben, Konzepte, Praxisbeispiele. Köln: Deutscher Wirtschaftsdienst 1994 mit erg. Lfg. bis Oktober 2003. Kap. 5.4.2.6; 63. (erg. Lfg. September 2003).

SCHULER, H./BARTHELME, D. (1995): Soziale Kompetenz als berufliche Anforderung. In: Seyfried, B. (Hrsg.): „Stolperstein“ Sozialkompetenz. Was macht es so schwierig, sie zu erfassen, zu fördern und zu beurteilen? Bielefeld: Bertelsmann 1995, 77-116.

SEYFRIED, B. (1995): Soziales Verhalten: Die Illusion „objektiver“ Beurteilung. In: Seyfried, B . (Hrsg.): „Stolperstein“ Sozialkompetenz. Was macht es so schwierig, sie zu erfassen, zu fördern und zu beurteilen? Bielefeld: Bertelsmann 1995, 137-152.

SOMMERHOFF, B. (1999): Mitarbeiterbeurteilung. Leistung messen, Mitarbeiter fördern, Personal entwickeln. Landsberg/Lech: Verlag Moderne Industrie.

STEIN, H. (2003): Prüfungsordnungen. In: Cramer, G./Schmidt, H./Wittwer, W. (Hrsg.): Ausbilder-Handbuch. Aufgaben, Konzepte, Praxisbeispiele. Köln: Deutscher Wirtschaftsdienst 1994 mit erg. Lfg. bis Oktober 2003. Kap. 5.4.1.2 Juni 2003.

WALZIK, S. (2003): Verhaltene Be(ob)achtung – ein zentraler Bestandteil der Beurteilung von Sozialkompetenzen. In: Elster, F./Dippl, Z./Zimmer, G. (Hrsg.): Wer bestimmt den Lernerfolg? Leistungsbeurteilung in projektorientierten Lernarrangements. Bielefeld: Bertelsmann 2003, 43-65.

ZIMMER, G./ DIPPL, Z. (2003): Beurteilung der Kompetenzentwicklung – Probleme, Fragen und Kriterien handlungsorientierter Prüfungen. In: Elster, F./Dippl, Z./Zimmer, G . (Hrsg.): Wer bestimmt den Lernerfolg? Leistungsbeurteilung in projektorientierten Lernarrangements. Bielefeld: Bertelsmann 2003, 5-23.