Spezial 22
Über bwp@
bwp@ ... ist das Online-Fachjournal für alle an der Berufs- und Wirtschaftspädagogik Interessierten, die schnell, problemlos und kostenlos auf reviewte Inhalte und Diskussionen der Scientific Community zugreifen wollen.
Newsletter
bwp@ Spezial 22 - November 2024
Berufliche Orientierung im digitalen Wandel
Hrsg.:
, &Qualitative Analyse digitaler Bildungsmaßnahmen der Beruflichen Orientierung
Lehrpersonen setzen neben traditionellen Materialien zunehmend digitale Bildungsangebote ein. Eine systematische Recherche von Tuchscherer und Wiepcke (i. E.) zeigt, dass die digitalen Maßnahmen der Beruflichen Orientierung in Hinblick auf den Medientyp sehr ausdifferenziert sind und von Informationsangeboten auf Internetplattformen, Kompetenztests bis hin zu gamifizierten Lösungen in Bezug auf die Darstellungen von Arbeitsplätzen oder Betriebspraktika reichen. Die digitalen Medientypen gehen mit Potenzialen einher, indem sowohl digitale Kompetenzbereiche wie auch Kompetenzbereiche der Beruflichen Orientierung adressiert werden können.
Neben den angeführten Chancen ist festzustellen, dass viele Angebote keiner Qualitätssicherung unterliegen. Daher gilt es, digitale Maßnahmen der Beruflichen Orientierung anhand von Qualitätskriterien zu beurteilen. Der Beitrag geht der Frage nach, welche Qualitätskriterien digitaler Bildungsmaßnahmen für eine Beurteilung heranzuziehen sind und ob die digitalen Bildungsmaßnahmen in der Beruflichen Orientierung diesen Qualitätskriterien entsprechen. Die Ergebnisse, welche mithilfe einer strukturierenden Qualitativen Inhaltsanalyse nach Mayring (2023) hervorgebracht wurden, zeigen, dass 64,9 % der abgeleiteten Qualitätskriterien durch die digitalen Angebote erfüllt, 35,1 % bedingt erfüllt werden. Darüber hinaus wurde festgestellt, dass der Großteil der vorher definierten Kriterien eine gute Anwendbarkeit ermöglicht.
Qualitative analysis of digital educational measures for vocational orientation
Teachers and students are increasingly using digital educational offerings alongside traditional materials. Systematic research by Tuchscherer and Wiepcke (i. E.) shows that the digital measures of vocational orientation are very differentiated in terms of media type and range from information offers on internet platforms, competence tests, to gamified solutions in relation to the presentation of workplaces or company internships. The digital media types are accompanied by potentials in that digital competence areas as well as competence areas of career guidance can be addressed.
In addition to the potential, it should be noted that many offers are not subject to quality assurance. It is therefore important to assess digital professional orientation measures on the basis of quality criteria. This article examines the question of which quality criteria of digital educational measures should be used for an assessment and whether the digital educational measures in career orientation meet these quality criteria. The results, which were produced with the help of a structured qualitative content analysis according to Mayring (2023), show that 64.9% of the derived quality criteria are met and 35.1% are conditionally met. In addition, it was found that the majority of the previously defined criteria enable good applicability.
- Details
1 Die Notwendigkeit einer Qualitätsuntersuchung von digitalen Bildungsmaßnahmen
Neben traditionellen Unterrichtsmaterialien nutzen Lehrpersonen und Schüler:innen zunehmend verstärkt digitale Bildungsangebote. So zeigt beispielsweise der Länderindikator 2021 zur Schule digital (Lorenz et al., 2022, S. 15) seit 2017 eine kontinuierliche Steigerung der Nutzungshäufigkeit digitaler Medien im Unterricht. Dass digitale Medien für Bildungsprozesse Potenziale bergen, ist bereits gut erforscht (Oelkers, 2021; Aufenanger & Bigos, 2023, S. 13). Worauf gilt es folglich in Zukunft zu achten? Aufenanger und Bigos (2023) stellen für die Hochschulbildung die Notwendigkeit heraus, dass es einer Vernetzung zwischen fachlichen, fachdidaktischen und medienpädagogischen Inhalten und Handlungskompetenzen bedarf, um die interdisziplinären Potenziale auszuschöpfen. Auch Eickelmann und Gerick (2020, S. 13) sehen in der Verbesserung von fachlichem Lernen mit digitalen Medien Handlungsbedarf in der schulischen Bildung.
In der Beruflichen Orientierung gibt es gegenwärtig unüberschaubar viele digitale Bildungsangebote. Die digitalen Maßnahmen der Beruflichen Orientierung sind im Hinblick auf den Medientyp höchst ausdifferenziert und reichen von Informationsangeboten auf Internetplattformen, Kompetenztests und -analysen, digitalen Portfolios bis hin zu gamifizierten Lösungen, Streaming-Angeboten oder 3D-Lösungen in Bezug auf die Darstellungen von Arbeitsplätzen oder Betriebspraktika (Tuchscherer & Wiepcke, i. E.). Die unterschiedlichen digitalen Medientypen bieten in der Beruflichen Orientierung das Potenzial, dass verschiedene digitale Kompetenzen aber auch Kompetenzen der Beruflichen Orientierung adressiert werden können. So können Lernende z. B. auf den Umgang mit Informationen in der Beruflichen Orientierung vorbereitet werden, sie können mit digitalen Instrumenten wie z. B. Potenzialanalysen ihre beruflichen Neigungen und Interessen ermitteln und reflektieren oder sogar eigene digitale Inhalte und Lösungen wie VR-Räume selbst gestalten (Wiepcke, 2023; Wiepcke & Tuchscherer, 2023). Den Chancen stehen auch Risiken gegenüber. Brüggemann und Wiepcke (2023) stellen heraus, dass zahlreiche dieser Angebote der EdTech Branche zuzuordnen sind und diese bisher kaum einer Qualitätssicherung bzw. wissenschaftsorientierten Begründung unterliegen. Tuchscherer und Wiepcke (i. E.) kommen im Rahmen einer systematischen Recherche digitaler Angebote der Beruflichen Orientierung zu dem Ergebnis, dass digitale Lernangebote durch ihre technischen Möglichkeiten eine bedeutende Umgestaltung und Veränderung von Aufgaben im Unterricht ermöglichen und damit auch das Erreichen höherer Kompetenzstufen bei den Lernenden begünstigt werden kann. Dies impliziert jedoch noch nicht, dass sich das digitale Bildungsangebot durch eine gute didaktische Qualität auszeichnet. Dadurch wird es notwendig, digitale Maßnahmen der Beruflichen Orientierung anhand von Qualitätskriterien zu beurteilen. Daran anknüpfend geht der Beitrag den Fragen nach, welche Qualitätskriterien für eine Beurteilung digitaler Bildungsangebote der Beruflichen Orientierung heranzuziehen sind und sich für deren Beurteilung eignen. Zudem soll untersucht werden, inwieweit digitale Maßnahmen der Beruflichen Orientierung die Kriterien erfüllen. Der vorliegende Beitrag stellt in Kapitel 2 bestehende Modelle, Kataloge und Raster zur Qualitätsbewertung digitaler Bildungsmaßnahmen vor und geht auf die darin enthaltenen zentralen Qualitätskriterien ein. Auf dieser Basis werden eigene Qualitätskriterien für die digitale Berufliche Orientierung abgeleitet, die für die Qualitative Inhaltsanalyse zugrunde gelegt werden. Darauf aufbauend werden ausgewählte digitale Maßnahmen der Beruflichen Orientierung der Qualitativen Inhaltsanalyse unterzogen und das Vorgehen beschrieben. Die Qualitative Analyse adressiert dabei einerseits die Entwickler:innen und Anbieter:innen digitaler Bildungsmaßnahmen in der Beruflichen Orientierung sowie andererseits die Nutzer:innen dieser Maßnahmen, insbesondere Lehrpersonen der Sekundarstufe I. Der Beitrag endet mit der Ergebnisdarstellung der Analyse, einer Diskussion zu den Ergebnissen und Limitationen sowie einem Ausblick.
2 Qualitätskriterien für digitale Maßnahmen der Beruflichen Orientierung
Sowohl in der allgemeinen Didaktik, der Mediendidaktik als auch der Beruflichen Orientierung liegen bereits Ansätze zur Beurteilung von (digitalen) Bildungsmedien vor (Fey, 2015; Brüggemann & Wiepcke, 2023). Sie zeichnen sich in der Regel dadurch aus, dass sie Beurteilungskriterien als Ziel- bzw. Sollkriterien formulieren, die eine Bewertung des Bildungsangebotes ermöglichen. Qualität kann dabei deskriptiv ermittelt werden, indem Bildungsmaßnahmen auf ihre Wirkung bzw. Effekte empirisch untersucht werden oder sie wird präskriptiv ermittelt, indem Bildungsangebote auf Basis von zuvor didaktisch formulierten Soll-Kriterien beurteilt werden, die in der Regel durch evidenzbasierte Qualitätszusammenhänge abgesichert sind (Scheunpflug, 2009).
Bei der Bestimmung von Kriterien für eine didaktische Analyse digitaler Maßnahmen der Beruflichen Orientierung gilt es, unterschiedliche Aspekte verschiedener Ansätze zur Bestimmung der Qualität von Bildungsmedien zu berücksichtigen. Die Kriterien speisen sich aus drei Bereichen:
Allgemeine Unterrichtsforschung
In der Unterrichtsforschung liegen unterschiedliche Theorien und Modelle zur Bestimmung von Unterrichtsqualität vor. Hier ist das Angebots-Nutzungs-Modell nach Helmke (2012) zu nennen. Helmke versteht Unterricht als ein Angebot, das von Lernenden genutzt wird und das eine Wirkung in Form von Kompetenzzuwächsen entfaltet. Die Wirkung ist dabei von der Nutzung des Lernangebotes durch die Lernenden gekennzeichnet (Hattie, 2015). Damit das Angebot von den Schüler:innen genutzt wird, gilt es, die Lernpotenziale wie Vorkenntnisse, Motivation, Lebenswelt und Interessen der Schüler:innen zu berücksichtigen (Helmke, 2022). Aus diesem Grund dient die Analyse der Zielgruppe als Grundlage (Ausgangsbasis) für die Konzeption einer Bildungsmaßnahme und sollte dementsprechend konkret bei dem Bildungsangebot ausgewiesen und eingegrenzt sein (Wiepcke, 2013).
Daneben gibt es in der allgemeinen Didaktik breit akzeptierte Kriterienkataloge aus beobachtbaren und handlungsleitenden konzeptionellen Merkmalen für ‚guten Unterricht‘ (Meyer, 2011; Dubs, 2003). Im Rahmen ‚guten Unterrichts‘ wird ein unmittelbarer Zusammenhang zu ‚guten Lehr-Lernmitteln‘ hergestellt, da Lehr-Lernmittel die entsprechende Unterstützungsleistung für den Unterricht erbringen und diese umsetzungsfähiger und gestaltbarer machen (Fey, 2017, S. 19). Nicht zuletzt stellen Diskussionen um internationale Schulvergleichsstudien heraus, was ‚guten Unterricht‘ ausmacht. Einen Überblick gibt Fey (2015, S. 25). Die Schulvergleichsstudien initiieren die Hinwendung zu kompetenzorientiertem Lernen, das klassische bildungstheoretische Ansätze des Lernens ergänzt. Ein besonderes Gewicht für die Umsetzung des kompetenzorientierten Lernens erlangt die didaktische Gestaltung der Bildungsmedien durch die Formulierung von Aufgaben und den Einsatz entsprechender Methoden (Mittelstädt & Wiepcke, 2018).
Mediendidaktik
Die Zunahme von digitalen Bildungsangeboten bedingt den Einbezug weiterer Qualitätskriterien, die sich neben den Merkmalen der herkömmlichen Unterrichtsforschung auch auf produktbezogene Kriterien von digitalen Umsetzungen beziehen, wie technische, didaktische sowie rechtliche Aspekte. Die Anzahl an Kriterienkatalogen zur Qualitätsbeurteilung (digitaler) Bildungsmedien nimmt entsprechend zu, und die Kataloge werden ausdifferenzierter. Die nachfolgenden Ausführungen gehen auf diese Beobachtung ein: Die Universität Augsburg entwickelte im Rahmen des Forschungsprojektes „Bildungsmedien Online“ ein umfangreiches pädagogisch-didaktisches Kriterienraster und unterzog digitale Bildungsmedien, die über das Internet frei zugänglich waren, einer wissenschaftlichen Untersuchung anhand qualitativ-inhaltlicher Merkmale (Fey, 2015). Das dafür entwickelte Raster von Qualitätskriterien basiert auf 23 Kriterien und zielt sowohl zur Unterstützung einer pädagogisch-didaktisch begründeten Diagnostik von Bildungsmedien als auch zur Verfolgung von Bildungszielen konkreter Zielgruppen (Fey, 2015, S. 27). Das Augsburger Analyse- und Evaluationsraster für Bildungsmedien erhebt für sich den Anspruch, dass es die Qualitätsmerkmale ‚guten Unterrichts‘ als Errungenschaft der letzten Jahrzehnte repräsentiert und sich an Kontinuität von Bildungsstandards, Bildungsplänen sowie passenden Lehr-Lernmitteln orientiert. Weitere Qualitätskriterienkataloge liegen z. B. von Stiftung Warentest (2013), WebKolleg NRW (o. J.) sowie dem unabhängigen Verband von Bildungsinstitutionen und -produzent:innen – Verband eLearning Business (Eißner, 2016; vebn, 2015) in Form eines Selbstevaluationstool elQe aus Österreich (Bratengeyer et al., 2013) vor. Einen Überblick dazu gibt Goertz (2022). Die Qualitätsraster definieren Beurteilungskriterien als Ziel- bzw. Sollkriterien, berücksichtigen gegenwärtige Ansprüche und Erscheinungsformen des digitalen Lernens, unterscheiden sich jedoch in ihrer Komplexität und Differenziertheit. Daneben gibt es weitere Qualitätskriterien, Kriterienraster bzw. Qualitätssiegel (wie ÖCERT, 2022; Tool-O-Search des Gütesiegel-Verbund, o. J.; ebdigital.de, o. J.; DKJS o. J.), die Qualitätskriterien aufzählen, diese aber nicht immer wissenschaftlich fundieren, oder rein technische Kriterien, die bildungswissenschaftliche Aspekte außer Acht lassen.
Bei der Sichtung aktueller Kriterienraster zur Beurteilung (digitaler) Bildungsmedien wird deutlich, dass neben der Produktqualität die Wichtigkeit der Beurteilung der gesamten Lernsituation von Bedeutung ist, bei dem die Lernenden im Fokus der Analyse stehen (Ehlers, 2005, S. 14). Auch Brüggemann und Wiepcke (2023) leiten für Bildungstechnologie ab, dass das Lernangebot dazu beitragen muss, den Lernzuwachs (outcome/output) zu erhöhen. Im besten Fall leistet Bildungstechnologie einen Mehrwert zu anderen nicht technologischen Bildungsangeboten. Ferner gilt es bei Bildungstechnologie Prozesse und Ressourcen zu nutzen, indem geeignete Methoden und Tools passend für die Zielsetzung und Zielgruppe gewählt werden. Die digitale Umsetzung erfordert somit auch die Berücksichtigung von Kriterien wie die Nutzer:innenfreundlichkeit und das Nutzungserleben (User Experience) oder auch die Berücksichtigung rechtlicher Nutzungsbedingungen. Balcke und Matthes (2017) stellen heraus, dass zahlreiche digitale Bildungsangebote zunehmend von Unternehmen oder Vereinen bzw. Stiftungen angeboten werden, sodass möglicherweise Werbebotschaften enthalten sind und auf Interessen der Lernenden Einfluss genommen wird.
Berufliche Orientierung
Die eben schon erwähnte Hinwendung zu kompetenzorientiertem Lernen bedingt neben den allgemeindidaktischen Kriterien auch fachspezifische Vorgaben bzw. Erkenntnisse (Wiepcke, 2013; Fey, 2017). So müssen bestimmte Qualitätskriterien fachinhaltliche Fragen in den Blick nehmen. Berufliche Orientierung ist durch sozioökonomische Zeitumstände geprägt und verlangt sowohl die präventive Vorbereitung der Jugendlichen auf die aktuellen Gegebenheiten des Arbeitsmarktes als auch die dadurch bedingte Sicherung der Wettbewerbsfähigkeit durch eine entsprechende Vorbereitung von Fachkräften (Blaich et al., 2023, S. 14). Immer wieder zeigt sich die doppelte Herausforderung, durch die die Berufliche Orientierung gekennzeichnet ist. Bildungsangebote sollen zum einen die Jugendlichen befähigen, auf Basis ihrer Interessen und Neigungen ihre Berufsbiografie zu realisieren, zum anderen wird gewünscht, dass diese der Nachfrage auf dem Arbeitsmarkt entsprechen (Brüggemann & Rahn, 2020, S. 12; Butz, 2008, S. 50). Da beide Seiten stark durch Digitalisierung beeinflusst werden, sind Kompetenzen der Beruflichen Orientierung ohne digitalisierungsbezogene Kompetenzen nicht mehr denkbar. Diese Anforderungen finden sich unter anderem in Schröders (2019, S. 30–31) zehn Thesen einer ganzheitlichen Beruflichen Orientierung wieder. Insgesamt verdeutlichen die zehn Thesen die Komplexität der Beruflichen Orientierung. Zentrales Anliegen ist es, Lernenden Berufswahlkompetenz zu vermitteln, damit sie in der sich dynamisch wandelnden und durch Digitalisierung geprägten Arbeitswelt kompetente Berufswahlentscheidungen treffen können. In der Beruflichen Orientierung liegt bereits eine ausdifferenzierte Forschung zur Berufswahlkompetenz und Vorschlägen für Kompetenzmodelle vor (ausführlich siehe Hartkopf, 2020; Jung, 2019; Driesel-Lange et al., 2010). Wiepcke (2023) entwickelt darauf aufbauend sowie unter Berücksichtigung der Modelle digitaler Kompetenzen einen Kompetenzrahmen DigiBOKom (digitale Berufsorientierungskompetenzen), der digitalisierungsbezogene Kompetenzen mit denen der Beruflichen Orientierung bündelt (Wiepcke & Tuchscherer, 2023; Wiepcke, 2023). Der Kompetenzrahmen verfolgt eine pädagogisch-didaktische Intention und zeigt auf, welche Kompetenzen der Beruflichen Orientierung mit digitalisierungsbezogenen Kompetenzen angereichert werden können.
Aus der bisherigen Forschung zu Qualitätsbeurteilungskriterien für digitale Bildungsmedien und den dargelegten Qualitätsüberlegungen für digitale Maßnahmen der Beruflichen Orientierung ergeben sich folgende Qualitätskriterien (Tab. 1) für die Qualitative Inhaltsanalyse:
Tabelle 1: Qualitätskriterien zu Qualitätssicherung digitaler Maßnahmen der Beruflichen Orientierung
Qualitätskriterium |
Teilkriterien |
Zielgruppe |
- Die Wirkung der Bildungsmaßnahme hängt von der Nutzung der Lernenden ab, sodass eine klare Definition der Zielgruppe vorhanden ist (Schulart und Schulfach sind benannt). - Es wird eine altersgerechte und zielgruppengerechte Sprache verwendet. - Differenzierung ist vorgesehen. - Es sind keine Einseitigkeiten in Form von Stereotypen vorzufinden. |
Leitungshandeln |
- Es ist z. B. in Form einer didaktischen Anleitung dargelegt, wie sich die Lehrperson einbringen soll (z. B. stellt sie etwas passiv zur Verfügung oder bringt sie sich aktiv in das Vorgehen ein). |
Didaktisch-methodische Einbettung |
- Das Angebot ist durch die Implementation von Methoden handlungsorientiert gestaltet und erlaubt eine eigenständige Arbeitsweise der Schüler:innen. - Die methodische Umsetzung erlaubt die fokussierten Lern- und Kompetenzziele zu erreichen. - Die Sozialform/Aktionsformen wird beschrieben (Einzelarbeit, Gruppenarbeit etc.). |
Medien |
- Das Expert:innenteam und die Finanzgeber:innen sind transparent (in der Maßnahme sichtbar benannt). - Die vermittelten Inhalte sind fachlich korrekt. - Die Maßnahme wurde sowohl von Expert:innen der Beruflichen Orientierung als auch der Digitalen Bildung und Akteur:innen aus der Praxis entwickelt. - Die Maßnahme verfolgt keine Interessen, die dem Bildungsauftrag der Schule zuwiderlaufen. - Das Angebot ist lebensweltorientiert gestaltet und erlaubt Identifikationsmöglichkeiten der Lernenden mit den Medien/ Materialien. - Es liegt Unterrichtsbegleitmaterial (insbesondere zur Reflexion) vor, das es der Lehrperson ermöglicht, die gewünschten Lernziele in der Zielgruppe zu erreichen. - Die mediale Umsetzung (Arbeitstechniken, Anwendungsformen wie z. B. Internetseite, App, Spiel, Webinar, Video etc.) erlaubt, die fokussierten Lern- und Kompetenzziele zu erreichen. |
Funktionalität Technische Umsetzung |
- Das Angebot ist klar beschrieben und das technische Tool ist niedrigschwellig/intuitiv benutzbar. - Die Technologie ist in Form einer (kurzen) Anleitung beschrieben sowie die technische Ausstattung zur Anwendung der digitalen Maßnahme (Laptop, VR-Technologie, Internetverbindung etc.) ist benannt. - Es wird auf Nutzer:innenfreundlichkeit der Zielgruppe (User-Experience) geachtet. |
Verfügbarkeit und Kosten |
- Das Angebot ist webbasiert bzw. als App nutzbar. - Einschränkungen wie (hohe) Nutzungskosten und eine aufwendige Registrierung sind nicht bekannt. |
Sicherheit |
- Der Schutz persönlicher Daten und Privatsphäre der Schüler:innen ist gewährleistet. - Das Urheber:innenrecht ist einfach zu beachten. - Der Standort der Server ist angegeben. |
Kompetenzen der Beruflichen Orientierung |
- Das Angebot ermöglicht den Kompetenzerwerb über die Berufs- und Arbeitswelt sowie deren Zusammenhänge. - Die Kompetenzförderung ist im Angebot didaktisch aufbereitet. - Die Kompetenzförderung ist eingebettet in die digitale Umsetzung und initiiert kognitive Prozesse bei den Lernenden. Die Lernenden können dadurch das Erlernte erinnern, verstehen, anwenden, analysieren, bewerten oder daraus neues, eigenes Wissen und Handlungen erschaffen. - Das Angebot adressiert Kompetenzen durch höhere kognitive Niveaustufen; Transfer und Anwendungsorientierung sind möglich. |
Kompetenzen der digitalen Kompetenzbereiche |
- Das Angebot ermöglicht den digitalen Kompetenzerwerb wie Umgang mit Informationen und Daten, Probleme lösen und handeln, Erzeugung digitaler Inhalte (produzieren und präsentieren), kommunizieren und kooperieren sowie Sicherheit (sicherer Umgang mit digitalen Medien). |
3 Methodisches Vorgehen der Qualitativen Analyse digitaler Maßnahmen der Beruflichen Orientierung
Im Folgenden werden die aus dem vorangegangenen Kapitel abgeleiteten Qualitätskriterien für eine Qualitative Analyse ausgewählter digitaler Angebote der Beruflichen Orientierung herangezogen.
Aufbauend auf der Forschungsfrage werden folgende Forschungsziele gesetzt:
- Es wird bestimmt, inwieweit sich die Qualitätskriterien zur Beurteilung digitaler Bildungsmaßnahmen eignen.
- Darüber hinaus wird ein Überblick darüber gegeben, inwieweit digitale Bildungsmaßnahmen der Beruflichen Orientierung die zuvor erarbeiteten Qualitätskriterien erfüllen.
Methodisch wird nach der strukturierenden Qualitativen Inhaltsanalyse nach Mayring (2023) vorgegangen. Das Vorgehen nach Mayring erlaubt im Vergleich zu anderen Vorgehensweisen (wie z. B. Kuckartz & Rädiker, 2022) eine hoch strukturierte Herangehensweise der Analyse mit dem Ziel, aus der Theorie erarbeitete Kategorien (Qualitätskriterien) auf die Daten anzuwenden (Kühlmeyer et al., 2020). Die inhaltliche Strukturierung ist angemessen, denn die Qualitätskriterien beschreiben Kategorien und Unterkategorien als Inhalte, die aus dem Datenmaterial extrahiert werden sollen. Die vorab definierten Qualitätskriterien sollen in ausgewählten digitalen Maßnahmen der Beruflichen Orientierung (n = 106) identifiziert werden, um somit die Maßnahmen in Hinblick auf die Qualität einschätzen zu können (Mayring, 2016, S. 115). Aufbauend auf dem Kategoriensystem wurde ein Kodierleitfaden entwickelt (Kühlmeyer et al., 2020).
Die Gütekriterien qualitativer Forschung wurden bei der Analyse des Materials wie folgt berücksichtigt (Kirk & Miller, 1986; Flick, 1987; Kvale, 1988). Die Verfahrensdokumentation wurde durch die Zusammenstellung der Analyseinstrumente und die einzelnen Durchführungs- sowie auch Auswertungsschritte detailliert beschrieben und schriftlich dokumentiert. Für die Regelgeleitetheit wurden die Analyseschritte im Vorfeld festgelegt, in sinnvolle Einheiten sequenziert und die Analyse systematisch von Einheit zu Einheit durchgeführt. Die Nähe zum Gegenstand ist zum Teil gegeben. Die Forscher:innen sind im Bereich der digitalen Beruflichen Orientierung verortet. Die kommunikative Validierung und die damit verbundene Prüfung der Gültigkeit der Ergebnisse und Interpretationen erfolgte durch das Offenlegen und Diskutieren der Kodiereinstufungen der digitalen Maßnahmen durch die Forscher:innen. Dabei nahmen die beiden Forscher:innen mit demselben Vorgehen, jedoch unabhängig voneinander, die Kodiereinstufungen vor. Nach Abschluss des Verfahrens trafen sich die Forscher:innen, legten ihre Ergebnisse offen und diskutierten darüber. Bei unterschiedlichen Einschätzungen tauschten sie sich darüber aus und einigten sich auf eine gemeinsame Kodierung. Wenn keine Einigung erzielt werden konnte, wurde eine dritte Person hinzugezogen. Triangulation wurde durch den Einbezug unterschiedlicher Interpret:innen gewährleistet. So konnten die Ergebnisse aus zwei Perspektiven verglichen werden.
Im Folgenden wird die strukturierende Qualitative Analyse digitaler Maßnahmen der Beruflichen Orientierung anhand des Ablaufes der inhaltlichen Strukturierung nach Mayring (2010, S. 93, 99) dargelegt.
1 Schritt: Bestimmung der Analyseeinheiten
Die Analyseeinheiten wurden im Rahmen einer vorangegangenen systematischen Recherche (siehe Tuchscherer & Wiepcke, i. E.) ausgewählt. Diese Recherche konzentrierte sich darauf, digitale Maßnahmen zur Beruflichen Orientierung im Schulkontext zu erheben und umfasste die Durchsicht ausgewählter zentraler Datenbanken, Fachzeitschriften und Internetquellen, die anhand eines definierten Suchterms untersucht wurden. Die Anwendung des Suchterms und die anschließende Auswertung der Ergebnisse orientierten sich am PRISMA-Statement, welches eine strukturierte und schrittweise Filterung der Daten vorsieht (Moher et al., 2015). Zunächst wurden die Titel der Treffer auf ihre Relevanz geprüft. Im zweiten Schritt erfolgte die Bewertung der Kurzbeschreibungen beziehungsweise Abstracts, und schließlich und final wurden die Volltexte der Ergebnisse geprüft. Das Ergebnis dieses Verfahrens umfasste letztlich 130 Treffer aus den Bereichen Datenbanken, Fachzeitschriften und Internetquellen, welche digitale Maßnahmen der Beruflichen Orientierung darstellen. Diese Treffer stellen die Analyseeinheiten der strukturierenden qualitativen Inhaltsanalyse dar. Eine Analyseeinheit ist dabei die spezifische Einheit oder das spezifische Element, das im Rahmen der Analyse betrachtet wird. In diesem Kontext sind Analyseeinheiten einzelne digitale Bildungsmaßnahmen oder -angebote. Diese Einheiten dienen als Grundlage für die qualitative Analyse, bei der diese hinsichtlich der festgelegten Qualitätskriterien untersucht werden (Mayring, 2015).
2 Schritt: Festlegung der inhaltlichen Hauptkategorien
Die Hauptkategorien bilden die in Kapitel 2 (Tab. 1) abgeleiteten Qualitätskriterien: Zielgruppe, Leitungshandeln, didaktisch-methodische Einbettung, Medien, Funktionalität, Verfügbarkeit, Kosten, Sicherheit, Kompetenzen der digitalen sowie der Beruflichen Orientierung.
3 Schritt: Bestimmung der Ausprägungen, Zusammenstellung des Kategoriensystems
Einbezogen in die Erstellung des Kategoriensystems wurden alle angeführten Hauptkategorien sowie die mit diesen in Verbindung stehenden, aus der Theorie abgeleiteten Unterkategorien, welche die Hauptkategorien zweifach differenzieren und ausprägen in erste Unterkategorien und zweite Unterkategorien.
Die folgende Tabelle (Tab. 2) zeigt die Hauptkategorien sowie die Anzahl der ersten und der zweiten Unterkategorien.
Tabelle 2: Hauptkategorien sowie die Anzahl der ersten und zweiten Unterkategorien
Hauptkategorien |
Anzahl der ersten Unterkategorien |
Anzahl der zweiten Unterkategorien |
Zielgruppe |
4 |
34 |
Leitungshandeln |
1 |
2 |
Didaktisch-methodische Einbettung |
2 |
11 |
Verfügbarkeit |
1 |
4 |
Kosten |
1 |
1 |
Sicherheit |
2 |
7 |
Funktionalität |
3 |
10 |
Medien |
5 |
26 |
Kompetenzerwerb der digitalen Kompetenzbereiche |
3 |
84 |
Kompetenzerwerb der Beruflichen Orientierung |
1 |
22 |
GESAMT |
23 |
201 |
Neben der Darstellung der Anzahl bietet Tabelle 3 einen exemplarischen Einblick in die inhaltliche Differenzierung. Sie zeigt die Hauptkategorie Medien sowie deren erste und zweite Unterkategorien (nicht vollständig abgebildet):
Tabelle 3: Beispielhafte Darstellung der ersten und zweiten Unterkategorien der Hauptkategorie Medien
Hauptkategorie |
Erste Unterkategorien |
Zweite Unterkategorien |
Medien |
Expert:innenteam und Finanzgeber:innen |
Öffentlich-rechtliche Anbieter:innen Private Anbieter:innen |
Anwendungsform |
Internetseite |
|
Technische Ausstattung |
Laptop/PC Weiteres |
|
Begleitmaterial liegt vor (didaktisch-methodisches Material) |
Arbeitsblätter Weiteres |
4 Schritt: Formulierung von Kodierregeln und Erstellung des Kodiersystems
Die digitalen Maßnahmen wurden den aus der Theorie abgeleiteten Kategorien zugeordnet (deduktives Vorgehen) (Mayring, 2016, S. 36–37). Das Kodiersystem ergibt sich aus der Zusammenstellung von Hauptkategorien, ersten Unterkategorien und zweiten Unterkategorien. Die zweiten Unterkategorien wurden numerisch aufsteigend kodiert. Als Beispiel wurde in der Kategorie Medien als erste Unterkategorie Expert:innenteam und Finanzgeber:innen (15) kodiert, die zweite Unterkategorie öffentlich-rechtliche Anbieter:in (15.1), die zweite Unterkategorie private Anbieter:in mit der Kodierung (15.2), etc. Dabei sind die Kodierungen den Unterkategorien durchgehend wie beschrieben zugeteilt, beginnend bei der Kategorie Zielgruppe mit der Kodierzahl 1 (siehe Beispiel Tab. 4). Für das Kodiervorgehen wurden im Vorfeld Kodierregeln aufgestellt. Wurde beispielsweise bei einer digitalen Maßnahme festgestellt, dass diese Maßnahme der zweiten Unterkategorie nicht zuzuordnen ist, so wird die Kodierung 999 verwendet.
Tabelle 4: Beispielhafte Darstellung der ersten und zweiten Unterkategorien sowie die Kodierung anhand des Beispiels Hauptkategorie Medien (nicht vollständig abgebildet)
Erste Unterkategorie |
Zweite Unterkategorie |
Kodierung |
Expert:innenteam und Finanzgeber:innen 15 |
öffentlich-rechtliche Anbieter:in private Anbieter:in |
15.1 15.2 |
Anwendungsform 16 |
Internetseite App Spiel Webinare Videos Tests Quiz VR-Anwendung Sonstiges |
16.1 16.2 16.3 16.4 16.5 16.6 16.7 16.8 16.9 |
Bevor das Kodiersystem angewendet wurde, wurden Kriterien zur weiteren Strukturierung festgelegt, die eine digitale Maßnahme zwingend erfüllen muss. Werden diese erforderlichen Kriterien nicht erfüllt, wurde die betreffende digitale Maßnahme aus dem weiteren Verlauf der Qualitativen Analyse ausgeschlossen.
Als Ausschlusskategorien wurden die Zielgruppe festgelegt (es wurden lediglich Maßnahmen weiter mit einbezogen, welche die Sekundarstufe I fokussieren), dass die digitale Maßnahme verfügbar ist (Verfügbarkeit), diese kostenfrei zur Verfügung steht (Kosten), festgelegte Sicherheitsaspekte eingehalten wurden (Sicherheit), die digitale Maßnahme funktioniert (Funktionalität) sowie der Kompetenzerwerb ermöglicht wird (Kompetenzen). Der Kompetenzerwerb bezieht sich auf digitale Aspekte, bzw. auf die Berufliche Orientierung (Kap. 2). Sind diese Kriterien nicht erfüllt, werden die Angebote aus der Analyse ausgeschlossen.
Die Ausschlusskategorien sowie die Anzahl der anhand dieser Kriterien ausgeschlossenen Maßnahmen sind in Tabelle 5 dargestellt. In einem separaten Excel-Dokument wurde durchgehend dokumentiert, welches Angebot durch welche Kategorie ausgeschlossen wurde.
Tabelle 5: Ausschlusskategorien sowie Anzahl der ausgeschlossenen Maßnahmen
Ausschlusskategorien |
Anzahl ausgeschlossener Maßnahmen |
Zielgruppe |
9 |
Verfügbarkeit |
9 |
Kosten |
0 (bereits im Vorfeld bereinigt) |
Sicherheit |
1 |
Funktionalität |
2 |
Kompetenzerwerb der digitalen Kompetenzbereiche |
0 |
Kompetenzerwerb der Beruflichen Orientierung |
3 |
GESAMT |
24 |
5 Schritt und 6 Schritt: Überprüfung und Überarbeitung des Kategorie- und Kodiersystems sowie Materialdurchlauf und Anwendung des Kodiersystems
Nach der Fertigstellung des Kodiersystems wurde dieses von zwei Gutachter:innen mit dem Fokus auf Zielorientierung, Vollständigkeit und Korrektheit geprüft und aufbauend auf den dabei entstandenen Anmerkungen angepasst (Kühlmeyer et al., 2020).
Die Analyse der digitalen Maßnahmen (Schritt 1) erfolgte deduktiv mithilfe des erarbeiteten Kategoriensystems (Schritt 2 und 3) und mit der Anwendung des darauf aufbauenden Kodiersystems (Schritt 4). Um die Validität zu erhöhen, wurde das Kodiersystem von zwei Gutachter:innen angewendet und die Ergebnisse gegenübergestellt. Es wurde darauf geachtet, die Konvergenz sicherzustellen, indem die Forscher:innen auf einem gemeinsamen Verständnis hinsichtlich der Kategorien aufbauen (Hopf & Schmidt, 1993; Mayring, 2015, S. 13). Die Auswertung wurde mit Hilfe des Tabellenkalkulationsprogramms Excel durchgeführt (Mayring, 2016, S. 136). Durch die Eingabe der Kodierung konnten die zutreffenden Maßnahmen abgelesen und in diesem Zuge die Ergebnisse gefiltert und strukturiert werden.
7 Schritt: Ergebnisaufbereitung der strukturierenden Qualitativen Inhaltsanalyse
Der letzte und abschließende Schritt der strukturierenden Qualitativen Inhaltsanalyse stellt die Ergebnisaufbereitung dar (Mayring, 2016, S. 120), welche detailliert in dem sich anschließenden Kapitel 4 dargelegt wird.
4 Ergebnisdarstellung der Qualitativen Analyse
Bevor auf die Kriterienerfüllung eingegangen wird, werden die Ergebnisse zur Eignung und Anwendbarkeit der Kriterien für eine Qualitätsüberprüfung vorgestellt. Für einen besseren Überblick münden die Ergebnisse in eine zusammenfassende Tabelle (Tab. 5). Nach den Ausführungen der einzelnen Kriterienerfüllungen wird auch für dieses Forschungsziel eine zusammenfassende Grafik präsentiert.
Ergebnisse zur Eignung und Anwendbarkeit der Kriterien zur Überprüfung der Qualität digitaler Bildungsmedien in der Beruflichen Orientierung
Die Ergebnisse zeigen, dass der Großteil der vorher definierten Kriterien eine gute Anwendbarkeit ermöglicht. Einige wenige Kriterien eignen sich weniger bzw. nur bedingt für eine Qualitätsbeurteilung digitaler Maßnahmen der Beruflichen Orientierung. Zu nennen ist hierbei das Leitungshandeln. Dieses Kriterium überschneidet sich stark mit dem Kriterium Medien und dem Teilkriterium Unterrichtsmaterialien sowie didaktisch-methodische Anleitung für die Lehrperson vorhanden und wurde vor allem durch dieses bewertet. Das Kriterium Leitungshandeln wird im weiteren Verlauf dennoch aufgeführt, da sich die Ergebnisse zur Kategorie Medien unterscheiden. Eine Zusammenführung der beiden Kategorien wäre jedoch zu empfehlen. Das Kriterium der Kosten ließ sich bei der vorliegenden Untersuchung nicht anwenden, da nur frei zugängliche Maßnahmen untersucht wurden. Bei drei Qualitätskriterien brachten die Ergebnisse eine leichte Einschränkung in der Anwendbarkeit in einem Teilkriterium hervor. Das betrifft die Kategorie didaktisch-methodische Einbettung mit dem Teilkriterium Beschreibung der Sozialform bzw. Aktionsform. Diese wird selten explizit beschrieben. Darüber hinaus ist bei dem Kriterium Medien das Expert:innenteam und die Finanzgeber:innen nicht direkt bzw. nicht ersichtlich. Teilweise schwer oder auch nicht aufzufinden waren die Datenschutzbeschreibungen oder der Standort der Server des Kriteriums Sicherheit.
Einen zusammenfassenden Überblick für die Eignung und Anwendbarkeit der Kriterien zur Überprüfung der Qualität digitaler Bildungsmedien in der Beruflichen Orientierung gibt die folgende Tabelle (Tab. 6).
Tabelle 6: Eignung und Anwendbarkeit der Kriterien für eine Überprüfung
Kriterien |
Gut anwendbar |
Weniger gut anwendbar |
Erklärung |
Zielgruppe |
X |
|
häufig benannt |
Leitungshandeln |
|
X |
Ableitung aus der Kategorie Medien- Unterrichtsmaterial vorhanden |
Didaktisch-methodische Einbettung |
X |
in einem Teilkriterium X |
Die Sozialform/ Aktionsform wird selten beschrieben |
Medien |
X |
in einem Teilkriterium X |
Expert:innenteam und Finanzgeber:innen nicht immer ersichtlich |
Funktionalität und Technische Umsetzung |
X |
|
Leicht überprüfbar |
Verfügbarkeit und Kosten |
X |
|
Leicht überprüfbar |
Sicherheit |
X |
in einem Teilkriterium X |
Datenschutz/Standort der Server nicht immer direkt ersichtlich |
Kompetenzen der digitalen Kompetenzbereiche |
X |
|
Kompetenzerwerb im Material erkennbar |
Kompetenzen der Beruflichen Orientierung |
X |
|
Kompetenzerwerb im Material erkennbar |
Ergebnisse der Kriterienerfüllung
Aus der angefertigten Excel-Tabelle und den generierten Daten (s. Kap. 3) wurden die digitalen Maßnahmen den zweiten Unterkategorien zugeordnet. Die dabei entstandenen Ergebnisse werden in diesem Kapitel kompakt und in der Reihenfolge der Hauptkriterien (s. Tab. 1) abgebildet. Bedingt erfüllt bedeutet, dass nicht alle Teilkriterien der Hauptkategorie (Tab. 1) als erfüllt beurteilt werden können, bei nicht erfüllt betrifft das alle Teilkriterien der Hauptkategorie.
Zielgruppe
Von den 106 untersuchten digitalen Maßnahmen der Beruflichen Orientierung erfüllen 84,9 % (n = 90) der Maßnahmen die Kriterien der Kategorie Zielgruppe, wohingegen 15,1 % (n = 16) der Maßnahmen diese bedingt erfüllen. Am seltensten erfüllt wird hierbei das Teilkriterium Differenzierung ist vorgesehen gefolgt von dem Teilkriterium es sind keine Einseitigkeiten in Form von Stereotypen vorzufinden.
Leitungshandeln
Die Analyse des Qualitätskriteriums Leitungshandeln ergab, dass 16,0 % (n = 17) der Bildungsmaßnahmen eine aktive Begleitung des Angebots durch die Lehrperson mithilfe von Materialunterstützung ermöglichen, wie beispielsweise in Form einer didaktischen Anleitung. Bei 84,0 % (n = 89) der Angebote liegt keine didaktisch-methodische Anleitung in Bezug auf das Leitungshandeln der Lehrperson vor. Eine detailliertere Darstellung bietet Abbildung 1.
Didaktisch-methodische Einbettung
Die in der Tabelle 1 beschriebenen Aspekte des Qualitätskriteriums didaktisch-methodische Einbettung werden von 24,5 % (n = 26) der Maßnahmen erfüllt, wohingegen 75,5 % (n = 80) der Maßnahmen diese bedingt erfüllen. Auch hier wird von ‚bedingt‘ gesprochen, wenn nicht alle Teilkriterien als erfüllt angesehen werden können. Am wenigsten erfüllt wird dabei die Beschreibung der Sozialform bzw. Aktionsform.
Medien
Das Qualitätskriterium wird von 30,2 % (n = 32) der digitalen Bildungsmaßnahmen der Beruflichen Orientierung erfüllt. Bedingt erfüllen dieses Qualitätskriterium 69,8 % (n = 74) der Angebote. Am seltensten erfüllt wird das Teilkriterium es liegt Unterrichtsbegleitmaterial vor, gefolgt von dem Teilkriterium die Maßnahme wurde sowohl von Expert:innen der Beruflichen Orientierung als auch der Digitalen Bildung und Akteur:innen aus der Praxis entwickelt (ein Zusammenwirken aus den drei Bereichen war häufiger nicht gegeben).
Unterrichtsmaterialien und didaktisch-methodischen Anleitungen für Lehrpersonen
Abbildung 1 zeigt, wie viel Prozent der Angebote Unterrichtsmaterial bzw. didaktisch-methodische Anleitungen für die Lehrperson zur Verfügung stellen. Dabei integrieren 34,2 % der Maßnahmen Unterrichtsmaterial und 17,2 % didaktisch-methodische Anleitungen für die Lehrperson.
Funktionalität und technische Umsetzung
Die Analyse ergab, dass 91,5 % (n = 97) der Angebote das Qualitätskriterium Funktionalität und technische Umsetzung erfüllen. Dabei erfüllen 8,5 % (n = 9) der Angebote das Kriterium bedingt. Größtenteils nicht erfüllt sind folgende Teilkriterien: die Technologie ist in Form einer (kurzen) Anleitung beschrieben und die technische Ausstattung zur Anwendung der digitalen Maßnahme (Laptop, VR-Technologie, Internetverbindung etc.) ist benannt. Lediglich in einzelnen Fällen ist die Nutzer:innenfreundlichkeit der Zielgruppe eingeschränkt oder das Tool nicht niedrigschwellig bzw. intuitiv nutzbar.
Verfügbarkeit und Kosten
Das Qualitätskriterium Verfügbarkeit und Kosten wird von 90,6 % (n = 96) der Maßnahmen erfüllt. Da kostenpflichtige Angebote von vornherein ausgeschlossen wurden, bezieht sich das Kriterium lediglich auf die Verfügbarkeit eines digitalen Angebots. Eine bedingte Erfüllung des Kriteriums liegt bei 9,4 % (n = 10) vor, was darauf zurückzuführen ist, dass der Registrierungsprozess sich verhältnismäßig aufwendig gestaltet, mit beispielsweise Anmeldeschleifen über die eigene E-Mail-Adresse.
Sicherheit
Hinsichtlich der Sicherheit erfüllen 84,9 % (n = 90) der Angebote das Kriterium. Bedingt erfüllt wird das Kriterium bei 15,1 % (n = 16) der Maßnahmen. Am seltensten erfüllt werden dabei die Teilkriterien, dass der Standort der Server angegeben ist, sowie dass der Schutz persönlicher Daten und der Privatsphäre der Schüler:innen gewährleistet ist.
Kompetenzbereiche der Beruflichen Orientierung
Die in Tabelle 1 beschriebenen Kompetenzanforderungen der Beruflichen Orientierung werden von 61,3 % (n = 65) der Angebote erfüllt, 38,7 % (n = 41) der Maßnahmen erfüllen dieses Kriterium bedingt. Ausschlaggebend für eine bedingte Erfüllung sind folgende Teilkriterien: Das Angebot adressiert Kompetenzen durch höhere kognitive Niveaustufen sowie Transfer und Anwendungsorientierung sind möglich. Die Mehrheit der Maßnahmen konnte der Unterkategorie Suche nach Informationen zu Berufsbeschreibungen, Tätigkeitsprofilen, Zugangsvoraussetzungen, Verdienst- und Beschäftigungsmöglichkeiten, Ausbildungs- sowie Studienmöglichkeiten zugeordnet werden, ebenso wie der Unterkategorie Eigene Neigungen, Eignungen und Interessen nennen. Eine genauere Betrachtung und Diskussion zu diesem Aspekt finden in Kap. 5 statt.
Digitalisierungsbezogene Kompetenzen
Neben dem Kompetenzbereich der Beruflichen Orientierung wurde die Förderung der digitalisierungsbezogenen Kompetenzen analysiert. Die Analyse ergab, dass 100 % (n = 106) der Maßnahmen das Qualitätskriterium erfüllen. Der Großteil der Maßnahmen lässt sich der Kategorie Umgang mit Informationen und Daten zuordnen, mehrere digitale Maßnahmen dem Kompetenzbereich Kommunizieren und Kooperieren mit digitalen Technologien und einzelne Maßnahmen dem Kompetenzbereich Probleme lösen und Handeln.
Zusammenfassung der Ergebnisse zur Kriterienerfüllung
Abbildung 2 visualisiert die Erfüllung der Kriterien sowohl in relativer als auch in absoluter Verteilung. Insgesamt ergeben sich aus der Untersuchung der 106 digitalen Maßnahmen anhand der neun Hauptkategorien 954 Kriterien, wovon 64,9 % (n = 619) der Kriterien vollständig erfüllt und 35,1 % (n = 335) teilweise erfüllt wurden.
Am meisten sind die Kriterien 1. Kompetenzen der digitalen Kompetenzbereiche, 2. Funktionalität und Technische Umsetzung sowie 3. Verfügbarkeit und Kosten mitsamt den Teilkriterien erfüllt. Nicht immer sind die Kriterien 1. Leitungshandeln, 2. Didaktisch-methodische Einbettung und 3. Medien erfüllt. Ausschlaggebend sind dabei die Teilkriterien es liegt Hilfsmaterial in Bezug auf das Leitungshandeln der Lehrperson vor sowie das Teilkriterium es liegt Unterrichtsbegleitmaterial vor. Darüber hinaus wird die Sozialform bzw. Aktionsform kaum angegeben und es ist nicht erkennbar bzw. angegeben ob Expert:innen der Beruflichen Orientierung, Expert:innen der digitalen Bildung und
Akteur:innen aus der Praxis bei der Entwicklung beteiligt waren.
5 Diskussion der Ergebnisse
Die durchgeführte Untersuchung konzentriert sich sowohl auf die Entwickler:innen als auch auf die Nutzer:innen – insbesondere Lehrpersonen der Sek. I – digitaler Bildungsmaßnahmen in der Beruflichen Orientierung.
Im Hinblick auf die Frage, welche Qualitätskriterien für die Beurteilung digitaler Bildungsangebote der Beruflichen Orientierung herangezogen werden können und sich für deren Beurteilung eignen, kann festgehalten werden, dass die theoretisch abgeleiteten Qualitätskriterien größtenteils für die Beurteilung digitaler Bildungsmedien in der Beruflichen Orientierung geeignet sind. Technische Aspekte wie Funktionalität und technische Umsetzung sind leichter überprüfbar als Kriterien, die pädagogisch-didaktische Aspekte betreffen. Als zentrales Kriterium für Bildungstechnologie gilt die Förderung von digitalen Kompetenzen sowie der Kompetenzen in der Beruflichen Orientierung (Brüggemann & Wiepcke, 2023). Die Qualitative Inhaltsanalyse erlaubt es lediglich, Daten eines digitalen Bildungsmediums auf Basis von vorher definierten Kriterien diesen zuzuordnen (Mayring, 2023). Aus der Untersuchung lässt sich ableiten, dass die digitalen Bildungsangebote die Kompetenzförderung in den beiden Bereichen ermöglichen. Es wurde jedoch deutlich, dass in der Mehrheit der Maßnahmen die Kompetenzen niedrigerer kognitiver Niveaustufen adressiert werden (Bloom, 1956 und Vuorikari et al., 2022) wie z. B. Suche nach Informationen zu verschiedenen Themen der Beruflichen Orientierung. Nur wenige Maßnahmen konnten für höhere kognitive Kompetenzniveaustufen wie z. B. analysieren, anwenden und bewerten ausgemacht werden. Ob ein tatsächlicher Kompetenzzuwachs bei den Lernenden durch die Bildungsangebote erfolgt, müsste in einer weiteren Studie untersucht werden.
Die Qualitative Inhaltsanalyse zeigt auch auf, welche Kriterien in den ausgewählten digitalen Bildungsangeboten oft nicht identifiziert werden können. So konnten bei einigen Angeboten keine Angaben zum Datenschutz, Standort der Server oder das Expert:innenteam identifiziert werden. Damit ergibt sich ein Handlungsbedarf für die Entwicklung von digitalen Bildungsmedien, indem Bildungsanbieter:innen und -etwickler:innen sensibilisiert werden, diese Kriterien transparent zu machen, um ein qualitativ hochwertiges Angebot zu entwerfen. Ferner gilt es, einen stärkeren Fokus auf pädagogisch-didaktische Kriterien zu legen. Dazu gehört bspw. die Formulierung von Lern- und Kompetenzzielen, sodass eine Verortung des Bildungsangebots im Kompetenzrahmen bzw. Bildungsplan möglich ist, eine konkrete methodische Einbettung oder auch didaktische Anweisungen für die Lehrkraft aus denen hervorgeht, wie aktiv bzw. passiv die Lehrkraft zu agieren hat oder welche Sozial- und Aktionsformen zur Anwendung kommen (Tuchscherer & Wiepcke, i. E.).
Weiter wurde die qualitative Inhaltsanalyse dazu verwendet, um zu untersuchen, inwieweit digitale Maßnahmen der Beruflichen Orientierung die aufgestellten Qualitätskriterien erfüllen. Zusammenfassend wurden 64,9 Prozent der entwickelten Qualitätskriterien durch die digitalen Maßnahmen erfüllt, was darauf hinweist, dass die Angebote eine gute Qualität aufweisen, gemessen an den in dieser Studie festgelegten Kriterien. Dabei werden die technischen Qualitätskriterien im Vergleich zu den pädagogisch-didaktischen Qualitätskriterien prozentual höher erfüllt. Die höhere Erfüllung technischer Kriterien im Vergleich zu pädagogisch-didaktischen Aspekten kann unter anderem auf den zeitlichen Druck zurückgeführt werden, unter dem digitale Maßnahmen aufgrund der Notwendigkeit, den Bildungsbetrieb während der coronabedingten Kontaktbeschränkungen aufrechtzuerhalten, entwickelt wurden (Gruber & Szammer, 2022). Des Weiteren hat die Qualitative Inhaltsanalyse ergeben, dass das Expert:innenteam oft nicht (hinreichend) angegeben wurde. Dies kann darauf zurückzuführen sein, dass das Expert:innenteam entweder nicht benannt wurde oder die entsprechende Expertise für die Bereiche möglicherweise nicht einbezogen wurde. Zahlreiche digitale Bildungsangebote entstammen aus dem EdTech-Bereich und werden von jungen Unternehmen bzw. Startups im Bildungsbereich entworfen (Balcke & Matthes, 2017). Es kann davon ausgegangen werden, dass nicht alle Unternehmen über eine fachdidaktisch-bildungswissenschaftliche Expertise verfügen bzw. sich die entsprechende Expertise einholen, sodass der Fokus eher auf die technischen Kriterien gelegt wird.
6 Ausblick und Limitationen
Die aufgestellten Qualitätskriterien können als Bewertungsgrundlage sowohl für Nutzer:innen als auch für Bildungsanbieter:innen oder Bildungsentwickler:innen dienen. Angebotstransparenz kann so klarer definiert und bisher vernachlässigte Kriterien, wie z. B. eine verstärkte Ausrichtung auf pädagogisch-didaktische Qualitätsaspekte, berücksichtigt werden (Gruber & Szammer, 2022). Darüber hinaus können sie als Möglichkeit einer Vergabe von Zertifikaten oder Siegeln herangezogen werden (Eißner, 2016; vebn, 2015). Es ist zu beachten, dass die Analyse der digitalen Maßnahmen im Jahr 2023 durchgeführt wurde und daher mögliche aktuelle Weiterentwicklungen der Maßnahmen – auch hinsichtlich didaktisch-methodischer Aspekte – bis zur Ergebnispublikation nicht mehr berücksichtigt werden konnten. Digitale Bildungsmaßnahmen entwickeln sich aktuell sehr dynamisch, und es ist zu erwarten, dass auch Künstliche Intelligenz (KI) eine zunehmend bedeutende Rolle in diesem Bereich spielen wird. KI-Technologien bieten vielfältige Möglichkeiten, insbesondere bei der personalisierten Lernunterstützung und der Automatisierung von Analysen, was bereits erste Ergebnisse aus neuen Studien belegen (HAI, 2023; Wang, 2023). Daher ist es von großer Bedeutung, zukünftige Untersuchungen regelmäßig zu aktualisieren, um den sich schnell ändernden technologischen Entwicklungen Rechnung zu tragen und die Relevanz der Qualitätskriterien auf dem neuesten Stand zu halten.
Die Sichtung bereits vorhandener Kataloge von Qualitätskriterien hat gezeigt, dass diese bereits sehr ausdifferenziert sind und umfangreich sein können. Sie unterscheiden sich im Hinsicht auf die Formulierung von Oberkategorien und die Zuordnung von Unterkategorien. Die Auswahl von Qualitätskriterien für die qualitative Inhaltsanalyse sowie die Formulierung von Ober- und Unterkategorien erfolgte bezogen auf die Analyse von digitalen Bildungsangeboten für die Berufliche Orientierung und hat dadurch einen gewissen Grad an Subjektivität. Die Komplexität ‚guter Qualität‘ lässt sich ebenso nicht allein auf das Bildungsangebot reduzieren, da sie im Zusammenspiel von Nutzer:innen (Lehrpersonen und Lernenden), organisationalen Strukturen sowie der zugrunde liegenden Fachdomäne abhängt (Schmidt-Hertha, 2021, S. 27). Auch Fey (2015, S. 20) betont, dass der Qualitätsbegriff heterogen zu betrachten ist, der kein starres Raster an Qualitätskriterien vorgibt, Bildungsangebote seien stets den Bedürfnissen und Lernvoraussetzungen der Schüler:innen anzupassen. Daneben sind Lehrpersonen entsprechend zu qualifizieren, um die qualitativen Potenziale von digitalen Bildungsmedien auszuschöpfen.
Weitere Limitationen ergeben sich im Hinblick auf die Gütekriterien der Qualitativen Inhaltsanalyse. Während die Verfahrensdokumentation, Argumentative Interpretationsabsicherung und Regelgeleitetheit als erfüllt betrachtet werden können, wäre in Bezug auf die Nähe zum Gegenstand und der kommunikativen Validierung (Mayring, 2016, S. 144–148) der Einbezug von Schüler:innen sinnvoll, um die Bildungsangebote zielgruppenspezifisch beurteilen zu können und um einen Dialog zwischen Forscher:innen und Nutzer:innen herzustellen. Die Triangulation wurde nur bedingt erfüllt, da lediglich zwei Gutachter:innen die Analyse vorgenommen haben. Der Einbezug weiterer Interpret:innen wie zum Beispiel Lehrpersonen oder Entwickler:innen von digitalen Bildungsmedien sowie auch einem zusätzlichen Analysedurchlauf würde mit einer Qualitätssteigerung der Analyse einhergehen.
Dennoch konnten durch die Qualitative Inhaltsanalyse Qualitätskriterien validiert werden, die sich für die Beurteilung von digitalen Angeboten der Beruflichen Orientierung eignen. Diese Qualitätskriterien wurden durch Brüggemann und Wiepcke (2023) zu einem EdTech-Index verdichtet. Zukünftiges Ziel ist es, den EdTech-Index in Form eines EdTech-Check technisch umzusetzen, sodass sowohl Nutzer:innen als auch Entwickler:innen digitale Bildungsmedien qualitativ beurteilen können und strukturiert nach gewünschten Kompetenzbereichen auswählen können.
Literatur
Aufenanger, J. & Bigos, M. (2023). Digitalisierung in der Lehrer:innenbildung: Corona als Katalysator? Beltz.
Baker, R. S. & Siemens, G. (2014). Educational Data Mining and Learning Analytics. In R. K. Sawyer (Ed.), The Cambridge Handbook of the Learning Sciences (pp. 253–272). Cambridge University Press.
Balcke, D. & Matthes, E. (2017). Kostenlose Online-Lehrmaterialien von Unternehmen – Exemplarische Analysen. In C. Fey & E. Matthes (Hrsg.), Das Augsburger Analyse- und Evaluationsraster für analoge und digitale Bildungsmedien (AAER) (S. 67–84). Klinkhardt.
Blaich, I., Grüneberg, T., Knickrehm, B. & Thiel, R. (2023). Was heißt Qualität in der Beruflichen Orientierung an Schulen? In B. Knickrehm, T. Fletemeyer & B. Ertelt (Hrsg.), Berufliche Orientierung und Beratung: Aktuelle Herausforderungen und Unterstützungsmöglichkeiten (S. 13–30). Springer.
Bloom, B. S., Engelhart, M. D., Furst, E. J., Hill, W. H. & Krathwohl, D. R. (1956). Taxonomy of educational objectives: The classification of educational goals. Longmans.
Bratengeyer, E., Bubenzer, A., Jäger, J. & Schwed, G. (2013). eLearning Qualitäts – Evaluationstool: Endbericht. Gefördert von Forum Neue Medien Austria, F&E Call 2012. Krems. http://www.donau-uni.ac.at/imperia/md/content/e-learning/elqe_endbericht.pdf
Brüggemann, T., Driesel-Lange, L. & Weyer, C. (2017). Evidenzbasierte Instrumente zur Berufsorientierung. In T. Brüggemann, K. Diesel-Lange & C. Weyer (Hrsg.), Instrumente zur Berufsorientierung (S. 9–20). Waxmann.
Brüggemann, T. & Wiepcke, C. (2023). Der EdTech-Index. In C. Wiepcke (Hrsg.), Karlsruher Beiträge zur Ökonomischen Bildung (Nr. 3).
Brüggemann, T. & Rahn, S. (2020). Berufsorientierung. UTB.
Butz, B. (2008). Von der Berufsorientierung zum Übergangsmanagement. In E. Jung (Hrsg.), Basiswissen Berufsorientierung, Band 1: Zwischen Qualifikationswandel und Marktenge. Konzepte und Strategien einer zeitgemäßen Berufsorientierung (S. 156–169). Schneider.
Deutsche Kinder- und Jugendstiftung. (o. J.). Qualitätsmerkmale digitaler Bildung. https://www.schulaufsicht.de/fileadmin/Redaktion/Artikel/Bilder/Qualitaetsentwicklung/Qualitaetsmerkmale_digitaler_Bildung_DKJS.pdf
Denzin, N. K. (1978). The research act. McGraw Hill.
Driesel-Lange, K., Kracke, B., Hany, E. & Schindler, N. (2010). Berufs- und Studienorientierung: Erfolgreich zur Berufswahl. Ein Orientierungs- und Handlungsmodell für Thüringer Schulen. Materialien 165. Thüringer Institut für Lehrerfortbildung, Lehrplanentwicklung und Medien.
Dubs, R. (2003). Qualitätsmanagement für Schulen. Institut für Wirtschaftspädagogik, Studien und Berichte des IWP (Nr. 13).
Eickelmann, B. & Gerick, J. (2020). Lernen mit digitalen Medien. In D. Fickermann & B. Edelstein (Hrsg.), „Langsam vermisse ich die Schule ...“ Schule während und nach der Corona-Pandemie (S. 153–162). Waxmann.
Eißner, A. (2016). Der Weg zum vebn-Gütesiegel. Verband eLearning Business – vebn. http://www.vebn.de/vebn-guetesiegel/einreichung.html
Ehlers, U. D. (2005). Qualität im E-Learning aus Lernersicht: Grundlagen, Empirie und Modellkonzeption subjektiver Qualität. Verlag für Sozialwissenschaften.
Fey, C. (2015). Kostenfreie Online-Lehrmittel: Eine kritische Qualitätsanalyse. Klinkhardt.
Fey, C. (2017). Das Augsburger Analyse- und Evaluationsraster für analoge und digitale Bildungsmedien: Eine Einführung. In C. Fey & E. Matthes (Hrsg.), Das Augsburger Analyse- und Evaluationsraster für analoge und digitale Bildungsmedien (AAER) (S. 15–48). Klinkhardt.
Fey, C. & Matthes, E. (Hrsg.). (2017). Das Augsburger Analyse- und Evaluationsraster für analoge und digitale Bildungsmedien (AAER). Klinkhardt.
Fielding, N. C. & Fielding, J. L. (1986). Linking data. Sage university paper series on qualitative research methods (Vol. 4). Sage.
Fielding, N. C. & Lee, R. L. (1991). Using computers in qualitative research. Sage.
Flick, U. (1987). Methodenangemessene Gütekriterien in der qualitativ-interpretativen Forschung. In J. B. Bergold & U. Flick (Hrsg.), Ein-Sichten (S. 247–262). DGVT.
Gläser-Zikuda, M. (2017). Qualitative Inhaltsanalyse in der medienpädagogischen Forschung. In T. Knaus (Hrsg.), Forschungswerkstatt Medienpädagogik: Projekt – Theorie – Methode (S. 97–123). https://doi.org/10.25656/01:17073
Goertz, L. (2022). Qualitätssicherung multimedialer Lernangebote. In H. Niegemann & A. Weinberger (Hrsg.), Handbuch Bildungstechnologie (S. 481–492). Springer.
Hartkopf, E. (2020). Berufswahlkompetenz, Berufswahlbereitschaft und Berufswahlreife: Theoretische Hintergründe, Konstrukte, Messung und praktische Bedeutung. In T. Brüggemann & S. Rahn (Hrsg.), Berufsorientierung: Ein Lehr- und Arbeitsbuch (S. 43–56). UTB.
Heinze, T. & Thiemann, F. (1982). Kommunikative Validierung und das Problem der Geltungsbegründung. Zeitschrift für Pädagogik, 28, 635–642.
Helmke, A. (2012). Unterrichtsqualität und Lehrerprofessionalität. Klett Kallmeyer.
Helmke, A. (2022). Unterrichtsqualität und Lehrerprofessionalität: Diagnose, Evaluation und Verbesserung des Unterrichts. Klett/Kallmeyer.
Hattie, J. (2015). Lernen sichtbar machen. Schneider.
Hirsch, E. D. (1967). Validity in interpretation. University Press.
Hopf, C. & Schmidt, C. (1993). Zum Verhältnis von innerfamilialen sozialen Erfahrungen, Persönlichkeitsentwicklung und politischen Orientierungen: Dokumentation und Erörterung des methodischen Vorgehens in einer Studie zu diesem Thema. https://nbn-resolving.org/urn:nbn:de:0168-ssoar-456148
Jick, T. (1983). Mixing qualitative and quantitative methods: Triangulation in action. In J. v. Maanen (Hrsg.), Qualitative methodology (S. 135–148). Sage.
Jung, E. (2008). Reife, Fähigkeit oder Kompetenz? Über die pädagogisch-didaktische Bedeutung von Leitbegriffen im Arbeits- und Berufsfindungsprozess. In E. Schlemmer & H. Gerstberger (Hrsg.), Ausbildungsfähigkeit im Spannungsfeld zwischen Wissenschaft, Politik und Praxis (S. 131–147). VS Verlag.
Jung, E. (2019). Förderung der Berufswahlkompetenz im Wirtschaftsunterricht. In R. Schröder (Hrsg.), Berufliche Orientierung in der Schule: Gegenstand der ökonomischen Bildung (S. 51–74). Springer VS.
Kirk, J. & Miller, M. L. (1986). Reliability and validity in qualitative research. Sage university paper series on qualitative research methods (Vol. 1). Sage.
Klüver, J. (1979). Kommunikative Validierung – einige vorbereitete Bemerkungen zum Projekt Lebensweltanalyse von Fernstudenten. In T. Heinze (Hrsg.), Theoretische und methodologische Überlegungen zum Typus hermeneutisch-lebensgeschichtlicher Forschung (S. 69–84). Werkstattbericht FernUniversität Hagen.
Kuckartz, U. (2016). Qualitative Inhaltsanalyse: Methoden, Praxis, Computerunterstützung (3. Aufl.). Beltz.
Kuckartz, U. & Rädiker, S. (2022). Qualitative Inhaltsanalyse: Methoden, Praxis, Computerunterstützung (5. Aufl.). Beltz.
Kühlmeyer, K., Muckel, P. & Breuer, F. (2020). Qualitative Inhaltsanalysen und Grounded-Theory-Methodologien im Vergleich: Varianten und Profile der "Instruktionalität" qualitativer Auswertungsverfahren. Forum Qualitative Sozialforschung/Qualitative Social Research, 21(1), 1–25.
Kvale, S. (1988). Validity in the qualitative research interview. In A. Koning (Hrsg.), Research methodology in psychology: The qualitative perspective. Duquesne University Press.
Lorenz, R., Yotyodyng, S., Eickelmann, B. & Endberg, M. (2022). Schule digital – der Länderindikator 2021: Lehren und Lernen mit digitalen Medien in der Sekundarstufe I in Deutschland im Bundesländervergleich und im Trend seit 2017. Waxmann.
Mayring, P. (2010). Qualitative Inhaltsanalyse: Grundlagen und Techniken (11. Aufl.). Beltz.
Mayring, P. (2015). Qualitative Inhaltsanalyse: Grundlagen und Techniken (12. Aufl.). Beltz.
Mayring, P. (2016). Einführung in die qualitative Sozialforschung: Eine Anleitung zu qualitativem Denken (6. Aufl.). Beltz.
Mayring, P. (2023). Einführung in die qualitative Sozialforschung: Eine Anleitung zu qualitativem Denken (7. Aufl.). Beltz.
Meyer, H. (2011). Was ist guter Unterricht? (8. Aufl.). Cornelsen Scriptor.
Mittelstädt, E. & Wiepcke, C. (2018). Kompetenzorientiert Lehren und erfahrungsbasiert Lernen mit Hilfe didaktischer Werkzeuge. In B. Weber (Hrsg.), Wirksamer Wirtschaftsunterricht (S. 164–177). Schneider.
Moher, D., Liberati, A., Tetzlaff, J., Altman, D. G. & The PRISMA Group. (2015). Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. PLOS Medicine, 12(7), e1000097. https://doi.org/10.1371/journal.pmed.1000097
Nokelainen, P. (2006). An empirical assessment of pedagogical usability criteria for digital learning material with elementary school students. Educational Technology & Society, 9(2), 178–197.
Oelkers, J. (2021). Entwicklungen der Lehrerbildung in Deutschland. In R. Casale, J. Windheuser, M. Ferrari & M. Morandi (Hrsg.), Kulturen der Lehrerbildung in der Sekundarstufe in Italien und Deutschland (S. 258–275). Klinkhardt.
ÖCERT. (o. J.). Qualitäten digitaler Bildung, Qualitätssicherung und -kriterien der digitalen Erwachsenenbildung im Rahmen von Ö-Cert.
Oevermann, U., Allert, T., Konau, E. & Krambeck, J. (1979). Die Methodologie einer objektiven Hermeneutik und ihre allgemeine forschungslogische Bedeutung in den Sozialwissenschaften. In H.-G. Soeffner (Hrsg.), Interpretative Verfahren in den Sozial- und Textwissenschaften (S. 352–434). Metzler.
Puentedura, R. R. (2006). Transformation, Technology, and Education. http://www.hippasus.com/resources/tte/
Scheunpflug, A. (2009). Standards für Qualität? Herausforderungen für die Weiterentwicklung Globalen Lernens. ZEP: Zeitschrift für internationale Bildungsforschung und Entwicklungspädagogik, 32(2), 4–8.
Schmidt-Hertha, B. (2021). Educational Technology und pädagogische Qualität: Annäherungen an ein Schlüsselthema der Digitalisierung. weiter bilden: Gute EdTech. Gute Bildung?, 2021(2), 25–29.
Schreier, M. (2012). Qualitative content analysis in practice. Sage.
Schröder, R. (2019). Berufliche Orientierung in der Schule. Gegenstand der ökonomischen Bildung. Springer.
Sommer, J. (1987). Dialogische Forschungsmethoden. Qualitative Sozialwissenschaften. Psychologie Verlags Union.
Stanford Institute for Human-Centered Artificial Intelligence (HAI). (2023). AI in education: Transforming learning through personalized support and automation. Stanford University. https://hai.stanford.edu
Stiftung Warentest. (2013). Themenpaket Englisch lernen. https://www.test.de/filestore/4635298_themenpaket_englisch_lernen_112013.pdf?path=/protected/44/07/0b5be55c-2bb7-478f-8848-474676c31c44-.
Terhart, E. (1981). Intuition-Interpretation-Argumentation. Zeitschrift für Pädagogik, 27, 769–793.
Tuchscherer, M. & Wiepcke, C. (im Erscheinen). Digitale Maßnahmen der Beruflichen Orientierung – eine qualitative Untersuchung zur Systematisierung. In D. Lorwald (Hrsg.), (noch nicht veröffentlicht).
Wang, V. (2023). The role of AI in modern education: Personalized learning and beyond. JSTOR Daily. https://daily.jstor.org
WebkollegNRW. (o. J.). Die Einstellung neuer Angebote in das WebKollegNRW – eine kurze Anleitung für Anbieter (Hrsg. ZWH – Zentralstelle für die Weiterbildung im Handwerk e.V.). http://www.webkolleg.de/anbieter-info/einstellen-neuer-kurse.html
Wiepcke, C. & Tuchscherer, M. (2023). Kompetenzmodell einer digitalen Beruflichen Orientierung. In B. Knickrehm, T. Fletemeyer & B. J. Ertelt (Hrsg.), Berufliche Orientierung und Beratung. Aktuelle Herausforderungen und digitale Unterstützungsmöglichkeiten (S. 217–237). Springer.
Wiepcke, C. (2023). Kompetenzrahmen einer digitalen Beruflichen Orientierung (DigiBOKom). In C. Wiepcke (Hrsg.), Karlsruher Beiträge zur Ökonomischen Bildung Nr. 2. https://phka.bsz-bw.de/frontdoor/index/index/docId/371
Wiepcke, C. (2013). Qualitätssicherung ökonomischer Bildungsmaßnahmen – Eine Analyse. In T. Retzmann (Hrsg.), Ökonomische Allgemeinbildung in der Sekundarstufe II (S. 318–330).
Vuorikari, R., Kluzer, S. & Punie, Y. (2022). DigComp 2.2: The Digital Competence Framework for Citizens – With new examples of knowledge, skills and attitude. https://doi.org/10.2760/490274
Zitieren des Beitrags
Tuchscherer, M. & Wiepcke, C. (2024): Qualitative Analyse digitaler Bildungsmaßnahmen der Beruflichen Orientierung. In K. Driesel-Lange, C. Staden & B. Ziegler (Hrsg.), bwp@ Spezial 22: Berufliche Orientierung im digitalen Wandel (S. 1–25). https://www.bwpat.de/spezial22/tuchscherer_wiepcke_spezial22.pdf