Transformationen in der beruflichen Bildung – Handlungsräume und Gestaltungsfelder der Wirtschafts- und Berufspädagogik.

1 Einleitung und Würdigung

Die Studieneingangsphase stellt sowohl Studierende als auch Hochschulen vor eine Vielzahl an Herausforderungen (Mauer, 2020, S. 59 –60). In dieser Phase wird nicht nur der Grundstein für den weiteren Studienverlauf gelegt, sondern auch die Gefahr eines Studienabbruchs ist besonders hoch (Neugebauer et al., 2021, S. 2). Untersuchungen zeigen, dass über ein Viertel der Studienabbrüche bereits in den ersten Semestern erfolgt, oft bedingt durch unzureichende Vorbereitung, unklare Studienerwartungen oder Überforderung (Heublein & Schmelzer, 2018, S. 5). Die hohen Abbruchquoten manifestieren sich insbesondere in Massenfächern wie dem der Wirtschaftswissenschaften (StBA, 2019a). Studienabbrüche stellen insbesondere für die betroffenen Personen eine Herausforderung dar, da sie unter anderem beim Berufseinstieg mit erschwerten Einstellungsbedingungen konfrontiert sein können (Neugebauer & Daniel, 2021). Aber auch für die Hochschulen, die sich in einem Wettbewerb um Studierende befinden und deren Finanzierungsmodelle entlang von Studierendenzahlen ausgerichtet sind, haben die hohen Studienabbrüche Konsequenzen (Berndt et al., 2021, S. 98). Eine zentrale Aufgabe für Hochschulen besteht daher darin, Studienanfangende in ihrem Übergang an die Hochschule zu unterstützen und mögliche Schwierigkeiten frühzeitig zu identifizieren (Falk et al., 2018, S. 1). Nicht zuletzt in diesem Zusammenhang verdienen die Arbeiten von Hugo Kremer besondere Beachtung. Durch seine langjährige wissenschaftliche Auseinandersetzung mit Fragen der Studieneingangsphase hat er wesentliche Impulse für die Entwicklung individualisierter Unterstützungsangebote gesetzt. Mit dem Fokus auf die Gestaltung von Peer-Mentoring-Programmen sowie die systematische Begleitung von Studienzweifel und Übergangsprozessen hat er nicht nur zur Professionalisierung entsprechender Formate beigetragen, sondern auch die Bedeutung struktureller Hochschulentwicklung in diesem Handlungsfeld verdeutlicht. Seine Arbeiten liefern damit zentrale Bezugspunkte für aktuelle Initiativen zur Förderung von Studierfähigkeit und Studienerfolg.

Die Ursachen für die Studienabbrüche sind vielfältig (Kremer et al., 2018, S. 2). Eine wichtige Rolle spielt jedoch eine defizitäre Studierfähigkeit zahlreicher Erstsemesterstudierender, und auch die steigende Heterogenität der Studierenden sowie entsprechend notwendige individualisierte Förderkonzepte zählen zum Ursachengefüge hinzu (Eckert et al., 2015, S. 261). Die Studierfähigkeit lässt sich grundsätzlich als eine komplexe Kombination aus individuellen Voraussetzungen, Studienzielen sowie institutionellen Rahmenbedingungen beschreiben (Bosse & Trautwein, 2014). Eine zentrale Aufgabe für Hochschulen besteht daher darin, Studienanfangende in ihrem Übergang an die Hochschule zu unterstützen und mögliche Schwierigkeiten frühzeitig zu identifizieren (Falk et al., 2018, S. 1). Eine Überprüfung der Eingangsvoraussetzungen im Sinne der Studierfähigkeit ist dabei sinnvoll und notwendig, um eine möglichst zielgerichtete Unterstützung zu gewährleisten. Diagnostische Verfahren, wie Studierfähigkeitstests, stellen ein wichtiges Instrument dar, um individuelle Stärken und Schwächen der Studierenden frühzeitig zu identifizieren und bedarfsorientierte Unterstützungsangebote anzubieten. Insbesondere freiwillige Low-Stakes-Assessments, die keine negativen Konsequenzen für die Teilnehmenden haben, bieten die Möglichkeit, wertvolle Einblicke in die Studienvoraussetzungen zu gewinnen, ohne zusätzlichen Druck zu erzeugen. Doch die Implementierung solcher Maßnahmen ist nicht ohne Herausforderungen: Niedrige Teilnahmequoten und hohe Abbruchraten während der Testdurchführung aufgrund fehlender Testmotivation können die Effektivität und Aussagekraft der Ergebnisse erheblich beeinträchtigen (DeMars et al., 2013; Eklöf, 2006, S. 11), so dass sich besonders im Fall der Freiwilligkeit die Frage nach Gestaltungsimplikationen für solche Assessments stellt.

Das Ziel des Projektes WIWI-ABC an der Universität Hohenheim bestand daher darin, die Studierenden der Wirtschaftswissenschaften und Wirtschaftspädagogik bereits zu Beginn des Bachelorstudiums bestmöglich bei Defiziten jeglicher Art zu unterstützen. Zu diesem Zweck wurde auf der Grundlage einer qualitativen Vorstudie mit Studiengangsverantwortlichen ein digitales und freiwilliges Low-Stakes-Assessment konzipiert, dessen Ergebnisse eine Grundlage für die Empfehlung gezielter Fördermaßnahmen, besonders im Bereich Mathematik, bilden. Da freiwillige Assessments unter Studierenden häufig das Problem aufweisen, dass die Teilnahmequoten und Testmotivation insbesondere bei denjenigen Studierenden gering sind, die sehr davon profitieren könnten (Simzar et al., 2015, S. 49), ergeben sich in diesem Kontext zwei zentrale Fragen, die für die erfolgreiche Implementierung eines freiwilligen Low-Stakes-Studierfähigkeitstests in der Studieneingangsphase von besonderer Relevanz sind: Erstens, welchen Einfluss hat die Gestaltung der Teilnahmeansprache auf die Teilnahme- und Abbruchquoten? Eine gezielte und adressatengerechte Ansprache könnte eine entscheidende Rolle spielen, um Studierende zur Teilnahme zu motivieren und deren Engagement während der Testdurchführung zu fördern. Zweitens, inwiefern lässt sich durch die Integration von spielerischen Durchführungsanreizen eine Optimierung der Teilnahme- und Abbruchquoten erreichen? Gamifizierte Elemente haben in anderen Kontexten gezeigt, dass sie Motivation und Durchhaltevermögen steigern können, doch ist ihre Wirksamkeit in der spezifischen Anwendung von diagnostischen Verfahren in der Studieneingangsphase bislang wenig erforscht. Der vorliegende Beitrag untersucht diese Fragestellungen vor dem Hintergrund der Problematik früher Studienabbrüche. Ziel ist es, Erkenntnisse zur Verbesserung der Teilnahme- und Abbruchquoten in Low-Stakes-Studierfähigkeitstests zu gewinnen und praktische Empfehlungen für die Gestaltung solcher diagnostischen Maßnahmen zu entwickeln. Langfristig sollen dadurch nicht nur die individuellen Studienvoraussetzungen besser adressiert, sondern auch die Gefahr frühzeitiger Studienabbrüche reduziert werden.

2 Der Studienbeginn als Schlüsselphase für Diagnostik und individuelle Förderung

2.1 Individuelle Herausforderungen und Unterstützungsbedarfe in der Studieneingangsphase

Der Übergang von der Schule zur Hochschule stellt Studienanfangende vor erhebliche Herausforderungen (siehe unter anderem Cazan, 2012; Bosse & Trautwein, 2014; Brahm et al., 2014; Clercq et al., 2017; Trautwein & Bosse, 2017; Goppert, 2023). Ein Studium bringt in der Regel eine gravierende Veränderung der Lebensumstände und des sozialen Umfelds mit sich, beispielsweise durch einen Umzug an den Studienort oder die Integration in neue Strukturen des Lebens und Lernens (Bebermeier & Nußbeck, 2014, S. 84). Die Studieneingangsphase konfrontiert Studierende mit vielschichtigen Herausforderungen auf institutionell-organisatorischer, inhaltlicher, sozialer und individueller Ebene (Kleinert et al., 2023; Bosse & Trautwein, 2014). Diese Phase, die den Übergang in die Hochschule sowie die ersten beiden Semester umfasst, gilt als besonders sensibler Zeitraum für den späteren Studienerfolg (Pallesen, 2023, S. 40; Neugebauer et al., 2019; Key & Hill, 2018) und wird als erfolgskritische Phase für das weitere Studium betrachtet (Bosse & Trautwein, 2014, S. 45). Aufgrund der vielfältigen Herausforderungen bedarf es gezielter Maßnahmen zur Unterstützung der Studierenden (Bosse & Trautwein, 2014). Da die Studierendenkohorten zu Beginn des Studiums nicht nur auf soziodemografischer Ebene, sondern häufig auch in Bezug auf fachliche und motivationale Aspekte sehr heterogen sind, sind gerade in dieser Phase individualisierte Diagnose- und Unterstützungsmaßnahmen notwendig, die die Bedarfe der einzelnen Studierenden fokussieren (Bebermeier & Nußbeck, 2014). Die Bedeutung der Studierfähigkeit für den Erfolg in den ersten Semestern wird betont, da der Übergang von der Schule zur Hochschule mit Schwierigkeiten verbunden sein kann, die Abbruchtendenzen begünstigen (Sorge et al., 2016). In unterschiedlichen Studienprofilen und damit verbundenen Lehr-Lernzielen zeigt sich allerdings eine hohe Vielfalt an Konzepten von Studierfähigkeit (Lewin & Lischka, 2004, S. 21). Die offizielle Zuerkennung der Studierfähigkeit erfolgt durch den Erwerb der Hochschulreife. In Deutschland ist es jeder Person, die über die entsprechende Hochschulzugangsberechtigung (HZB) verfügt, grundsätzlich möglich ein Studium an einer Hochschule eigener Wahl zu beginnen. Allerdings wird in den vergangenen Jahren angesichts defizitärer Eingangsvoraussetzungen von Erstsemesterstudierenden zunehmend infrage gestellt, ob Personen mit „Hochschulreife“ in kognitiver, emotionaler wie auch motivationaler Hinsicht tatsächlich in der Lage sind, ein Studium mit seinen fachlichen und überfachlichen Anforderungen erfolgreich aufzunehmen und zu bewältigen und somit tatsächlich studierfähig sind. In manchen Fachkontexten sind ungeachtet der hohen prognostischen Validität der Hochschulreife Eignungsprüfungen oder Auswahlverfahren vorgesehen, in der Breite erfolgt dies jedoch nicht, und so bestehen hier kaum Möglichkeiten, die Studierfähigkeit der Studierenden vor Studienbeginn näher zu überprüfen.

Eine gezielte Diagnostik und Förderung in der Studieneingangsphase können in diesem Kontext dazu beitragen, dass Studierende erfolgreich in ihr Studium starten und langfristig gute Leistungen erbringen (Falk et al., 2018, S. 1). Eine beträchtliche Zahl von Hochschulen offeriert daher entsprechende Unterstützungsangebote, um den Studierenden den Studieneinstieg zu erleichtern. Insbesondere in MINT-Fächern haben sich Vor- und Brückenkurse als Instrumente etabliert, um die für das Studium notwendigen Vorkenntnisse aufzufrischen (Berndt et al., 2021). Zudem werden häufig Tutorien oder Mentor*innenprogramme für die Studienanfangenden angeboten (Goppert, 2023). Eine individualisierte und gezielte Förderung macht jedoch eine fundierte Diagnostik erforderlich. Einige Hochschulen stellen ihren Studierenden daher Frühwarnsysteme zur Verfügung, welche es ermöglichen, etwaige Wissenslücken frühzeitig zu identifizieren und somit einen Studienabbruch zu verhindern. In diesem Kontext erfährt der Einsatz von Low-Stakes-Assessments eine zunehmende Relevanz.

2.2 Potenziale und Herausforderungen bei dem Einsatz von Low-Stakes-Assessments zu Studienbeginn

Im Falle von Low-Stakes-Assessments entfaltet das Abschneiden der Studierenden keinerlei (negative) Konsequenzen, anders als bei High-Stakes-Assessments wie etwa Prüfungen, die für den Abschluss oder die Zulassung zu einem Studiengang von entscheidender Bedeutung sind (Arthur & Partey, 2023). Bei Low-Stakes-Assessments sind die Konsequenzen für die Testteilnehmenden als gering einzustufen. Diese Art von Assessments findet häufig Anwendung, um Lernfortschritte zu erfassen und Lernprozesse und Selbstregulation zu fördern. Dies erfolgt durch die Bereitstellung einer Diagnosemöglichkeit und dem Erhalt von Feedback, ohne den mit studienrelevanten Prüfungen verbundenen Druck (Schut et al., 2018). Die Bedeutung dieses Feedbacks ist für den Lehr-Lern-Prozess von hoher Relevanz (Sippel, 2009). Des Weiteren können die Resultate von Low-Stakes-Tests für die Hochschulen von Belang sein (Cole et al., 2008), etwa im Rahmen der Überarbeitung von Curricula oder in Akkreditierungsprozessen (Cole et al., 2008).

Auch und besonders in der Studieneingangsphase ist der Einsatz von Low-Stakes-Assessments zur Diagnostik und Förderung möglich und sinnvoll. Infolge der Digitalisierung erfolgt die Durchführung von Assessments hierbei zunehmend auf elektronischem Wege. Die Durchführung elektronischer Assessments ermöglicht eine effiziente Diagnosemöglichkeit bei überschaubarem Korrekturaufwand und eignet sich daher besonders für große Kohorten von Studienanfangenden.

Allerdings sind mit Low-Stakes-Assessments auch einige Herausforderungen verbunden. Als wesentliche Problematik lässt sich eine oftmals im Vergleich zu High-Stakes-Assessments geringe Testmotivation anführen (DeMars et al., 2013; Eklöf, 2006, S. 11). Zudem weisen Low-Stakes-Assessments häufig hohe Abbruchquoten auf (Finn, 2015). Das fehlende Interesse sowie die mangelnde Wahrnehmung der Nützlichkeit oder Wichtigkeit können sich negativ auf die Motivation und dadurch vermittelt auf die Testleistung und die Validität der Fähigkeitsschätzer auswirken (Cole et al., 2008). Daher wird häufig angenommen, dass die Ergebnisse von Low-Stakes-Assessments eine Unterschätzung der tatsächlichen Kenntnisse der Studierenden darstellen (Baumert & Demmricht, 2001), da die Motivation der Teilnehmenden einen signifikanten Einfluss auf die Ergebnisse von Low-Stakes-Tests hat (Segal, 2012, Pedrotti & Nistor, 2014). Die Wahrnehmung der Wichtigkeit oder Nützlichkeit einer Prüfung seitens der Studierenden hat einen Einfluss auf ihre Anstrengung und folglich auf ihr Testergebnis. Auch die Wahrnehmung von Low-Stakes-Assessments ist von entscheidender Bedeutung für deren Effektivität. Heeneman et al. (2015) weisen darauf hin, dass die Wahrnehmung von Low-Stakes-Assessments durch Studierende von entscheidender Bedeutung ist, um die beabsichtigten positiven Effekte auf das Lernen zu erzielen (Heeneman et al., 2015). Die Teilnehmenden müssen folglich die Bedeutung des Tests als hoch einschätzen, um sich in einem Low-Stakes-Test anzustrengen (Simzar et al., 2015). Darüber hinaus ist zu beobachten, dass eine nennenswerte Anzahl von Personen sich erst gar nicht zu einer Teilnahme an solchen Assessments entscheidet, meist gerade diejenigen, die von individueller Förderung besonders profitieren könnten. Insbesondere in onlinebasierten Low-Stakes-Studierfähigkeitstests mit dem Ziel der frühzeitigen Identifikation von Förderbedarfen in Massenstudiengängen wie beispielsweise den Wirtschaftswissenschaften wäre jedoch eine möglichst flächendeckende Teilnahme und genaue Fähigkeitsschätzung von großer Bedeutung, um sinnvoll fördern zu können und hohe Studienabbruchquoten zu vermeiden. Es ist daher gerade in diesen Kontexten von großer Bedeutung gezielt mit Teilnahmeanreizen zu arbeiten.

Ein wichtiger Anreizfaktor für die Teilnahme an Low-Stakes-Assessments kann in der Betonung der Wichtigkeit und des individuellen Wertes des Tests für die persönliche Entwicklung im Studium durch Dozierende liegen. Auch ein differenziertes Feedback zur Testleistung kann das Teilnahmecommitment positiv beeinflussen (Brown & Gaxiola, 2010). Die Unterstützung und das Feedback, welches die Teilnehmenden durch den Test erhalten, können von entscheidender Bedeutung dafür sein, wie Studierende ihr Abschneiden wahrnehmen und wie ernst sie ihr Ergebnis nehmen (Schüttpelz-Brauns et al., 2019).

Zudem besteht die Möglichkeit, die Teilnahmemotivation an Low-Stakes-Assessments durch den Einbezug spielerischer Elemente im Sinne von Gamification zu fördern (Deterding et al., 2011, S. 13). Gamification zielt darauf ab, intrinsische und extrinsische Motivation zu kombinieren (Muntean, 2011) und die Beteiligung von Individuen an realweltlichen (Handlungs-)Prozessen zu fördern (Stieglitz, 2015). Der Einsatz von Spielelementen im Lehralltag resultiert oftmals in einer signifikanten Steigerung der Lern- und Studienmotivation sowie des Grads an Beteiligung und Involviertheit von Studierenden (Fischer et al., 2017, S. 115), so dass sich auch für Low-Stakes-Assessments entsprechende Potenziale erwarten lassen, die vorliegender Beitrag in den Blick nimmt.

3 Zielsetzung und Fragestellungen

Low-Stakes Assessments können in der Studieneingangsphase sowohl Studierenden als auch Dozierenden Aufschluss darüber geben, in welchen Bereichen sie noch Unterstützung benötigen, ohne dabei negative Konsequenzen zu entfalten. Allerdings ist zu konstatieren, dass diese häufig mit fehlender oder defizitärer Teilnahmemotivation aufseiten der potenziellen Teilnehmenden verknüpft sind, was entweder eine Nichtteilnahme oder eine nur oberflächliche Teilnahme bewirkt. Diese Problematik bildete den Anlass für die vorliegende Analyse, deren Ziel darin bestand, die Herausforderungen bei der Teilnehmendenansprache im Rahmen des Einsatzes von Low-Stakes-Assessments für Erstsemesterstudierende systematisch zu beleuchten. Dabei wurden folgende Fragen adressiert:

1. Inwiefern beeinflusst die Gestaltung der Teilnahmeansprache die Teilnahme- und Abbruchquoten in einem Low-Stakes-Studierfähigkeitstest?
2. Lässt sich durch die Integration von spielerischen Durchführungsanreizen eine Optimierung der Teilnahme- und Abbruchquoten erreichen?

Es ist zu untersuchen, ob die divergierenden Formen der Teilnehmendenansprache zu Unterschieden hinsichtlich der Teilnahme- und Abbruchquoten führen und ob ferner die Integration von spielerischen Anreizen während der Testdurchführung zu einer verringerten Testabbruchquote führt.

4 Methodik

Die hier vorgestellte Teilstudie wurde im Rahmen des Projekts Wiwi-ABC durchgeführt, welches durch den Fonds Erfolgreich Studieren in Baden-Württemberg (FESt-BW) zwischen 2019 und 2021 gefördert wurde. Das Ziel des Projektes bestand in der Entwicklung eines Low-Stakes-Einstufungstests im Bereich Mathematik für Studienanfangende der Wirtschaftswissenschaften. Im Rahmen einer Pilotstudie wurden im ersten Jahr N1 = 664 Studienanfangende und im zweiten Jahr N2 = 692 Studienanfangende der Studiengänge Wirtschaftswissenschaften und Wirtschaftspädagogik an der Universität Hohenheim unmittelbar zu Beginn des Studiums aufgefordert an dem freiwilligen onlinebasierten Low-Stakes-Test von ca. 45 Minuten teilzunehmen. Das Ziel des Tests bestand in der frühzeitigen Diagnose individueller Stärken und Schwächen, um die Studierenden mit individuellen Förderangeboten in der Studieneingangsphase gezielt zu unterstützen und auf diesem Weg die hohen Abbruchquoten langfristig zu reduzieren.

Um den vorgestellten Forschungsfragen nachzugehen, wurde in zwei aufeinanderfolgenden Studienjahren ein Interventions-Vergleichsgruppendesign verwendet. Dazu wurden die jeweiligen Erstsemesterstudierenden in zwei Gruppen eingeteilt. Zur Überprüfung der Effekte variierender Testdesigns hat sich das Verfahren der A/B-Tests mit zufälliger Gruppenzuordnung bewährt (Kohavi & Longbotham, 2017). Die Testung wurde über die abwechselnde Integration entsprechender Teilnahmelinks als A/B-Test angelegt, bei dem sich die Gruppen zum einen in der Ausführlichkeit der Teilnahmeaufforderung und zudem hinsichtlich unterschiedlicher Testvarianten mit und ohne Durchführungsanreizen unterschieden.

Um herauszufinden, wie die Teilnahmeansprache am besten gestaltet werden sollte, wurde die Ansprache in verschiedenerlei Hinsicht differenziert. Zum einen wurden die Studierenden systematisch über verschiedene Ansprachewege kontaktiert, die dann jeweils mittels Zuordnung durch unterschiedliche QR-Codes auf ihre Wirkung auf die Testteilnahme überprüft wurden. Zum anderen wurden auch innerhalb der verschiedenen Ansprachewege teilweise verschiedene Optionen unterschieden. Tabelle 1 zeigt die Ansprachewege im ersten und zweiten Jahr.

Tabelle 1: Ansprachewege im ersten und zweiten Jahr der Testdurchführung

Anspracheweg Jahr 1
1.       Einladung per E-Mail	Zwei verschiedene Anschreiben: Kurz vs. lang
2.       Erinnerung per E-Mail	Optimiertes Design
3.       Werbung über Social Media	Facebook
4.       Werbung in Vorlesungen	per Postkarten
5.       Empfehlung von Dozierenden	Studierendenportal
Anspracheweg Jahr 2
1.       Einladung per E-Mail	Über den Mathematik Vorkurs
2.       Poster	Im Mathematik Vorkurs
3.       Poster	Auf dem Campus in der Einführungswoche
4.       Postkarten	Versand der Postkarten nach Hause
5.       Werbung über Social Media	Instagram
6.       Werbung über Social Media	Facebook
7.       Newsletter	Uniinterner Newsletter
8.       Werbung in Vorlesungen	Präsentation und Persönliche Ansprache
9.       E-Mail an alle Studierenden über die Verwaltung	Erinnerungsmail an die Uni-Mailadressen an alle Studierenden der entsprechenden Studiengänge

Die Datenanalyse wurde mit der statistischen Software SPSS (IBM SPSS Statistics, Version 26) durchgeführt. Im Rahmen der Untersuchung der Effektivität der verschiedenen Ansprachewege wurden die Klickzahlen für die Jahre 1 und 2 anhand eines Chi-Quadrat-Anpassungstests analysiert, um festzustellen, ob die Verteilung der Klickzahlen von einer Gleichverteilung abweicht. Mithilfe der Ergebnisse aus dem ersten Erhebungsjahr wurden die Ansprachewege für den zweiten Durchgang angepasst und bestmöglich optimiert.

Zur Beantwortung der zweiten Forschungsfrage kamen zwei Testversionen zum Einsatz. Im ersten Jahr umfasste der Test Zwischeneinblendungen („Memes“) mit unterhaltsamen oder humoristischen Informationen rund um die Universität und das Studium. Dabei handelte es sich beispielsweise um Informationen zu Sportangeboten, berühmten Alumnae der Hochschule, studentischen Festen, wichtige Daten und Fakten zur Universität oder humoristische Memes zum Studienalltag. Diese Durchführungsanreize wurden nach jedem dritten bis vierten Item eingeblendet, um die Teilnehmenden nicht innerhalb eines Themenbereichs abzulenken. Die Vergleichsgruppe bearbeitete den Test ohne Zwischeneinblendungen. Im zweiten Jahr wurden erneut zwei Testversionen eingesetzt. Im Rahmen der zweiten Erhebungswelle wurde der Interventionsgruppe bei einem Teil der Aufgaben ein Zwischenfeedback bereitgestellt, um bereits während der Bearbeitung der Aufgaben eine Einschätzung des zu erwartenden Ergebnisses zu ermöglichen. Die Randomisierung der Studierenden zu einer der beiden Gruppen erfolgte in beiden Jahren zufällig. Für beide Jahre diente die Kontingenzanalyse mithilfe eines Chi-Quadrat-Tests der Überprüfung der Unterschiede zwischen den beiden Gruppen. Ferner wurde ein Z-Test durchgeführt, um festzustellen, ob signifikante Unterschiede zwischen den Abbruchquoten in den beiden Jahren existieren.

5 Ergebnisse

5.1 Einfluss der Teilnahmeansprache auf die Teilnahme- und Abbruchquoten

Unter den N₁ = 664 im ersten Jahr angesprochenen Studierenden haben n₁ = 461 den Test angeklickt. Dies entspricht einer Quote von 69.4 Prozent. Es kann nicht ausgeschlossen werden, dass es sich bei den genannten Klicks um doppelte Klicks handelt, also um Klicks, die von ein und derselben Person durchgeführt wurden.

Tabelle 2: Rücklaufquote Jahr 1

Klicks Jahr 1	Quote
Einladung per E-Mail	33.9 %
Erinnerung per E-Mail	27.4 %
Werbung in Vorlesung	19.0 %
Empfehlung von Dozierenden	14.2 %
Werbung über Social Media	5.6 %

Der beste Rücklauf im Sinne der Klickrate konnte über die erste Einladungsmail zum Test (33.9 %) sowie über die Erinnerungsmail (27.4 %), die verschickt wurde, verzeichnet werden. Die Werbeanzeige in der Vorlesung sowie die Empfehlung seitens der Dozierenden trugen insgesamt mit einem Drittel bei. Die geringste Effektivität wies die Ansprache über den Social-Media-Kanal Facebook auf, mit der lediglich eine Quote von 5.6 Prozent erreicht wurde.

Im zweiten Jahr wurde eine Zielgruppe von N₂ = 692 Studierenden angesprochen, wobei der Test von n₂ = 453 Studierenden angeklickt wurde. Dies entspricht einer Stichprobenausschöpfung von 65.5 Prozent.

Tabelle 3: Rücklaufquote Jahr 2

Klicks Jahr 2	Quote
Werbung in der Vorlesung	47.9 %
Postkarten	24.3 %
Einladung per E-Mail	14.4 %
Werbung über Social Media (Instagram)	4.0 %
Newsletter	3.3 %
E-Mail an alle Studierenden über die Verwaltung	3.3 %
Poster im Vorkurs	2.3 %
Poster auf dem Campus	0.4 %
Werbung über Social Media (Facebook)	0.0 %

Die höchste Klickrate wurde mit 47.9 Prozent über die Werbung in der Mathematikvorlesung verzeichnet. Der zweithäufigste Klick erfolgte über den Versand der Postkarten an die Studierenden, wobei ein Anteil von 24.3 Prozent zu verzeichnen war. Zusätzlich wurde der Link über eine E-Mail, welche im Rahmen der Einführungswoche des Vorkurses versandt wurde, von einigen Studierenden angeklickt (14.4 %). Das digitale Poster auf der Lernplattform des Vorkurses, die Werbung über Instagram sowie die Werbung über den offiziellen Newsletter der Hochschule und die Einladungsmail über die Verwaltung der Hochschule erzielten ähnliche Klickzahlen. Die geringste Anzahl an Klicks wurde durch die während der Einführungswoche auf dem Campus aufgehängten Poster (0.4 %) sowie über Facebook (0.0 %) generiert.

Tabelle 4: Chi-Quadrat-Anpassungstest

		χ²	df	p
Jahr 1	Chi Quadrat nach Pearson	112.29	4	< .001
Jahr 2	Chi Quadrat nach Pearson	685.91	7	< .001

Der Chi-Quadrat-Wert für das erste Jahr beträgt 112.29 bei vier Freiheitsgraden (df = 4) mit einem p-Wert von < .001. Dies lässt den Schluss zu, dass die Verteilung der Klickzahlen auf die verschiedenen Werbekanäle signifikant von einer Gleichverteilung abweicht (p < .05). Im Vergleich zum ersten Jahr zeigt sich im zweiten Jahr ein noch deutlicheres Ungleichgewicht in der Verteilung der Klickzahlen. Der Chi-Quadrat-Wert beträgt 685.91 bei neun Freiheitsgraden (df = 7) mit einem ebenfalls signifikanten p-Wert von < .001. Der außerordentlich hohe Chi-Quadrat-Wert verdeutlicht, dass auch die Klickzahlen im zweiten Jahr in erheblichem Maße von einer Gleichverteilung abweichen und somit einige Ansprachewege zu deutlich mehr Klicks führen als andere. Somit lassen sich in beiden Jahren deutliche Abweichungen zur Gleichverteilung feststellen, wobei der Chi-Quadrat-Wert für das zweite Jahr deutlich höher ist. Diese Diskrepanz lässt sich dadurch erklären, dass im zweiten Jahr ein spezifischer Anspracheweg („Werbung in der Vorlesung“) eine überaus dominante Rolle einnimmt, während die Verteilung im ersten Jahr etwas ausgewogener ist.

5.2 Einfluss von Durchführungsanreizen auf den Testabbruch

Von den N₁ = 461 Personen im ersten Jahr, die den Link zum Test im ersten Jahr anklickten, erhielten n_a = 175 die Version mit Durchführungsanreizen und n_b = 286 die Version ohne Durchführungsanreize. Von den N₁ = 461 Personen beendeten lediglich N₁ = 85 Personen, also 18.4% der Testteilnehmenden, den Test. Dies entspricht entsprechend 12.8 % der Studierenden, die in das Studium gestartet sind und potenziell Testteilnehmende hätten sein können.

Im zweiten Jahr schlossen N₂ = 105 Personen den Test ab, was einem Anteil von 15.17 % der Studierenden und 23.2% der N₂ = 453 Testteilnehmenden entspricht. Von den N₁ = 453 Personen, die den Link zum Test im ersten Jahr anklickten, erhielten n_a = 218 die Version mit Durchführungsanreizen und n_b = 235 die Version ohne Durchführungsanreize.

Tabelle 5: Teilnahmequoten

		Beendet	Nicht beendet	Gesamt	%
Jahr 1	Mit Durchführungsanreiz	35	140	175	20.0
	Ohne Durchführungsanreiz	50	236	286	17.5
	Teilnahme total	85	376	461	18.4
Jahr 2	Mit Durchführungsanreiz	53	165	218	24.3
	Ohne Durchführungsanreiz	52	183	235	22.1
	Teilnahme total	105	348	453	23.2

Die nachfolgende Tabelle präsentiert die Ergebnisse eines Chi-Quadrat-Tests, welcher Daten aus den beiden Jahren umfasst. Dabei wurden sowohl der Chi-Quadrat-Test nach Pearson als auch die Korrektur nach Yates angewendet, welche bei kleinen Stichprobengrößen zur Adjustierung dient. Im ersten Jahr wurde ein Chi-Quadrat-Wert nach Pearson von 0.458 mit einem Freiheitsgrad (df) von 1 und einem p-Wert von .499 ermittelt. Dies lässt den Schluss zu, dass der beobachtete Unterschied zwischen den Teilnehmenden mit Durchführungsanreiz und ohne Durchführungsanreiz statistisch nicht signifikant ist (p > .05). Die Korrektur nach Yates resultierte in einem angepassten Chi-Quadrat-Wert von 0.305 und einem p-Wert von .580, was ebenfalls keine signifikante Abweichung darstellt.

Im zweiten Jahr konnten ähnliche Ergebnisse beobachtet werden. Der Chi-Quadrat-Wert nach Pearson betrug 0.303 (df = 1) mit einem p-Wert von .582, während die Korrektur nach Yates zu einem Chi-Quadrat-Wert von 0.193 und einem p-Wert von .661 führte. Somit liegen auch für das zweite Jahr keine statistisch signifikanten Unterschiede vor.

Tabelle 6: Kontingenzanalyse

		χ²	df	p
Jahr 1	Chi Quadrat nach Pearson	0.458	1	.499
	Korrektur nach Yates	0.305	1	.580
Jahr 2	Chi Quadrat nach Pearson	0.303	1	.582
	Korrektur nach Yates	0.193	1	.661

Die nachstehende Tabelle stellt die Anzahl und den prozentualen Anteil der Abbrüche in den beiden Jahren dar. Dabei wird eine Unterteilung in Abbrüche vor und nach der Bearbeitung von Testitems vorgenommen. Im ersten Jahr wurden 328 Abbrüche vor Beginn der Testitems verzeichnet, was einem Anteil von 71.2 % der Gesamtstichprobe entspricht. Die Abbrüche nach Bearbeitung der Testitems beliefen sich nur noch auf 48 Personen, somit einem Anteil von 10.4 %. In der Konsequenz ergibt sich eine totale Abbruchrate von 376 Personen, was einem Anteil von 81.6 % der Stichprobe entspricht. Im zweiten Jahr wurden 306 Abbrüche vor Beginn der Testitems registriert, das sind 67.6 % der Gesamtstichprobe. Nach Bearbeitung der Testitems kam es zu 42 Abbrüchen (9.3 %). Insgesamt lag die Abbruchrate bei 348 Personen und somit 76.8 % der Stichprobe.

Somit ist zu verzeichnen, dass die Abbrüche im zweiten Jahr geringer waren als im ersten – sowohl vor als auch nach den Testitems.

Tabelle 7: Abbruchquoten

		Gesamt	%
Jahr 1	Abbruch vor Testitems	328	71.2
	Abbruch nach Testitems	48	10.4
	Abbruch total	376	81.6
Jahr 2	Abbruch vor Testitems	306	67.6
	Abbruch nach Testitems	42	9.3
	Abbruch total	348	76.8

Zur Überprüfung der signifikanten Veränderung der Abbruchquoten zwischen Jahr 1 und Jahr 2 wurde ein z-Test für zwei Anteile durchgeführt. Die Abbruchquote im ersten Jahr betrug 81.6 % und sank im zweiten Jahr auf 76.8 %. Der kritische Wert für einen einseitigen Test bei einem Signifikanzniveau von α = 0.05 beträgt z _krit = 1.65. Bei dem vorliegenden z-Test beträgt der z-Wert z = 1.77. Die Ergebnisse des z -Tests zeigen somit, dass die Abbruchquote im zweiten Jahr signifikant niedriger ist als im ersten Jahr. Eine Analyse der Testmotivation unterschied sich in beiden Gruppen und Jahren ebenfalls nicht signifikant voneinander.

6 Zusammenfassung und Diskussion

Die Ergebnisse offenbaren deutliche Diskrepanzen der Klickzahlen und damit verbundenen Ansprachewege. Die Analyse zeigt, dass die Effektivität der Werbekanäle zwischen Jahr 1 und Jahr 2 deutlich variiert. Während im ersten Jahr Werbemaßnahmen per E-Mail dominierten, wurde im zweiten Jahr ein klarer Fokus auf Präsenzwerbung in Vorlesungen gelegt, der zumindest auf die Klickzahlen auch Wirkung zeigt. Diese Erkenntnisse können dazu beitragen, zukünftige Ansprachewege gezielt zu optimieren und Ressourcen auf die effektivsten Kanäle zu konzentrieren. Insbesondere die Ansprache über die universitätsseitig genutzten Social-Media-Kanäle (und hier vor allem Facebook) erweist sich als wenig erfolgreich. In Anbetracht der zuvor dargelegten Erkenntnisse wurde im zweiten Erhebungsjahr zusätzlich der Social-Media-Kanal Instagram genutzt, auf dem die Hochschule im ersten Jahr noch nicht vertreten war. Weitere Social-Media-Kanäle, wie beispielsweise TikTok standen nicht zur Verfügung. Die Resultate legen dennoch nahe, dass die Studierenden in ihrer Freizeit eventuell eher kein Interesse daran haben, sich mit universitären Inhalten auf Social-Media-Kanälen zu befassen oder, dass die Werbung die Zielgruppe gar nicht erst erreicht. Eventuell waren sowohl Facebook als auch Instagram nicht der richtige Social-Media-Kanal, um die gewünschte Zielgruppe zu erreichen.

Mit Blick auf die hohen Abbruchquoten in den Testdurchläufen zeigt sich hinsichtlich der zweiten Forschungsfrage zudem, dass sich die beiden Gruppen zu beiden Erhebungszeitpunkten nicht signifikant voneinander unterscheiden. Die zwischendurch eingeblendeten Memes erweisen sich somit nicht als entscheidender Faktor zur Erhöhung des Teilnahmecommitments. Darüber hinaus ist zu konstatieren, dass ein Großteil der potenziellen Teilnehmenden den Test bereits abgebrochen hat, bevor sie mit der Bearbeitung der Aufgaben begonnen haben. Dies lässt den Schluss zu, dass die Testteilnehmenden entweder nach der Lektüre der Informationen zum Ablauf des Tests oder nach der Datenschutzerklärung das Assessment abgebrochen haben, obwohl gerade hier auf eine hohe Niedrigschwelligkeit geachtet wurde.

Die Ergebnisse der vorliegenden Studie können angesichts des bislang weitgehenden Fehlens von Befunden zur differenziellen Wirkung von Teilnahmeanreizen einen Beitrag zur optimierten Implementierung freiwilliger Low-Stakes-Assessments leisten. Es sei jedoch darauf hingewiesen, dass sie sich lediglich auf eine Hochschule und zwei Studiengänge beziehen und eine zweimalige Testung in zwei Wellen keine umfassenden und systematischen Rückschlüsse auf die Wirkung von Durchführungsanreizen zulässt. Es liegt keine Begründung seitens der Studierenden vor, warum sie sich gerade für den jeweiligen Anspracheweg entschieden haben – dies wäre im Rahmen vertiefender qualitativer Zugänge ein Desiderat. Zudem wäre zu untersuchen, ob die Teilnehmenden an freiwilligen Low-Stakes-Assessments Personen sind, die generell motivierter sind und mit eher besseren Studienvoraussetzungen in das Studium starten, oder ob die Testansprache auch Studierende mit Schwächen in den für das Studium relevanten Bereichen zur Teilnahme motiviert hat.

Die Ergebnisse der vorliegenden Studie bestätigen insgesamt die in der Literatur beschriebenen Herausforderungen bei Low-Stakes-Assessments (z.B. DeMars et al., 2013; Eklöf, 2006) – obgleich einige Personen ein grundsätzliches Interesse am Test haben und den Link anklicken, wird eine hohe Abbruchquote beobachtet, mutmaßlich, nachdem deutlich wird, dass die Bearbeitung eine gewisse Zeit und Mühe in Anspruch nehmen wird. Denn nach Beginn der eigentlichen Testbearbeitung zeigt sich, dass ein Großteil der Studierenden den Test auch abschließt. Die Abbruchquote während der Testitems liegt in beiden Jahren bei circa 10 Prozent und zeigt nur eine geringe Schwankung. Die dargestellten Befunde legen nahe, dass die während des Tests implementierten Anreize nur einen geringen Einfluss auf die Testdurchführung und das Testende ausüben. Des Weiteren lässt sich feststellen, dass die Art des Durchführungsanreizes in der vorliegenden Studie keine Relevanz aufweist, vermutlich, weil diejenigen Studierenden, die sich für eine Teilnahme entscheiden, ohnehin sehr committet sind und ein hohes Interesse an ihrem Abschneiden und entsprechenden Förderhinweisen haben.  

Die Funktion von Low-Stakes-Assessments in der Studieneingangsphase zielt weniger auf die universitäre Eignungsfeststellung im Kontext der Auswahl und Zulassung von Studierenden, sondern vielmehr auf die frühzeitige Identifikation von fehlenden fachspezifischen Vorkenntnissen und Fertigkeiten sowie entsprechende Rückmeldung von Förderbedarfen im Sinne einer formativen Diagnostik in der Studieneingangsphase. Sie stellen folglich eine wesentliche Informationsquelle für die Konzeption universitärer Förderangebote dar, wie beispielsweise für die Planung von Brückenkursen, Mentoring-Programmen, Lernwerkstätten und sonstigen Förderangeboten. Darüber hinaus besitzen sie durchaus auch bildungspolitische Relevanz hinsichtlich der potenziellen Reduzierung von Studienabbruchquoten, insbesondere in Massenfächern, gerade wenn die Förderangebote gezielt eingesetzt werden können. Die Freiwilligkeit der Teilnahme führt in der Konsequenz häufig zu einem Vermeidungsverhalten der Hauptzielgruppe universitärer Förder- und Stützangebote, wodurch der eigentliche Testzweck gefährdet wird. In diesem Zusammenhang ist zu diskutieren, ob das Bewusstsein der möglicherweise unzureichenden Studierfähigkeit Druck auf die Studierenden ausübt und sie zu einem Teilnahmeverzicht motiviert, der insbesondere zu Beginn des Studiums zu beobachten ist. Die daraus resultierende Angst, eine unzureichende Studierfähigkeit zu haben, könnte dazu führen, dass Studierende gar nicht erst an den Low-Stake-Assessments teilnehmen. Die Studienanfangenden, die im Anschluss an ihre Schulzeit vielfältige Anpassungsleistungen an die Rahmenbedingungen der Lernumwelt Hochschule erbringen müssen (Goppert, 2023, S. 18), sind hier offenbar noch nicht hinreichend sensibilisiert für den Mehrwert und die Wichtigkeit des Assessments, was die Frage aufwirft, wie sich diese Sensibilisierung unterstützen lässt, wenn im Rahmen von freiwilligen Angeboten verblieben werden soll. Dies könnte auf institutioneller Ebene beispielsweise dadurch erreicht werden, dass die Durchführung des Assessments fest in die Erstsemesterwoche oder aber in Lehrveranstaltungen in den ersten Wochen des Studiums integriert wird. Auf diesem Wege würde der Test einen stärkeren quasi-obligatorischen Charakter erhalten und die Relevanz der Teilnahme für die Studierenden sichtbarer werden. Dies setzte allerdings das Commitment und die Abstimmung der betroffenen institutionellen Stellen voraus und verdeutlicht den Mehrwert einer universitären Gesamtstrategie zur Unterstützung der Studieneingangsphase und Reduzierung von Studienabbrüchen.