Als effizientes Auswahlverfahren ist eine wahrscheinlichkeitsbasierte, nach Hochschultyp stratifizierte Klumpenstichprobe vorgesehen. In den gezogenen Klumpen (Clustern) sollen dann alle Studienanfänger/innen der WiWi-Fachdomäne getestet und befragt werden. Diese Art der Stichprobenziehung impliziert, dass die Daten eine geschachtelte Struktur aufweisen, da Studierende in Hochschulen geclustert sind. Diese Schachtelung ist bei den Datenanalysen zu berücksichtigen, um der Ähnlichkeit der Studierenden innerhalb einer Hochschule im Vergleich zu Studierenden anderer Hochschulen Rechnung zu tragen. Dieser Aspekt der mehrebenenanalytischen Herangehensweise definiert die Größe der benötigten Stichprobe - zum einen bezüglich der Anzahl der Klumpen (Level-2-Einheiten) und zum anderen hinsichtlich der Anzahl der Studierenden (Level-1-Einheiten). Hierzu lag eine Liste des Statistischen Bundesamtes (Stand: 4/2015) mit allen in der Grundgesamtheit enthaltenen Universitäten und Hochschulen vor, aus der für die erste Erhebung zu Beginn des Wintersemesters 2016/17 41 Universitäten und Hochschulen für die Teilnahme an der Studie gewonnen wurden.
Für die im Projekt WiWiSET zu prüfenden Forschungshypothesen sind zwei Erhebungswellen notwendig. In der ersten Erhebung, die vor Beginn des WS16/17 stattfand, wurden alle Studienanfänger der zufällig ausgewählten Hochschulen im Rahmen der dort stattfindenden Informationsveranstaltungen zur Einführung in das Studium der Wirtschaftswissenschaften getestet und befragt. In der zweiten Erhebungswelle zu Beginn des WS17/18 wurden die gleichen Personen nach dem 1. Studienjahr online ein zweites Mal befragt, um die Studienleistungen des Bachelor-Orientierungsstudiums am Ende des 2. Semesters zu erfassen und die prognostische Validität des Testinstrumentes hinsichtlich der erbrachten Studienleistungen im 1. Studienjahr zu untersuchen. Zusätzlich zur onlinebasierten Akquise wurde zur Stärkung der Stichprobe der „erfolgreichen“ Studierenden eine Paper-Pencil-Befragung vor Ort angeboten.
Meilensteine
Meilenstein 1: Durch die Ziehung und Erhebung einer Stichprobe von Studieneinsteigern/innen der Wirtschaftswissenschaften nach Prinzipien einer Wahrscheinlichkeitsauswahl („Zufallsziehung“) entstehen Datensätze von einwandfreier Qualität, die es ermöglichen, komplexe Analysen zur Untersuchung der aufgeworfenen Forschungshypothesen durchzuführen und inferenzstatistisch abzusichern.
1) Vorbereitung und Durchführung der Fragebogenerhebung (WS16/17)
Zwischen den beteiligten Standorten im Projektverbund erfolgte eine regionale Aufteilung der an der Erhebung beteiligten Institutionen. Dazu wurden die für die Testung ausgewählten Institutionen kontaktiert und die Testdurchführungstermine abgestimmt. Als Grundgesamtheit der WiWiSET-Studie werden die Bachelor (BA)-Studienanfänger/innen an deutschen Universitäten und Hochschulen in der Fachdomäne WiWi, der größten Studiendomäne in Deutschland, definiert. Beim ersten Erhebungszeitpunkt zu Beginn des Wintersemesters 2016/17 konnten insgesamt 3969 Studienanfänger/innen an 21 Hochschulen und 20 Universitäten befragt werden.
2) Dateneingabe und Plausibilitätsanalyse
Die Dateneingabe erfolgt getrennt nach Projektstandort nach dem Vier-Augen-Prinzip. Nach der Dateneingabe erfolgt eine Plausibilitätsanalyse. Zur Entdeckung von sehr seltenen bzw. ungewöhnlichen Antwortmustern werden zudem uni- und multivariate Ausreißeranalysen genutzt.
Meilenstein 2: Adressatenspezifische Bereitstellung der Befunde für alle (nationalen) Interessensgruppen.
3) Rückmeldesystem für Probanden und Hochschulen
Die Studierenden werden informiert, dass sie sich nach der Teilnahme an der Befragung durch die Generierung ihres anonymen, individuellen Codes ihren eigenen Stand in ihrer ökonomiebezogenen Studieneingangskompetenz (ÖSEK) sowie auch im Vergleich zu ihren Kommilitonen/innen einsehen können. Dazu wird ein im Projekt WiwiKom entwickeltes, unter Verwendung eines Wikis und der Software R konzipiertes Rückmeldesystem als Onlineplattform eingesetzt. Erfahrungen aus dem Projekt WiwiKom und der Vorstudie zeigen, dass ein solches Feedbacksystem sehr häufig von den Studienteilnehmern genutzt wird. Auch die Institutionen bzw. die Dozenten/innen erhalten eine Rückmeldung in Form einer anonymisierten Aggregatauswertung, die die Leistungsergebnisse der getesteten Studierenden der jeweiligen Institution widerspiegelt. Wie in der Vorstudie deutlich wurde, interessieren sich die Institutionen bzw. Dozenten/innen in hohem Maße dafür, mit welchen Eingangsvoraussetzungen ihre Studierenden das Studium beginnen. Sowohl die Studierenden als auch die Institutionen zeigten hohes Interesse bezüglich der Ergebnisse des ersten Messzeitpunktes.
Meilenstein 3: Auf Basis der Wiederbefragung erfolgt eine umfassende Validierung des Fragebogens mit Blick auf die prognostische und inkrementelle Validität.
4) Deskriptive Statistik, einfache IRT-Modelle und Dimensionsanalyse
Bevor Analyseverfahren zur Hypothesenprüfung angewendet wurden, wurden für alle Leistungs- und Persönlichkeitstests Itemanalysen und Reliabilitätsschätzungen durchgeführt (bzgl. der ersten beiden Messzeitpunkte). Analysen auf Basis der IRT-Modelle wurden ergänzt. Voraussetzung für eine adäquate Hypothesenprüfung ist eine Analyse der Dimensionalität der einzelnen Messinstrumente. Nach den Dimensionalitätsanalysen wurden mittels passender IRT-Modelle latente Fähigkeitsparameter geschätzt, die für die nachfolgenden Datenanalysen als Testwerte verwendet werden.
5) Gruppenvergleiche und Messinvarianzanalysen
Es wurde untersucht, inwieweit sich verschiedene Studierendengruppen hinsichtlich ihrer unterschiedlichen individuellen Eingangsvoraussetzungen unter Kontrolle weiterer relevanter Personenvariablen (wie dem ökonomischen Vorwissen) in ihrer ÖSEK unterscheiden. Vorab wurde in diesem Arbeitspaket jedoch kontrolliert, ob die eingesetzten Items zur Erfassung des jeweiligen Konstruktes in den betrachteten Gruppen messinvariant (MI) sind (Meredith 1993). In diesen MI-Analysen wurde untersucht, ob es bestimmte Aufgaben bzw. bestimmte Inhaltsgebiete gibt, die bei unterschiedlichen Studienanfängergruppen mit gleicher ÖSEK unterschiedliche Item-Charakteristiken aufweisen. Dafür wurde direkt auf den CFA- und IRT-Modellen der Dimensionalitätsanalysen aufgebaut. Denn um valide Aussagen über mittlere Unterschiede zwischen verschiedenen Gruppen zu treffen, war es erforderlich, dass die Konstrukte in den jeweiligen Subgruppen äquivalent modelliert, operationalisiert und gemessen wurden. Diese Ansätze haben jedoch den Nachteil, dass sie lediglich auf MI bei bekannten Gruppen prüfen. Mit Hilfe von Mixture-IRT oder Mixture-CFA-Modellen konnte zusätzlich explorativ betrachtet werden, inwieweit in der Stichprobe bei verschiedenen latenten Gruppen unterschiedliche Messmodelle angenommen werden können oder müssen.
6) Konfirmatorische Faktorenanalysen (CFA) und Strukturgleichungsmodelle (SEM)
Zur Generierung diskriminanter Validierungsevidenzen wurden CFA und SEM verwendet, um konkurrierende Strukturmodelle gegeneinander zu testen. Dabei wurde angenommen, dass die ÖSEK und die Intelligenz zwar korrelieren, jedoch faktoranalytisch zu trennen sind. Auch die Note der Hochschulzugangsberechtigung (HZB) ließ sich von der ÖSEK differenzieren. Weiterhin wurde mit Hilfe von SEM untersucht, inwieweit die Note der HZB und die Intelligenz Unterschiede in der Ausprägung der ÖSEK erklären können (s. Kap. 1.4).
7) Zweiter Erhebungszeitpunkt mit Online-Fragebogen
Der Onlinefragebogen, mit dem die Studierenden zum 2. EZP befragt werden, wurde mittels einer Online-Befragungssoftware erstellt. In dem Fragebogen wurde die Variable Studienerfolgmöglichst differenziert über verschiedene Erfolgsindikatoren erfasst (Notendurchschnitt der Klausuren nach dem 1. und 2. Semester, Noten bei zentralen Veranstaltungen, Anzahl erreichter Credit Points pro Semestern, Studienzufriedenheit). Dabei wurde erfragt, ob die Studierenden noch im gleichen Studiengang wie zum 1. EZP studieren. War dies nicht der Fall, erhielten diese Studienwechsler/innen bzw. Studienabbrecher/innen einen zusätzlichen Fragebogen, in dem u.a. die Ursachen für den Fachwechsel erfragt wurden. Im Hinblick auf die prognostische Validierung sind diese beiden Gruppen von hoher Relevanz, da betrachtet werden kann, ob sich der Wechsel/Abbruch des Studiengangs durch den Testscore (z. B. geringe ÖSEK zu Studienbeginn) erklären lässt. Im Anschluss an die Befragung wurden die Daten aus Unipark aufbereitet und in andere Softwareprogramme überführt. Derzeit werden die Daten analysiert.
8) CFA-Modelle, SEM und MEM zur Analyse der prognostischen und inkrementellen Validität
CFA-Modelle und SEM werden genutzt, um zu betrachten, ob die Testergebnisse des Test of Economic Literacy (TEL-D) prognostische und inkrementelle Validitätsaussagen erlauben. Mit Hilfe von SEM wird in einem ersten Schritt zur Analyse der prognostischen Validität untersucht, inwieweit die erzielten Testergebnisse im TEL-D zum 1. EZP in der Lage sind, den Studienerfolg zum 2. EZP zu erklären. In einem zweiten Schritt werden inkrementelle Validierungsaspekte fokussiert, indem zusätzlich noch die Intelligenz und die HZB-Note in das Prognosemodell aufgenommen werden. Hier ist von Relevanz, ob unter Aufnahme dieser zusätzlichen Kriterien die ÖSEK noch einen unabhängigen Erklärungsbeitrag hinsichtlich des Studienerfolgs leistet. In weiteren Schritten werden weitere Kovariaten wie Studienmotivation und soziodemografische Merkmale als Einflussgrößen in das Modell integriert. Als Alternative zur relativ komplexen SEM kann auch ein regressionsbasiertes Mehrebenenmodell (MEM) genutzt werden. MEM sind dahingehend weniger komplex, dass sie einerseits weniger Parameter schätzen (keine Integration des Messmodells) und andererseits ungleiche Gruppengrößen weniger problematisch sind als bei SEM. Aktuell laufen die Vorbereitungen für die Durchführung dieses Arbeitspakets.
9) Telefonische Nacherfassung der Non-Responses
Es sollen die Studierenden erfasst werden, die eine Telefonnummer zum 1. EZP angegeben, aber nicht auf die E-Mail-Anfrage geantwortet haben. Dies soll die Ausschöpfungsquote erhöhen und ermöglicht zudem die Identifizierung der Studienabbrecher/innen, die ggfs. die Hochschule bereits verlassen haben. Wir bemühen uns stets über unterschiedliche Medien möglichst viele Probanden/innen wiederzuerfassen. Dabei achten wir sehr auf Datenschutz.
Meilenstein 4: Durch den Transfer der Befunde in die Hochschulpraxis sowie an die internationalen Projektpartner/innen werden eine hohe Anschlussfähigkeit und Nachhaltigkeit des Projektes sichergestellt.
10) Internationale Vergleiche der gewonnenen Daten
Der TEL wurde durch die Testentwickler in den USA sowie durch Kooperationspartner in Japan und Südkorea (s. Liste der Kooperationspartner) bei den Studienanfängern/innen in der Domäne der Wirtschaftswissenschaften in allen drei Ländern parallel eingesetzt (inkl. soziodemografischer Teil des Fragebogens, der in diesen Ländern in identischer Form genutzt wurde). Auf dieser Basis erfolgt derzeit ein internationaler Vergleich. In Vorgängerprojekten konnte gezeigt werden, dass die VWL-Domäne sich besonders gut für internationale Vergleiche eignet, da Curricula über viele Industrieländer ähnlich sind und die Testinstrumente bei professioneller Adaptation (nach ITC 2010) vergleichend eingesetzt werden können. So kann z. B. mit Hilfe von Multigruppen-CFA und Messinvarianzanalysen betrachtet werden, ob das zu erfassende Konstrukt zwischen den betrachteten Ländern funktional äquivalent ist und wo z.B. kulturelle Unterschiede vorliegen. Solche Analysen ermöglichen u.a. eine Einschätzung, inwieweit in den betrachteten vier Industrienationen die Studierenden mit vergleichbaren ÖSEK ihr Studium starten. Derzeit werden erste Daten zusammengeführt.
11) Transferworkshop
Am Ende des Projektes wird ein zweitägiger Transferworkshop (TW) veranstaltet. Mit dem TW wird wesentlich zur Realisierung des Verwertungsplanes, Transfersicherung der Projektergebnisse sowie der Öffentlichkeitsarbeit mit Projektpartnern/innen und Interessenten/innen beigetragen. Die Ergebnisse aus dem Projekt sollen i.S. der Transfersicherung der Hochschulpolitik und -praxis sowie der empirischen Hochschulforschung zugänglich gemacht werden. Der TW dient u. a. dazu, die Projektergebnisse in einem interdisziplinären Expertenkreis zu diskutieren. Hierzu werden die US-amerikanischen Testentwickler, Hochschul- und Kompetenzforscher/innen, Validierungsexperten/innen und weitere Wissenschaftler/innen eingeladen (wissenschaftliche Verwertungsperspektive). Die Ergebnisse sollen dabei bzgl. der Anschlussfähigkeit an die weitere internationale empirische Hochschul- sowie Kompetenzforschung diskutiert werden. Zum TW sollen neben Vertreter/innen aller teilnehmenden Hochschulen auch Dozenten/innen und weitere Hochschulakteure wie Studienberatungen, Dekane/innen etc. sowie weitere Interessenten/innen eingeladen werden. Das Ziel ist es, Implementierungen aus dem Einsatz des Testinstrumentes in dem Projekt für die weitere Hochschulpraxis i. S. der Eingangsdiagnostik zu diskutieren (praktische Verwertungsperspektive). Bitte beachten Sie unser Newsboard, auf dem wir entsprechende Informationen veröffentlichen werden.
Für weitere Informationen auch zu Analyseergebnissen siehe Projektpublikationen oder kontaktieren Sie gerne unsere Projektmitarbeiter/innen.
Instrumente
Test of Economic Literacy (TEL IV)
Um von den Testergebnissen der Studierenden auf das zugrundeliegende Konstrukt der ökonomiebezogenen Studieneingangskompetenz (ÖSEK) schließen zu können, sind möglichst genaue Annahmen über die inhaltliche und kognitive Binnenstruktur dieses Konstrukts notwendig. Sie liefern die Grundlage für eine angemessene Operationalisierung. In der WiWiSET-Studie werden ÖSEK mittels des TEL-D erfasst. Um die bei der Testübersetzung und -adaptation geforderte funktionale Äquivalenz und somit die internationale Anschlussfähigkeit und Vergleichbarkeit zu gewährleistet, ist dem theoretischen Konzept zu folgen, das auch dem U.S.-amerikanischen TEL IV zugrunde liegt. Demnach erfasst der TEL-D (vgl. Happ et al., 2016), inwieweit bei den Studienanfängern/innen basale, in der Ökonomie konsensuell geteilte Konzepte vorhanden sind, die ein grundlegendes Verständnis gesamt- und einzelwirtschaftlicher Zusammenhänge ermöglichen (Walstad et al., 2013).
Happ, R., Förster, M., Zlatkin-Troitschanskaia, O., & Carstensen, V. (2016). Assessing the previous economic knowledge of beginning students in Germany – implications for teaching economics in basic courses. Citizenship,Social and Economics Education, 15(1), 45– 57. doi:10.1177/2047173416646597
Walstad, W. B., Rebeck, K. & Butters, R. B. (2013). Test of economic literacy: Examiner’s manual(4thed.). New York: Council for Economic Education.
Berliner Test (BEFKI)
Zur Abgrenzung der Fachkompetenz von der allgemeinen domänenunspezifischen kognitiven Fähigkeit wird neben dem TEL-D die Note der HZB und die Kurzform des Berliner Tests zur Erfassung fluider und kristalliner Intelligenz (BEFKI; s. Schipolowski et al. 2017) aufgenommen. Mit dieser Testversion des BEFKI wird auf Seiten der allgemeinen kognitiven Fähigkeiten neben fluider auch kristalline Intelligenz in Form eines allgemeinen, nicht studienfachspezifischen Wissenstests erfasst.
Schipolowski, S., Wilhelm, O., & Schroeders, U. (2017). Berliner Test zur Erfassung fluider und kristalliner Intelligenz ab der 11. Jahrgangsstufe (BEFKI 11+). Göttingen: Hogrefe.