Design & Instrumente

Als effizientes Auswahlverfahren ist eine wahrscheinlichkeitsbasierte, nach Hochschultyp stratifizierte Klumpenstichprobe vorgesehen. In den gezogenen Klumpen (Clustern) sollen dann alle Studienanfänger der WiWi-Fachdomäne getestet und befragt werden. Diese Art der Stichprobenziehung impliziert, dass die Daten eine geschachtelte Struktur aufweisen, da Studierende in Hochschulen geclustert sind. Diese Schachtelung ist bei den Datenanalysen zu berücksichtigen, um der Ähnlichkeit der Studierenden innerhalb einer Hochschule im Vergleich zu Studierenden anderer Hochschulen Rechnung zu tragen. Dieser Aspekt der mehrebenenanalytischen Herangehensweise definiert die Größe der benötigten Stichprobe - zum einen bezüglich der Anzahl der Klumpen (Level-2-Einheiten) und zum anderen hinsichtlich der Anzahl der Studierenden (Level-1-Einheiten). Hierzu lag eine Liste des Statistischen Bundesamtes (Stand: 4/2015) mit allen in der Grundgesamtheit enthaltenen Universitäten und Hochschulen vor, aus der für die erste Erhebung zu Beginn des Wintersemesters 2016/17 42 Universitäten und Hochschulen für die Teilnahme an der Studie gewonnen werden.

Für die im Projekt WiWiSET zu prüfenden Forschungshypothesen sind zwei Erhebungswellen notwendig. In der ersten Erhebung, die vor Beginn des WS16/17 stattfand, wurden alle Studienanfänger der zufällig ausgewählten Hochschulen im Rahmen der dort stattfindenden Informationsveranstaltungen zur Einführung in das WiWi-Studium getestet und befragt. In der zweiten Erhebungswelle zu Beginn des WS17/18 werden dann die gleichen Personen nach dem 1. Studienjahr ein zweites Mal befragt, um die Studienleistungen des Bachelor-Orientierungsstudiums am Ende des 2. bzw. zu Beginn des 3. Semesters zu erfassen und die prognostische Validität des Testinstrumentes hinsichtlich der erbrachten Studienleistungen im 1. Studienjahr zu untersuchen.

 

Meilensteine

Meilenstein 1: Durch die Ziehung und Erhebung einer Stichprobe von Studieneinsteigern der WiWi nach Prinzipien einer Wahrscheinlichkeitsauswahl („Zufallsziehung“) sollen Datensätze von einwandfreier Qualität entstehen, die es ermöglichen, komplexe Analysen zur Untersuchung der aufgeworfenen Forschungshypothesen durchzuführen und inferenzstatistisch abzusichern.

1) Vorbereitung und Durchführung der Fragebogenerhebung (WS16/17)

Zwischen den beteiligten Standorten im Projektverbund erfolgte eine regionale Aufteilung der an der Erhebung beteiligten Hochschulen. Dazu wurden die für die Testung ausgewählten Hochschulen kontaktiert und die Testdurchführungstermine abgestimmt. Als Grundgesamtheit der WiWiSET-Studie werden die Bachelor (BA)-Studienanfänger an deutschen Universitäten und FH in der Fachdomäne WiWi, der größten Studiendomäne in Deutschland, definiert. Beim ersten Erhebungszeitpunkt zu Beginn des Wintersemesters 2016/17 konnten insgesamt 3968 Studienanfänger/-innen an 21 Fachhochschulen und 20 Universitäten befragt werden.

2) Dateneingabe und Plausibilitätsanalyse

Die Dateneingabe erfolgt getrennt nach Projektstandort nach dem Vier-Augen-Prinzip. Nach der Dateneingabe erfolgt eine Plausibilitätsanalyse. Zur Entdeckung von sehr seltenen bzw. ungewöhnlichen Antwortmustern werden zudem uni- und multivariate Ausreißeranalysen genutzt.

 

Meilenstein 2: Adressatenspezifische Bereitstellung der Befunde für alle (nationalen) Interessensgruppen.

3) Rückmeldesystem für Probanden und Hochschulen

Die Studierenden werden informiert, dass sie sich nach der Teilnahme an der Befragung durch die Generierung ihres anonymen, individuellen Codes ihren eigenen Stand in ihrer ökonomiebezogenen Studieneingangskompetenz (ÖSEK) sowie auch im Vergleich zu ihren Kommilitonen einsehen können. Dazu wird ein im Projekt WiwiKom entwickeltes, unter Verwendung eines Wikis und der Software R konzipiertes Rückmeldesystem als Onlineplattform eingesetzt. Erfahrungen aus dem Projekt WiwiKom und der Vorstudie zeigen, dass ein solches Feedbacksystem sehr häufig von den Studienteilnehmern genutzt wird. Auch die Hochschulen bzw. die Dozenten erhalten eine Rückmeldung in Form einer anonymisierten Aggregatauswertung, die die Leistungsergebnisse der getesteten Studierenden der jeweiligen Hochschule widerspiegelt. Wie in der Vorstudie deutlich wurde, interessieren sich die Hochschulen bzw. Dozenten in hohem Maße dafür, mit welchen Eingangsvoraussetzungen ihre Studierenden das Studium beginnen.

 

Meilenstein 3: Auf Basis der Wiederbefragung soll eine umfassende Validierung des Fragebogens mit Blick auf die prognostische und inkrementelle Validität erfolgen.

4) Deskriptive Statistik, einfache IRT-Modelle und Dimensionsanalyse

Bevor Analyseverfahren zur Hypothesenprüfung angewendet werden, werden für alle Leistungs- und Persönlichkeitstests Itemanalysen und Reliabilitätsschätzungen durchgeführt. Analysen auf Basis der IRT-Modelle werden ergänzt.  Voraussetzung für eine adäquate Hypothesenprüfung ist eine Analyse der Dimensionalität der einzelnen Messinstrumente. Nach den Dimensionalitätsanalysen werden mittels passender IRT-Modelle latente Fähigkeitsparameter geschätzt, die für die nachfolgenden Datenanalysen als Testwerte verwendet werden.

5) Gruppenvergleiche und Messinvarianzanalysen

Es wird untersucht, inwieweit sich verschiedene Studierendengruppen hinsichtlich ihrer unterschiedlichen individuellen Eingangsvoraussetzungen unter Kontrolle weiterer relevanter Personenvariablen (wie der ökonomischen Vorbildung) in ihrer ÖSEK unterscheiden. Vorab ist in diesem AP jedoch zu kontrollieren, ob die eingesetzten Items zur Erfassung des jeweiligen Konstruktes in den betrachteten Gruppen messinvariant (MI) sind (Meredith 1993). In diesen MI-Analysen wird untersucht, ob es bestimmte Aufgaben bzw. bestimmte Inhaltsgebiete gibt, die bei unterschiedlichen Studienanfängergruppen mit gleicher ÖSEK unterschiedliche Item-Charakteristiken aufweisen. Dafür kann direkt auf den CFA- und IRT-Modellen der Dimensionalitätsanalysen aufgebaut werden. Denn um valide Aussagen über mittlere Unterschiede zwischen verschiedenen Gruppen treffen zu können, ist es erforderlich, dass die Konstrukte in den jeweiligen Subgruppen äquivalent modelliert, operationalisiert und gemessen werden. Diese Ansätze haben jedoch den Nachteil, dass sie lediglich auf MI bei bekannten Gruppen prüfen. Mit Hilfe von Mixture-IRT oder Mixture-CFA-Modellen kann zusätzlich explorativ betrachtet werden, inwieweit in der Stichprobe bei verschiedenen latenten Gruppen unterschiedliche Messmodelle angenommen werden können oder müssen.

6) Konfirmatorische Faktorenanalysen (CFA) und Strukturgleichungsmodelle (SEM)

Zur Generierung diskriminanter Validierungsevidenzen werden CFA und SEM verwendet, um konkurrierende Strukturmodelle gegeneinander zu testen. Dabei wird angenommen, dass die ÖSEK und die Intelligenz zwar korrelieren, jedoch faktoranalytisch zu trennen sind. Auch die Note der HZB sollte sich von der ÖSEK differenzieren lassen. Weiterhin wird mit Hilfe von SEM untersucht, inwieweit die Note der HZB und die Intelligenz Unterschiede in der Ausprägung der ÖSEK erklären können (s. Kap. 1.4).

 

7) Zweiter Erhebungszeitpunkt mit Online-Fragebogen

Der Onlinefragebogen, mit dem die Studierenden zum 2. EZP befragt werden, wird mittels der Online-Befragungssoftware „Unipark“ erstellt. In dem Fragebogen wird die Variable Studienerfolg möglichst differenziert über verschiedene Erfolgsindikatoren erfasst (Notendurchschnitt der Klausuren nach dem 1. und 2. Semester, Noten bei zentralen Veranstaltungen, Anzahl erreichter Credit Points pro Semestern, Studienzufriedenheit). Dabei wird erfragt, ob die Studierenden noch im gleichen Studiengang wie zum 1. EZP studieren. Sollte dies nicht der Fall sein, erhalten diese Studienwechsler/ -abbrecher den zusätzlichen Fragebogen, in dem u.a. die Ursachen für den Fachwechsel erfragt werden. Im Hinblick auf die prognostische Validierung sind diese beiden Gruppen von hoher Relevanz, da betrachtet werden kann, ob sich der Wechsel/Abbruch des Studiengangs durch den Testscore (z. B. geringe ÖSEK zu Studienbeginn) erklären lässt. Als Incentive für die Teilnahme an der 2. Befragung sollen die Probanden 10€ erhalten. Im Anschluss an die Befragung werden die Daten aus Unipark aufbereitet und in andere Softwareprogramme überführt.

8) Erfassung der Prüfungsnoten/ Kontakt Studierendensekretariate

Im Rahmen der Ersterhebung wird auf dem Blatt, das den persönlichen Code zur Re-Identifizierung enthält, u.a. die folgende Frage zum Ankreuzen eingetragen: „Ich bin damit einverstanden, dass das Studiensekretariat am Ende des zweiten Semesters meine wirtschaftswissenschaftlichen Klausur-/Prüfungsnoten an das Forschungsprojekt "WiWiSET" verschlüsselt über den anonymen Code weitergibt.“ Nach den Erfahrungen aus der Vorstudie kann damit gerechnet werden, dass sich ca. 30% der Studierenden hierzu bereit erklären, so dass ein Abgleich der Noten der Studiensekretariate mit den Selbstauskünften der Probanden möglich wird.

9) CFA-Modelle, SEM und MEM zur Analyse der prognostischen und inkrementellen Validität

CFA-Modelle und SEM sollen genutzt werden, um zu betrachten, ob die Testergebnisse des TEL-D prognostische und inkrementelle Validitätsaussagen erlauben. Mit Hilfe von SEM wird in einem ersten Schritt zur Analyse der prognostischen Validität untersucht, inwieweit die erzielten Testergebnisse im TEL-D zum 1. EZP in der Lage sind, den Studienerfolg zum 2. EZP zu erklären. In einem zweiten Schritt werden inkrementelle Validierungsaspekte fokussiert, indem zusätzlich noch die Intelligenz und die HZB-Note in das Prognosemodell aufgenommen werden. Hier ist von Relevanz, ob unter Aufnahme dieser zusätzlichen Kriterien die ÖSEK noch einen unabhängigen Erklärungsbeitrag hinsichtlich des Studienerfolgs leistet. In weiteren Schritten werden weitere Kovariaten wie Studienmotivation und sozidemografische Merkmale als Einflussgrößen in das Modell integriert. Als Alternative zur relativ komplexen SEM kann auch ein regressionsbasiertes Mehrebenenmodell (MEM) genutzt werden. MEM sind dahingehend weniger komplex, dass sie einerseits weniger Parameter schätzen (keine Integration des Messmodells) und andererseits ungleiche Gruppengrößen weniger problematisch sind als bei SEM.

10) Telefonische Nacherfassung der Non-Responses

Es sollen die Studierenden erfasst werden, die eine Telefonnummer zum 1. EZP angegeben, aber nicht auf die E-Mail-Anfrage geantwortet hatten. Dies soll die Ausschöpfungsquote erhöhen und ermöglicht zudem die Identifizierung der Studienabbrecher, die ggfs. die Hochschule bereits verlassen haben.

 

Meilenstein 4: Durch den Transfer der Befunde in die Hochschulpraxis sowie an die internationalen Projektpartner werden eine hohe Anschlussfähigkeit und Nachhaltigkeit des Projektes sichergestellt.

 

11) Internationale Vergleiche der gewonnenen Daten

                         

Der TEL wird durch die Testentwickler in den USA sowie durch Kooperationspartner in Japan und Südkorea (s. Liste der Kooperationspartner) bei den Studienanfängern in der WiWi-Domäne in allen drei Ländern parallel eingesetzt (inkl. sozio-demografischer Teil des Fragebogens, der in diesen Ländern in identischer Form genutzt wird). Auf dieser Basis erfolgt ein internationaler Vergleich. In Vorgängerprojekten konnte gezeigt werden, dass die VWL-Domäne sich besonders gut für internationale Vergleiche eignet, da Curricula über viele Industrieländer ähnlich sind und die Testinstrumente bei professioneller Adaptation (nach ITC 2010) vergleichend eingesetzt werden können. So kann z. B. mit Hilfe von Multigruppen-CFA und Messinvarianzanalysen betrachtet werden, ob das zu erfassende Konstrukt zwischen den betrachteten Ländern funktional äquivalent ist und wo z.B. kulturelle Unterschiede vorliegen. Solche Analysen ermöglichen u.a. eine Einschätzung, inwieweit in den betrachteten vier Industrienationen die Studierenden mit vergleichbaren ÖSEK ihr Studium starten.

12) Transferworkshop

Am Ende des Projektes soll ein zweitägiger Transferworkshop (TW) veranstaltet werden. Mit dem TW wird wesentlich zur Realisierung des Verwertungsplanes, Transfersicherung der Projektergebnisse sowie der Öffentlichkeitsarbeit mit Projektpartnern und Interessenten beigetragen. Die Ergebnisse aus dem Projekt sollen i.S. der Transfersicherung der Hochschulpolitik und -praxis sowie der empirischen Hochschulforschung zugänglich gemacht werden. Der TW dient u. a. dazu, die Projektergebnisse in einem interdisziplinären Expertenkreis zu diskutieren. Hierzu werden die US-amerikanischen Testentwickler, Hochschul- und Kompetenzforscher, Validierungsexperten und weitere Wissenschaftler eingeladen (wissenschaftliche Verwertungsperspektive). Die Ergebnisse sollen dabei bzgl. der Anschlussfähigkeit an die weitere internationale empirische Hochschul- sowie Kompetenzforschung diskutiert werden. Zum TW sollen neben Vertreter aller beteiligten Hochschulen auch Dozenten und weitere Hochschulakteure wie Studienberatungen, Dekane etc. sowie weitere Interessenten eingeladen werden. Das Ziel ist es, Implementierungen aus dem Einsatz des Testinstrumentes in dem Projekt für die weitere Hochschulpraxis i. S. der Eingangsdiagnostik zu diskutieren (praktische Verwertungsperspektive).

Instrumente

Test of Economic Literacy (TEL IV)

Um von den Testergebnissen der Studierenden auf das zugrundeliegende Konstrukt der ökonomiebezogenen Studieneingangskompetenz (ÖSEK) schließen zu können, sind möglichst genaue Annahmen über die inhaltliche und kognitive Binnenstruktur dieses Konstrukts notwendig. Sie liefern die Grundlage für eine angemessene Operationalisierung. In der WiWiSET-Studie werden ÖSEK mittels des TEL-D erfasst. Um die bei der Testübersetzung und -adaptation geforderte funktionale Äquivalenz und somit die internationale Anschlussfähigkeit und Vergleichbarkeit zu gewährleistet, ist dem theoretischen Konzept zu folgen, das auch dem U.S.-amerikanischen TEL IV zugrunde liegt. Demnach erfasst der TEL-D, inwieweit bei den Studienanfängern basale, in der Ökonomie konsensuell geteilte Konzepte vorhanden sind, die ein grundlegendes Verständnis gesamt- und einzelwirtschaftlicher Zusammenhänge ermöglichen ().

 

Berliner Test (BEFKI)

Zur Abgrenzung der Fachkompetenz von der allgemeinen domänenunspezifischen kognitiven Fähigkeit wird neben dem WiWiKom-Test die Note der HZB und die Kurzform des Berliner Tests (BEFKI; s. Schipolowski et al. in Vorb. )aufgenommen und über alle Erhebungszeitpunkte hinweg administriert. Mit dieser Testversion des BEFKI wird auf Seiten der allgemeinen kognitiven Fähigkeiten neben fluider auch kristalline Intelligenz in Form eines allgemeinen, nicht studienfachspezifischen Wissenstests erfasst (s. auch Wilhelm et al. 2014 ). Der mehrfache Einsatz der Intelligenztestskalen ist notwendig, um situationsspezifische Schwankungen der im betrachteten Zeitraum eher nicht veränderungssensitiven Konstrukte in den Testwerten zu kontrollieren und einen verlässlicheren Testwert zu erhalten.