Design & Instrumente

Um den Validierungsfoki, die in den Forschungshypothesen formuliert sind, nachzugehen, wird in der Studie ein längsschnittliches, quasi-experimentelles Vergleichsgruppendesign eingesetzt und mit einer Dauer von insg. vier Jahren und vier Messzeitpunkten durchgeführt. Im Zuge der ersten Erhebung während des Wintersemesters 2016/17 konnten 5032 Studienanfänger/-innen an insgesamt 39 Universitäten befragt werden. Dabei wurden insgesamt 3637 Studienanfänger/-innen der WiWi von 23 Universitäten und 1386 Studienanfänger der Sozialwissenschaften von 16 Universitäten befragt.

Innerhalb der geplanten Projektlaufzeit vom 01.11.2015 bis 30.10.2019 sollen die folgenden EZPs realisiert werden:

Die folgende Darstellung der Meilensteine erfolgt nicht in chronologischer Reihenfolge, da die einzelnen Schritte größtenteils für jede Erhebungswelle und auch für die beiden Studierendengruppen (WiWi und SoWi) wiederholt werden.

 

Meilensteine:

 

0. Konzeption der Erhebung

Dieses AP beinhaltet die Planung des Erhebungsdesigns für alle vier Testzeitpunkte. Hierunter fällt die Erstellung der Fragebögen, des Kodierhandbuchs sowie des Testleitermanuals. Für die Erhebung in t4 wird ein zusätzlicher Fragebogen erstellt.

 

1. Vorbereitung und Durchführung der Erhebungen in t1 bis t4

Zwischen den Projektstandorten erfolgt eine regionale Aufteilung der an der Erhebung beteiligten Hochschulen. In Kooperation mit der Humboldt-Universität zu Berlin wird eine deutschlandweite Befragung von wirtschaftswissenschaftlichen Studierenden gewährleistet. Über alle vier Erhebungszeitpunkte werden ca. je 100 Studierende an 24 Hochschulstandorten befragt. Im Wintersemester 2016/17 konnten so insgesamt 5023 Studierende an 32 Universitäten befragt werden.

Dateneingabe und - aufbereitung:

Die Dateneingabe erfolgt auf der Grundlage eines zuvor erstellten Kodierhandbuchs (Meilenstein 0) – getrennt nach Projektstandort – nach dem Vier-Augen-Prinzip. In jedem Erhebungszeitpunkt erfolgt eine umfassende Plausibilitätsanalyse. Die längsschnittliche Erfassung der Konstrukte verbaler und numerischer Intelligenz ist v.a. für die Kontrolle der Messfehler nach der klassischen Testtheorie (KTT) bedeutsam, die durch mehrfache Erhebungen verringert werden und somit verlässlichere Einschätzungen der Messergebnisse erlauben.

Durch die gewissenhafte Dateneingabe und -aufbereitung sollen widerspruchsfreie Datensätze von einwandfreier Qualität entstehen, die es ermöglichen, komplexe Analysen zur Untersuchung der aufgeworfenen Forschungshypothesen durchzuführen.

Auswertung:

Zunächst werden deskriptive und explorative Statistiken der querschnittlichen Daten berechnet sowie auf Basis der KTT Itemanalysen durchgeführt. Bei allen diesen vorbereitenden Analysen wird sich das Augenmerk auch auf die Unterschiede zwischen Ziel- und Vergleichsgruppe richten. Die Zuverlässigkeit der Testwertermittlung wird mittels Reliabilitätsanalysen geprüft.

2. Ergebnisrückmeldung für Probanden und Hochschulen

Als zweiter Meilenstein gilt die adressengerechte Bereitstellung der Informationen für alle Interessentengruppen.

Für die Studierenden ist die Testteilnahme mit einer individuellen Ergebnisrückmeldung und einem monetären Probandenhonorar verbunden. Durch die Generierung ihres individuellen Codes können die Studierenden die absolute sowie relative Ausprägung ihrer Fachkompetenz im Vergleich zu ihren Kommilitonen einsehen. Unter Verwendung eines projekteigenen Rückmeldesystems über eine Onlineplattform, können die Studierenden ihre Ergebnisse selbst abrufen sowie sich zertifizierte Teilnahmeurkunden mit ihren Ergebnissen ausdrucken. Erfahrungen aus WiWiKom I zeigen, dass ein solches Feedbacksystem von den Studierenden sehr häufig genutzt wird. Zudem erhalten die Dozierenden und Hochschulen eine anonymisierte Rückmeldung zu der an ihrer Hochschule befragten Probandengruppe sowie zu ihrer Veranstaltung. Hierzu werden Interpretationshilfen erstellt und der Rückmeldung beigefügt, um falsche Schlussfolgerungen bewusst zu verhindern.

3. Längsschnittauswertung

Eine Voraussetzung für die längsschnittliche Analyse der Fachkompetenz-Entwicklung in beiden Gruppen ist, dass die Testwerte sowohl im Quer- als auch im Längsschnitt in den Teilgruppen vergleichbar sind. Durch Dimensionalitätsanalysen sollen Unterschiede im Kompetenzerwerb und der Kompetenzstruktur zwischen den Studierendengruppen entdeckt werden.

Zur Überprüfung der Fachkompetenz-Entwicklung werden Mehrebenenstrukturgleichungsmodelle angewandt. Hierbei werden die Arbeitsschritte in Zusammenarbeit mit dem Projektleiter Prof. Fox auf Basis des von ihm entwickelten statistischen Ansatzes (Bayes’sche Mehrebenen-IRT-Modelle) durchgeführt. Mittels weiterer Analysen wird die Einschätzung der Eignung des WiWiKom-Tests zur Vorhersage des Studienerfolgs bzw. des Übergangs in die Berufspraxis durchgeführt.

4.  Vergleiche mit internationalen Kooperationspartnern

Analog zu WiWiKom I sollen zwischen den Ländern USA, Japan und Korea querschnittliche Vergleichsanalysen erfolgen. Dazu werden die Daten von den oben genannten Kooperationspartnern herangezogen.

5. Transferworkshop

Am Ende des Projektes soll ein zweitägiger Transferworkshop (TW) veranstaltet werden. Mit dem TW wird wesentlich zur Realisierung des Verwertungsplanes, der Transfersicherung der Projektergebnisse sowie der Öffentlichkeitsarbeit mit Partnern und Interessenten beigetragen.

a) Wissenschaftliche Verwertungsperspektive: Hierzu werden insbesondere die US-amerikanischen Testentwickler, Hochschulforscher, Erziehungswissenschaftler, Psychologen sowie weitere Experten eingeladen. Die Projektergebnisse sollen dabei in Bezug auf ihre Anschlussfähigkeit an die weitere internationale empirische Hochschul- sowie Kompetenzforschung diskutiert werden.

b) Praktische Verwertungsperspektive: Hierzu werden Vertreter aller beteiligten Hochschulen sowie auch weitere Interessenten eingeladen. Das Ziel ist, u.a. den Einsatz des Testinstruments in der Hochschulpraxis und in Interventionsstudien zu diskutieren.

 

Instrumente:

WiWiKom-Test

Die Kurzversion des WiWiKom-Tests umfasst 25 Aufgaben aus den sieben zentralen Inhaltssubdomänen der VWL und BWL und kann bei den Studierenden zu allen vier Erhebungszeitpunkten eingesetzt werden. Da angenommen wird, dass die Entwicklung der Fachkompetenz von den Lerngelegenheiten im WiWi Studium abhängig ist, ist deren möglichst präzise, hochschul- und studiengangspezifische (Ziel- und Vergleichsgruppe) Erfassung notwendig.

Berliner Test (BEFKI)

Zur Abgrenzung der Fachkompetenz von der allgemeinen domänenunspezifischen kognitiven Fähigkeit wird neben dem WiWiKom-Test die Note der HZB und die Kurzform des Berliner Tests (BEFKI; s. Schipolowski et al. in Vorb.) aufgenommen und über alle Erhebungszeitpunkte hinweg administriert. Mit dieser Testversion des BEFKI wird auf Seiten der allgemeinen kognitiven Fähigkeiten neben fluider auch kristalline Intelligenz in Form eines allgemeinen, nicht studienfachspezifischen Wissenstests erfasst (s. auch Wilhelm et al. 2014). Der mehrfache Einsatz der Intelligenztestskalen ist notwendig, um situationsspezifische Schwankungen der im betrachteten Zeitraum eher nicht veränderungssensitiven Konstrukte in den Testwerten zu kontrollieren und einen verlässlicheren Testwert zu erhalten.