Um den Validierungsfoki, die in den Forschungshypothesen formuliert sind, nachzugehen, wird in der Studie ein längsschnittliches, quasi-experimentelles Vergleichsgruppendesign eingesetzt und mit einer Dauer von insg. vier Jahren und vier Messzeitpunkten durchgeführt.
Innerhalb der geplanten Projektlaufzeit vom 01.11.2015 bis 30.10.2019 werden die folgenden EZPs realisiert:
Im Zuge der ersten Erhebung während des Wintersemesters 2016/17 konnten 5021 Studienanfänger/innen an insgesamt 32 Universitäten befragt werden. Dabei wurden insgesamt 3630 Studienanfänger/innen der Wirtschaftswissenschaften von 27 Universitäten und 1391 Studienanfänger der Sozialwissenschaften von 20 Universitäten befragt.
Nach einem Jahr wurden in der zweiten Erhebung im Wintersemester 2017/18 2223 Studierende an insgesamt 27 Hochschulinstitutionen befragt. Davon waren 1867 Studierende der Wirtschaftswissenschaften (22 Institutionen) und 356 Studierende der Sozialwissenschaften (11 Institutionen). 828 Studierende nahmen an beiden Messzeitpunkten teil.
Im Wintersemester 2018/19 nahmen 1224 Studierende von 14 Hochschulinstitutionen vor Ort teil; weitere 92 Studierende von 12 Hochschulinstitutionen nutzten die Möglichkeit online teilzunehmen. Derzeit werden die drei vorhandenen Datensätze zu einem Längsschnittdatensatz zusammengefügt. Außerdem laufen die Vorbereitungen für den vierten Messzeitpunkt.
Die folgende Darstellung der Meilensteine erfolgt nicht in chronologischer Reihenfolge, da die einzelnen Schritte größtenteils für jede Erhebungswelle und auch für die beiden Studierendengruppen (WiWi und SoWi) wiederholt werden.
Meilensteine:
0. Konzeption der Erhebung
Dieses Arbeitspaket beinhaltet die Planung des Erhebungsdesigns für alle vier Testzeitpunkte. Hierunter fällt die Erstellung der Fragebögen, des Kodierhandbuchs sowie des Testleitermanuals. Für die Erhebung in t4 wird ein zusätzlicher Fragebogen erstellt. Für die beiden ersten Messzeitpunkte wurde dieses Arbeitspaket bereits bearbeitet; derzeit wird das AP bzgl. des dritten Messzeitpunktes bearbeitet.
1. Vorbereitung und Durchführung der Erhebungen in t1 bis t4
Zwischen den Projektstandorten erfolgt eine regionale Aufteilung der an der Erhebung beteiligten Hochschulen. In Kooperation mit der Humboldt-Universität zu Berlin wird eine deutschlandweite Befragung von Studierenden der Wirtschaftswissenschaften und der Sozialwissenschaften gewährleistet.
Dateneingabe und - aufbereitung:
Die Dateneingabe erfolgt auf der Grundlage eines zuvor erstellten Kodierhandbuchs (Meilenstein 0) – getrennt nach Projektstandort – nach dem Vier-Augen-Prinzip. In jedem Erhebungszeitpunkt erfolgt eine umfassende Plausibilitätsanalyse. Die längsschnittliche Erfassung der Konstrukte verbaler und numerischer Intelligenz ist v.a. für die Kontrolle der Messfehler nach der klassischen Testtheorie (KTT) bedeutsam, die durch mehrfache Erhebungen verringert werden und somit verlässlichere Einschätzungen der Messergebnisse erlauben. Durch die gewissenhafte Dateneingabe und -aufbereitung werden widerspruchsfreie Datensätze von einwandfreier Qualität erstellt, die es ermöglichen, komplexe Analysen zur Untersuchung der aufgeworfenen Forschungshypothesen durchzuführen.
Auswertung:
Zunächst werden deskriptive und explorative Statistiken der querschnittlichen Daten berechnet sowie auf Basis der KTT Itemanalysen durchgeführt. Bei allen diesen vorbereitenden Analysen wird sich das Augenmerk auch auf die Unterschiede zwischen Ziel- (Wirtschaftswissenschaften) und Vergleichsgruppe (Sozialwissenschaften) richten. Die Zuverlässigkeit der Testwertermittlung wird mittels Reliabilitätsanalysen geprüft.
Auch dieses Arbeitspaket wurde bereits für die ersten beiden Messzeitpunkte abgeschlossen.
2. Ergebnisrückmeldung für Probanden und Hochschulen
Als zweiter Meilenstein gilt die adressengerechte Bereitstellung der Informationen für alle Interessentengruppen. Für die Studierenden ist die Testteilnahme mit einer individuellen Ergebnisrückmeldung und einem monetären Probandenhonorar verbunden. Durch die Generierung ihres individuellen Codes können die Studierenden die absolute sowie relative Ausprägung ihrer Fachkompetenz im Vergleich zu ihren Kommilitonen einsehen. Unter Verwendung eines projekteigenen Rückmeldesystems über eine Onlineplattform, können die Studierenden ihre Ergebnisse selbst abrufen. Erfahrungen aus WiWiKom I zeigen, dass ein solches Feedbacksystem von den Studierenden sehr häufig genutzt wird. Dies können wir für die beiden ersten Messzeitpunkte bestätigen. Zudem erhalten die Hochschulen eine anonymisierte Rückmeldung zu der an ihrer Hochschule befragten Probandengruppe. Hierzu werden Interpretationshilfen erstellt und der Rückmeldung beigefügt, um falsche Schlussfolgerungen bewusst zu verhindern. Die Hochschulen zeigten in den ersten beiden Messzeitpunkten ein hohes Interesse an den Rückmeldungen.
3. Längsschnittauswertung
Eine Voraussetzung für die längsschnittliche Analyse der Fachkompetenz-Entwicklung in beiden Gruppen (Sozial- und Wirtschaftswissenschaften) ist, dass die Testwerte sowohl im Quer- als auch im Längsschnitt in den Teilgruppen vergleichbar sind. Durch Dimensionalitätsanalysen werden Unterschiede im Kompetenzerwerb und der Kompetenzstruktur zwischen den Studierendengruppen aufgedeckt.
Zur Überprüfung der Fachkompetenz-Entwicklung werden Mehrebenenstrukturgleichungsmodelle angewandt. Hierbei werden die Arbeitsschritte in Zusammenarbeit mit dem Projektleiter Prof. Fox auf Basis des von ihm entwickelten statistischen Ansatzes (Bayes’sche Mehrebenen-IRT-Modelle) durchgeführt. Mittels weiterer Analysen wird die Einschätzung der Eignung des WiWiKom-Tests zur Vorhersage des Studienerfolgs bzw. des Übergangs in die Berufspraxis durchgeführt.
4. Vergleiche mit internationalen Kooperationspartnern
Analog zu WiWiKom I sollen zwischen den Ländern USA, Japan und Korea querschnittliche Vergleichsanalysen erfolgen. Dazu werden die Daten von den oben genannten Kooperationspartnern/innen herangezogen. Erste Analysen erfolgen derzeit.
5. Transferworkshop
Am Ende des Projektes wird ein zweitägiger Transferworkshop (TW) veranstaltet. Mit dem TW wird wesentlich zur Realisierung des Verwertungsplanes, der Transfersicherung, der Projektergebnisse sowie der Öffentlichkeitsarbeit mit Partnern/innen und Interessenten/innen beigetragen. Der Transferworkshop wird vom 12.-14.12.2018 stattfinden. Achten Sie dazu bitte auf Bekanntmachungen auf unserem Newsboard. Ziele des TW sind:
a) Wissenschaftliche Verwertungsperspektive: Hierzu werden insbesondere die US-amerikanischen Testentwickler, Hochschulforscher/innen, Erziehungswissenschaftler/innen, Psychologen/innen sowie weitere Experten/innen eingeladen. Die Projektergebnisse werden dabei in Bezug auf ihre Anschlussfähigkeit an die weitere internationale empirische Hochschul- sowie Kompetenzforschung diskutiert.
b) Praktische Verwertungsperspektive: Hierzu werden Vertreter/innen aller teilnehmenden Hochschulen sowie auch weitere Interessenten/innen eingeladen. Das Ziel ist, u.a. den Einsatz des Testinstruments in der Hochschulpraxis und in Interventionsstudien zu diskutieren.
Für weitere Informationen auch zu Analyseergebnissen siehe Projektpublikationen oder kontaktieren Sie gerne unsere Projektmitarbeiter/innen.
Instrumente:
WiWiKom-Test
Die Kurzversion des WiWiKom-Tests umfasst 25 Aufgaben aus den sieben zentralen Inhaltssubdomänen der VWL und BWL und kann bei den Studierenden zu allen vier Erhebungszeitpunkten eingesetzt werden. Da angenommen wird, dass die Entwicklung der Fachkompetenz von den Lerngelegenheiten im Studium der Wirtschaftswissenschaften abhängig ist, ist deren möglichst präzise, hochschul- und studiengangspezifische (Ziel- und Vergleichsgruppe) Erfassung notwendig.
Berliner Test (BEFKI)
Zur Abgrenzung der Fachkompetenz von der allgemeinen domänenunspezifischen kognitiven Fähigkeit werden neben dem WiWiKom-Test die Note der Hochschulzugangsberechtigung (HZB) und die Kurzform des Berliner Tests zur Erfassung fluider und kristalliner Intelligenz (BEFKI; s. Schipolowski et al. 2017) aufgenommen und über alle Erhebungszeitpunkte hinweg administriert. Mit dieser Testversion des BEFKI wird auf Seiten der allgemeinen kognitiven Fähigkeiten neben fluider auch kristalline Intelligenz in Form eines allgemeinen, nicht studienfachspezifischen Wissenstests erfasst (s. auch Wilhelm et al. 2014).
Schipolowski, S., Wilhelm, O., & Schroeders, U. (2017). Berliner Test zur Erfassung fluider und kristalliner Intelligenz ab der 11. Jahrgangsstufe (BEFKI 11+). Göttingen: Hogrefe.