Vorhersagebasierte adaptive Designs für Panelstudien

Projektleiter/innen Dr. Christoph Kern, PD Dr. Tobias Gummer, Dr. Bernd Weiß Mitarbeiter/innen John James Collins, Saskia Bartholomäus DFG-gefördert 2022 – 2025

Forschungsfrage/Ziel:

Das Projekt untersuchte den Einsatz von Vorhersagemodellen und innovativen Ansätzen zur Entwicklung adaptiver Umfragedesigns (ASD) mit dem Ziel, Ausfälle und Verzerrungen durch fehlende Antworten in Panelbefragungen zu reduzieren. Konkret kombinierte das Projekt neue Modellierungsmethoden aus dem Bereich des maschinellen Lernens, die speziell auf Längsschnittdaten zugeschnitten sind, mit Treatments, die darauf abzielten, die Attraktivität der Befragung durch interessante und kürzere Befragungsinhalte zu steigern. Ein zentraler Bestandteil der Projektarbeit war die Planung und Durchführung eines Experiments im GESIS-Panel, in dem die entwickelten Treatments in der Datenerhebungswelle von August 2023 angewendet wurden. Ein weiterer Schwerpunkt lag darin, die Übertragbarkeit der entwickelten Methodik auf andere Panelstudien zu prüfen.

Die Projektergebnisse zeigten, dass Methoden des maschinellen Lernens für Zeitreihenanalysen, wie z. B. recurrent neural networks (RNNs) und long short-term memory (LSTM), ein vielversprechender Ansatz zur Vorhersage von Nichtteilnahme in Panelbefragungen in komplexen Kontexten mit zeitlichen Abhängigkeiten sind. Auch erwies sich das Pre-Training von Modellen zur Vorhersage von Nichtteilnahme mit Daten eines anderen Panels als praktikable Option, insbesondere wenn beide Panels ähnliche Merkmale aufweisen. Darüber hinaus zeigte das Projekt, dass eine thematisch interessante Gestaltung der Befragung – neben erhöhten finanziellen Anreizen – eine wirksame Maßnahme zur Reduzierung der Nichtteilnahme sein kann. Das Projekt zeigte auch, wie beide Komponenten – maschinelles Lernen zur Vorhersage von Nichtteilnahme und verschiedene Treatments – kombiniert in realitätsnahen Simulationen untersucht werden können.


Publikationen

Zeitschriftenartikel

  • Kern, Christoph, Bernd Weiss, Jan-Philipp Kolb (2023): Predicting Nonresponse in Future Waves of a Probability-Based Mixed-Mode Panel with Machine Learning. Journal of Survey Statistics and Methodology, 11, 1, 100-123. More