Statistische Modellierung unter Verwendung von Mausbewegungen zur Modellierung von Messfehlern und zur Verbesserung der Datenqualität in Web Surveys

Projektleiter/innen Prof. Dr. Frauke Kreuter, Prof. Dr. Sonja Greven Mitarbeiter/innen Felix Henninger, Pascal J. Kieslich DFG-gefördert 2017 – 2021

Forschungsfrage/Ziel:

Unser Projekt untersuchte die Verwendung von Mausbewegungen in internetbasierten Surveys als Indikator für Schwierigkeiten auf Seiten der Befragten, und als indirekter Hinweis für daraus folgende Einschränkungen der Datenqualität. Auf Basis konsistenter Befunde aus Psychologie und Kognitionswissenschaften, denen zufolge Mausbewegungen Unsicherheit und Konflikte in Entscheidungsexperimenten widerspiegeln, sowie ähnlicher Befunde aus Fragebögen, in denen die Befragten die Möglichkeit hatten, selbst Schwierigkeiten bei der Beantwortung anzugeben, nahmen wir an, dass Cursorbewegungen auch Merkmale des Antwortprozesses reflektieren.

In Kollaboration mit Sonja Greven und Amanda Fernández-Fontelo von der HU Berlin verfolgten wir mehrere Ansätze: Erstens demonstrierten wir mit einem Feldexperiment im Rahmen einer Befragung, dass experimentelles Abweichen von allgemein anerkannten Richtlinien der Fragebogenkonstruktion zu Schwierigkeiten bei der Bearbeitung des Fragebogens führt, die sich auf Mausbewegungen auswirken. Auf Basis dieser Ergebnisse entwickelten und nutzten wir funktionale Analysen, um die Zuweisung zu den experimentellen Gruppen zu rekonstruieren, und zeigten, dass dies mit einiger Genauigkeit möglich ist. Im Hinblick auf die praktische Anwendung als Indikatoren für strukturelle Probleme in einem Survey oder individueller Schwierigkeiten auf Seiten der Teilnehmer:innen, zeigten wir ferner, dass unterschiedliche Quellen von Schwierigkeit sich in verschiedenen Merkmalen der Mausbewegungen widerspiegeln, wenn auch nicht immer eindeutig zuordenbar. Wir wandten uns zuletzt den Themen des Datenschutzes und des Einverständnisses zur Erhebung von Mouse-Tracking-Daten zu. Hierbei zeigten wir, dass Survey-TeilnehmerInnen zögern, ihre Zustimmung zu deren Erhebung zu geben und geben Hinweise zur Ausgestaltung von Einverständniserklärungen zur Aufzeichnung von Paradaten.

Zusammenfassend deuten unsere Ergebnisse darauf hin, dass die detaillierte Erhebung von Paradaten in Form von Mausbewegungen es ermöglicht, Schwierigkeiten in Surveys zu erkennen, wobei darauf geachtet werden muss, individuelle und kontextuelle Einflüsse in Betracht zu ziehen. Es ist wahrscheinlich, dass Mausbewegungen weitere Informationen über die Ursache von Schwierigkeiten enthalten, wenngleich noch geprüft werden muss, inwieweit die Vorhersage über verschiedene Surveys verallgemeinert werden kann und wie Mouse-tracking auf eine Art und Weise implementiert werden kann, die bei Wissenschaftler:innen und Teilnehmer:innen Akzeptanz findet.


Publikationen

Zeitschriftenartikel

  • Kieslich, Pascal J., Martin Schoemann, Tobias Grage, Johanna Hepp, Stefan Scherbaum (2020): Design factors in mouse-tracking: What makes a difference?. Behavior Research Methods, 52, 1, 317–341. More
  • Schoemann, Martin, Malte Lüken, Tobias Grage, Pascal J. Kieslich, Stefan Scherbaum (2019): Validating mouse-tracking: How design factors influence action dynamics in intertemporal decision making. Behavior Research Methods, 51, 5, 2356-2377. More
  • Grage, Tobias, Martin Schoemann, Pascal J. Kieslich, Stefan Scherbaum (2019): Lost to translation: How design factors of the mouse-tracking procedure impact the inference from action to cognition. Attention, Perception, & Psychophysics, 81, 7, 2538–2557. More
  • Scherbaum, Stefan, Pascal J. Kieslich (2018): Stuck at the starting line: How the starting procedure influences mouse-tracking data. Behavior Research Methods, 50, 5, 2097–2110. More

Präsentationen

  • Henninger, Felix, Alexander Hart (2020): Open toolmakers’ birds of a feather session. [Annual Meeting of the Society of Improving Psychological Science, (virtual conference), 21/06/2020 - 22/06/2020]. More
  • Henninger, Felix, Pascal J. Kieslich (2019): Beyond the lab: Collecting mouse-tracking data in online studies. [61st Conference of Experimental Psychologists, London, 14/04/2019 - 16/04/2019]. More
  • Henninger, Felix, Pascal J. Kieslich (2019): Mousetrap-Web: Mouse-Tracking in the Browser. [49th Annual Meeting of the Society for Computers in Psychology, Montréal, 13/11/2019 - 13/11/2019]. More
  • Henninger, Felix, Pascal J. Kieslich (2019): Mousetrap-Web: Mouse-Tracking in the Browser. [60th Annual Meeting of the Psychonomic Society, Montréal, 13/11/2019 - 16/11/2019]. More
  • Henninger, Felix, Luisa Horsten, Frederik Aust (2019): Building an Open Science Knowledge Base. [SIPS, Rotterdam, 06/07/2019 - 08/07/2019]. More
  • Kieslich, Pascal J., Dirk U. Wulff, Felix Henninger, Jonas M. B. Haslbeck, Michael Schulte-Mecklenbeck (2018): Mousetrap: Open-source tools for advanced analyses of hand- and mouse-tracking data. [48th Annual Meeting of the Society for Computers in Psychology, New Orleans, LA, 14/11/2018 - 14/11/2018]. More
  • Kieslich, Pascal J., Martin Schoemann, Tobias Grage, Stefan Scherbaum (2018): Design factors in mouse-tracking: What makes a difference?. [59th Annual Meeting of the Psychonomic Society, New Orleans, LA, 14/11/2018 - 17/11/2018]. More
  • Kieslich, Pascal J., Martin Schoemann, Tobias Grage, Stefan Scherbaum (2018): Design factors: What influences trajectory curvature in mouse-tracking experiments?. [60th Conference of Experimental Psychologists, Marburg, 10/03/2018 - 13/03/2018]. More
  • Horwitz, Rachel, Sarah Brockhaus, Felix Henninger, Florian Keusch, Pascal J. Kieslich, Frauke Kreuter, Malte Schierholz (2016): Learning from Mouse Movements: Improving Questionnaires and Respondents’ User Experience Through Passive Data Collection. [International Conference on Questionnaire Design, Development, Evaluation, and Testing (QDET2), Miami, 08/11/2016 - 12/11/2016]. More

Berichte

  • Horwitz, Rachel, Sarah Brockhaus, Felix Henninger, Pascal J. Kieslich, Malte Schierholz, Florian Keusch, Frauke Kreuter (2017): Learning from mouse movements: Improving questionnaire and respondents' user experience through passive data collection. 2017, 26. Nürnberg, Institut for Employment Research. More