Musik und Eye-Tracking
Untersuchungen der Blickposition, der Pupille und des Blinzelns sind wichtig, um Aufmerksamkeitsprozesse im visuellen Bereich zu verstehen. So ist beispielsweise seit langem bekannt, dass die visuell-räumliche Aufmerksamkeit stark mit dem Blick gekoppelt ist (bei verdeckter Aufmerksamkeit kann sie jedoch entkoppelt werden). Es gibt inzwischen Belege dafür, dass die Messung von Augenparametern auch für das Verständnis der auditiven Verarbeitung nützlich sein kann, obwohl sich die wichtigsten Rezeptoren für die auditive Verarbeitung im Ohr befinden. Zum Beispiel können plötzliche und gravierende Veränderungen in der auditiven Umwelt den Blick mittels einer Orientierungsreaktion anziehen. Salienz gehört in der Musik zu den strukturbestimmenden Merkmalen. Wir stellen die Hypothese auf, dass die Augen auf saliente, musikalische Ereignisse reagieren und dass Aspekte der musikalischen Verarbeitung durch Augenmessungen "entschlüsselt" werden können. Darüber hinaus können die Augen Informationen über den subjektiven Zustand einer Person während des Hörens von Musik liefern (siehe das Projekt Ästhetische Absorption).
In diesem Projekt knüpfen wir an unsere früheren Studien an, um Augenmessungen im Kontext des Musikhörens und der Musikaufführung weiter zu untersuchen. Ein Ziel ist es, zwischen verschiedenen Faktoren zu unterscheiden, die sich auf okulare Daten auswirken, wie z.B. Einflüsse rein akustischer Art, sowie der Top-down-Verarbeitung musikalischer Strukturen und subjektiver Zustände. Da Musik aber mehr als nur ein auditiver Input ist - z. B. ist Musik in vielen Fällen audiovisuell, mit einer starken motorischen Komponente - sind wir auch daran interessiert zu erforschen, wie audiovisuelle Interaktionen und motorische Aktivitäten die musikalische Verarbeitung und ästhetische Erfahrungen verändern.
Die Erkenntnisse, die man aus Musik- und Eye-Tracking-Studien gewinnen kann, sind jedoch auf die Kontexte beschränkt, in denen man die Daten aufzeichnet, und auf die Analysetechniken, die man auf solche hochdimensionalen Datensätze anwenden kann (d. h. okulare, akustische und verhaltensbezogene Messungen, eventuell in Kombination mit zusätzlichen physiologischen Messungen). Wir haben daher mehrere breit angelegte Forschungsschwerpunkte, die mit der Entwicklung von Methoden zusammenhängen, z. B.
- Entwicklung anspruchsvoller dynamischer Modellierungstechniken für Augendaten
- Untersuchungen, die beinhalten wie gut okulare Messungen verschiedene Aufmerksamkeits- oder Antizipationsprozesse indizieren können oder nicht
- Erprobung des Einsatzes von Deep-Learning-Modellen für Webcam-basierte Online-Eye-Tracking-Studien
- Bewertung der Anwendbarkeit von mobilem Eye-Tracking in Live-Konzertsituationen
Um den wissenschaftlichen Austausch von Forschern zu fördern, die Eye Tracking in der Musik- und Hörgrundlagenforschung einsetzen, organisieren wir regelmäßig eine Konferenz zu diesem Thema. Das Programm der ersten Konferenz im Jahr 2017 finden Sie hier und die dazugehörige Sonderausgabe, die im Journal of Eye Movement Research veröffentlicht wurde, finden Sie hier.
Die nächste Konferenz findet vom 7. bis 8. Juli 2022 statt; weitere Informationen finden Sie auf der Website der Konferenz.
Publikationen
Ausgewählte Veröffentlichungen und Konferenzvorträge im Zusammenhang mit diesem Projekt sind unter anderem:
Lange, E. B., & Fink, L.K. (2023). Eye blinking, musical processing, and subjective states—A methods account. Psychophysiology, e14350. https://doi.org/10.1111/psyp.14350
Fink, L., Simola, J., Tavano, A., Lange, E., Wallot, S., & Laeng, B. (2023). From pre-processing to advanced dynamic modeling of pupil data. Behavioral Research Methods.https://doi.org/10.3758/s13428-023-02098-1
Saxena, S., Lange, E. B., & Fink, L. (2022). Towards efficient calibration for webcam eye-tracking in online experiments. In Proceedings ETRA 2022: ACM Symposium on Eye Tracking Research and Applications (pp. 1-7). doi:10.1145/3517031.3529645.
Fink, L. & Simola, J., Tavano, A., Wallot, S., & Laeng, B. (in revision). From pre-processing to dynamic modeling of pupil data. Preprint on PsyArXiv: https://psyarxiv.com/wqvue
Fink, L., Janata, P., Ganapathy, S., Furukawa, S., Lange, L. (July, 2021). Spectral signatures of the pupillary response as an implicit measure of musical absorption. Talk (virtual) presented at the International Conference for Music Perception & Cognition. https://www.youtube.com/watch?v=5bpDhrxUvLg
Lange, E. & Fink, L. (2021). What is the relation between musical features and spontaneous or restricted blink activity? Blick und Bewegung Symposium, organized by Jörg Mühlhans. Talk (virtual) presented at the DAGA 47. Deutsche Jahrestagung für Akustik, Vienna, Austria.
Fink, L., Warrenburg, L., Howlin, C., Randall, W., Hansen, N., & Wald-Fuhrmann, M. (2021). Viral tunes: Changes in musical behaviours and interest in coronamusic predict socio-emotional coping during COVID-19 lockdown. Humanities and Social Sciences Communications, 8: 180. doi:10.1057/s41599-021-00858-y.
Fink, L., Lange, E., & Groner, R. (2019). The application of eye-tracking in music research. Journal of Eye Movement Research, 11(2):1. https://doi.org/10.16910/jemr.11.2.1.
Fink, L., Hurley, B.,Geng, J. &Janata, P. (2018).A linear oscillator model predicts dynamic temporal attention and pupillary entrainment to rhythmic musical patterns. Journal of Eye Movement Research, 11(2):12. https://doi.org/10.16910/jemr.11.2.12.
Lange, E. & Fink, L. (2017). Using eye-tracking and pupillometry to study rhythmic processing in music and dance. Symposium presented at the European Conference on Eye Movements, Wüppertal, Germany.


