The European Educational Researcher

SELFIEfor(STUDENT)TEACHERS? A Mixed-Methods Study on the Suitability and Validity of the Self-Reflection Tool for Student Teachers

Christian Seyferth-Zapf 1 * ,
Cindy Bärnreuther 2 * ,
Melanie Stephan 2 * ,
Matthias Ehmann 1 * ,
Maria Seyferth-Zapf 1 *
1 Digital Teaching and Learning and Didactics of Computer Science at University of Bayreuth2 Chair of Pedagogy (media education) at Friedrich-Alexander-University Nuernberg-Erlangen* Corresponding Author
Download PDF
The European Educational Researcher, Volume 7, Issue 3, October 2024, pp. 7-33
OPEN ACCESS VIEWS: 375 DOWNLOADS: 193 Publication date: 15 Oct 2024
ABSTRACT
This paper presents a study focusing on the feasibility and validity of the SELFIEforTEACHERS self-assessment tool for student teachers, addressing three research questions. Using a mixed methods approach with a convergent parallel design. The study provides insights into quantitative and qualitative aspects of the self-assessment of student teachers' digital competences. Firstly, it is analyzed how student teachers assess their own media-related digital competences using SELFIEforTEACHERS. Secondly, uttered thought processes from student teachers were examined when using the self-assessment tool. Finally, the extent to which SELFIEforTEACHERS is suitable for the self-assessment of digital competences of student teachers was considered. The study was conducted at two German universities offering teacher training programmes to ensure a comprehensive survey of the target group. In the quantitative part, the SELFIEforTEACHERS instrument was used, comprising 32 items reflecting different digital competences based on the DigCompEdu framework. An overall sample of n = 127 student teachers who had completed more than three semesters of their studies was surveyed. Additionally, thoughts about the instrument were collected from the participants using the thinking aloud method (nthink = 9). The data analysis revealed that, on average, student teachers assign themselves at competence level B1. However, the validity of this assessment raises questions, particularly regarding the assumption of equidistant competence levels and their relevance for student teachers. The qualitative results revealed that student teachers encountered challenges using the self-assessment tool, including problems with the terminology used and the hierarchical structure of the competence levels. The integration of qualitative and quantitative data provided partial validation of the results and enabled a comprehensive discussion of the suitability of SELFIEforTEACHERS for student teachers' self-assessment of digital competences. The study concludes with recommendations for refining the self-assessment tool to better meet the needs of student teachers and increase its validity in the context of teacher education.
KEYWORDS
Teacher Education, Student Teachers, Digital Competences, DigCompEdu, SELFIEforTEACHERS
CITATION (APA)
Seyferth-Zapf, C., Bärnreuther, C., Stephan, M., Ehmann, M., & Seyferth-Zapf, M. (2024). SELFIEfor(STUDENT)TEACHERS? A Mixed-Methods Study on the Suitability and Validity of the Self-Reflection Tool for Student Teachers. The European Educational Researcher, 7(3), 7-33. https://doi.org/10.31757/euer.732
REFERENCES
  1. Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives. Longman.
  2. Bärnreuther, C. (2024). Awareness of Digital Competences among Student Teachers - A Mixed-Methods Study on the Role of Seminars Promoting Digital Competences. In T. Bastiaens (Ed.), Proceedings of EdMedia + Innovate Learning (pp. 440-449). Association for the Advancement of Computing in Education (AACE). https://www.learntechlib.org/primary/p/224549/.
  3. Blömeke, S. (2000). Medienpädagogische Kompetenz: Theoretische und empirische Fundierung eines zentralen Elements der Lehrerausbildung. kopaed.
  4. Caena, F., & Redecker, C. (2019). Aligning teacher competence frameworks to 21st century challenges: The case for the European Digital Competence Framework for Educators (Digcompedu). European Journal of Education, 54(3), 356–369. https://doi.org/10.1111/ejed.12345
  5. Chai, C. S., Ng, E. M., Li, W., Hong, H.-Y., & Koh, J. H. L. (2013). Validating and modelling technological pedagogical content knowledge framework among Asian preservice teachers. Australasian Journal of Educational Technology, 29(1). https://doi.org/10.14742/ajet.174
  6. Creswell, J. W. (2014). Research design: Qualitative, quantitative, and mixed methods approaches (4th edition, international student edition). Sage.
  7. DCB (Forschungsgruppe Lehrerbildung Digitaler Campus Bayern). (2017). Kernkompetenzen von Lehrkräften für das Unterrichten in einer digitalisierten Welt. Merz Medien + Erziehung: Zeitschrift Für Medienpädagogik, 4, 65–74. https://www.researchgate.net/publication/319665661
  8. Döring, N., & Bortz, J. (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Springer. https://doi.org/10.1007/978-3-642-41089-5
  9. Dresing, T., & Pehl, T. (Eds.) (2018). Praxisbuch Interview, Transkription & Analyse: Anleitungen und Regelsysteme für qualitativ Forschende (8th ed.). Dr. Dresing und Pehl GmbH.
  10. Döbeli Honegger, B. (2021). Covid-19 und die digitale Transformation in der Schweizer Lehrerinnen- und Lehrerbildung. Beiträge zur Lehrerinnen- und Lehrerbildung, 39(3), 411–422.
  11. Drossel, K., Eickelmann, B., Schaumburg, H. & Labusch, A. (2019). Nutzung digitaler Medien und Prädikatoren aus der Perspektive der Lehrerinnen und Lehrer im internationalen Vergleich. In B. Eickelmann, W. Bos, J. Gerick, F. Goldhammer, H. Schaumburg, K. Schwippert, M. Senkbeil, & J. Vahrenhold (Eds.), ICILS 2018 # Deutschland: Computer- und informationsbezogene Kompetenzen von Schülerinnen und Schülern im zweiten internationalen Vergleich und Kompetenzen im Bereich Computational Thinking (pp. 205–240). Waxmann.
  12. Economou, A. (2023a). SELFIEforTEACHERSs: Designing and developing a self-reflection tool for teachers’ digital competence. Publications Office of the European Union. https://data.europa.eu/doi/10.2760/561258
  13. Economou, A. (2023b). SELFIEforTEACHERS TOOLKIT: Supporting teachers in building their digital competence. Publications Office of the European Union. https://data.europa.eu/doi/10.2760/626409
  14. Endberg, M., & Lorenz, R. (2017.). Selbsteinschätzung medienbezogener Kompetenzen von Lehrpersonen der Sekundarstufe I im Bundesländervergleich und im Trend von 2016 bis 2017. In R. Lorenz, W. Bos, M. Endberg, S. Grafe, & J. Vahrenhold (Eds.), Schule digital – der Länderindikator 2017: Schulische Medienbildung in der Sekundarstufe I mit besonderem Fokus auf MINT-Fächer im Bundesländervergleich und Trends von 2015 bis 2017 (pp. 151–177). Waxmann.
  15. Endberg, M., & Lorenz, R. (2022). Selbsteingeschätzte Kompetenzen von Lehrpersonen der Sekundarstufe I zum Einsatz digitaler Medien im Unterricht im Bundesländervergleich 2021 und im Trend seit 2017. In R. Lorenz, S. Yotyodying, B. Eickelmann, & M. Endberg (Eds.), Schule digital – der Länderindikator 2021: Lehren und Lernen mit digitalen Medien in der Sekundarstufe I in Deutschland im Bundesländervergleich und im Trend seit 2017 (pp. 11–21). Waxmann. https://doi.org/10.31244/9783830995449
  16. Gysbers, A. (2008). Lehrer - Medien - Kompetenz: Eine empirische Untersuchung zur medienpädagogischen Kompetenz und Performanz niedersächsischer Lehrkräfte. Vistas-Verlag.
  17. Ghomi, M., & Redecker, C. (2019). Digital Competence of Educators (DigCompEdu): Development and Evaluation of a Self-assessment Instrument for Teachers’ Digital Competence. Proceedings of the 11th International Conference on Computer Supported Education, 541–548. https://doi.org/10.5220/0007679005410548
  18. Guggemos, J., & Seufert, S. (2021). Teaching with and teaching about technology—Evidence for professional development of in-service teachers. Computers in Human Behavior, 115, 106613. https://doi.org/10.1016/j.chb.2020.106613
  19. Herzig, B., & Martin, A. (2018). Lehrerbildung in der digitalen Welt. In S. Ladel, J. Knopf, & A. Weinberger (Eds.), Digitalisierung und Bildung (pp. 89–113). Springer. https://doi.org/10.1007/978-3-658-18333-2_6
  20. Herzig, B., Martin, A., Schaper, N., & Ossenschmidt, D. (2015). Modellierung und Messung medienpädagogischer Kompetenz—Grundlagen und erste Ergebnisse. In B. Koch-Priewe, A. Köker, J. Seifreid, & E. Wuttke (Eds.), Kompetenzerwerb an Hochschulen: Modellierung und Messung: Zur Professionalisierung angehender Lehrerinnen und Lehrer sowie frühpädagogischer Fachkräfte (pp. 153–176). Julius Klinkhardt.
  21. Herzig, B., Schaper, N., Martin, A., & Ossenschmidt, D. (2016). Schlussbericht zum BMBF Verbundprojekt M3K – Modellierung und Messung medienpädagogischer Kompetenz, Teilprojekt: Medienerzieherische und mediendidaktische Facetten und handlungsleitende Einstellungen. Universität Paderborn.
  22. Hofmann, M. (2017). Lautes Denken. QUASUS. Qualitatives Methodenportal zur Qualitativen Sozial-, Unterrichts- und Schulforschung. https://www.ph-freiburg.de/quasus/was-muss-ich-wissen/daten-erheben/lautes-denken.html
  23. Huwer, J., Irion, T., Kuntze, S., Schaal, S., & Thyssen, C. (2019). Von TPaCK zu DPaCK – Digitalisierung im Unterricht erfordert mehr als technisches Wissen. MNU Journal, 70(5), 358–364. https://www.researchgate.net/publication/335748844
  24. Johnson, R. E., Grove, A. L., & Clarke, A. (2019). Pillar Integration Process: A Joint Display Technique to Integrate Data in Mixed Methods Research. Journal of Mixed Methods Research, 13(3), 301–320. https://doi.org/10.1177/1558689817743108
  25. Konrad, K. (2010). Lautes Denken. In G. Mey & K. Mruck (Eds.), Handbuch Qualitative Forschung in der Psychologie (pp. 476–490). VS Verlag für Sozialwissenschaften. https://doi.org/10.1007/978-3-531-92052-8_34
  26. Kuckartz, U. (2017). Datenanalyse in der Mixed-Methods-Forschung: Strategien der Integration von qualitativen und quantitativen Daten und Ergebnissen. KZfSS Kölner Zeitschrift für Soziologie und Sozialpsychologie, 69(S2), 157–183. https://doi.org/10.1007/s11577-017-0456-z
  27. Kuckartz, U. (2018). Qualitative Inhaltsanalyse. Methoden, Praxis, Computerunterstützung (4th ed.). Beltz Juventa.
  28. Kultusministerkonferenz (2021). Lehren und Lernen in der digitalen Welt: Die ergänzende Empfehlung zur Strategie ‘Bildung in der digitalen Welt’. https://www.kmk.org/fileadmin/veroeffentlichungen_beschluesse/2021/2021_12_09-Lehren-und-Lernen-Digi.pdf
  29. Lorenz, R., Bos, W., Endberg, M., Eickelmann, B., Grafe, S., & Vahrenhold, J. (Eds.). (2017). Schule digital – der Länderindikator 2017: Schulische Medienbildung in der Sekundarstufe I mit besonderem Fokus auf MINT-Fächer im Bundesländervergleich und Trends von 2015 bis 2017. Waxmann.
  30. Lorenz, R., Eickelmann, B., Endberg, M., & Yotyodying, S. (2022). Schule digital – der Länderindikator 2021: Theoretisches Rahmenmodell und Überblick über zentrale Ergebnisse. In R. Lorenz, S. Yotyodying, B. Eickelmann, & M. Endberg (Eds.), Schule digital – der Länderindikator 2021: Lehren und Lernen mit digitalen Medien in der Sekundarstufe I in Deutschland im Bundesländervergleich und im Trend seit 2017 (pp. 89–115). Waxmann. https://doi.org/10.31244/9783830995449
  31. Mishra, P., & Koehler, M. J. (2006). Technological pedagogical content knowledge: A framework for teacher knowledge. Teachers College Record, 108(6), 1017–1054. https://doi.org/10.1111/j.1467-9620.2006.00684.x
  32. Quast, J., Rubach, C., & Lazarides, R. (2021). Lehrkräfteeinschätzungen zu Unterrichtsqualität mit digitalen Medien: Zusammenhänge zur wahrgenommenen technischen Schulausstattung, Medienunterstützung, digitalen Kompetenzselbsteinschätzungen und Wertüberzeugungen. Zeitschrift für Bildungsforschung, 11, 309–341. https://doi.org/10.1007/s35834-021-00313-7
  33. Quast, J., Rubach, C., & Porsch, R. (2023). Professional digital competence beliefs of student teachers, pre-service teachers and teachers: Validating an instrument based on the DigCompEdu framework. European Journal of Teacher Education, 1–24. https://doi.org/10.1080/02619768.2023.2251663
  34. Redecker, C. (2017). European framework for the digital competence of educators: DigCompEdu. Luxembourg: Publications Office of the European Union. https://doi.org/10.2760/159770
  35. Rubach, C., & Lazarides, R. (2023). A Systematic Review of Research Examining Teachers’ Competence-Related Beliefs About ICT Use: Frameworks and Related Measures. In K. Scheiter & I. Gogolin (Eds.), Bildung für eine digitale Zukunft (Vol. 15, pp. 189–230). Springer. https://doi.org/10.1007/978-3-658-37895-0_8
  36. Sailer, M., Stadler, M., Schultz-Pernice, F., Franke, U., Schöffmann, C., Paniotova, V., Husagic, L., & Fischer, F. (2021). Technology-related teaching skills and attitudes: Validation of a scenario-based self-assessment instrument for teachers. Computers in Human Behavior, 115, 106625. https://doi.org/10.1016/j.chb.2020.106625
  37. Schmid, M., Brianza, E., Mok, S. Y., & Petko, D. (2024). Running in circles: A systematic review of reviews on technological pedagogical content knowledge (TPACK). Computers & Education, 214, 105024. https://doi.org/10.1016/j.compedu.2024.105024
  38. Schmid, M., Brianza, E., & Petko, D. (2020). Developing a short assessment instrument for Technological Pedagogical Content Knowledge (TPACK.xs) and comparing the factor structure of an integrative and a transformative model. Computers & Education, 157, 103967. https://doi.org/10.1016/j.compedu.2020.103967
  39. Schmid, M., Brianza, E., & Petko, D. (2021). Self-reported technological pedagogical content knowledge (TPACK) of pre-service teachers in relation to digital technology use in lesson plans. Computers in Human Behavior, 115, 106586. https://doi.org/10.1016/j.chb.2020.106586
  40. Schmid, M., & Petko, D. (2020). ‹Technological Pedagogical Content Knowledge› als Leitmodell medienpädagogischer Kompetenz. MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung, 121–140. https://doi.org/10.21240/mpaed/jb17/2020.04.28.X
  41. Schmidt, D. A., Baran, E., Thompson, A. D., Mishra, P., Koehler, M. J., & Shin, T. S. (2009). Technological Pedagogical Content Knowledge (TPACK): The Development and Validation of an Assessment Instrument for Preservice Teachers. Journal of Research on Technology in Education, 42(2), 123–149. https://doi.org/10.1080/15391523.2009.10782544
  42. Scheiter, K. (2021). Lernen und Lehren mit digitalen Medien: Eine Standortbestimmung. Zeitschrift für Erziehungswissenschaft, 24, 1039–1060. https://doi.org/10.1007/s11618-021-01047-y
  43. Tiede, J. (2020). Media-related Educational Competencies of German and US Preservice Teachers. A Comparative Analysis of Competency Models, Measurements and Practices of Advancement [Dissertation, Julius-Maximilians-Universität Würzburg]. MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung. https://www.medienpaed.com/issue/view/84
  44. Tiede, J., Grafe, S., & Hobbs, R. (2015). Pedagogical Media Competencies of Preservice Teachers in Germany and the United States: A Comparative Analysis of Theory and Practice. Peabody Journal of Education, 90(4), 533–545. https://doi.org/10.1080/0161956X.2015.1068083
  45. Tulodziecki, G. (2012). Medienpädagogische Kompetenz und Standards in der Lehrerbildung. In R. Schulz-Zander, B. Eickelmann, H. Moser, H. Niesyto, & P. Grell (Eds.), Jahrbuch Medienpädagogik 9 (pp. 271–297). VS Verlag für Sozialwissenschaften. https://doi.org/10.1007/978-3-531-94219-3_13
  46. Tulodziecki, G. (2021). Medienpädagogische Kompetenz. In U. Sander, F. Von Gross, & K.-U. Hugger (Eds.), Handbuch Medienpädagogik (pp. 1–9). Springer. https://doi.org/10.1007/978-3-658-25090-4_101-1
  47. Valtonen, T., Sointu, E. T., Mäkitalo-Siegl, K., & Kukkonen, J. (2015). Developing a TPACK measurement instrument for 21st century pre-service teachersi. International Journal of Media, Technology and Lifelong Learning, 11(2).
  48. Vejvoda, J., Stadler, M., Schultz-Pernice, F., Fischer, F., & Sailer, M. (2023). Getting ready for teaching with digital technologies: Scenario-based self-assessment in teacher education and professional development. Unterrichtswissenschaft, 51(4), 511–532. https://doi.org/10.1007/s42010-023-00186-x
  49. Vejvoda, J., Stadler, M., Schultz-Pernice, F., Glas, J., Fischer, F., & Sailer, M. (2024). Messung instrumenteller und kritisch-reflexiver Medienkompetenzen sowie medienbezogener Lehrkompetenzen von (angehenden) Lehrkräften: Entwicklung einer szenarienbasierten Kurzskala. MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung, 57, 103–126. https://doi.org/10.21240/mpaed/57/2024.03.28.X
  50. Weiber, R., & Mühlhaus, D. (2014). Strukturgleichungsmodellierung: Eine anwendungsorientierte Einführung in die Kausalanalyse mit Hilfe von AMOS, SmartPLS und SPSS. Springer. https://doi.org/10.1007/978-3-642-35012-2
  51. Yurdakul, I. K., Odabasi, H. F., Kilicer, K., Coklar, A. N., Birinci, G., & Kurt, A. A. (2012). The development, validity and reliability of TPACK-deep: A technological pedagogical content knowledge scale. Computers & Education, 58(3), 964–977. https://doi.org/10.1016/j.compedu.2011.10.012
LICENSE
Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.