- Dossier “Mathematical e-learning”
- Article
- Open access
- Published:
On How Moodle Quizzes Can Contribute to the Formative e-Assessment of First-Year Engineering Students in Mathematics Courses
Los cuestionarios del entorno Moodle: su contribución a la evaluación virtual formativa de los alumnos de matemáticas de primer año de las titulaciones de Ingeniería
RUSC, Universities and Knowledge Society Journal volume 9, pages 354–370 (2012)
Abstract
Given the importance of formative assessment in the context of the European Higher Education Area, it is necessary to explore new tools to implement innovative strategies for the formative assessment of students. Moodle’s quiz module represents an alternative to traditional tools, such as paper-and-pencil tests. In 2008, we carried out a project subsidised by the Institute of Education Sciences at the Universitat Politècnica de Catalunya — BarcelonaTech (UPC), the main aim of which was to elaborate a number of Moodle question pools and to design, implement and assess a series of quizzes from these pools. The project covered the compulsory undergraduate subjects in applied mathematics included in the first- and second-year syllabuses for all branches of Engineering. From the students’ results, it was then necessary to examine and revise the reliability of the quizzes as an assessment tool of the teaching and learning process. The analysis of the psychometric coefficients provided by Moodle proved to be a useful tool for assessing whether the questions had an appropriate level of difficulty and were suitable for discriminating between good and bad performers. Taking into account the psychometric analysis of this first project, in 2009 we initiated a new project, in which we planned to revise thoroughly the quizzes created in the former project, to improve their suitability as an assessment tool. This paper shows: i) the students’ results in the quizzes performed in the two academic years in the courses Mathematics 1 and Mathematics 2 — both taught in the first year of the four bachelor’s degree programmes in Biological Systems Engineering organised by the School of Agricultural Engineering of Barcelona at the UPC, as well as the students’ attitudes towards activities of this kind; and ii) the revision and fine-tuning of the quizzes from the psychometric analysis to improve their reliability. Finally, the analysis of the results reported leads to a discussion on the advisability of using this tool for the formative assessment of students.
Resumen
En el contexto del Espacio Europeo de Educación Superior, en el que la evaluación formativa desempeña un papel esencial, es necesario explorar nuevas herramientas con el fin de implementar estrategias innovadoras de seguimiento y evaluación de los estudiantes. El módulo de cuestionarios en el entorno Moodle representa una alternativa frente a las metodologías tradicionales, como pueden ser las pruebas escritas. En el marco de las ayudas para la mejora de la docencia concedidas por el Instituto de Ciencias de la Educación de la Universidad Politécnica de Cataluña — BarcelonaTech (UPC), durante el curso académico 2008/2009 se llevó a cabo un proyecto docente cuyo objetivo principal era el diseño de preguntas tipo test y su posterior implementación en cuestionarios del entorno Moodle para asignaturas de matemáticas y estadística correspondientes a primeros cursos de titulaciones de ingeniería. Con los resultados de los cuestionarios realizados por los estudiantes, se vio que era conveniente analizar y revisar su fiabilidad y adecuación para avalar estas actividades de evaluación del proceso de aprendizaje. El análisis de los coeficientes psicométricos facilitados por Moodle resultó ser una herramienta útil a la hora de valorar si las cuestiones propuestas tenían el nivel de dificultad adecuado y si, en consecuencia, eran convenientes para discriminar entre buenas y malas prácticas. En el marco de otro proyecto, también subvencionado por la UPC, durante el siguiente curso académico 2009/2010 se revisaron de forma exhaustiva los cuestionarios implementados con el fin de mejorar su eficiencia como herramienta de evaluación. En este trabajo se presentan: i) los resultados de los cuestionarios realizados por los estudiantes durante esos dos cursos académicos en las asignaturas Matemáticas 1 y Matemáticas 2 de primer año de los cuatro grados de Ingenieria de Biosistemas de la Escuela Superior de Agricultura de Barcelona de la UPC, así como la opinión de los estudiantes sobre este tipo de actividad, ii) la revisión y adaptación de los cuestionarios a partir de los indices psicométricos para mejorar su eficiencia. Finalmente, a partir de los resultados analizados se hace una reflexión sobre la conveniencia de utilizar este tipo de herramientas para la evaluación formativa de los estudiantes.
References
BLANCO, M.; GINOVART, M. (2010a). “Moodle quizzes for assessing statistical topics in engineering studies”. In: K. Resetova (ed.). Proceedings of the Joint International IGIP-SEFI Annual Conference 2010. Diversity unifies — Diversity in Engineering Education. Brussels: SEFI.
BLANCO, M.; GINOVART, M. (2010b). “Análisis de la eficiencia de cuestionarios Moodle como herramienta de evaluación de asignaturas de matemáticas correspondientes a primeros cursos de titulaciones de ingeniería”. In: Proceedings of the VI CIDUI: New Areas of Quality in Higher Education. A comparative and trend analysis. Barcelona: UPC.
BLANCO, M.; ESTELA, M. R.; GINOVART, M.; SAÀ, J. (2009). “Computer Assisted Assessment through Moodle Quizzes for Calculus in an Engineering Undergraduate Course”. Quaderni di Ricerca in Didattica (Scienze Matematiche). Vol. 9, No 2, pages 78–84.
BRINCK, R.; LAUTENBACH, G. (2011). “Electronic assessment in higher education”. Educational Studies. Vol. 37, No 5, pages 503–512.
BURTON, R. F. (2001). “Do Item-discrimination Indices Really Help Us to Improve Our Tests?”. Assessment & Evaluation in Higher Education. Vol. 26, No 3, pages 213–220.
COLE, J. (2005). Using Moodle. Teaching with the popular open source course management system. Sebastopol (CA): O’Reilly Community Press.
CREWS, T. B.; CURTIS, D. F. (2011). “Online Course Evaluations: Faculty Perspective and Strategies for Improved Response Rates”. Assessment & Evaluation in Higher Education. Vol. 36, No 7, pages 865–878.
DALY, C.; PACHLER, N.; MOR, Y.; MELLAR, H. (2010). “Exploring formative e-assessment: using case stories and design patterns”. Assessment & Evaluation in Higher Education. Vol. 35, No 5, pages 619–636.
DELGADO, A. M.; OLIVER, R. (2006). “La evaluación continua en un nuevo escenario docente / Continuous assessment in the new teaching scenario”. RUSC. Vol. 3, No 1, pages 1–13.
ENQA (2005). ENQA report on Standards and Guidelines for Quality Assurance in the European Higher Education Area. Helsinki: Multiprint.
FERRÃO, M. (2010). “E-assessment within the Bologna paradigm: evidence from Portugal”. Assessment & Evaluation in Higher Education. Vol. 35, No 7, pages 819–830.
GRAFF, M. (2003). “Cognitive Style and Attitudes Towards Using Online Learning and Assessment Methods”. Electronic Journal of e-Learning, Vol. 1, No 1, pages 21–28.
HECK, A.; VAN GASTEL. L. (2006). “Mathematics on the threshold”. International Journal of Mathematical Education in Science and Technology. Vol. 37, No 8, pages 925–945.
LIM, L. L.; THIEL, D. V.; SEARLES, D. J. (2011). “Fine tuning the teaching methods used for second year university mathematics”. International Journal of Mathematical Education in Science and Technology. Pages 1–9, iFirst.
SMITH, G. H.; WOOD, L. N.; COUPLAND, M.; STEPHENSON, B.; CRAWFORD, K.; BALL, G. (1996). “Constructing mathematical examinations to assess a range of knowledge and skills”. International Journal for Mathematical Education in Science and Technology. Vol. 27, No 1, pages 65–77.
STEEGMANN, C.; HUERTAS, M. A.; JUAN, A. A.; PRAT, M. (2008). “E-learning de las asignaturas del ámbito matemático-estadistico en las universidades españolas: oportunidades, retos, estado actual y tendencias / E-learning in the area of maths and statistics in Spanish universities: opportunities, challenges, current situation and trends” RUSC. Vol. 5, No 2, pages 1–14.
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
Open Access This article is distributed under the terms of the Creative Commons Attribution 4.0 International License (https://creativecommons.org/licenses/by/4.0), which permits use, duplication, adaptation, distribution, and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons license, and indicate if changes were made.
About this article
Cite this article
Blanco, M., Ginovart, M. On How Moodle Quizzes Can Contribute to the Formative e-Assessment of First-Year Engineering Students in Mathematics Courses. Revista de Universidad y Sociedad del Conocimiento 9, 354–370 (2012). https://doi.org/10.7238/rusc.v9i1.1277
Received:
Accepted:
Published:
Issue Date:
DOI: https://doi.org/10.7238/rusc.v9i1.1277