Skip to main content

On How Moodle Quizzes Can Contribute to the Formative e-Assessment of First-Year Engineering Students in Mathematics Courses

Los cuestionarios del entorno Moodle: su contribución a la evaluación virtual formativa de los alumnos de matemáticas de primer año de las titulaciones de Ingeniería

Abstract

Given the importance of formative assessment in the context of the European Higher Education Area, it is necessary to explore new tools to implement innovative strategies for the formative assessment of students. Moodle’s quiz module represents an alternative to traditional tools, such as paper-and-pencil tests. In 2008, we carried out a project subsidised by the Institute of Education Sciences at the Universitat Politècnica de Catalunya — BarcelonaTech (UPC), the main aim of which was to elaborate a number of Moodle question pools and to design, implement and assess a series of quizzes from these pools. The project covered the compulsory undergraduate subjects in applied mathematics included in the first- and second-year syllabuses for all branches of Engineering. From the students’ results, it was then necessary to examine and revise the reliability of the quizzes as an assessment tool of the teaching and learning process. The analysis of the psychometric coefficients provided by Moodle proved to be a useful tool for assessing whether the questions had an appropriate level of difficulty and were suitable for discriminating between good and bad performers. Taking into account the psychometric analysis of this first project, in 2009 we initiated a new project, in which we planned to revise thoroughly the quizzes created in the former project, to improve their suitability as an assessment tool. This paper shows: i) the students’ results in the quizzes performed in the two academic years in the courses Mathematics 1 and Mathematics 2 — both taught in the first year of the four bachelor’s degree programmes in Biological Systems Engineering organised by the School of Agricultural Engineering of Barcelona at the UPC, as well as the students’ attitudes towards activities of this kind; and ii) the revision and fine-tuning of the quizzes from the psychometric analysis to improve their reliability. Finally, the analysis of the results reported leads to a discussion on the advisability of using this tool for the formative assessment of students.

Resumen

En el contexto del Espacio Europeo de Educación Superior, en el que la evaluación formativa desempeña un papel esencial, es necesario explorar nuevas herramientas con el fin de implementar estrategias innovadoras de seguimiento y evaluación de los estudiantes. El módulo de cuestionarios en el entorno Moodle representa una alternativa frente a las metodologías tradicionales, como pueden ser las pruebas escritas. En el marco de las ayudas para la mejora de la docencia concedidas por el Instituto de Ciencias de la Educación de la Universidad Politécnica de Cataluña — BarcelonaTech (UPC), durante el curso académico 2008/2009 se llevó a cabo un proyecto docente cuyo objetivo principal era el diseño de preguntas tipo test y su posterior implementación en cuestionarios del entorno Moodle para asignaturas de matemáticas y estadística correspondientes a primeros cursos de titulaciones de ingeniería. Con los resultados de los cuestionarios realizados por los estudiantes, se vio que era conveniente analizar y revisar su fiabilidad y adecuación para avalar estas actividades de evaluación del proceso de aprendizaje. El análisis de los coeficientes psicométricos facilitados por Moodle resultó ser una herramienta útil a la hora de valorar si las cuestiones propuestas tenían el nivel de dificultad adecuado y si, en consecuencia, eran convenientes para discriminar entre buenas y malas prácticas. En el marco de otro proyecto, también subvencionado por la UPC, durante el siguiente curso académico 2009/2010 se revisaron de forma exhaustiva los cuestionarios implementados con el fin de mejorar su eficiencia como herramienta de evaluación. En este trabajo se presentan: i) los resultados de los cuestionarios realizados por los estudiantes durante esos dos cursos académicos en las asignaturas Matemáticas 1 y Matemáticas 2 de primer año de los cuatro grados de Ingenieria de Biosistemas de la Escuela Superior de Agricultura de Barcelona de la UPC, así como la opinión de los estudiantes sobre este tipo de actividad, ii) la revisión y adaptación de los cuestionarios a partir de los indices psicométricos para mejorar su eficiencia. Finalmente, a partir de los resultados analizados se hace una reflexión sobre la conveniencia de utilizar este tipo de herramientas para la evaluación formativa de los estudiantes.

References

  1. BLANCO, M.; GINOVART, M. (2010a). “Moodle quizzes for assessing statistical topics in engineering studies”. In: K. Resetova (ed.). Proceedings of the Joint International IGIP-SEFI Annual Conference 2010. Diversity unifies — Diversity in Engineering Education. Brussels: SEFI.

    Google Scholar 

  2. BLANCO, M.; GINOVART, M. (2010b). “Análisis de la eficiencia de cuestionarios Moodle como herramienta de evaluación de asignaturas de matemáticas correspondientes a primeros cursos de titulaciones de ingeniería”. In: Proceedings of the VI CIDUI: New Areas of Quality in Higher Education. A comparative and trend analysis. Barcelona: UPC.

    Google Scholar 

  3. BLANCO, M.; ESTELA, M. R.; GINOVART, M.; SAÀ, J. (2009). “Computer Assisted Assessment through Moodle Quizzes for Calculus in an Engineering Undergraduate Course”. Quaderni di Ricerca in Didattica (Scienze Matematiche). Vol. 9, No 2, pages 78–84.

    Google Scholar 

  4. BRINCK, R.; LAUTENBACH, G. (2011). “Electronic assessment in higher education”. Educational Studies. Vol. 37, No 5, pages 503–512.

    Article  Google Scholar 

  5. BURTON, R. F. (2001). “Do Item-discrimination Indices Really Help Us to Improve Our Tests?”. Assessment & Evaluation in Higher Education. Vol. 26, No 3, pages 213–220.

    Article  Google Scholar 

  6. COLE, J. (2005). Using Moodle. Teaching with the popular open source course management system. Sebastopol (CA): O’Reilly Community Press.

    Google Scholar 

  7. CREWS, T. B.; CURTIS, D. F. (2011). “Online Course Evaluations: Faculty Perspective and Strategies for Improved Response Rates”. Assessment & Evaluation in Higher Education. Vol. 36, No 7, pages 865–878.

    Article  Google Scholar 

  8. DALY, C.; PACHLER, N.; MOR, Y.; MELLAR, H. (2010). “Exploring formative e-assessment: using case stories and design patterns”. Assessment & Evaluation in Higher Education. Vol. 35, No 5, pages 619–636.

    Article  Google Scholar 

  9. DELGADO, A. M.; OLIVER, R. (2006). “La evaluación continua en un nuevo escenario docente / Continuous assessment in the new teaching scenario”. RUSC. Vol. 3, No 1, pages 1–13.

    Google Scholar 

  10. ENQA (2005). ENQA report on Standards and Guidelines for Quality Assurance in the European Higher Education Area. Helsinki: Multiprint.

    Google Scholar 

  11. FERRÃO, M. (2010). “E-assessment within the Bologna paradigm: evidence from Portugal”. Assessment & Evaluation in Higher Education. Vol. 35, No 7, pages 819–830.

    Article  MathSciNet  Google Scholar 

  12. GRAFF, M. (2003). “Cognitive Style and Attitudes Towards Using Online Learning and Assessment Methods”. Electronic Journal of e-Learning, Vol. 1, No 1, pages 21–28.

    MathSciNet  Google Scholar 

  13. HECK, A.; VAN GASTEL. L. (2006). “Mathematics on the threshold”. International Journal of Mathematical Education in Science and Technology. Vol. 37, No 8, pages 925–945.

    Article  Google Scholar 

  14. LIM, L. L.; THIEL, D. V.; SEARLES, D. J. (2011). “Fine tuning the teaching methods used for second year university mathematics”. International Journal of Mathematical Education in Science and Technology. Pages 1–9, iFirst.

  15. SMITH, G. H.; WOOD, L. N.; COUPLAND, M.; STEPHENSON, B.; CRAWFORD, K.; BALL, G. (1996). “Constructing mathematical examinations to assess a range of knowledge and skills”. International Journal for Mathematical Education in Science and Technology. Vol. 27, No 1, pages 65–77.

    Article  Google Scholar 

  16. STEEGMANN, C.; HUERTAS, M. A.; JUAN, A. A.; PRAT, M. (2008). “E-learning de las asignaturas del ámbito matemático-estadistico en las universidades españolas: oportunidades, retos, estado actual y tendencias / E-learning in the area of maths and statistics in Spanish universities: opportunities, challenges, current situation and trends” RUSC. Vol. 5, No 2, pages 1–14.

    Google Scholar 

Download references

Author information

Affiliations

Authors

Corresponding author

Correspondence to Mónica Blanco.

Rights and permissions

Open Access This article is distributed under the terms of the Creative Commons Attribution 4.0 International License (https://creativecommons.org/licenses/by/4.0), which permits use, duplication, adaptation, distribution, and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons license, and indicate if changes were made.

Reprints and Permissions

About this article

Cite this article

Blanco, M., Ginovart, M. On How Moodle Quizzes Can Contribute to the Formative e-Assessment of First-Year Engineering Students in Mathematics Courses. Revista de Universidad y Sociedad del Conocimiento 9, 354–370 (2012). https://doi.org/10.7238/rusc.v9i1.1277

Download citation

Keywords

  • mathematics
  • quizzes
  • Moodle
  • assessment
  • psychometric analysis

Palabras clave

  • matemáticas
  • cuestionarios
  • Moodle
  • evaluación
  • análisis psicométrico