Skip to main content

Beyond objective testing and peer assessment: alternative ways of assessment in MOOCs

Más allá de las pruebas objetivas y la evaluación por pares: alternativas de evaluation en los MOOC

Abstract

MOOCs (massive open online courses) are an online teaching proposal that, in their short lives, have already thrown up two very different possibilities: cMOOCs and xMOOCs. Both are analysed in this paper from the perspective of assessing students’ learning. While assessment in xMOOCs is usually limited to multiple choice tests and sometimes delivering tasks, in cMOOCs the aim is to foster interaction from an educational standpoint, usually on the basis of peer assessment. Pedagogically, both models have their limitations. Multiple choice tests are mainly content bound while peer assessment has its own difficulties and drawbacks, which we explain here. We will put forward some useful ideas to give more flexibility to assessment in MOOCs (groups of experts, semantic web, portfolio, learning analytics), in an attempt to address educational assessment not as an end in itself but as another part of the educational process.

Resumen

Los MOOC (cursos masivos abiertos en línea) son una propuesta de enseñanza en línea que en su corta vida han mostrado ya dos posibilidades bien diferenciadas, los cMOOC y los xMOOC. Ambas son analizadas en este artículo desde la perspectiva de la evaluaciñn de los aprendizajes de los alumnos, pues mientras que en los xMOOC la evaluación suele aparecer reducida a pruebas tipo test o en algunos casos a la entrega de tareas, en los cMOOC la evaluación pretende promover la interacción desde una perspectiva de evaluacióon formativa y suele sustentarse en la evaluación por pares. Ambos modelos pueden resultar limitados desde una perspectiva pedagógica. Por una parte, los exámenes tipo test se circunscriben principalmente al contenido y, por otro lado, la evaluación por pares tiene también dificultades e inconvenientes que explicamos en el artículo. Así, en este artículo presentamos diversas alternativas útiles para flexibilizar las posibilidades de evaluación en los MOOC (grupos de expertos, web semántica, portafolio, analiticas de aprendizaje), intentando abordar la evaluación educativa no como una finalidad en sí misma, sino como una parte más del proceso educativo.

References

  1. Adell, J. (2013). Los MOOC, en la cresta de la ola. Retrieved from http://elbonia.cent.uji.es/jordi/2013/03/19/los-moocs-en-la-cresta-de-la-ola/

  2. Barberá, E. (2006). Aportaciones de la tecnología a la e-Evaluación. RED: Revista de Educación a Distancia. Monograph VI, 1–13. Retrieved from http://www.um.es/ead/red/M6/barbera.pdf

  3. Bali, M. (2014). MOOC pedagogy: gleaning good practice from existing MOOCs. MERLOT. Journal of Online Learning and Teaching, 10(1), 44–56.

    Google Scholar 

  4. Booth, M. (2012). Learning Analytics: the new black. Educause Review Online. Retrieved from http://www.educause.edu/ero/article/learning-analytics-new-black

  5. Bondi, A. (2000). Characteristics of scalability and their impact on performance. In WOSP 2000. Paper presented at the Proceedings of the 2nd International workshop on software and performance. New York, USA (40–49). New York, USA: ACM.

    Google Scholar 

  6. Brown, S. (2013). MOOCs, OOCs, flips and hybrids: the new world of higher education. In ICICTE 2013. Paper presented at the Proceedings of IEEE International conference. Austin, USA. (pp. 237–247). North Carolina, USA: IEEE.

    Google Scholar 

  7. Codina, L. (2003). La web semántica: una visión crítica. El profesional de la información, 12(2), 149–152.

    Article  MathSciNet  Google Scholar 

  8. Daradoumis, T., Bassi, R., Xhafa, F., & Caballé, S. (2013). A review on massive e-learning (MOOC) design, delivery and assessment. Paper presented at the Eighth International Conference on P2P, Parallel, Grid, Cloud and Interpreting Computing. Compiegne. USA: IEEE.

    Google Scholar 

  9. Davis, H., Dikens, K., Leon-Urrutia, M., Sanchéz-Vera, M. M., & White, S. (2014). MOOCs for Universities and Learners an analysis of motivating factors. Paper presented at the 6th International Conference on Computer Supported Education. Retrieved from http://eprints.soton.ac.uk/363714/

  10. Department for business, innovation & skills (2013). The maturing of the MOOC: literature review of massive open online courses and other forms of online distance learning. Retrieved from https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/240193/13-1173-maturing-of-the-mooc.pdf

  11. Dorrego, E. (2006). Educación a distancia y evaluación del aprendizaje. RED. Revista de Educación a Distancia, 6, 1–23. Retrieved from http://www.um.es/ead/red/M6/dorrego.pdf

    Google Scholar 

  12. Downes, S. (2013). Assessment in MOOCs [Web log post]. Retrieved from http://halfanhour.blogspot.com.es/2013/05/assessment-in-moocs.html

  13. Escudero-Muñoz, J. M. (1998). Evaluación Educativa: Aproximación general, orientaciones y ámbitos. In J. M. Escudero, M. T. González, & J. Del Cerro. Evaluación de programas, centros y profesores (pp. 4–22). Murcia: Diego Marín.

    Google Scholar 

  14. Fernández-Breis, J., Prendes-Espinosa, M. P., Castellanos-Nieves, D., Martínez-Sánchez, F., Valencia-García, R., & Ruíz-Martínez, J. (2007). Evaluación en e-learning basada en tecnologías de la Web semántica y procesamiento del lenguaje natural. Murcia: Diego Marín.

    Google Scholar 

  15. Fournier, H., Kop, R., & Durand, G. (2014). Challenges to research in MOOCs. MERLOT. Journal of Online Learning and Teaching, 10(1), 1–15.

    Google Scholar 

  16. Kolowich, S. (2013). The professors who make the MOOCs. The Chronicle of Higher Education. Retrieved from http://chronicle.com/article/The-Professors-Behind-the-MOOC/137905/#id=overview

  17. Lewin, T. (2012). College of the future could be come one, come all. The New York Times. Retrieved from http://www.nytimes.com/2012/11/20/education/colleges-turn-to-crowd-sourcing-courses.html?_r=0

  18. Linn, R. (2011). Test-based accountability. The Gordon Commission on the Future of Assessment in Education. Retrieved from http://www.gordoncommission.org/rsc/pdf/linn_test_based_accountability.pdf

  19. Luo, H., & Robinson, A. C. (2014). Is peer grading a valid assessment method for Massive Open Online Courses (MOOCs)? Paper presented at the 7th Annual International Symposium. Emerging Technologies for Online Learning. Retrieved from http://sloanconsortium.org/conference/2014/et4online/peer-grading-valid-assessment-method-massive-open-online-courses-moocs

  20. O’Toole, R. (2013). Pedagogical strategies and technologies for peer assessment in Massively Open Online Courses (MOOCs). Unpublished discussion paper. University of Warwick, Coventry. Retrieved from http://wrap.warwick.ac.uk/54602/

    Google Scholar 

  21. Piech, C., Huang, J., Chen, Z., Do, C., Ng, A., & Koller, D. (2013). Tuned models of peer assessment in MOOCs. Paper presented at the International Conference on Educational Data Mining. Retrieved from http://arxiv.org/abs/1307.2579

  22. Prendes, M. P. (2003). Aprendemos… ¿cooperando o colaborando? Las claves del método. In F. Martínez Sánchez, Redes de comunicación en la enseñanza. Las nuevas perspectivas del trabajo corporativo (pp. 93–128). Barcelona: Paidós.

    Google Scholar 

  23. Prendes, M. P. (2007). Internet aplicado a la educación: estrategias didácticas y metodologías. In J. Cabero, (Coord.), Nuevas tecnologías aplicadas a la educación, (pp. 205–222). Madrid: McGraw Hill.

    Google Scholar 

  24. Prendes, M. P. (2013). Las aplicaciones educativas de la Web Semántica. In I. Aguaded, & J. Cabero, (Coords.). Tecnologías y medios para la educación en la e-sociedad (pp. 289–315). Madrid: Alianza.

    Google Scholar 

  25. Prendes, M. P., & Sánchez, M. M. (2008). Portafolio electrónico: posibilidades para los docentes. Pixelbit. Revista de Medios y Educación, 1(32), 21–34. Retrieved from http://www.um.es/gite/mmarsanchez/Proyectos%20y%20publicaciones_files/2.pdf

    Google Scholar 

  26. Ridway, K., McCursker, S., & Pead, D. (2004). Literature review of E-assessment. Futurelab. Retrieved from http://hal.archives-ouvertes.fr/docs/00/19/04/40/PDF/ridgway-j-2004-r10.pdf

  27. Salinas, J. (1999). Enseñanza flexible, aprendizaje abierto. Las redes como herramientas para la formación. EDUTEC: Revista Electrónica de Tecnología Educativa, 10, 1–18. Retrieved from http://edutec.rediris.es/Revelec2/Revelec10/revelec10.html

    Google Scholar 

  28. Sánchez-Vera, M. M. (2010). Espacios Virtuales para la evaluación de aprendizajes basados en herramientas de Web Semántica [unpublished doctoral dissertation]. Universidad de Murcia, Murcia.

    Google Scholar 

  29. Sánchez-Vera, M. M., & Prendes, M. P. (2013). La participación del alumnado en los cursos masivos (MOOC). Paper presented at the Il Congreso Internacional de Innovación Docente. Retrieved from http://digitum.um.es/xmlui/bitstream/10201/39138/1/C156_mooc.pdf

  30. Sandeen, C. (2013). Assessment place in the new MOOC word. Research and practice in assessment, 8, 1–8.

    Google Scholar 

  31. Tempelaar, D., Cuypers, H., Van de Vrie, E., Heck, A., & Van der Kooij, H. (2013). Formative assessment and learning analytics. Paper presented at LAK 2013. Learning Analytics and Knowledge. Leuven, Belgium.

    Google Scholar 

  32. University of Bristol (2013). Learning analytics and technology enhanced assessment (TEA). Retrieved from http://www.bris.ac.uk/education/research/sites/tea/publications/learninganalytics.pdf

  33. Valverde, J. (2014). MOOCs: una visión crítica desde las ciencias de la educación. Revista de curriculum y formación del profesorado, 18(1), 1–19.

    Google Scholar 

  34. Yuan, L., Powell, S., & Olivier, B. (2014). Beyond MOOCs: sustainable online Learning in Institutions. Retrieved from http://publications.cetis.ac.uk/2014/898

Download references

Author information

Affiliations

Authors

Corresponding author

Correspondence to María del Mar Sánchez-Vera.

Rights and permissions

Open Access This article is distributed under the terms of the Creative Commons Attribution 4.0 International License (https://creativecommons.org/licenses/by/4.0), which permits use, duplication, adaptation, distribution, and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons license, and indicate if changes were made.

Reprints and Permissions

About this article

Verify currency and authenticity via CrossMark

Cite this article

Sánchez-Vera, M.d.M., Prendes-Espinosa, M.P. Beyond objective testing and peer assessment: alternative ways of assessment in MOOCs. Int J Educ Technol High Educ 12, 119–130 (2015). https://doi.org/10.7238/rusc.v12i1.2262

Download citation

Keywords

  • MOOCs
  • assessment
  • feedback
  • e-learning

Palabras clave

  • MOOC
  • evaluación
  • feedback
  • e-learning