Protocol to design a CEFR-linked proficiency rating scale for oral production and app implementation

Abstract

[ES] En su proceso de adaptación al Espacio Europeo de Educación Superior, las universidades andaluzas comenzaron en 201O a aprobar Memorias de Grado en las que se exigía a los alumnos universitarios que acreditasen un nivel de dominio en una lengua extranjera. En este contexto, la Universidad de Jaén (UJA) desarrolla sus exámenes de acreditación desde 2011.

Esta tesis describe el diseño (a partir del Marco Común Europeo de Referencia) y validación (mediante el modelo logístico paramétrico Rasch) de unas escalas analíticas (o rúbricas) para la producción oral de los exámenes de acreditación de la UJA. Del proceso (llevado a cabo con la colaboración de 8 evaluadores de las diferentes universidades andaluzas y con 128 candidatos a examen) se extrae un protocolo de diseño de rúbricas aplicable en otros contextos. Asimismo, se describe el diseño y creación de una aplicación para dispositivos móviles con la que usar las mencionadas rúbricas.

[EN] Since 201O, it is compulsory for students at Andalusian public universities to certify a minimum leve} of proficiency in a foreign language by the end of their degree. The University of Jaén (UJA) started to develop its own language proficiency tests in 2011 to provide its students with the possibility of taking such tests.

This doctoral dissertation describes the process of design (based on the Common European Framework of Reference ) and validation (through logistic parametric Rasch models) of one analytic scale (or rubric) to be used during the mentioned proficiency tests. This process (carried out with the collaboration of 8 evaluation experts from different Andalusian universities and 128 candidates) has also yielded a protocol to design rubrics which can be applied in different contexts. The doctoral dissertation finally describes the design of a digital application for mobile devices to implement the aforementioned rubrics.