Abstract
This report examines the effectiveness of the virtual literacy model in pedagogical competence acquisition and presents an analysis of the model’s efficacy, advantages and limitations. The model was applied throughout the 2012–13 school year to a sample made up of 2,151 students enrolled in the subject Knowledge Society Technology and Education and the 44 tutors who worked with them. Data were gathered from an online student survey and grade lists (exams and continuous assessment activities). Content analysis was used to analyse the open-ended survey questions, and descriptive analysis was applied to the quantitative data. Findings suggest that, while there is room for improvement in the assessment system, the virtual literacy model does contribute to competence acquisition. Further research is needed.
This article reports a report of the application of the virtual literacy model in a course entitled Knowledge Society Technology and Education, part of the undergraduate curricula for the social education degree and the pedagogy degree at the UNED (Universidad Nacional de Educación a Distancia) School of Education. The study took place during the 2012–13 academic year. The specific objectives were: To gain a firm understanding of students’ and tutors’ satisfaction with the course. To explore the usefulness of the course as perceived by students and tutors. To analyse the views of students and tutors on competence acquisition through the course. To reflect on possible improvements based on suggestions from students and tutors. To determine the extent of students’ performance in the learning process.
Theoretical framework
The experience on which the study draws is designed on the basis of two main aspects:
Firstly, the competence learning model as showed in the European Higher Education Area (EHEA) (European Commission, 2000), which has been implemented at the Spanish National University of Distance Education (UNED). Within this framework three concepts are highlighted as essential: ECTS (European Credit Transfer System), learning outcomes and competences.
The ECTS measures the volume of work to be done by a student in a specific course, while learning outcomes and competences are the parameters used to specify academic goals. Learning outcomes are the real, measurable achievements that a student has achieved in a subject after having completed the training period. The concept competence is more complex and refers to the ability to respond to complex demands and carry out various tasks properly (Organization for Economic Co-Operation and Development (OECD), 2002). A competent professional should know and understand (‘theoretical knowledge of an academic field’), know how to act (‘practical and operational application of knowledge to certain situations’) and know how to be (‘values as an integral element of the way of perceiving and living with others and in a social context’) (European Commission, 2000, p. 28).
Secondly, this experience has been designed and developed taking into account variables in blended learning (b-learning) considered as essential by different authors. These variables include:
Autonomous learning: stated as one of the distinctive characteristics of online learning (Pintrich, 2000).
Communication process (DeLotell, Millam, & Reinhardt, 2010; Gunawardena, Linder-Vanberschot, Lapointe, & Rao, 2010) and the importance of caring of interaction by answering in a fast and proper way to students (Johnson, Aragon, Shaik, & Palma-Rivas, 1999).
Motivation, intelligence and a positive outlook and the degree of satisfaction the student gains (Gunawardena et al., 2010).
Quality of the contents (DeLotell et al., 2010).
Constructive learning: it implies, among other things, the construction of knowledge as the outcome of a joint process shared by teachers and students (Solé & Coll, 1999). Zabala (1999) stresses aspects including the need to offer students significant, functional contents suited to their development, contents important to ease the construction of knowledge.
The didactic experience
The UNED is a distance university based on a blended learning methodology, which combines distance education, digital support and face-to-face tutorials.
B-learning has been defined as a process of hybrid learning, where elements of conventional classroom learning and remote learning are combined into a process that takes place with the support of technologies (Bartolomé, 2006).
The selection of generic competences at UNED, common to all the degrees offered at the university, was made on the basis of the analysis of a set of studies and reports: the Tuning Project (2000) and, among others, the DeSeCo (Definition and Selection of Competencies) Project of OECD (2002).
The key competences stated in DeSeCo (2002) could be regarded as equivalent to the following types of learning as referred to in the Delors report (1996): ‘use tools interactively’ is tantamount to ‘learning to know’ and ‘learning to be’; ‘interact in heterogeneous groups’ is ‘learning to live together’; and ‘act autonomously’ is ‘learning to be’ (Angulo, 2009, p. 184).
Target competences.
The faculty responsible for the course were two professors from the School of Education (the teaching team) and 64 tutors from associated institutions of learning. The teaching team was responsible for designing the subject according to assessable competences and learning achievements consistent with the assessment system, particularly the continuous assessment activities (CAAs). Then, teaching materials (basic materials and complementary materials) were prepared by professors to facilitate autonomous learning by students. The teaching guides, including information on objectives, content and the assessment system, among other aspects, were written by professors. A continuous assessment process was incorporated in the course, which used CAAs to supplement the assessment of performance through classroom testing (objective tests). In addition, complementary activities and self-assessment tests were offered. The teaching team remained in constant coordination with the tutors. All UNED students are assigned tutors. A tutor’s main function is to provide support, guidance and tracking in regard to learning activities and their grading. Therefore, tutors must be familiar with the teaching guide and the activity plan, and use all available technological resources.
The course adhered to the teaching model used by the UNED, which dictates establishing a number of environments for interaction, communication and participation between the teaching team, tutors, professors and students. These environments are the stages where learning takes place: the virtual course, classroom tutorials at a UNED partner centre, virtual (synchronous and/or asynchronous) tutorials, printed materials and multimedia materials. The main medium of communication was the discussion forum (virtual course).
The virtual course is the main space of communication and interaction, where the teaching team, the tutors, professors and students come together. Through the virtual course, students can examine and download contents, teaching guides and complementary documents, consult video tutorials for CAAs, participate in virtual tutorials and interact with all the other participants in the learning process. The main medium of communication is the discussion forum.
Students can participate voluntarily in different types of tutorials through the virtual course or through UNED partner centres. Virtual tutorials can be run at the forums, via web conferencing within the virtual course and by means of AVIP (Audiovisual tool on Internet Protocol technology) classrooms. AVIP classrooms are spaces at the UNED partner centres that are fitted with videoconferencing facilities and interactive whiteboards, which enable tutorials to be held at several partner centres at the same time. Figure 1 illustrates the full teaching-learning process at Knowledge Society Technology and Education. Teaching/learning process.
The teaching contents come in the form of a range of guides and materials. The guides are written by professors for students and tutors, giving full information about the teaching, tutoring and learning process. The textbook enables the acquisition of not only updated theoretical knowledge, but also practical knowledge, as all chapters suggest activities to do directly with Web 2.0, links to the website and a multitude of resources where students can find real examples of a new model of literacy and networked socialization. The book offers several examples of its constructivist approach, such as its analysis of schools as producers of knowledge instead of consumers of knowledge, and its focus on remixing as a sociocultural activity that involves the construction of new meanings. The book’s greatest contribution is that it provokes a certain amount of cognitive conflict that stimulates students’ mental activity.
Autonomous and self-regulated learning is at the core of the course. The autonomous, self-regulated student may be profiled as a student who employs a self-control mechanism to govern the learning process. The student sets his or her own learning goals with the support of a process in which the student regulates his or her own thoughts, emotions, conduct and motivation (Pintrich, 2000). At UNED the process follows the outline proposed by Sánchez-Elvira and Santamaría (2005) (see Figure 2).
In Planning and preparation, the student gathers information about UNED, the School of Education and the course. In addition, the student is encouraged to analyse his or her personal motivations, reviews and acknowledges his or her prior knowledge and schedules the required tasks. In Execution of activities, the student deploys learning strategies and observes, detects and analyses personal progress (self monitoring). In the evaluation phase, the student is encouraged to implement psychological strategies (anxiety control and rational situation analysis) and takes self-evaluation tests.
Phases of the didactic experience
As Figure 3 shows, the learning experience took place in four phases during the 2012–13 academic year, in a period of 10 months. A pilot experience was first designed and tested (Phase 1). Subsequently, a large-scale experience was carried out, followed by an online survey, concerning satisfaction, course usefulness, competence acquisition and possible course improvements (Phase 2). Finally, in phases 3 and 4 the students’ achievements and overall response to the large-scale didactic experience were assessed and analysed. Phases of experience development.
Assessment of the didactic experience
During the 2012–13 school year, the efficacy, advantages and limitations of the literacy model were analysed based on student and tutor opinions and learning achievement levels. Students’ and tutors’ opinions were gathered through an online survey and learning achievement levels were assessed through a continuous assessment system: Test and continuous assessment activities (CAAs).
As Figure 4 shows, a continuous assessment system based on formative and summative assessment was used. Assessment system: continuous (formative and summative).
Formative assessment takes place during the learning process, both procedurally and continuously; it performs the functions of orientation, learning regulation and motivation. Throughout the semester, the tutor/teacher tracks what CAAs have been completed and carries out qualitative and progress-based assessment. Students participate in the assessment process by voluntarily performing complementary activities. Besides, the learning process is reinforced by the importance given to forum-based discussion and attention.
Summative assessment is done at the end of the course instead of continuously. It is the result of the grades earned in the classroom exam (objective testing by multiple-choice format) and the voluntary CAAs:
Objective test: Multiple-choice format. The limitations of multiple-choice testing have been pointed out by many authors (e.g., Álvarez, 2009). Presenting students with a multiple choice hampers the assessment of ‘learning to be’, ‘learning to live’ and learning to be and find one’s place in the world (see Álvarez, 2009). Whereas objective testing is regarded by a number of experts as an inadequate tool to assess competences, objective testing unquestionably makes it possible to assess a large number of students objectively.
Continuous assessment activities (CAAs): These voluntary activities accounted for up to 20% of the final grade (10% per activity) if the student passed the exam. Each student was allowed to perform a maximum of two activities chosen from a list of three: (i) designing and maintaining a blog; (ii) podcasting; and (iii) designing and maintaining a wiki.
Participants
Sample and sampling error.
The sampling error was found by taking account of the different participating samples, on the basis of simple random sampling in the least favoured case (p = q = .5), considering a confidence interval of 95% (see Table 2).
Procedure
Students’ and tutors’ opinions regarding the acquisition of competences.
Note: 1 = Development of higher cognitive processes; 2 = Management of processes of improvement, quality and innovation; 3 = Use of efficient, sustainable resources, tools and the Knowledge Society Social Education degree; 4 = Design and development of processes of participation in society and community development; 5 = Development and management of media and resources for educational action Pedagogy degree; 6 = Design of plans, programmes, projects, activities and resources tailored to different levels of the educational system and virtual modalities; 7 = Analysis, design and evaluation of the applications of information technologies and communication processes associated with education and training.
The survey is available in Spanish at http://goo.gl/ahjvD7.
Learning outcomes achieved by students in exams and activities during the academic year were analysed as well.
Data analysis
The technique of content analysis was used to analyse the open-ended questions of the online survey. Student opinions and tutor opinions were analysed.
Descriptive statistics were carried out on the closed-ended survey questions and the students’ exam results and CAA results.
Results
Most participants in the experience, students and tutors alike, found the course was satisfactory and useful: 83.7% of students and tutors saw the course as useful and about 52.9% found the course satisfying.
Table 3 reports students’ and tutors’ opinion regarding the acquisition of competences during the learning experience. Participants were asked to rate how much they agreed/disagreed on the acquisition of specific competences. The table indicates that students and tutors considered that generic UNED competences (1, 2 and 3) were acquired through the course, as well as the specific competences from the Educación Social y de Pedagogía. In fact, over 70% of the students and tutors considered that the target competences were achieved, which can be seen taking into account all the participants who considered they had acquired competences.
There were no significant differences between the opinions of the two samples (students and teacher/tutors) regarding the acquisition of competences. Levene’s test indicates that both samples have equal variances (p = q = .5).
As Figure 5 shows, the majority of students passed the course and 31.2% earned a medium to high grade. About 25% of students failed the course. Exam grades.
A total of 827 students (38.44%) completed one or two of the CAAs on the list.
CAA grades.
Qualitative analysis
The survey asked students and tutors two open-ended questions about the usefulness of the contents, activities, resources of the course and the personal satisfaction they had gained from the course.
Students and tutors viewed the learning accomplished as positive. The aspects they stressed included the value of the proposed activities in terms of their future profession, the intensely interesting nature of the course, the innovative nature of the course and the general usefulness of the knowledge the students acquired.
Students and tutors also stressed aspects regarded as fundamental for constructivist learning. For example, through study of the course contents, students learned basic aspects that reinforced ‘learning by doing’ and an analytical, critical attitude towards content and relationships between concepts.
The contents of the text were considered ‘clear, concise’. The book’s contents were seen as up to date and well adapted to the undergraduate degree programme. The contents were considered to facilitate meaningful, functional learning and to ‘lay the foundations for understanding the relationship between ICT and education’.
When questioned about the course methodology, participants stressed the quality of the tutorials, the attention they received and the accuracy and speed of response of tutors and teachers.
When asked for suggestions for improvement of the course, 23% suggested changes to the course content, and 19% to the course methodology.
Questioning about how to improve the textbook content elicited a number of suggestions. The book’s contents were perceived as too wide-reaching and dense, couched in overly technical language and not entirely up to date.
On the subject of the methodology, participants suggested improving mainly two aspects, the practicality of the course and the assessment system. Participants suggested adding more hands-on elements to the course, including more compulsory activities, and more hands-on activities applying Web 2.0. The students also suggested the use of social networks within the course’s methodology, and to provide more documentation with practical applications in education.
Discussion
52% of students and tutors reported that they were satisfied with the course, and over 83% reported that they considered the course useful. Moreover, students and tutors alike considered that the target competences were developed during the course.
The students’ performance in the subject (the high grades earned in the CAAs contrast with lower performance in the tests results) may be due to the fact that different aspects of learning were evaluated: CAAs assess a practical competence and the exam the acquisition of theoretical knowledge. It must, however, be noted that CAAs were carried out only by a part of the participants. The voluntary nature of the CAAs might have implied that only the most motivated and high performing students had decided to do them.
The total failure rate of 25.43% found in the exam may be viewed as a high percentage. However, it must be taken into account that it is a first course subject where, generally, numerous failures are typically found. It is in the first year when students check whether their work and family lives are compatible with higher education. In many cases, students find out they cannot continue their studies, considering the time and effort required in order to do so.
The high performance in the CAAs shows that the students who performed the activities acquired competences related to the new literacy, such as technical and networking skills.
Certain positive aspects of the course were highlighted, such as its theoretical/hands-on approach, its communication system and its socio-educational focus. Students had the opportunity to select information and integrate the contents into a coherent whole. These aspects are the one considered basic by Zabala (1999) for constructivist learning.
On the basis of Angulo’s equivalence (2009), it may be concluded that the model presented in this article facilitates the development of competences related to ‘learning to know’ and ‘learning to do’. Nevertheless, ‘learning to live together’ and ‘learning to be’ are not competences that can be measured through objective testing. Hence, the assessment system needs to be revised to ensure that these competences too are assessed, probably through the modification of the hands-on assignments.
Some improvements have already been made, while other changes have yet to be implemented. In response to students’ requests for improvement through the elimination of technical language, new teaching material was published for the 2013–14 academic year. However, research still needs to be expanded to include other aspects, such as forum participation and the learning process during the performance of complementary activities.
Efectividad del modelo de alfabetización virtual en adquisición de competencias pedagógicas
El presente artículo presenta un informe sobre la aplicación del modelo de alfabetización virtual en una asignatura llamada Sociedad del Conocimiento, Tecnología y Educación incluida en el plan de estudios de los estudios de grado en educación social y en pedagogía de la Facultad de Educación de la UNED (Universidad Nacional de Educación a Distancia). El estudio se llevó a cabo a lo largo del curso académico 2012–13. Los objetivos eran: Llegar a una comprensión profunda de la satisfacción de los estudiantes y los tutores con el curso. Explorar la utilidad del curso tal y como la perciben los estudiantes y los tutores. Analizar los puntos de vista de estudiantes y tutores acerca de la adquisición de competencias a lo largo del curso. Determinar el rendimiento de los estudiantes a lo largo del proceso de aprendizaje.
Marco teórico
La experiencia en que se basa este estudio se diseño de acuerdo a dos cuestiones principales: en primer lugar, el modelo de aprendizaje de competencias procedente de la European Higher Education Area (EHEA) (European Commission, 2000) e implementado en España en la UNED. En este marco se subrayan como esenciales tres conceptos: ECTS (European Credit Transfer System), resultados de aprendizaje y competencias.
El ECTS mide el volumen de trabajo que debe realizar un estudiante en un curso concreto, mientras que los resultados de aprendizaje y las competencias son los parámetros empleados para especificar metas académicas. Los resultados de aprendizaje son los logros reales, medibles que un estudiante ha obtenido después de completar el período de formación. El concepto competencia es más complejo y se refiere a la capacidad de responder a demandas complejas y de llevar a cabo diversas tareas adecuadamente (Organization for Economic Co-Operation and Development (OECD), 2002). Un profesional competente debería saber y comprender (‘conocimiento teórico de una área académica’), saber cómo actuar (‘aplicación práctica y operativa del conocimiento a situaciones determinadas’) y saber cómo ser (‘valores como elemento integral de la forma de percibir y de vivir con otros y en un contexto social’) (European Commission, 2000, p. 28).
En segundo lugar, esta experiencia se ha diseñado y desarrollado teniendo en cuenta las variables del aprendizaje semipresencial (b-learning, de ‘blended learning’) tal y como han definido diferentes autores; estas variables incluyen:
Aprendizaje autónomo: se postula como una de las características distintivas del aprendizaje online (Pintrich, 2000).
Proceso comunicativo (DeLotell, Millam, & Reinhardt, 2010; Gunawardena, Linder-VanBerschot, LaPointe, & Rao, 2010) y la importancia del cuidado de la interacción mediante una respuesta rápida y apropiada a los estudiantes (Johnson, Aragón, Shaik, & Palma-Rivas, 1999).
Motivación, inteligencia y una visión positiva y grado de satisfacción alcanzado por el estudiante (Gunawardena et al., 2010).
Calidad de los contenidos (DeLotell et al., 2010).
Aprendizaje constructivo: implica, entre otras cosas, la construcción del conocimiento como resultado de un proceso conjunto y compartido por profesores y estudiantes (Solé & Coll, 1999). Zabala (1999) subraya aspectos como la necesidad de ofrecer a los estudiantes contenidos significativos y funcionales ajustados a su desarrollo, e importantes para facilitar la construcción del conocimiento.
La experiencia didáctica
La UNED es una universidad a distancia que emplea una metodología semipresencial (b-learning), que combina educación a distancia, apoyo digital y tutorías cara a cara.
El B-learning se ha definido como un proceso de aprendizaje híbrido, en el cual se combinan elementos de aprendizaje convencional en el aula con otros de aprendizaje a distancia a través del uso de diversas tecnologías (Bartolomé, 2006).
Sobre la base del análisis de un conjunto de estudios e informes (Tuning Project, 2000; y, entre otros, el Proyecto DeSeCo — Definition and Selection of Competencies — de la OECD, 2002) en la UNED se seleccionaron competencias genéricas comunes a todos los grados ofrecidos por la universidad.
Las competencias claves apuntadas en DeSeCo (2002) podrían considerarse equivalentes a los siguientes tipos de aprendizaje tal y como se refiere en el informe Delors (1996): ‘uso interactivo de herramientas’ es equivalente a ‘aprender a conocer’ y ‘aprender a ser’; ‘interactuar en grupos heterogéneos’ es ‘aprender a vivir juntos’, y ‘actuar de forma autónoma’ es ‘aprender a ser’ (Angulo, 2009, p. 184).
Sociedad del Conocimiento, Tecnología y Educación es una asignatura común a los estudios oficiales de grado para los grados de educación social y pedagogía en la Facultad de Educación de la UNED, y equivalen a seis ECTS. Se empezó a impartir en el curso académico 2009–10. El objetivo principal de la asignatura es capacitar a los estudiantes para desarrollar habilidades que faciliten su integración efectiva en la sociedad del conocimiento, y para aportar a futuros profesores y trabajadores sociales una alfabetización digital vocacional básica. La Tabla 1 resume las competencias objeto del curso.
El profesorado responsable de la asignatura fueron dos profesores de la Facultad de Educación (equipo docente) y 64 tutores de instituciones de enseñanza asociadas. El equipo docente fue responsable del diseño de la asignatura, de acuerdo con competencias evaluables y logros de aprendizaje consistentes con el sistema de evaluación, especialmente las actividades de evaluación continua (AECs). A continuación, los profesores prepararon los materiales didácticos (básicos y complementarios) para facilitar el aprendizaje autónomo de los estudiantes. Los profesores redactaron guías didácticas que incluían información sobre objetivos, contenidos, sistemas de evaluación, entre otros. Se incorporó a la asignatura un proceso de evaluación continua, que empleaba AECs para complementar la evaluación del rendimiento mediante exámenes en el aula (tests objetivos). Además se ofrecían actividades complementarias y tests de auto-evaluación. El equipo docente mantuvo una coordinación constante con los tutores. En la UNED se asignan tutores a todos los estudiantes; la principal función de un tutor es proporcionar apoyo, guía y seguimiento respecto a las actividades de aprendizaje y su calificación. Por tanto, los tutores deben familiarizarse con la guía didáctica y con el plan de actividades, así como emplear todos los recursos tecnológicos disponibles.
La asignatura se ciñe al modelo didáctico empleado en la UNED, que prescribe el establecimiento de una variedad de entornos para la interacción, la comunicación y la participación entre el equipo docente, los tutores, los profesores y los estudiantes. Estos entornos son los escenarios en los que tiene lugar el aprendizaje: el curso virtual, las clases presenciales en un centro asociado de la UNED, clases virtuales (sincrónicas y asincrónicas), materiales impresos y multimedia. El principal medio de comunicación fue el foro de discusión (curso virtual).
El curso virtual es el espacio principal para la comunicación y la interacción, en el que el equipo docente, tutores, profesores y estudiantes coinciden. Mediante el curso virtual los estudiantes pueden ver y descargar contenidos, guías didácticas y documentos complementarios, consultar tutoriales de vídeo para las AECs, participar en clases virtuales e interactuar con el resto de participantes en el proceso de aprendizaje. El medio principal de comunicación es el foro de discusión.
Los estudiantes pueden participar voluntariamente en diferentes clases a través del curso virtual o en centros asociados de la UNED. Las clases virtuales pueden verse en los foros, mediante webconferencias dentro del curso virtual y por medio de aulas AVIP (Audiovisual tool on Internet Protocol technology; herramienta audiovisual sobre tecnología de protocolos de internet). Las aulas AVIP son espacios en los centros asociados de la UNED equipados con tecnología para videoconferencia y pizarras interactivas, que permiten que se impartan clases en varios centros al mismo tiempo. La Figura 1 ilustra el proceso completo de enseñanza-aprendizaje en la asignatura Sociedad del Conocimiento, Tecnología y Educación. Proceso de enseñanza/aprendizaje.
Los contenidos a enseñar se presentan en una variedad de guías y materiales. Los profesores escriben las guías para los tutores y los estudiantes, aportando información completa sobre los procesos de enseñanza, tutoría y aprendizaje. El libro de texto posibilita la adquisición no solo de conocimientos teóricos actualizados, sino también de conocimientos prácticos, ya que todos los capítulos sugieren actividades a realizar directamente en la Web 2.0, enlaces a la página web y a una multitud de recursos en los que los estudiantes pueden encontrar ejemplos reales de un nuevo modelo de alfabetización y socialización en red. El libro ofrece diversos ejemplos de su enfoque constructivista, como el análisis de las escuelas como productoras en lugar de consumidoras de aprendizaje, y su énfasis en el remix como actividad sociocultural que conlleva la construcción de nuevos significados. La mayor contribución del libro es provocar un cierto grado de conflicto cognitivo que estimula la actividad mental de los estudiantes.
El aprendizaje autónomo y auto-regulado es nuclear en la asignatura. Un estudiante autónomo y auto-regulado puede concebirse como aquel que emplea mecanismos de autocontrol para gobernar el proceso de aprendizaje, planteándose sus propias metas de aprendizaje con el apoyo de un proceso que fomenta la autorregulación de sus pensamientos, emociones, conducta y motivación (Pintrich, 2000). En la UNED el proceso sigue el planteamiento propuesto por Sánchez-Elvira y Santamaría (2005) (ver Figura 2).
En Planificación y preparación el estudiante recoge información sobre la UNED, sobre la Facultad de Educación, y sobre la asignatura. Además, se anima al estudiante a analizar sus motivaciones personales, a revisar y valorar su propio conocimiento previo, y a fijarse un calendario para las distintas tareas. En Ejecución de actividades el estudiante aplica estrategias de aprendizaje y observa, detecta y analiza el progreso personal (auto-supervisión). En la fase de evaluación se anima al estudiante a poner en marcha estrategias psicológicas (control de la ansiedad y análisis racional de la situación) y a completar tests de auto-evaluación.
Fases de la experiencia didáctica
Como muestra la Figura 3, la experiencia de aprendizaje tuvo lugar en cuatro fases durante el curso académico 2012–13, a lo largo de un período de 10 meses. En primer lugar se diseñó y probó una experiencia piloto (Fase 1). A continuación se llevó a cabo una experiencia a gran escala, seguida de una encuesta online relativa a satisfacción, utilidad de la asignatura, adquisición de competencias y posibles mejoras de la asignatura (Fase 2). Por último, en las fases 3 y 4 los logros de los estudiantes, y su respuesta a la experiencia didáctica a gran escala, se evaluaron y analizaron. Fases de desarrollo de la experiencia.
Evaluación de la experiencia didáctica
Durante el curso académico 2012–13 se analizaron la eficacia, ventajas y limitaciones del modelo de alfabetización propuesto, sobre la base de las opiniones de los estudiantes y los tutores y los niveles de aprendizaje logrados. Las opiniones de estudiantes y tutores se recabaron mediante una encuesta online y los niveles de aprendizaje alcanzados mediante un sistema de evaluación continua: Tests y Actividades de Evaluación Continua (AECs).
Como muestra la Figura 4, se empleó un sistema de evaluación continua basado en evaluación formativa y sumativa. Sistema de evaluación: continua (formativa y sumativa).
La evaluación formativa tiene lugar a lo largo del proceso de aprendizaje, procedimental y continuo; sus funciones son la orientación, la regulación del aprendizaje y la motivación. A lo largo del semestre, el tutor/profesor realiza un seguimiento de las AECs completadas y lleva a cabo una evaluación cualitativa y basada en el progreso. Los estudiantes participan en el proceso de evaluación mediante la participación voluntaria en actividades complementarias. Además, la importancia otorgada a las discusiones que tienen lugar en el foro refuerza el proceso de aprendizaje.
La evaluación sumativa se lleva a cabo al término del curso. Se compone del resultado de las notas obtenidas en el examen presencial (test objetivo mediante preguntas de opción múltiple) y las AECs voluntarias:
Test objetivo: formato de opción múltiple. Muchos autores han apuntado a las limitaciones de los tests de opción múltiple (e.g., Álvarez, 2009). Pedir a los estudiantes que rellenen un test de opción múltiple obstaculiza la evaluación de ‘aprender a ser’, ‘aprender a vivir’ y aprender a ser y encontrar un lugar en el mundo (ver Álvarez, 2009). Mientras que algunos expertos consideran que los tests objetivos son herramientas poco adecuadas para la evaluación de las competencias, es incuestionable que permiten evaluar objetivamente a un número muy elevado de estudiantes.
Actividades de Evaluación Continua (AECs): estas actividades voluntarias constituyeron el 20% de la nota final (10% por actividad) si el estudiante aprobaba el examen. Se permitió a cada estudiante llevar a cabo un máximo de dos actividades, escogidas de una lista de tres: (i) diseñar y mantener un blog; (ii) podcasting; y (iii) diseñar y mantener una wiki.
Participantes
Competencias a desarrollar.
Muestra y error muestral.
El error muestral se estableció mediante un muestreo aleatorio simple en el caso menos favorecedor (p = q = .5), teniendo en cuenta un intervalo de confianza del 95% (ver Tabla 2).
Procedimiento
Opiniones de estudiantes y tutores sobre la adquisición de competencias.
Nota: 1 = Desarrollo de procesos cognitivos superiores; 2 = Gestión de procesos de mejora, calidad e innovación; 3 = Uso de recursos y herramientas eficientes, sostenibles, sociedad del conocimiento grado de educación social; 4 = Diseño y desarrollo de procesos de participación en la sociedad y desarrollo comunitario; 5 = Desarrollo y gestión de medios y recursos para la acción educativa Grado de pedagogía; 6 = Diseño de planes, programas, proyectos, actividades y recursos específicos a los distintos niveles del sistema educativo y modalidades virtuales; 7 = Análisis, diseño y evaluación de los procesos de aplicación de las tecnologías de la información y la comunicación relacionados con la educación y la instrucción.
La encuesta está disponible en http://goo.gl/ahjvD7.
También se analizaron los resultados de aprendizaje logrados por los alumnos en exámenes y actividades realizadas a lo largo del curso académico.
Análisis de datos
Se empleó la técnica de análisis de contenidos para analizar las preguntas abiertas de la encuesta online. Se analizaron las opiniones de estudiantes y tutores.
Se aplicaron estadísticos descriptivos a las preguntas cerradas de la encuesta y a los resultados de exámenes y AECs de los estudiantes.
Resultados
La mayor parte de los participantes, tanto estudiantes como tutores, encontraron que la asignatura fue satisfactoria y útil: 83.7% de los estudiantes y tutores consideraron que era útil y 52.9% satisfactorio.
La Tabla 3 muestra la opinión de los estudiantes y los tutores acerca de la adquisición de competencias durante la experiencia de aprendizaje. Se pidió a los participantes que pusieran una puntuación a su acuerdo o desacuerdo con la adquisición de competencias específicas. La tabla indica que los estudiantes y los tutores creyeron que se adquirieron las competencias genéricas de la UNED (1, 2 y 3), así como las competencias específicas de Educación Social y de Pedagogía. De hecho más del 70% de los estudiantes y tutores consideraron que se logró adquirir las competencias pretendidas, algo que se puede deducir cuando se tienen en cuenta todos los participantes que consideraron que habían adquirido competencias.
No se encontraron diferencias significativas entre las opiniones de las dos muestras (estudiantes y profesores/tutores) respecto a la adquisición de competencias. El test de Levene indica que ambas muestras tienen varianzas iguales (p = q = .5).
Como muestra la Figura 5, la mayoría de los estudiantes aprobó la asignatura y 31.2% obtuvo una nota entre media y alta. Alrededor de 25% de los estudiantes suspendió la asignatura. Calificaciones en el examen.
Calificaciones en AECs.
Análisis cualitativo
En la encuesta se planteaban dos preguntas abiertas a estudiantes y tutores sobre la utilidad de los contenidos, actividades y recursos disponibles de la asignatura, así como sobre la satisfacción personal que habían obtenido de ella.
Tanto estudiantes como tutores valoraron positivamente la experiencia de aprendizaje. Enfatizaron aspectos como el valor de las actividades propuestas de cara a su profesión futura, el alto nivel de interés intrínseco e innovación de la asignatura y la utilidad general del conocimiento que adquirieron los estudiantes.
También subrayaron aspectos considerados como fundamentales según un enfoque constructivista del aprendizaje. Por ejemplo, a través del estudio de los contenidos propuestos para la asignatura los estudiantes aprendieron cuestiones básicas que reforzaron la idea de que se ‘aprende haciendo’, así como una actitud analítica y crítica a la hora de abordar el contenido y las relaciones entre conceptos.
Encontraron los contenidos del libro de texto ‘claros, concisos’, actualizados y bien adaptados al plan de estudios del grado, facilitadores de un aprendizaje significativo y funcional, y ‘sentaban las bases para la comprensión de las relaciones entre las TIC y la educación’.
Cuando se les preguntó sobre la metodología de la asignatura, los participantes subrayaron la calidad de las clases, la atención recibida y la exactitud y rapidez en las respuestas de profesores y tutores.
Cuando se les pidió sugerencias para la mejora de la asignatura, un 23% sugirió cambios al contenido y un 19% a la metodología.
Cuando se les preguntó cómo mejorarían el contenido del libro de texto hicieron varias sugerencias. Consideraban que el contenido era demasiado amplio y denso, formulado en un lenguaje excesivamente técnico y no del todo actualizado.
En cuanto a la metodología, los participantes sugirieron que se mejoraran fundamentalmente dos aspectos: la practicidad del curso y el sistema de evaluación. Sugirieron incluir más elementos prácticos a la asignatura, más actividades obligatorias, y más actividades aplicadas a la Web 2.0. Los estudiantes también sugirieron utilizar las redes sociales dentro de la metodología de la asignatura, y la aportación de más documentos con aplicaciones prácticas en la educación.
Discusión
El 52% de los estudiantes y tutores informaron de que estaban satisfechos con la asignatura, y más del 83% consideraron que la asignatura era útil. Además, tanto estudiantes como tutores consideraron que se habían desarrollado las competencias deseadas.
En cuanto al rendimiento de los estudiantes en la asignatura (las altas calificaciones obtenidas en las AECs contrastan con el rendimiento en los resultados del test, más bajo) puede deberse a que se evaluaban distintas vertientes del aprendizaje: las AECs evalúan una competencia práctica, y el examen la adquisicón de conocimientos teóricos. Sin embargo, debemos señalar que solo algunos participantes completaron las AECs. La naturaleza voluntaria de estas actividades puede significar que solo los alumnos más motivados y de rendimiento más alto se decidieron a realizarlas.
El porcentaje de suspenso en el examen, un 25.43%, puede considerarse como muy alto. Sin embargo, debe tenerse en cuenta que esta es una asignatura de primer curso, lo que suele conllevar un alto índice de suspenso. En el primer año los estudiantes comprueban si pueden conciliar sus vidas laborales y familiares con la educación superior y, en muchos casos, al darse cuenta del tiempo y esfuerzo necesarios los alumnos, deciden dejar los estudios.
El alto rendimiento en las AECs son una garantía de que los estudiantes que las completaron adquirieron competencias relacionadas con la nueva alfabetización, como habilidades técnicas y sociales.
Destacan algunos aspectos positivos de la asignatura, como el enfoque teórico/práctico, el sistema de comunicación y el énfasis socioeducativo. Se dió a los estudiantes la oportunidad de seleccionar información e integrar contenidos en un todo coherente, aspectos que Zabala (1999) considera básicos en el aprendizaje constructivista.
Basados en la equivalencia de Angulo (2009), podemos concluir que el modelo presentado en este artículo facilita el desarrollo de competencias relacionadas con ‘aprender a conocer’ y ‘aprender a hacer’. Sin embargo, ‘aprender a convivir’ y ‘aprender a ser’ no son competencias que se puedan medir mediante tests objetivos. Por ello, el sistema de evaluación debe revisarse de forma que también estas competencias se puedan evaluar, probablemente modificando las tareas prácticas.
Algunas mejoras ya se han aplicado, mientras que otras aún deben ser incluidas. Por ejemplo, en respuesta a las peticiones de los alumnos de la eliminación del lenguaje técnico, en el año académico 2013–14 se modificó el material didáctico. Sin embargo, futuras investigaciones deberían ampliar su espectro para incluir aspectos como la participación en el foro y el proceso de aprendizaje durante la realización de las actividades complementarias.
Disclosure statement
No potential conflict of interest was reported by the author. / Los autores no han referido ningún potencial conflicto de interés en relación con este artículo.
