Abstract
Based on person-centred care (PCC), new instruments to assess the quality of life of elderly people with dementia, such as the Dementia Care Mapping (DCM) tool, have been developed. The aim of the study was to determine the psychometric properties of the DCM tool for its use in research into nursing homes. Sixty-eight elderly people who had dementia living in four different nursing homes participated in the study. DCM was applied twice (with six months difference between each administration) and its results were compared with the GENCAT scale of quality of life. Results showed that DCM has a limited concurrent validity, test-retest reliability and inner consistency, which questions its use as a research tool. The authors discuss the difficulty of evaluating the quality of life in people who have dementia and what the DCM tool really evaluates.
This biomedical model has been the most predominantly used tool in the care of elderly people with neurodegenerative diseases. This model has facilitated progress in understanding, diagnosing and treating these diseases. However, some authors have proposed that the biomedical model should be supplemented with other approaches which consider the perspective of the person with dementia, treating them as individuals who have a biography, unique needs and feelings which must be included during the design of personalized care programmes. These perspectives are grouped into what is known as Person Centred Care models (PCC, Cotrell & Schulz, 1993; Kitwood, 1997; Rodríguez, 2010). PCC models emphasize the preservation of quality of life through the promotion of independence, autonomy and dignity for people with dementia during their care (Brooker, 2003; Edvardsson, Winblad, & Sandman, 2008; Kitwood, 1997).
The definition and especially the assessment of quality of life in people with dementia have shown to be extremely complex questions to answer (Chenoweth et al., 2009; Edvardsson et al., 2008). Regarding the definition, there is certain consensus on the multidimensional nature of the construct, which includes not only objective aspects relating to the environment in which the person with dementia live and the care they receive, but also subjective aspects associated with well-being and emotions they experience (Burgener, Twigg, & Popovich, 2005).
In regards to the second issue on assessment, various instruments have been developed to assess dementia patients’ quality of life and well-being (Ready & Ott, 2003). However, not all instruments share the same theoretical assumptions or measurement model. In this sense, Fossey, Lee, and Ballard (2002) distinguish three types of instruments: self-assessment, those based on estimates from external informants and observational tools.
The first type are instruments used by people who have early stages of dementia to assess their own quality of life (Logsdon, Gibbons, McCurry, & Teri, 2002; Selai & Trimble, 1999). These instruments uphold the perspective of the person with dementia, but because of the nature of the disease, they are difficult to use once dementia progresses (Rabins & Kasper, 1997).
Other studies use instruments where people close to the person with dementia must complete a questionnaire, usually a family member or a professional if the person is institutionalized (Edvardsson & Innes, 2010). Despite its advantages over self-reports, the use of informants also has some drawbacks. For example, some studies find that the well-being of the informant can bias their judgements and that there seems to be a tendency to underestimate the quality of life of people who have dementia if certain symptoms exists (Hoe, Katona, Orrell, & Livingstone, 2007; Spector & Orrell, 2006). However, the difference between the measurements of well-being obtained through self-reports and questionnaires completed by family members or professionals tend to be low and not statistically significant (Edelman, Fulton, & Kuhn, 2004; Thorgrimsen et al., 2003).
The third type of method for assessing the quality of life of people who have dementia is direct observation and recording their behaviour. This type of action involves a greater investment of time and requires trained observers, but also offers significant amounts of information and can be especially useful in advanced stages of the disease. One of the observational methods most used to assess the quality of life of people who have dementia is the Dementia Care Mapping (DCM) tool. It is an instrument that includes indicators of well-being and quality of care received by people who have dementia and live in residences. It was developed by researchers at the University of Bradford in the early 90s as a tool to foster improvements in care practices and improve the quality of life of institutionalized elderly people based on PCC models (Brooker, 2005). For example, in their comparative study between the use of DCM, training in person-centred care (PCC) and a model of usual care, Chenoweth et al. (2009) concluded that use of DCM was what most guaranteed the introduction and maintenance of practices based on PCC over time, while the effect of PCC training faded quickly.
Well-being indicators assessed by DCM have also been used for research purposes. In his review of the literature, Brooker (2005) documents over 30 articles that, to date, use DCM for those purposes. It has also been adapted into Japanese (Suzuki et al., 2008) and Spanish. However, although the original English and the Japanese adaptation have reliability and validity indicators for the instrument, essential to ensure the use of DCM in research, these indicators do not yet exist for Spanish.
As for reliability, studies show acceptable levels of test-retest reliability and inter observer agreement (Beavis, Simpson, & Graham, 2002; Edelman et al., 2004; Fossey et al., 2002). Similarly, when adapting the tool to Japanese, Suzuki et al. (2008) reported a correlation of .83 between well-being measures with DCM taken a week apart. However, other studies question the interobserver reliability. For example, Thornton, Hatton, and Tatham (2004) obtained clearly insufficient kappa values of less than .60.
As for the validity, the procedure has generally been used to relate DCM measurements with questionnaires completed by external informants. In this case, different results were obtained. Thus Fossey et al. (2002) found a relatively high correlation (r = .73) between well-being scores obtained by using DCM and the quality of life assessments estimated by professionals. Suzuki et al. (2008) reported correlations above .50 between both types of measurements for the DCM tool adapted to Japanese. Conversely, other studies offered less optimistic results. For example, Edelman, Fulton, Kuhn, and Chang (2005) found only moderate correlations between measures made by external informants and observational methods (between .30 and .41). Similar data were obtained by Sloane et al. (2007) which place the correlation of DCM indicators and other instruments based on estimates of informants between .25 and .40. Consequently, further studies are clearly needed to determine the reliability and validity of DCM as an observational well-being measure in patients with dementia.
Thus, the objective of this study is to determine the adequacy of observational methods in assessing the well-being of people who have dementia as valid and reliable to use for research in programmes that promote PCC programmes. Specifically, it aims to evaluate the psychometric properties of the DCM Spanish version, obtaining indicators of internal consistency, test-retest reliability and concurrent validity from its comparison with GENCAT, a questionnaire assessing the quality of life completed with estimates made by professionals.
As for the hypothesis of the study, if DCM is a reliable assessment tool, higher correlations between different well-being indicators provided by DCM are expected, which would mean that the instrument has a high internal consistency. A close relationship between DCM scores obtained for the same participants at two different points in time is also expected.
A second group of hypotheses refers to the validity of the instrument. If DCM is a valid assessment tool, a high correlation between its indicators and those obtained through a questionnaire completed by a professional is expected (in this case, the GENCAT). Additionally, an analysis of the main components which include indicators from both instruments should result in a single component that groups all of them together regardless of the instrument from which they came.
Method
Participants
Sixty-eight people who had been diagnosed with dementia, living in four different residential centres located in the city of Barcelona and its metropolitan area, participated in the study. All the centres were privately run but belong to the Generalitat de Catalunya, Catalan Institute of Social Services healthcare system. The residential centres had an average capacity (up to 80 residents) and the care model was similar in all of them.
There were four selection criteria for the sample. Participants had to: (1) be 65 years old or over; (2) have been diagnosed with dementia; (3) have a Reisberg Global Deterioration Scale assessment level of four or five, corresponding to moderate or severe cognitive impairment; and (4) have lived in a residential centre for at least six months prior to the study.
Of the initial 68 patients 46 were women (66.7%) and 23 men (33.3%). The average age was 86.08 years (SD = 7.04). On average, participants had been living in the residence for 30.32 months (SD = 24.67). The most frequent patient diagnosis was Alzheimer’s disease (26 cases), followed by vascular dementia (13 cases) and mixed Alzheimer and vascular dementia (five cases). Regarding the Mini Mental State Examination (MMSE) score, an average value of 18.09 (SD = 3.75) was obtained using the adapted Spanish version (Lobo, Ezquerra, Gómez, Sala, & Seva, 1979). For the test-retest reliability, 25 of the 36 participants from centres 3 and 4 were observed twice. Nine could not be observed in the second assessment point because of demise or transfer to another centre. Approximately three months passed between the first and second observations of each participant. This period was established following advice given by Beavis et al. (2002), who recommend, even when studying patients who have dementia, ensuring sufficient periods between observations to obtain coefficients for test-retest reliability of more than the two or three weeks used in some studies.
Instruments
Participants were assessed with two devices, one based on observational records (DCM) and another on estimates made by professionals (GENCAT).
The DCM version used was the Spanish adaptation of the eighth edition (and the latest to date) of the original English (Bradford Dementia Group, 2005). This adaptation was carried out by the Alzheimer Catalunya Fundació (Catalan Alzheimer Foundation) under the supervision of the University of Bradford and published in Spanish and Catalan for use in the training of professionals in Spain (Brooker & Surr, 2005). The University of Bradford has an established international network of organizations and professionals which ensures continuous and standardized training in the use of its instrument. In the case of Spain, this contact is the Fundació Alzheimer Catalunya.
Up to three different types of information were encoded during observation of the residents: (1) well-being or ill-being (Mood and Engagement or ME); (2) Behaviour Category Codes, or BCC; and (3) personal enhancers and detractors observed during interactions between care-givers and residents.
Regarding well-being-ill-being (WIB), the observer would give a score for every five minutes of observation out of six points (-5, -3, -1, +1, +3, +5) according to signs of well-being the person who had dementia had shown during that five-minute period. The behaviour of the person with dementia was also coded every five minutes. The DCM tool provides a template for this which covers 23 categories reflecting the range of behaviours people with dementia who live in institutional settings can show. These categories include behaviours that indicate both an active engagement with the environment (e.g., communication, leisure, etc.) and a lack of involvement in that environment (e.g., sleep, non-involvement, etc.) From these categories and their frequency within the observed period, DCM facilitates the calculation of four different quality of life indicators: Occupational Diversity (OD), Positive Involvement (PI), Agitation (AG) and Abandonment (AB). Finally, personal detractors or enhancers are the relationships between the centre care-givers and residents observed by the encoder. They consist of 17 personal detractors (such as intimidating, condescending, manipulative, etc.) and 17 enhancers (respectful, accepting, empowering, etc.) that they record on the register sheet each time they occur. Because the enhancers and detractors are more a measure of care quality and not the well-being of residents, they were not included in the study.
As for the reliability and validity of the instrument, in the introduction we mentioned the main results and how they were relatively disparate. So while some studies found levels of acceptable test-retest reliability and high correlation with other measures of well-being (e.g., Fossey et al., 2002), other indicators did not guarantee the reliability and validity of the instrument (e.g., Thornton et al., 2004).
The GENCAT scale is designed to measure the quality of life of users of social services, including nursing homes (Verdugo, Arias, Gómez, & Schalock, 2008). The GENCAT consists of 69 items and assesses eight dimensions: (1) emotional well-being; (2) interpersonal relations; (3) material well-being; (4) physical well-being; (5) social inclusion; (6) personal development; (7) self-determination; and (8) rights. It also provides a global rating of the quality of life obtained from the sum of the individual scores from the 69 items. Among the psychometric properties, the authors of the scale emphasize the good internal consistency index (.92) it has, although the consistency of each dimension is lower, ranging from .47 (physical well-being) to .88 (Self-determination) (Verdugo et al., 2008). The GENCAT scale is designed for use by a social services professional who has the opportunity to observe the person being assessed in different contexts for extended periods of time. The respondent must indicate how often the person being assessed behaves as described for each item. A scale of four points is used for this: ‘almost always’ (3) to ‘rarely or never’ (0).
Procedure
After presenting the study to the management of each centre, participation was formalized by signing an agreement which specified the data collection method.
At the request of researchers, the psychologist from each centre produced a list of residents who met the selection criteria described above. From this list, 18 participants from each residence were randomly chosen. This number depended on the availability of observers to carry out the encoding. Before the data were collected, the participants and their families were informed of the study objectives and their informed consent was obtained. In the few cases where such consent could not be obtained, the person was replaced by another person from the same residence who also met the selection criteria. Once the study had begun, four of the 72 participants could not complete the encoding programme and were eliminated from the study, so the sample was composed of 68 people.
The GENCAT scale was completed by the team member that had most contact with the person being assessed (it was usually the psychologist, but not for every person). The DCM tool was applied by four observers who had obtained certification at an official three-day course accredited by the Bradford Dementia Group and Alzheimer Catalunya Fundació. Observational data involved the systematic observation of two different patients simultaneously over a range of 4.5–6 hours. These observation periods were included in the residents’ schedule of activities (between 9:30 am and 19:30 pm) on weekdays. The start time was chosen randomly but ensured that the number of participants observed during the morning and afternoon was approximately the same for each centre.
Two months after the first round of data collection the participants from two of the residential centres were contacted a second time. Centres that had the complete data for the 18 selected participants for the first observation round were selected. Informed consent was again obtained from participants to study them and gather their DCM scores.
Data analysis
For the internal consistency of the different indicators obtained from the DCM tool, the indicators (well-being-ill-being, occupational diversity, agitation and abandonment) were correlated with each other, using Pearson linear correlations. The test-retest reliability was obtained from the correlations between scores on the indicators obtained on the same people at two different time periods, separated by six months. Concurrent validity of DCM is obtained from the correlation of its dimensions with the GENCAT instrument. In addition, DCM and GENCAT scores were subjected to main component analysis, to which a varimax rotation was applied to find the minimum number of components with maximum independence between them.
Results
DCM Reliability
Intercorrelations, test-retest reliability and descriptive statistics of DCM well-being indicators.
Note: The results of the main diagonal, in bold, reflect the test-retest correlations. WIB: Well-being-ill-being; OD: Occupational Diversity; POI: Positive Involvement (% time); AGI: Agitation (% time); ABA: Abandonment (% time).
As for the test-retest reliability, in all cases the correlation between the scores of an indicator at two different time periods was positive, although its magnitude was also moderate, between .35 and .48. These coefficients can be viewed on the main diagonal of Table 1.
DCM Validity
None of the DCM indicators correlated significantly with the level of cognitive impairment assessed using the MEC and the GDS (Geriatric Depression Scale), suggesting that these indicators are not assessing the degree of dementia in residents. Four of these indicators were not statistically significantly related to the period the participant had been institutionalized for. The indicator that did, occupational diversity, showed modest correlations in all cases (r = -.27; p < .05).
Correlations between DCM and GENCAT dimensions.
Note: WIB: Well-being-ill-being; OD: Occupational Diversity; POI: Positive Involvement; AGI: Agitation; ABA: Abandonment; GENCAT: global rating of the quality of life; EWB: Emotional well-being; IR: Interpersonal Relations; MWB: Material well-being; PD: Personal Development; PWB: Physical well-being; SD: Self-determination; SI: Social Inclusion; RS: Rights.
Rotated component matrix extracted from the analysis of the main components which included DCM indicators and GENCAT dimensions.
Note: The table does not include factorial loads of less than .40.
Discussion
The purpose of this study was to obtain the psychometric properties of the Spanish translation of the DCM tool in order to assess its suitability as a research instrument. Overall, the results indicate that its suitability is rather limited. Regarding reliability, internal consistency and test-retest reliability follow the expected pattern and direction, but the magnitudes of the correlations, although statistically significant, are modest and rarely exceed .5. Similarly, the coefficient alpha also has a very modest magnitude. These results confirm those obtained by previous studies, where DCM reliability had already proved that there was room for improvement (Thornton et al., 2004).
Regarding validity, the results are similar: although correlation with dimensions theoretically related is significant in many cases and generally follows the expected direction, the magnitude of this relationship is also modest, in the best case scenario values fall between .30 and .50. This magnitude of correlations in the lower range of results obtained from prior studies is more similar to data gathered by Sloane et al. (2007) — who place the correlation of DCM indicators and other instruments based on estimates by informants between .25 and .40 — than they are to data gathered by Fossey et al. (2002) who obtained a correlation of .73 between the indicator well-being-ill-being and a questionnaire completed by informants.
The results extracted from the analysis of the main component confirm the relative independence of DCM indicators regarding the dimensions assessed from an external instrument. Instead of being part of a single factor of well-being, DCM indicators tend to associate together to form an isolated component. Both the correlations with GENCAT and the analysis of the main components suggest that not all DCM indicators equally evaluate well-being. Thus, the index of well-being-ill-being and occupational diversity are those that are most closely related to GENCAT dimensions. In the analysis of the main components, their loads are also high in the first component, formed by GENCAT dimensions with content that is more related to a traditional view of subjective well-being. However, indicators of agitation, abandonment and positive involvement are not very or not at all related, given their lack of statistical significance, with GENCAT dimensions. Undoubtedly, the absence of a standard, universally accepted instrument for assessing well-being in patients who have dementia influences the fact these validity results show so much room for improvement. Thus, there are numerous instruments that use informants, and each include different dimensions and have (GENCAT included) their own problems in regards to reliability and validity.
In summary, the psychometric properties of DCM do not warrant its use as an assessment tool for well-being solely for research purposes, especially as it relates to indicators of positive involvement, abandonment and agitation. Although the indexes of well-being/ill-being and occupational diversity have better properties, they also fall within modest levels of reliability and validity. This conclusion is reinforced if we consider that DCM implies a relative complexity when calculating any of its indicators and, above all, a greater investment of time in observation and training of observers when compared with the use of instruments based on judgements given by informants (Sloane et al., 2007).
The DCM tool has numerous strengths that make its use in clinical practice of residences, centres and day hospitals recommendable. The completeness and thoroughness of the data collected in addition to its sensitivity towards the person with dementia make it particularly suitable as a tool to foster improvements in care practices of these resources. Advocates of DCM recognize that this is the purpose the observation system was designed for (Brooker, 2005) — not to measure well-being for research purposes.
In any event, the interpretation of the results must take into account the limitations of the study. The relatively small sample size, particularly in regard to obtaining test-retest reliability, makes further studies with a larger sample necessary. A second limitation is the use of only one reference test instrument (GENCAT) to estimate the concurrent validity of DCM. Although this instrument is a multidimensional measure of well-being, including other instruments to obtain more robust data would have been advisable.
Nevertheless, the study provides the first results on the psychometric properties of the Spanish version of the DCM tool and a comparison of various types of measuring instruments (observational and based on informants) to measure the well-being of people who have advanced stages of dementia. Moving forward on the evaluation of this concept and choosing the most appropriate methods and instruments for each case will provide elements that will be more suitable to assess interventions with the aim of improving patient care and quality of life.
La evaluación del bienestar en pacientes con demencia: validez y fiabilidad de la versión española del Dementia Care Mapping (DCM)
El modelo biomédico ha sido el predominante en la atención a las personas mayores con enfermedades neurodegenerativas. Desde este modelo, se ha progresado en la compresión de este tipo de enfermedades, su diagnóstico y tratamiento. Sin embargo, algunos autores han propuesto que el modelo biomédico debería ser complementado con otras perspectivas que tengan en cuenta el punto de vista de la persona con demencia, tratándoles como individuos con una biografía, necesidades y sentimientos únicos que deben ser tenidos en cuenta para diseñar cuidados personalizados. Estas perspectivas se agrupan en lo que se conoce como modelos de Atención Centrada en la Persona (ACP, Cotrell & Schulz, 1993; Kitwood, 1997; Rodríguez, 2010). Los modelos ACP enfatizan la preservación de la calidad vida de estas personas a través de la promoción de la independencia, autonomía y dignidad de las personas con demencia en sus cuidados (Brooker, 2003; Edvardsson, Winblad, & Sandman, 2008; Kitwood, 1997).
La definición de calidad de vida en personas con demencia y, especialmente, su evaluación, han mostrado no ser cuestiones con una respuesta sencilla (Chenoweth et al., 2009; Edvardsson et al., 2008). Respecto a la definición, existe un cierto consenso sobre la naturaleza multidimensional del constructo, que incluiría no sólo aspectos objetivos, relativos al entorno en el que vive la persona con demencia y los cuidados que recibe, sino también aspectos subjetivos, asociados al bienestar y las emociones que experimenta (Burgener, Twigg, & Popovich, 2005).
En cuanto a la segunda cuestión, la relativa a la evaluación, se han desarrollado diversos instrumentos para evaluar la calidad de vida y el bienestar en pacientes con demencia (Ready & Ott, 2003). Sin embargo, no todos los instrumentos comparten las mismas asunciones teóricas ni el mismo modelo de medida. En este sentido, Fossey, Lee, & Ballard (2002) diferencian tres tipos de instrumentos: los de autoevaluación, los basados en estimaciones de informantes externos y los observacionales.
En cuanto al primer tipo, se trata de instrumentos en los que personas con demencia en fases iniciales han de valorar su propia calidad de vida (Logdson, Gibbons, McCurry, & Terry, 2002; Selai & Trimble, 1999). Este tipo de instrumentos preserva el punto de vista de la persona con demencia pero, debido la naturaleza de la enfermedad, resulta complicado utilizar una vez la demencia avanza (Rabins & Kasper, 1997).
En otros estudios se utilizan instrumentos que han de completar personas cercanas a la persona con demencia, en general un familiar o un profesional si la persona está institucionalizada (Edvardsson & Innes, 2010). Pese a sus ventajas respecto a los autoinformes, el uso de informantes también tiene algunos inconvenientes. Por ejemplo, algunos estudios encuentran que el propio bienestar del informante puede sesgar sus juicios y que parece existir una tendencia a infravalorar la calidad de vida de la personas con demencia si están presentes ciertos síntomas (Hoe, Katona, Orrell, & Livingstone, 2007; Spector & Orrell, 2006). Por otra parte, la relación entre las medidas de bienestar obtenidas mediante autoinformes y cuestionarios completados por familiares o profesionales tiende a ser baja y no alcanza la significación estadística (Edelman, Fulton, & Kuhn, 2004; Thorgrimsen et al., 2003).
El tercer tipo de método para evaluar la calidad de vida en personas con demencia es la observación directa y registro de su comportamiento. Este tipo de medidas implican una mayor inversión de tiempo y necesitan de observadores entrenados, pero al mismo tiempo ofrecen gran cantidad de información y pueden ser especialmente útiles en estadios avanzados de la enfermedad. Uno de los métodos observacionales más utilizados para evaluar la calidad de vida en personas con demencia es el Dementia Care Mapping (DCM), un instrumento que incluye indicadores de bienestar y de la calidad de cuidado que reciben las personas con demencia en entornos residenciales. Elaborado por investigadores de la Universidad de Bradford en a principios de la década de los 90, apareció como un instrumento para promover la mejora de las prácticas asistenciales y mejorar la calidad de vida de las personas mayores institucionalizadas basándose en los supuestos del modelo ACP (Brooker, 2005). Por ejemplo, Chenoweth et al. (2009) en su estudio comparativo entre el uso del DCM, la formación en atención centrada en la persona (ACP) y un modelo de atención usual, concluyeron que el uso DCM era lo que más garantizaba la introducción y mantenimiento de prácticas basadas en ACP a lo largo del tiempo, mientras que el efecto de la formación en ACP se desvanecía rápidamente.
Los indicadores de bienestar evaluados por el DCM también han sido utilizados con fines de investigación. En su revisión de la literatura, Brooker (2005) documenta más de una treintena de artículos que, hasta esa fecha, utilizaban el DCM con esos fines. Ha sido, además, adaptado al japonés (Suzuki et al., 2008) y al español. Sin embargo, si bien del original en inglés y de la adaptación al japonés se disponen indicadores de fiabilidad y validez del instrumento, imprescindibles para garantizar el uso del DCM con fines de investigación, estos indicadores todavía no se poseen de su adaptación al español.
En cuanto a la fiabilidad, algunos estudios muestran unos niveles aceptables de fiabilidad test-retest y de acuerdo inter observadores (Beavis, Simpson, & Graham, 2002; Edelman et al., 2004; Fossey et al., 2002). De manera similar, en la adaptación al japonés, Suzuki et al. (2008) reportan una correlación de .83 entre medidas de bienestar con el DCM tomadas con una semana de diferencia. Sin embargo, otros estudios ponen en duda la fiabilidad interobservadores. Por ejemplo, Thornton, Hatton, y Tatham (2004) obtuvieron valores kappa inferiores a .60, claramente insuficientes.
En cuando a la validez, el procedimiento generalmente utilizado ha sido relacionar las medidas del DCM con cuestionarios completados por informantes externos. En este caso, se han obtenido resultados dispares. Así, Fossey et al. (2002) encuentran una correlación relativamente elevada (r = .73) entre las puntuaciones de bienestar obtenidas mediante el DCM y la evaluación de la calidad de vida estimada por profesionales. Suzuki et al. (2008) reportan correlaciones superiores a .50 entre ambos tipos de medidas para la adaptación japonesa del DCM. En contraste, otros estudios ofrecen resultados menos optimistas. Por ejemplo, Edelman, Fulton, Kuhn, y Chang (2005) encontraron correlaciones sólo moderadas entre medidas de informantes externos y observacionales (entre .30 y .41). Datos parecidos obtienen Sloane et al. (2007), quienes sitúan entre .25 y .40 la correlación de los indicadores del DCM y otros instrumentos basados en estimaciones de informantes. En consecuencia, son claramente necesarios más estudios para determinar la fiabilidad y validez del DCM como medida observacional del bienestar en pacientes con demencia.
De esta manera, el objetivo del presente estudio es determinar la adecuación de los métodos observacionales de evaluación del bienestar en personas con demencia como medida válida y fiable para su uso con fines de investigación en programas que promueven programas de ACP. En concreto, se pretende estimar las propiedades psicométricas de la versión española del DCM, obteniendo indicadores de consistencia interna, fiabilidad test-retest y de validez concurrente a partir de su comparación con el GENCAT, un cuestionario de evaluación de la calidad de vida basado en la estimación de profesionales.
En cuanto a las hipótesis del estudio, si el DCM es un sistema de evaluación fiable, se espera obtener unas altas correlaciones entre los diferentes indicadores de bienestar proporcionados por el DCM, lo que supondría una alta consistencia interna del instrumento. También se espera una estrecha relación entre las puntuaciones del DCM obtenidas para los mismos participantes en dos momentos temporales diferentes.
Un segundo grupo de hipótesis hace referencia a la validez del instrumento. Si el DCM es un sistema de evaluación válido, se espera una alta correlación entre sus indicadores y los obtenidos mediante un cuestionario completado por un profesional (en este caso, el GENCAT). Adicionalmente, la realización de un análisis de componentes principales en el que entrasen los indicadores de ambos instrumentos debería resultar en un único componente que agrupase a todos ellos con independencia del instrumento del que proceden.
Método
Participantes
En el estudio participaron 68 personas diagnosticadas con demencia procedentes de cuatro centros residenciales, situados en la ciudad de Barcelona y su área metropolitana. Todos ellos eran de gestión privada pero pertenecientes a la red asistencial ofrecida por el Instituto Catalán de Servicios Sociales de la Generalitat de Catalunya. Las residencias eran de capacidad media (con plazas hasta para 80 residentes) y el modelo de atención era también similar en todas ellas.
Los criterios de selección de la muestra fueron cuatro: (1) tener 65 años o mas; (2) tener un diagnóstico de demencia; (3) haber sido evaluado en la escala de Deterioro Global de Reisberg con un nivel de cuatro o cinco, correspondiente a un deterioro cognitivo moderado o severo; y (4) vivir en el centro residencial al menos durante los seis meses previos al estudio.
De los 68 pacientes iniciales, 46 fueron mujeres (66.7%) y 23 hombres (33.3%). La edad media de los participantes fue de 86.08 años (DT = 7.04). Como media, los participantes llevaban 30.32 meses ingresados en la residencia (DT = 24.67). El diagnóstico de los participantes que se repetía con más frecuencia fue el de demencia tipo Alzheimer (26 casos), seguido por demencia vascular (13 casos) y demencia mixta Alzheimer y vascular (cinco casos). En cuanto a la puntuación en Mini Examen Cognoscitivo (MEC), utilizando la versión española adaptada (Lobo, Ezquerra, Gómez, Sala, & Seva, 1979) se obtuvo un valor medio de 18.09 (DT = 3.75). Para obtener la fiabilidad test-retest, se observó de nuevo a 25 de los 36 participantes procedentes de los centros 3 y 4. El resto no pudo ser observado en el segundo punto de evaluación debido a su fallecimiento o a su traslado a otro centro. Entre la primera y la segunda observación de cada participante transcurrieron aproximadamente tres meses. Este tiempo se ajusta al consejo de Beavis, Simpson, y Graham (2002), quienes recomiendan, aún en pacientes con demencia, asegurar un lapso de tiempo entre observaciones suficientemente amplio para obtener coeficientes de fiabilidad test-retest, en todo caso superior a las dos o tres semanas que utilizan algunos estudios.
Instrumentos
Los participantes fueron evaluados con dos instrumentos, uno basado en registros observacionales (DCM) y otro a partir de estimaciones de profesionales (GENCAT).
En cuando al DCM, se utilizó la adaptación al español de la octava edición (y última hasta el momento) del original en inglés (Bradford Dementia Group, 2005). Esta adaptación fue realizada por Alzheimer Catalunya Fundació bajo la supervisión de la Universidad de Bradford y editada en castellano y catalán para su uso en la formación de los profesionales en España (Brooker & Surr, 2005). La Universidad de Bradford tiene establecida una red internacional de organizaciones y profesionales que garantiza la formación continuada y la estandarización en el uso de su instrumento. En el caso de España este contacto es la Fundació Alzheimer Catalunya.
Durante la observación de los residentes se pueden codificar hasta tres tipos de información diferentes: (1) bienestar o malestar emocional (Mood and Engagement, o ME); (2) código de categorías conductuales (Behaviour Category Codes, o BCC); y (3) los potenciadores y detractores personales observados en las interacciones entre el personal y los residentes.
Respecto al bienestar-malestar (well-being-ill-being, WIB), el observador adjudica cada cinco minutos de observación una puntuación en una escala de seis puntos (-5, -3, -1, +1, +3, +5) en función de los signos de bienestar que la persona con demencia ha mostrado durante ese periodo. En cuanto al comportamiento, cada cinco minutos también se codifica el comportamiento que está realizando la persona con demencia. Para ello el DCM proporciona una plantilla con 23 categorías que recogen el rango de conductas que pueden mostrar las personas con demencia en un entorno institucional. Estas categorías incluyen comportamientos que indican tanto una implicación activa con el entorno (e.g., comunicación, ocio, etc.) como una falta de implicación en ese entorno (e.g., dormir, desimplicación, etc.) A partir de esas categorías y su frecuencia dentro de una observación, el DCM permite calcular cuatro indicadores diferentes de calidad de vida: Diversidad ocupacional (DO), Implicación Positiva (IP), Agitación (AG) y Abandono (AB). Por último, los detractores o potenciadores personales son las relaciones que el codificador observa entre el personal del centro y los residentes. Consta de 17 detractores personales (como intimidar, infantilizar, manipular, etc.) y 17 potenciadores (respetar, validar, capacitar, etc.) que se apuntan en la hoja de registro cada vez que aparecen. Debido a que los potenciadores y detractores son más una medida de calidad de los cuidados, y no de bienestar de los residentes, no fueron incluidos en el estudio.
En cuanto a la fiabilidad y validez del instrumento, ya se han mencionado en la introducción los principales resultados obtenidos y cómo son relativamente dispares. Así, mientras algunos estudios encuentran niveles de fiabilidad test-retest aceptables y una alta correlación con otro tipo de medidas de bienestar (e.g., Fossey et al., 2002), en otros los indicadores obtenidos no garantizan la fiabilidad y validez del instrumento (e.g., Thornton, Hatton, & Tatham, 2004).
La Escala GENCAT está diseñada para la medida de la calidad de vida de los usuarios de servicios sociales, incluyendo residencias de mayores (Verdugo, Arias, Gómez, & Schalock, 2008). El GENCAT consta de 69 ítems y evalúa ocho dimensiones: (1) bienestar emocional; (2) relaciones interpersonales; (3) bienestar material; (4) bienestar físico; 5) inclusión social; (6) desarrollo personal; (7) autodeterminación; y (8) derechos. Además, proporciona un índice global de calidad de vida obtenido a partir de la suma de las puntuaciones directas en los 69 ítems. Entre las propiedades psicométricas, los autores de la escala destacan el buen índice de consistencia interna (.92) que posee, aunque la consistencia de cada dimensión es menor, oscilando entre .47 (bienestar físico) a .88 (autodeterminación) (Verdugo, Arias, Gómez, & Schalock, 2008). La escala GENCAT se ha diseñado para que la complete un profesional de los servicios sociales que tenga la posibilidad de observar a la persona evaluada en diferentes contextos durante amplios periodos de tiempo. El informante ha de indicar la frecuencia con la que el comportamiento descrito por cada ítem se da en la persona evaluada. Para hacerlo se utiliza una escala de cuatro puntos, de ‘casi siempre’ (3) a ‘nunca o casi nunca’ (0).
Procedimiento
Tras presentar el estudio a la dirección de cada centro, la aceptación a participar se formalizó a partir de la firma de un acuerdo en el que se especificaba el procedimiento de recogida de datos.
A petición de los investigadores, el psicólogo del centro elaboró una lista de los residentes que cumplían los criterios de selección, descritos arriba. A partir de esta lista, se escogieron al azar 18 participantes en cada residencia, número determinado en función de la disponibilidad temporal de observadores para realizar las codificaciones. Antes de la recogida de datos, los participantes y sus familias fueron informados de los objetivos del estudio y se obtuvo su consentimiento informado. En los pocos casos en los que ese consentimiento no pudo obtenerse, la persona se sustituyó por otra de la misma residencia que también cumplía los criterios de selección. Una vez iniciado el estudio, cuatro de los 72 participantes no se pudieron completar las codificaciones y se eliminaron del estudio, con lo finalmente la muestra estuvo compuesta por 68 personas.
La escala GENCAT se completó por el miembro del equipo de profesionales que tenía mayor contacto con la persona evaluada (generalmente, aunque no en todos los caos, el psicólogo). El DCM se aplicó por cuatro observadores certificados en un curso oficial de tres días acreditado por el Bradford Dementia Group y Alzheimer Catalunya Fundació. Los datos observacionales implicaban la observación sistemática de dos pacientes diferentes a la vez durante un intervalo de entre 4.5 y seis horas. Estos periodos de observación estaban incluidos en el horario de actividades de los residentes (entre 9:30 y 19:30 horas), en días laborables. La hora de inicio se decidió aleatoriamente, asegurándose que el número de participantes observados en periodos de mañana y de tarde para cada centro fuese aproximadamente el mismo
Dos meses después de la primera toma de datos se volvió a contactar con los participantes que procedían de dos de los centros residenciales. Se seleccionaron los centros en los que se disponía de datos completos de los 18 participantes seleccionados para la primera observación. Se obtuvo de nuevo el consentimiento informado de los participantes para volver a observarlos y obtener sus puntuaciones en el DCM.
Análisis de datos
Para obtener la consistencia interna de los diferentes indicadores obtenidos a partir del DCM se correlacionaron entre sí, mediante correlaciones lineales de Pearson, esos indicadores (bienestar-malestar, diversidad ocupacional, agitación y abandono). La fiabilidad test-retest se obtuvo a partir de las correlaciones entre las puntuaciones en los indicadores obtenidas en las mismas personas en dos momentos temporales diferentes, separados por seis meses. La validez concurrente del DCM se obtuvo a partir de la correlación de sus dimensiones con las del instrumento GENCAT. Adicionalmente, las puntuaciones en el DCM y en el GENCAT se sometieron a un análisis de componentes principales, a los que se aplicó una rotación varimax para buscar el número mínimo de componentes con la máxima independencia entre ellos.
Resultados
Fiabilidad del DCM
Intercorrelaciones, fiabilidad test-retest y estadísticos descriptivos de los indicadores de bienestar del DCM.
Nota: Los resultados de la diagonal principal, en negrita, reflejan las correlaciones test-retest; WIB: Bienestar-malestar; DO: Diversidad ocupacional; IPO: Implicación positiva (% tiempo); AGI: Agitación (% tiempo); ABA: Abandono (% tiempo).
En cuanto a la fiabilidad test-retest, en todos los casos la correlación entre las puntuaciones de un indicador en dos momentos temporales diferentes fue positiva, aunque su magnitud fue también moderada, de entre .35 y .48. Se pueden observar estos coeficientes en la diagonal principal de la Tabla 1.
Validez del DCM
Ninguno de los indicadores del DCM correlacionó significativamente con el nivel de deterioro cognitivo evaluado mediante el MEC y el GDS, lo que sugiere que esos indicadores no están evaluando el grado de demencia de los residentes. Cuatro de esos indicadores tampoco se relacionaban de manera estadísticamente significativa con el tiempo de internamiento del participante. El indicador que sí lo hizo, la diversidad ocupacional, mostró correlaciones en todo caso modestas (r = -.27; p < .05).
Correlaciones entre los indicadores del DCM y las dimensiones del GENCAT.
Nota: WIB: Bienestar-malestar; DO: Diversidad ocupacional; IPO: Implicación positiva; AGI: Agitación; ABA: Abandono; GENCAT: índice global de calidad de vida; BE: Bienestar emocional; RI: Relaciones interpersonales; BM: Bienestar material; DP: Desarrollo personal; BF: Bienestar físico; AU: Autodeterminación; IS: Inclusión social; DR: Derechos.
Matriz de componentes rotados extraída del análisis de componentes principales en el que entraron los indicadores del DCM y las dimensiones del GENCAT.
Nota: En la tabla se han omitido los pesos factoriales inferiores a .40.
Discusión
El objetivo del estudio era obtener las propiedades psicométricas de la traducción española del DCM y evaluar, a partir de ellas, su adecuación como instrumento de investigación. En general, los resultados obtenidos indican que esa adecuación es en todo caso limitada. En cuanto a la fiabilidad, la consistencia interna y la fiabilidad test-retest siguen el patrón y dirección esperados, pero las magnitudes de las correlaciones, aunque estadísticamente significativas, son modestas y raramente superan el .5. De igual manera, el coeficiente alfa es también de una magnitud muy modesta. Estos resultados confirman los obtenidos por estudios anteriores, en los que la fiabilidad del DCM ya había demostrado ser mejorable (Thornton, Hatton, & Tatham, 2004).
Respecto a la validez, los resultados son similares: aunque la correlación con dimensiones teóricamente relacionadas es significativa en muchos casos y, en general, sigue la dirección esperada, la magnitud de esta relación es también modesta, situándose en el mejor de los casos en valores entre .30 y .50. Esta magnitud de correlaciones en la banda baja de los resultados aportados por estudios anteriores es más similar a los datos de Sloane et al. (2007), quienes sitúan entre .25 y .40 la correlación de los indicadores del DCM y otros instrumentos basados en estimaciones de informantes, que a los de Fossey et al. (2002), quienes obtienen una correlación de .73 entre el indicador bienestar-malestar y un cuestionario de bienestar completado por informantes.
Los resultados extraídos del análisis de componentes principales confirman esta relativa independencia de los indicadores del DCM respecto a las dimensiones evaluadas a partir de un instrumento externo. En lugar de formar parte de un único factor de bienestar, los indicadores del DCM tienden a asociarse entre ellos para formar un componente aislado. Tanto las correlaciones con el GENCAT como el análisis de componentes principales también sugieren que no todos los indicadores del DCM evalúan de igual manera el bienestar. Así, el índice de bienestar-malestar y la diversidad ocupacional son los que más relacionados están con las dimensiones del GENCAT. En el análisis de componentes principales, sus cargas son también elevadas en el primer componente, formado por las dimensiones del GENCAT con contenido más relacionado con una visión tradicional del bienestar subjetivo. En cambio, los indicadores de agitación, abandono e implicación positiva están poco o nada relacionados, teniendo en cuenta su falta de significación estadística, con las dimensiones del GENCAT. Sin duda, la ausencia de un instrumento estándar universalmente aceptado para evaluar el bienestar en pacientes con demencias tiene que ver en la obtención de estos mejorables resultados de validez. Así, existen numerosos instrumentos basados en informantes, y cada uno de ellos recoge dimensiones diferentes y tiene (incluido en GENCAT) sus propios problemas en relación con su fiabilidad y validez.
En resumen, las propiedades psicométricas del DCM no hacen aconsejable su uso como instrumento de evaluación del bienestar con fines exclusivamente de investigación, especialmente por lo que se refiere a los indicadores de implicación positiva, abandono y agitación. El índice de bienestar/malestar y la diversidad ocupacional, aunque tienen propiedades mejores, también se mueven dentro de unos niveles de fiabilidad y validez modestos. Esta conclusión se refuerza si pensamos que el DCM implica una relativa complejidad en el cálculo de alguno de sus indicadores y, sobre todo, una inversión de tiempo mayor en horas de observación y formación de los observadores si lo comparamos con el uso de instrumentos basados en juicios de informantes (Sloane et al., 2007).
El DCM tiene numerosas fortalezas que sí hacen recomendable otros de sus usos en la práctica clínica de residencias, centros y hospitales de día. La exhaustividad y minuciosidad de los datos recogidos, así como su sensibilidad al punto de vista de la persona con demencia, sí lo hacen especialmente adecuado como instrumento para promover la mejora de las prácticas asistenciales en dichos recursos. Los propios impulsores del DCM reconocen que es esta, y no la medida del bienestar con fines de investigación, la finalidad con la que fue diseñado el sistema de observación (Brooker, 2005).
En todo caso, la interpretación de los resultados obtenidos ha de tener en cuenta las limitaciones del estudio. El tamaño relativamente escaso de la muestra utilizada, particularmente en lo que se refiere a la obtención de la fiabilidad test-retest, hace necesarios nuevos estudios con una muestra más amplia. Una segunda limitación es el uso de únicamente un instrumento criterio (el GENCAT) para la estimación de la validez concurrente del DCM. Aunque este instrumento es una medida multidimensional del bienestar, hubiera sido aconsejable incluir otros instrumentos para obtener datos de validez más sólidos.
Pese a ello, el estudio proporciona los primeros resultados sobre las propiedades psicométricas de la versión española del DCM y la comparación de instrumentos de medida de diverso tipo (observacionales y basados en informantes) para la medida del bienestar en personas con demencia en estados avanzados. Avanzar en la evaluación de este concepto, escogiendo los métodos e instrumentos más adecuados en cada caso, permitirá disponer de elementos para evaluar de manera más ajustada las intervenciones destinadas a mejorar la atención y calidad de vida de los enfermos.
Footnotes
This research was funded by the IMSERSO (Instituto de Mayores y Servicios Sociales — Institute for the Elderly and Social Services) Project 47/2011. / Esta investigación contó con la financiación del IMSERSO (Instituto de Mayores y Servicios Sociales), proyecto 47/2011.
