A Confiabilidade de Instrumentos.

A Confiabilidade de Instrumentos.

29-12-2012 11:10

A confiabilidade de instrumentos diagnósticos no campo da psiquiatria tem sido muito estudada, entretanto as peculiaridades do desempenho destes, aplicados em estudos epidemiológicos com amostragem populacional, deixaram de ser alvo de pesquisas nos últimos anos. Poucos têm se preocupado em incluir um estudo de confiabilidade durante o desenvolvimento da coleta de campo, o que, a nosso ver, pode representar erros de interpretação, sobretudo quando se trata de diagnóstico psiquiátrico. Objetivou-se, portanto, discutir essas peculiaridades apresentando as principais dificuldades e as possíveis soluções para os problemas freqüentemente encontrados. Para tanto, utilizou-se o estudo de confiabilidade do inventário de sintomas do Diagnostic and  desenhado para o- DSM-III -Statistical Manual of Mental Disorders  Estudo Multicêntrico de Morbidade Psiquiátrica do Adulto (Almeida Filho et al., 1997) realizado em três áreas urbanas brasileiras.

O Estudo Multicêntrico de Morbidade Psiquiátrica é o primeiro estudo epidemiológico de transtornos psiquiátricos realizado no Brasil que utiliza metodologia de identificação de caso em duas etapas, com instrumentos padronizados. O objetivo deste estudo foi estimar a prevalência de morbidade psiquiátrica em amostras representativas da população acima de 15 anos residentes em três áreas metropolitanas brasileiras (Brasília, São Paulo e Porto Alegre). Para a identificação de casos psiquiátricos, foram utilizadas duas escalas psiquiátricas aplicadas em duas etapas. Na primeira etapa, o Questionário de Morbidade Psiquiátrica do Adulto (QMPA) foi aplicado para rastreamento de casos psiquiátricos em 6.740 indivíduos; na segunda fase, 30% de prováveis casos e 10% de prováveis não-casos (775 indivíduos), identificados pelo QMPA, foram selecionados e submetidos ao inventário de sintomas do DSM-III

 Estudo de confiabilidade

O estudo de confiabilidade do inventário de sintomas do DSM-III foi abordado por dois métodos: o método de entrevistador-observador, conduzido em São Paulo e o método de consistência interna, que possibilitou o estudo do inventário, aplicado nas cidades de Brasília, São Paulo e Porto Alegre.

Inventário de sintomas do DSM-III

O inventário de sintomas do DSM-III foi desenvolvido no Departamento de Psiquiatria da Universidade de Washington, Saint Louis, Estados Unidos, para verificar os diagnósticos gerados pelo Diagnostic Interview Schedule (DIS) (Robins et al., 1981). Esse inventário investiga 39 diagnósticos do DSM-III.

O inventário pode funcionar como um padrão válido para a avaliação de sintomas psiquiátricos e, conseqüentemente, identificação de caso psiquiátrico, desde que aplicado por clínicos treinados e familiarizados com os critérios do DSM-III (Helzer et al., 1985). Todos os diagnósticos que aparecem no instrumento são definidos e têm seus critérios estabelecidos no DSM-III. O instrumento apresenta, para alguns dos diagnósticos, uma lista de sintomas e, para ser classificado como positivo em um ou mais de um diagnóstico, o indivíduo deve apresentar um número mínimo de sintomas e preencher critérios definidos no DSM-III, tais como: pertencer a uma dada faixa de idade determinada, ter apresentado tais sintomas durante um período de tempo determinado, não apresentar outro diagnóstico que exclua a sua presença ou qualquer outra condição de exclusão.

Para a codificação dos sintomas são utilizados três níveis: (1) o sintoma está ausente, ou não há evidência clínica relevante; (5) o sintoma está presente e é relevante do ponto de vista clínico psiquiátrico; (9) incerteza na distinção entre presença e ausência do sintoma. Para a codificação diagnóstica são utilizados quatro níveis: (1) ausente; (3) preenche os critérios do DSM-III e não é excluído por outro diagnóstico do DSM-III; (5) preenche os critérios do DSM-III somente se as regras de exclusão forem ignoradas; (9) incerto. Todos os diagnósticos são feitos tomando como base o tempo de vida do entrevistado; assim, para os indivíduos que preenchem os critérios para um diagnóstico, o período de aparecimento deste é codificado em: (1) nas últimas duas semanas; (2) de duas a menos de um mês; (3) de 1 mês a 6 meses; (4) de 6 meses a 1 ano; (5) menos de 1 ano (não sabe quando); (6) mais de 1 ano atrás.

O inventário de sintomas do DSM-III está organizado para cada diagnóstico de formas diferentes. Existem diagnósticos sem lista e com lista de sintomas e critérios, e estes últimos podem apresentar a lista de sintomas hierarquizada ou não. A hierarquização, nesse caso, significa que um ou mais sintomas devem ser preenchidos de modo afirmativo para que um grupo subseqüente de sintomas seja investigado. Quando não hierarquizado, o entrevistador deve investigar todos os sintomas do diagnóstico. No caso dos diagnósticos sem lista de sintomas e critérios, o entrevistador deve indicar o código diagnóstico de acordo com os critérios da classificação diagnóstica do DSM-III.

Método de entrevistador-observador

O método no qual dois entrevistadores, um entrevistador e outro observador, utilizando o inventário de sintomas do DSM-III, avaliaram um mesmo indivíduo simultaneamente e de forma independente foi utilizado em sujeitos (n = 21) selecionados de forma aleatória dentro da uma subamostra da Cidade de São Paulo. Nessa fase da análise, foi avaliada a concordância alcançada pelos entrevistadores com relação à formulação diagnóstica final. Como se trata de variáveis com níveis de medidas categorizados (três níveis no caso dos sintomas e quatro no caso da codificação diagnóstica), o coeficiente Kappa (Almeida Filho, 1989) foi escolhido para a medida da confiabilidade.

O coeficiente Kappa pode variar de 1 a -1, indicando concordância ou discordância completa, e o valor 0 indica o acaso. Para uma interpretação dos valores de Kappa, utilizou-se a caracterização em faixas de valores para os graus de concordância feita por Landis & Koch (1977). Esses autores sugerem que os valores acima de 0,75 representam concordância excelente, valores abaixo de 0,40 uma concordância pobre e os valores entre 0,40 e 0,75 representariam concordâncias de suficiente a boa. O cálculo do coeficiente Kappa e os respectivos intervalos de confiança a 95% foram calculados segundo às fórmulas apresentadas por Bartko & Carpenter (1976).

Método da consistência interna

Um estudo como esse, que envolve grupos de entrevistadores diferentes em cada cidade, que reúne informações de universos sócio-culturais diversos, poderia suscitar a seguinte pergunta: é possível que um estudo de confiabilidade realizado em uma das cidades (São Paulo) garanta a confiabilidade das entrevistas das outras cidades? A propósito dessa questão, Mitchell (1979) afirma que a qualidade dos dados coletados durante um estudo pode não ser a mesma qualidade dos dados coletados durante o estudo de confiabilidade ou treinamento; então o pesquisador está obrigado a mostrar que seu instrumento de medida é confiável, ou seja, que existe pouco erro de medida e que as medidas individuais mostram estabilidade, consistência e dependência do aspecto, característica ou comportamento estudado.

Assim, para responder à pergunta sobre a confiabilidade, não só em São Paulo, mas também em Brasília e Porto Alegre, calculou-se o ) do conjunto de critérios de cadaacoeficiente alfa de Cronbach ( diagnóstico do inventário de sintomas do DSM-III em cada uma das três cidades estudadas. Os a foram calculados apenas para os diagnósticos que puderam ser analisados com o coeficiente Kappa e que tinham uma lista de sintomas ou critérios.

O coeficiente alfa de Cronbach (1951) foi desenvolvido para calcular a confiabilidade de um teste naquelas situações em que o pesquisador não tem a oportunidade de fazer outra entrevista com o indivíduo; contudo, precisa obter uma estimativa apropriada da magnitude do erro da medida. Nessas situações de pesquisa, também pode ser usado o método de partir ao meio (Split-half method), no qual os escores de duas subdivisões do instrumento são comparados para determinar sua confiabilidade. Esse método, entretanto, tem sido criticado por confundir erro randômico dos sujeitos com diferenças entre as subdivisões do instrumento (Mitchell, 1979).

A interpretação do alfa de Cronbach, todavia, está relacionada à interpretação que é dada para as estimativas de confiabilidade baseadas no método split-half. Isso porque o alfa é uma média de todos os coeficientes split-half para um dado instrumento (Carmines & Zeller, 1979; Cronbach, 1951). Em geral, escalas com valor do alfa menor do que 0,70 são evitadas, por outro lado,  aumenta com o número de questões da escala;ao valor de  assim, escalas com vinte questões freqüentemente apresentam valores  altos,a próximo de 0,90 (Streiner, 1993). Valores de ade  no entanto, são necessários, mas não suficientes, uma vez que é uma estimativa "otimista" da confiabilidade (Streiner, 1993).

Metodo entrevistador