78 / 108
S76
Artigo Original
1. Enquadramento
A meta-avaliação foi definida inicialmente por Scriven (1969)
como a avaliação de uma avaliação.Mais tarde Stufflebeam (Elliot
2011: 943) define meta-avaliação como “
o processo de delinear,obter
e aplicar informação descritiva e de julgamento — sobre a utilidade, a
viabilidade, adequação e precisão de uma avaliação e sua natureza siste-
mática, competente conduta, integridade/honestidade, respeitabilidade e
responsabilidade social — para orientar a avaliação e divulgar publica-
mente seus pontos fortes e fracos
”.
Apesar dos avanços verificados nos estudos avaliativos, especial-
mente em países como o Canadá, tal não se verifica no âmbi-
to da meta-avaliação em países como o Brasil (Hartz, 2006). O
mesmo panorama repete-se nos restantes países da CPLP, o que
torna ainda mais importante o presente exercício avaliativo. Bem
como o estabelecimento de procedimentos de monitorização
e avaliação que permitam tornar a meta-avaliação um proces-
so formativo, na medida em que é introduzida com a pesquisa
avaliativa ainda em curso e de modo a poder contribuir para o
aperfeiçoamento do próprio estudo e não apenas meta-avaliação
somativa, realizada no final da investigação em análise, perden-
do potencial de utilidade dos resultados apresentados (Hartz e
Contandriopoulos, 2008).Acresce o facto de estar também des-
crito que “
apenas uma pequena parte dos estudos avaliativos chega a ser
avaliada, mesmo da maneira mais superficial
” (Worthen 2007 cit in
Hartz e Contandriopoulos, 2008: 7), o que reforça a premissa
acima mencionada.
Os padrões de avaliação de programas devem traduzir os atribu-
tos considerados fundamentais a uma avaliação de qualidade: 1)
utilidade – atende às necessidades de informação dos utilizado-
res; 2) exequibilidade – realista e moderada nos custos, de modo
a justificar a sua realização; 3) propriedade – conduzida etica-
mente, com respeito ao bem-estar dos envolvidos; 4) precisão
– divulga e transmite informações sobre o valor ou mérito dos
programas avaliados com a devida validade (Hartz, 2008).A estes
parâmetros o Joint Committee (2011) juntou
accountability
.
É a necessidade de determinado grupo de interessados em re-
lação aos resultados da avaliação que determina o seu grau de
utilidade.Nessa medida, quer a avaliação, quer os seus resultados
precisam cumprir os seguintes requisitos: ser relevantes para as
decisões dos interessados; estar disponíveis quando as pessoas
interessadas precisam tomar decisões e ser comunicados em
linguagem clara, usando os canais de comunicação apropriados
(Davidson, 2005, cit in Elliot 2011: 948).
Nos países onde existe institucionalizada a prática da avaliação,
destaca-se o investimento na construção de competências em ava-
liação e o estabelecimento do objetivo da utilidade da avaliação
para a tomada de decisão (Sanders 2002; Stevenson et al 2002).
O nosso objetivo foi efetuar uma meta-avaliação com foco na
utilidade, tendo presente a necessidade de continuidade de inter-
venção do PECS I / CPLP (2009-2012) (2009) numa segunda
fase, ou seja, que os resultados da avaliação fossem utilizados, o
que correspondeu ao trabalho conducente às opções e elabora-
ção do PECS II / CPLP (2014-2016) (2014).
2.Meta avaliação do PECS
A prática avaliativa deverá ser considerada útil na medida em que
proporcione aos envolvidos ou interessados (direta ou indire-
tamente) condições para a transformação de uma determinada
realidade (Figueiró et al, 2008).
A nossa questão avaliativa foi saber até que ponto os resultados da
avaliação do PECS I / CPLP (2009-2012) terão sido utilizados
para a elaboração do PECS II / CPLP (2014-2016).
Em termos metodológicos, realizámos uma meta-avaliação nor-
mativa, na medida em que ocorre após o processo avaliativo, e
nos focamos na análise do material disponível que diz respeito à
avaliação desenvolvida.Concretamente, os dois relatórios produ-
zidos: “Primeira ReuniãoTécnica deAvaliação do PECS – 2009-
2012” (Relatório de Avaliação, 2013) e “Um olhar retrospetivo
sobre o I Plano Estratégico de Cooperação em Saúde da CPLP
(PECS I / CPLP, 2009-2012)” (Parte 1, 2013).
O parâmetro proposto para ser avaliado é o da “utilidade” e os cri-
térios definidos são: clareza dos relatórios e impacto da avaliação.
O critério “clareza dos relatórios” foi operacionalizado com base
no item “informação acerca do preenchimento da tabela de grau
de execução dos eixos prioritários” (sim / não).
O critério “impacto da avaliação” foi operacionalizado com
base num conjunto de 5 itens que permitissem avaliar a inter-
ligação entre os eixos estratégicos do PECS I / CPLP (2009-
2012) e as dinâmicas de trabalho do PECS II / CPLP (2014-
2016) e respetivo impacto da avaliação: 1)
Continuidade
direta
– pelo menos 1 dos objetivos transitou diretamente
para uma rede/grupo trabalho; 2)
Continuidade direta
parcial
- pelo menos 1 dos objetivos transitou diretamente,
mas de forma parcial, para uma rede/grupo trabalho; 3)
Sem
continuidade direta
– o eixo / objetivos subjacentes não
transitaram para o PECS II; 4)
Ligação eventual
– existe
uma ligação em pelo menos um dos itens do eixo estratégico/
objetivos e a rede/grupo de trabalho; 5)
sem ligação
– gru-
pos de trabalho sem qualquer ligação com os anteriores eixos
/ objetivos.
Devido ao foco na utilidade, a avaliação centrou-se nos “textos”
produzidos pelos diversos atores (Hartz e Contandriopoulos,
2008).Tendo ainda presente a necessidade de credibilidade da
avaliação, procuramos produzir informação coerente para to-
dos os atores envolvidos na intervenção. Daí a participação das
instâncias de decisão às quais a avaliação se destina, justifican-
do-se a abordagem contextualizada e co-produzida (Contan-
driopoulos, 2006).
Limites
Esta meta-avaliação é limitada desde logo pelo facto de nos
centrarmos exclusivamente na análise dos relatórios de ava-
liação produzidos, que se focaram numa avaliação conjunta do
alcance dos objetivos de cada eixo estratégico do PECS, sem
análise de contexto e especificidades de cada Estado membro.
Adicionalmente, foram estabelecidos apenas dois critérios
para a avaliação efectuada e/ou prática de meta-avaliação com
foco na utilidade, o que nos limita nas possibilidades de análise.