Assim o disse já um tal de Pero Mafaldo,
conta-se na internet, um trovador do século XIII, que o colheu nas suas
experiências de vida, é coisa antiga, estamos habituados, e os ministros de
hoje têm dado boas provas de que para se singrar melhor mais vale mentir, isso é
o menos. Mas somos todos responsáveis pelos resultados negativos, os
professores grevistas, bem comandados pelo comandante das greves, um tal de
Mário Nogueira que também trova bem, o ministro de que trata Alexandre Homem
Cristo que explicita dados mentireiros como se fossem verdadeiros, para que
lhe “vá sempre bem”, e bem assim a todos nós que o que desejamos é acreditar
para que também nos vá bem… podemos criar uma lenga-lenga, por aí fora sobre
isto que vemos e ouvimos e somos e aceitamos. Está visto, mais que visto e
assim gostamos pois aceitamos, no nosso brando mas firme corrupio de subsistência.
Fake news educativas
O Ministro da Educação (com o IAVE)
condicionou a interpretação dos resultados do PIRLS 2021, alegando uma melhoria
dos alunos portugueses que não existe e construindo uma narrativa de
desinformação.
ALEXANDRE HOMEM CRISTO Colunista
do Observador
OBSERVADOR, 18
mai. 2023, 00:227
Os resultados
do PIRLS 2021 (avaliação
internacional de referência para aferir competência leitora no 4º ano) foram
publicados e vieram reforçar o óbvio: os desempenhos dos alunos
portugueses pioraram durante os anos da pandemia, como aconteceu
transversalmente por todo o mundo — não existe excepcionalismo português. Em números,
Portugal obteve um desempenho de 520 pontos, o que fica abaixo dos ciclos de
avaliação anteriores: 541 no PIRLS 2011 e 528 no PIRLS 2016 (relatório PIRLS 2021, p.36).
Ora, por razões que ultrapassam a minha compreensão, o Ministério da
Educação exibe uma tremenda dificuldade em aceitar esta evidência. Consequentemente, desdobra-se em manobras
para encontrar melhorias e declarar vitórias onde estas não existem,
ultrapassando as fronteiras do bom-senso e da seriedade analítica dos dados.
Não é a primeira vez que acontece e, desta vez, fê-lo em dois passos que
merecem ser denunciados — com enviesamentos técnicos que procurarei tornar
facilmente perceptíveis.
Em primeiro lugar, o Ministro da
Educação, João Costa, declarou-se “surpreendido
pela positiva” pelos resultados, pois neles encontrou
uma melhoria dos alunos portugueses, quando (por causa da pandemia) seria de
esperar danos mais efectivos na aprendizagem das crianças. Pergunta: como é que, quando os resultados oficiais
mostram uma pioria, o Ministro da Educação encontra uma melhoria? O
raciocínio (que o IAVE disseminou no seu
relatório nacional e numa brochura síntese) baseou-se numa
desconstrução da amostra dos alunos avaliados. Em
vez de considerar todos os 8209 alunos portugueses avaliados, o governo e o
IAVE optaram por diferenciar os 6111 alunos que realizaram a prova em formato
digital (75% da amostra) e os 2098 alunos que a realizaram em papel (25% da
amostra), para explorar a comparação do PIRLS 2016 com a minoria que a realizou
em papel no PIRLS 2021. Ora, face aos alunos com provas digitais (520 pontos),
os alunos que realizaram a prova em papel obtiveram um desempenho médio
superior (531 pontos), o que corresponde a +3 pontos do que os alunos do PIRLS
2016 (e +11 pontos do que os alunos do digital no PIRLS 2021). Vitória,
vitória, vitória.
Só que há um problema: a comparação
usando exclusivamente os alunos com provas em papel não é válida pelos
parâmetros do PIRLS, por várias razões. Primeira razão: os resultados
oficiais são idênticos aos obtidos em formato digital e são esses que servem de
referência comparativa. A sub-amostra dos alunos com provas em papel existe
para fins de verificação interna da consistência dos resultados (verificar se
há variações entre o papel e o digital que interfiram com os resultados
globais) e para assegurar comparabilidade (fazer a “ponte”) em relação aos
PIRLS de 2016 e de 2011. Segunda razão: o teste da sub-amostra dos alunos
com provas em papel é diferente do teste do formato digital — em papel,
estão as questões de tendência, para assegurar comparabilidade (a “ponte”) em
relação ao passado, mas não estão todas as questões que constam no digital. Terceira
razão: mesmo que se ignorasse tudo isto, não se poderia ignorar a dimensão da
sub-amostra (2098 alunos), muito inferior ao patamar mínimo (4000 alunos)
exigido pelo PIRLS e outras avaliações internacionais para obter resultados
representativos e válidos. Ou seja, ao escolher distinguir e destacar a
sub-amostra dos alunos com provas em papel, o ministro e o IAVE fizeram uma
interpretação à la carte dos
resultados do PIRLS 2021, sem validade científica e sem qualquer consistência,
pelo que tal interpretação não se encontra (para nenhum país) no relatório
oficial dos resultados.
Em
segundo lugar, o IAVE e João Costa justificaram os resultados piores dos alunos
com provas digitais através de uma alegada incompetência técnica do PIRLS. Repare-se
no dilema argumentativo. Quando o presidente do IAVE e João Costa afirmam que
afinal os alunos portugueses melhoraram, porque nas provas em papel os
desempenhos foram melhores do que em 2016, vêem-se na obrigação de explicar o
que correu mal nas provas digitais, onde a pioria foi evidente face a 2016 —
mas não podem afirmar que são os alunos que estão incapacitados para o digital,
pois tal contraria o que têm afirmado a propósito das provas de aferição
portuguesas, que estão em curso em formato digital. Solução
escolhida: culpar a
plataforma internacional do PIRLS. Nas palavras do ministro, no PIRLS houve
“uma mera transposição do papel para o digital”,
tornando a plataforma desadequada e impedindo por exemplo que os alunos
consultassem os textos dos exercícios enquanto respondiam às questões de
compreensão (alegadamente, teriam de memorizar a informação, em vez de a poder
consultar).
O argumento é estapafúrdio e consiste em
colocar em causa a credibilidade do PIRLS e a validade internacional (!) dos
resultados desta avaliação de referência: afinal, João Costa está a alegar
que a plataforma do PIRLS foi mal concebida, com problemas de usabilidade que
influenciariam negativamente o desempenho dos alunos, tornando os resultados
não-representativos do seu conhecimento. Trata-se de um argumento
extremamente implausível, por várias razões. Primeira razão: o PIRLS é realizado por uma entidade
altamente especializada (EIA) que aplica avaliações deste tipo há 65 anos,
reunindo os melhores especialistas internacionais em avaliação de alunos e
preparando as provas e as plataformas durante anos, pré-testando a validade de
cada questão assim como da própria plataforma. Segunda razão: o PIRLS é uma
prova internacional aplicada a 400 mil alunos em 65 países ou regiões, não há
registos de queixas como aquela que João Costa fez e, last but not least,
a diferença média internacional entre os resultados das provas digitais e das
provas em papel foi de 0 pontos (cf. página 9 do relatório do IAVE),
quando em Portugal foi de 11 pontos, sugerindo que o “problema” não está na
plataforma mas sim no caso específico de Portugal. Terceira razão: as três
demonstrações de questões em formato digital que existem, em vídeo no site do
PIRLS, permitem constatar que os problemas que o ministro da Educação apontou
não se confirmam na realidade (vídeos exemplificativos aqui, aqui e aqui).
Concluo como uma outra denúncia e uma
sentença. A denúncia: o Ministério da Educação tem uma
prática de divulgação de dados de avaliações dos alunos que é promotora de
desinformação, pois primeiro conhece-se a interpretação do ministro e só depois
se acede aos resultados oficiais. A
estratégia prejudica o trabalho dos jornalistas, que têm de escrever sob
pressão as primeiras notícias acerca do tema, sem acesso atempado e pleno à informação,
ficando mais dependentes das versões do Ministério da Educação — e assim o
governo consegue guiar o debate público para o lado que lhe interessar.
O procedimento já havia sido aplicado no passado e repetiu-se com o
PIRLS 2021: na véspera da divulgação oficial dos resultados, o governo convocou
conferência de imprensa para a comunicação social, fez a sua análise dos
resultados e entregou as sínteses do IAVE, que incluem os dados da sub-amostra
das provas em papel, que não constam do relatório oficial do PIRLS 2021 e que
não têm validade para comparações. Tudo
isto de modo a inundar as peças jornalísticas (e, consequentemente, o debate
público) com uma ilusão de sucesso educativo — tal como havia feito (e eu criticado)
com as provas de aferição de 2022, a partir das quais o ministro declarou o
sucesso da recuperação da aprendizagem pós-pandemia (em contraciclo
praticamente com o mundo inteiro).
A sentença é que as opções técnicas do
IAVE na análise do PIRLS 2021 (nas quais o ministro se apoiou) geram dúvidas
sobre o seu rigor científico, às quais acresce a coincidência de estas opções
técnicas duvidosas favorecerem politicamente a narrativa do ministro da
Educação. Inevitavelmente, isto afecta a imagem externa e a credibilidade
institucional do IAVE, que deve permanecer independente. É realmente lamentável
que a entidade de monitorização da avaliação educativa em Portugal se deixe
colocar nesta posição.
O
resumo é este: o ministro da Educação (com o apoio do IAVE) condicionou a
interpretação dos resultados do PIRLS 2021, alegando uma melhoria dos alunos
portugueses que não existe e construindo uma narrativa de desinformação. Sinto
que já gastei as palavras para expressar a manipulação que tem sido feita à
volta das avaliações externas dos alunos, pelo que dispensar-me-ei de insistir
na constante desvalorização dos factos em benefício de narrativas políticas nos
últimos anos — acerca dos efeitos da pandemia na aprendizagem, acerca da
ausência de medição de impacto do plano de recuperação da aprendizagem, acerca
da utilidade e comparabilidade das provas de aferição. O PIRLS 2021 é apenas o
último episódio desta série. E a conclusão é sempre a mesma: quem vai pagar a factura serão
os miúdos a quem vendem ilusões.
MINISTRO DA
EDUCAÇÃO GOVERNO POLÍTICA IAVE EDUCAÇÃO MODELO DE
AVALIAÇÃO
COMENTÁRIOS (7)
diogo camoes: Espero que
continue a encontrar força para denunciar isto tudo. Estamos a ser coniventes
com a péssima educação de dezenas de milhares de crianças, ainda para mais
crianças de meios mais desfavorecidos, alargando e aumentando a fundura do
fosso. Os trezentos e cinquenta mil (350.000) pc’s pelo menos já entregues? João Eduardo Gata: O responsável máximo de todas estas falsidades e
mentiras é e será sempre António Costa, o Grande Aldrabão. Alfaiate Tuga: Para o atual governo mentir é tão natural como
respirar, portanto as mentiras só acabam quando faltar o ar! Quanto aos resultados dos miúdos nas provas, bom, o
governo está a ajustar a oferta à procura, então o futuro não é o turismo???
Parece que falta gente para servir à mesa, fazer camas e limpar o chão, o governo
está a formar essa gente, pois também parece que se a população for bem formada
emigra… Rui
Pedro Matos: Se
controlar o passado, domina o presente! Se controlar o presente, dominarei o
futuro. Assim é a regra desta governação desde 2015, com as esquerdas radicais.
Máquina de Propaganda do governo e ainda criticam Hitler e Goebels Bruno Morais:
Ao construírem narrativas ilusórias não
tomam medidas.... o pântano continua. F. Mendes: Os meus parabéns ao AHC, pelo excelente trabalho que
teve a desmontar esta tramóia. Estes fulanos do PS são perigosos, porque
ignoram, distorcem, manipulam, escondem ou escolhem os factos, como melhor lhes
aprouver para continuar a enganar os mais distraídos. Da minha parte, de há muito tempo que tenho esta
atitude: tudo o que a cáfila socialista diz, é mentira; até prova em contrário. Madalena Sa: Este dito ministro da educação é realmente uma
nulidade personificada!
F. Mendes > Madalena Sa: Infelizmente é muito pior do que diz: é de uma
nocividade criminosa.
Nenhum comentário:
Postar um comentário