quarta-feira, 24 de maio de 2023

E depois de Crato?

Foram recentemente divulgados os resultados do PIRLS 2021, que avalia os níveis de literacia de leitura em mais de 50 países. Pela primeira vez, as provas foram realizadas em formato digital, tendo Portugal obtido uma classificação de 520 pontos, que lhe atribuiu o 22º lugar entre 43 países que realizaram a prova no final do 4º ano de escolaridade.

Sendo 2021 o ano de transição para o digital, a IEA, responsável pela aplicação do PIRLS, incluiu no exercício uma amostra de provas em papel, que sendo igualmente representativa permite a comparação, nos mesmos termos, com os resultados das edições anteriores. No caso de Portugal, que participou também no PIRLS de 2011 e de 2016, observa-se em 2021 uma ligeira melhoria nos resultados (de 528 pontos para 531), invertendo a quebra observada entre 2011 e 2016 (de 541 para 528 pontos).


Para quem, à direita, gosta de ver nestes exercícios uma tradução simplista e imediatista das políticas (como fez Nuno Crato em relação aos resultados do PISA 2015, cujo mérito se apressou a atribuir às medidas por si implementadas), as notícias não são boas. De facto, o pior resultado de Portugal nas três edições do PIRLS em que participou registou-se em 2016, com alunos que frequentaram o 1º ciclo do ensino básico entre 2012/13 e 2015/16, quando Crato era ministro da maioria PAF. Ou seja, alunos sujeitos à sua visão empobrecida do currículo e às metas e exames nacionais anacrónicos da «4ª classe», que o ex-ministro ressuscitou.

Curiosamente, são os alunos que frequentaram o 1º ciclo do ensino básico ainda na alegada «década perdida» da educação - como lhe chamou Crato - que tiveram, em 2011, o melhor resultado de Portugal no PIRLS. A que se segue, como já referido, o valor alcançado em 2021, cujos alunos iniciaram e completaram o 1º ciclo já num novo paradigma educativo, com o governo PS suportado por uma maioria de esquerda no parlamento.

Assim, não excluindo a influência das orientações de política de educação na análise deste tipo de resultados, o dado porventura mais relevante do PIRLS 2021 resulta do facto de a ligeira melhoria observada na literacia de leitura ter ocorrido apesar da pandemia e dos seus impactos nos alunos e nas escolas. O que admite considerar que, sem a crise pandémica, esses resultados poderiam ter sido ainda melhores, permitindo uma maior aproximação aos valores registados por Portugal no PIRLS de 2011.

7 comentários:

LD disse...

Utilizar provas de avaliação dos estudantes para proceder a análises sobre aspetos organizacionais das escolas, ou decisões políticas do poder central é algo extremamente arriscado e com um fundamento pouco sólido.

Considerar exames de larga escala, que incentivam a análises descontextualizadas e hierarquizantes dos sistemas educativos é uma moda que deve ser combatida.

Rogério G.V. Pereira disse...

É pena, caro Nuno Serra,
que ignore a sequela
Eu
luto contra ela

https://youtu.be/8qMnywDgUuU

António Duarte disse...

A crítica à política de Nuno Crato é legítima, e subscrevo.
Mas não havia necessidade de embarcar no spin governamental que inventou uma subida que na realidade não aconteceu. Essa subida de resultados nas provas em papel foi inventada pelo governo, não consta do relatório oficial do PIRLS 2021.
Nuno Crato apostou na examocracia e escondeu os "losers" debaixo do tapete. Mas o embuste chamado João Costa também não é flor que se cheire, e já era altura de a esquerda perceber isso.

Tento analisar objectivamente em https://escolapt.wordpress.com/2023/05/23/pirls-2021-os-resultados/

O relatório oficial do PIRLS: https://pirls2021.org/wp-content/uploads/2022/files/PIRLS-2021-International-Results-in-Reading.pdf

PJG disse...

LD, não são exames, são teste que servem exatamente para aferir o estado do sistema de ensino e não propriamente para avaliar os alunos. O que se pode é deve contestar é a análise simplista e populista como a que foi feita por Crato.

Nuno Serra disse...

Caro António Duarte, algumas notas:
1. O PIRLS 2021 é de transição para o digital. É por essa razão que tem uma amostra principal (em formato digital), mas também uma amostra em papel (para servir de referência);
2. A amostra em papel é igualmente válida, igualmente representativa. Não é portanto, nesse sentido, uma amostra de menor qualidade.
3. Assim sendo, a comparação mais rigorosa de resultados é a que compara o que é mais comparável (provas em papel de 2021 com as provas em papel de 2016).
4. Quando se opta por comparar o resultado das provas de 2016 (em formato papel) com o resultado da amostra digital de 2021, está-se a lidar com duas variáveis explicativas: a literacia e o formato (não se sabendo, sem o papel, quanto é que uma e outra pesam).
5. Isto significa que se se quiser avaliar e comparar apenas a literacia (é isso que pretende o PIRLS) eu comparo o que é comparável (papel). E evito a entrada da outra variável em jogo (o diferente formato).
6. Se eu quiser avaliar o potencial peso explicativo da mudança de modalidade da prova, então faço a comparação entre o resultado em papel e no digital em 2021.
7. Tenho dificuldade em perceber, de facto, que se ache mais correta a comparação entre papel (2016) e digital (2021) quando se pretende avaliar a evolução da literacia em leitura (rejeitando, nesses termos, a comparação a partir da mesma modalidade de prova, numa amostra igualmente válida e rtepresentativa.

Nuno Serra disse...

Caro Rogério Pereira,
Relativamente à questão das provas de aferição de Educação Artística, no vídeo que recomendou (a famosa minhoca e sapo), confesso que fico perplexo com comentários que demonstram não se ter percebido a dimensão e o desafio cognitivo que está em jogo. Fica-se com a sensação de que se pedissem aos alunos para imitar um cão ou um gato já estava tudo bem e assim é que devia ser.
Quanto às outras questões, sobre o que se ganha e se perde com a transição para o digital, já estamos perante uma discussão pertinente e interessante (tendo sido pena - mas não surpreendente - a ausência de contraditório na peça que partilhou).

LD disse...

PJG, o PIRLS é focado na avaliação da literacia dos estudantes. Simplifiquei o discurso utilizando o conceito exame, quando é um teste de larga escala. De qualquer forma, este instrumento de avaliação é focado nas competências dos estudantes do 4º ano no domínio da literacia - tendo uns pequenos inquéritos de enquadramento do contexto. O foco (pelo menos em 2011 e 2016) é um entendimento predominantemente instrumental da leitura, vocacionado para a obtenção de informações (com pequenas inferências) do texto escrito (creio que não tem o oral, mas já não consigo precisar).

Ainda que seja um instrumento mais interessante que outros - por exemplo o PISA - a extrapolação para a análise do sistema ou para a análise organizacional é perigosa.