A fraude pouco inocente dos rankings escolares

Como já vem sendo costume, os jornais de fim-de-semana dão grande destaque aos rankings das escolas, construídos com base nos resultados dos exames nacionais. Tal como sucede todos os anos, os lugares de topo dos rakings são ocupados por escolas privadas.

Alguns jornalistas procuram sofisticar a interpretação dos resultados com base em argumentos que já deveriam ser do conhecimento de todos: os exames não são, nem devem ser, a bitola única de aferição do desempenho das escolas; as médias apuradas não têm em conta o facto de as escolas privadas concentrarem alunos oriundos de famílias de maiores posses e com maiores níveis médios de formação; os rankings não têm em conta o contexto socioeconómico das escolas assim avaliadas; etc.

No entanto, por muitos qualificativos (e não são muitos, na verdade) que sejam introduzidos nas análises, a mensagem central que resulta é sempre a mesma: as escolas privadas preparam melhor os alunos. Desta forma, este método de avaliação das escolas é uma fraude – e uma fraude perigosa.

É uma fraude porque corresponde às piores práticas de avaliação de políticas públicas. Se alguém nos disser que as políticas públicas de apoio às empresas são um sucesso porque as empresas apoiadas são aquelas que têm melhor desempenho competitivo (criam mais valor, criam mais emprego, sobrevivem mais, etc.) devemos perguntar se os apoios não foram dirigidos para as empresas que tinham, à partida, melhores condições competitivas (e.g., uma situação financeira mais sólida). Da mesma forma, se alguém afirmar que os apoios públicos a estágios para recém-licenciados são um sucesso porque os estagiários encontram emprego ao fim de pouco tempo, devemos perguntar-nos se os estágios não estão a ser dirigidos para indivíduos cujas licenciaturas de base garantem à partida maior empregabilidade. Na teoria Estatística, chama-se a isto ter em conta o ‘efeito de selecção da amostra’ – se quem é apoiado tem, à partida, maior probabilidade de ter melhor desempenho não devemos atribuir o bom desempenho ao apoio concedido.

Eu defendo que a avaliação das políticas deve ser feita com esse rigor, evitando que os recursos públicos sejam utilizados ao sabor dos interesses particulares e das preocupações eleitorais dos governantes. É exactamente por isso que gostaria que em Portugal se avaliasse o desempenho das escolas públicas e privadas – e que essa avaliação tivesse as mesmas preocupações metodológicas que se impõe no caso da avaliação das políticas de apoio às empresas ou à transição para a vida activa. As preocupações que estão presentes nas melhores práticas internacionais, como as que são descritas no Livro Verde que serve de base à avaliação de políticas no Reino Unido, ou nas avaliações conduzidas pelo Government Accountability Office que funciona junto do Congresso Federal dos EUA.

Em termos práticos isto significaria começar por analisar as classificações dos alunos nos exames nacionais tendo em consideração variáveis que afectam o seu desempenho (background educativo e socioeconómico dos pais, condições de estudo em casa, acesso a bens culturais no meio envolvente, organização das escolas, constituição das turmas, etc.). Numa segunda fase, importaria analisar, com base em análises estatísticas robustas, porque motivo algumas escolas públicas têm um desempenho melhor do que as outras. Finalmente, este tipo de análise contribuiria para ajudar a perceber em que medida é possível introduzir melhorias no sistema público de educação.

Por contraste, os rankings nada contribuem para o debate necessário sobre a Escola Pública em Portugal. Com base nestes rankings ficamos sem saber se as escolas públicas cumprem melhor o seu serviço do que as privadas (será que alunos com as mesmas condições de base têm desempenhos distintos nos dois sistemas de ensino?). Ficamos ainda sem saber o que determina o bom desempenho das escolas públicas que se encontram no topo dos rankings (é a organização da escola? é a qualidade dos professores? é a constituição das turmas? é a envolvente local? é a mera concentração geográfica de alunos oriundos de famílias mais favorecidas?). Também fica por esclarecer se as escolas públicas bem ou mal classificadas cumprem devidamente as suas funções gerais, que vão muito além dos resultados dos exames (por exemplo, contribuem para evitar o flagelo nacional que é o abandono escolar precoce? ajudam a sinalizar situações de maus tratos sobre menores? de forma geral, favorecem a mobilidade social em Portugal?).

E, no entanto, todos os anos a fraude que são os rankings ganha visibilidade e influência. E, com isto, as escolas privadas ganham clientes (mesmo que não os mereçam) e subsídios do Estado; parte da classe média desiste da escola pública, iludida por esta publicidade enganosa (favorecendo a desqualificação do sistema público); e as escolas públicas lutam pela sobrevivência fazendo dos exames nacionais o fim último da sua existência. E, face a isto, ainda há quem continue a acreditar que os rankings das escolas prestam um bom serviço ao país.