sábado, 15 de outubro de 2011

A fraude pouco inocente dos rankings escolares

Como já vem sendo costume, os jornais de fim-de-semana dão grande destaque aos rankings das escolas, construídos com base nos resultados dos exames nacionais. Tal como sucede todos os anos, os lugares de topo dos rakings são ocupados por escolas privadas.

Alguns jornalistas procuram sofisticar a interpretação dos resultados com base em argumentos que já deveriam ser do conhecimento de todos: os exames não são, nem devem ser, a bitola única de aferição do desempenho das escolas; as médias apuradas não têm em conta o facto de as escolas privadas concentrarem alunos oriundos de famílias de maiores posses e com maiores níveis médios de formação; os rankings não têm em conta o contexto socioeconómico das escolas assim avaliadas; etc.

No entanto, por muitos qualificativos (e não são muitos, na verdade) que sejam introduzidos nas análises, a mensagem central que resulta é sempre a mesma: as escolas privadas preparam melhor os alunos. Desta forma, este método de avaliação das escolas é uma fraude – e uma fraude perigosa.

É uma fraude porque corresponde às piores práticas de avaliação de políticas públicas. Se alguém nos disser que as políticas públicas de apoio às empresas são um sucesso porque as empresas apoiadas são aquelas que têm melhor desempenho competitivo (criam mais valor, criam mais emprego, sobrevivem mais, etc.) devemos perguntar se os apoios não foram dirigidos para as empresas que tinham, à partida, melhores condições competitivas (e.g., uma situação financeira mais sólida). Da mesma forma, se alguém afirmar que os apoios públicos a estágios para recém-licenciados são um sucesso porque os estagiários encontram emprego ao fim de pouco tempo, devemos perguntar-nos se os estágios não estão a ser dirigidos para indivíduos cujas licenciaturas de base garantem à partida maior empregabilidade. Na teoria Estatística, chama-se a isto ter em conta o ‘efeito de selecção da amostra’ – se quem é apoiado tem, à partida, maior probabilidade de ter melhor desempenho não devemos atribuir o bom desempenho ao apoio concedido.

Eu defendo que a avaliação das políticas deve ser feita com esse rigor, evitando que os recursos públicos sejam utilizados ao sabor dos interesses particulares e das preocupações eleitorais dos governantes. É exactamente por isso que gostaria que em Portugal se avaliasse o desempenho das escolas públicas e privadas – e que essa avaliação tivesse as mesmas preocupações metodológicas que se impõe no caso da avaliação das políticas de apoio às empresas ou à transição para a vida activa. As preocupações que estão presentes nas melhores práticas internacionais, como as que são descritas no Livro Verde que serve de base à avaliação de políticas no Reino Unido, ou nas avaliações conduzidas pelo Government Accountability Office que funciona junto do Congresso Federal dos EUA.

Em termos práticos isto significaria começar por analisar as classificações dos alunos nos exames nacionais tendo em consideração variáveis que afectam o seu desempenho (background educativo e socioeconómico dos pais, condições de estudo em casa, acesso a bens culturais no meio envolvente, organização das escolas, constituição das turmas, etc.). Numa segunda fase, importaria analisar, com base em análises estatísticas robustas, porque motivo algumas escolas públicas têm um desempenho melhor do que as outras. Finalmente, este tipo de análise contribuiria para ajudar a perceber em que medida é possível introduzir melhorias no sistema público de educação.

Por contraste, os rankings nada contribuem para o debate necessário sobre a Escola Pública em Portugal. Com base nestes rankings ficamos sem saber se as escolas públicas cumprem melhor o seu serviço do que as privadas (será que alunos com as mesmas condições de base têm desempenhos distintos nos dois sistemas de ensino?). Ficamos ainda sem saber o que determina o bom desempenho das escolas públicas que se encontram no topo dos rankings (é a organização da escola? é a qualidade dos professores? é a constituição das turmas? é a envolvente local? é a mera concentração geográfica de alunos oriundos de famílias mais favorecidas?). Também fica por esclarecer se as escolas públicas bem ou mal classificadas cumprem devidamente as suas funções gerais, que vão muito além dos resultados dos exames (por exemplo, contribuem para evitar o flagelo nacional que é o abandono escolar precoce? ajudam a sinalizar situações de maus tratos sobre menores? de forma geral, favorecem a mobilidade social em Portugal?).

E, no entanto, todos os anos a fraude que são os rankings ganha visibilidade e influência. E, com isto, as escolas privadas ganham clientes (mesmo que não os mereçam) e subsídios do Estado; parte da classe média desiste da escola pública, iludida por esta publicidade enganosa (favorecendo a desqualificação do sistema público); e as escolas públicas lutam pela sobrevivência fazendo dos exames nacionais o fim último da sua existência. E, face a isto, ainda há quem continue a acreditar que os rankings das escolas prestam um bom serviço ao país.

5 comentários:

Anónimo disse...

Continuemos a seguir os rankings nos próximos anos, após a debandada de alunos do privado para o público.

não sendo apologista da privada (w.c) disse...

não parte da classe média demite-se porque transmite aos filhos valores de indiferença perante o estado e a educação

e valoriza direitos e não deveres

muitas escolas privadas e públicas (colégio militar casa pia, etc) valorizam um verniz de valores

a erzat-educação ou a educação placebo é dar ao aluno a perspectiva (ou i luisão)que teve uma boa educaçÃo aumenta a auto-estima do aluno (os professores exigem mais) logo somos melhores

é simplex...verstend sië? nyet?
faz mal não

a apatia domina a razão

Daniela Pamplona disse...

Tive uma aluna nas explicações, que a direcção da escola particular que ela frequentava anulou-lhe a matricula no 12º de matemática. A explicação foi simples, ela não era super boa aluna e portanto, se ficasse inscrita baixava a média da escola. E assim se consegue subir nos rankings!
(A aluna não quis fazer queixa ao ministério, mas entretanto tirou muito boa nota no exame e foi mostrar isso à direccao da escola)

isabel disse...

"background educativo e socioeconómico dos pais, condições de estudo em casa, acesso a bens culturais no meio envolvente, organização das escolas, constituição das turmas, etc", é por tudo isso e também mérito da escola. Concordo inteiramente com a sua análise.

Tenho 3 filhos, os mais velhos andaram 9 anos no Rainha Santa - Coimbra e transitaram para o Infanta Dona Maria (Coimbra), o mais novo anda no Rainha Santa. A população escolar da publica e da privada é exactamente a mesma. Se estou contente por andarem em escolas exigentes, com colegas motivados, claro que estou. E os alunos não são só bons alunos nos exames, eles são bons alunos. O grau de exigencia (geral) no Infanta Dona Maria é muito elevado, muitos alunos sobem vários valores no exame. Mas só posso transmitir, aos meus filhos que têm muito mais obrigações porque tiveram mais do que a maioria.

Os rankings não servem para nada, são uma tontice.

Maquiavel disse...

Nem é preciso pegar no facto de cada escola privada (excepto o Ext. Ribadouro) apresentar a exame qualquer coisa como um décimo de alunos que cada escola pública apresenta, nem dizer que por causa disso dever-se-iam comparar os melhores 20 de cada escola.

Basta verificar que, mesmo após seleccionar alunos para que só os melhores se apresentem a exame pela escola, mesmo após expulsar os menos capazes (que depois fazem o exame pela pública), mesmo com muito melhores condiçöes materiais, mesmo com turmas muito mais pequenas, mesmo com os alunos a vir de casas de melhores rendimentos, mesmo após isso tudo...

... a diferença entre as melhores escolas privadas e públicas da mesma regiäo é... 1 ou 2 valores, se tanto? Isto analisado em termos de eficiência entre recursos gastos vs. resultados é muito muito muito pouco... e demonstra, MAIS UMA VEZ, que o sector privado em Portugal é apenas marginalmente mais eficiente que o público. Logo mais razäo para termos MAIS serviços públicos, para que a qualidade näo baixe mais ainda!