Segundo especialistas, enquanto os internacionais, como o Pisa, trazem inovações em suas avaliações, os nacionais, como o Saeb, perpetuam as questões fechadas e um modelo tradicional de aplicação
Historicamente, o Brasil não costuma se dar bem em testes educacionais internacionais, como no Programa Internacional de Avaliação de Estudantes (Pisa) e, recentemente, no Estudo Internacional de Progresso em Leitura (PIRLS), em que o Brasil participou pela 1ª vez e ficou 52º lugar no ranking internacional com apenas 419 pontos, atrás da Albânia (513), Cazaquistão (504), Azerbaijão (440), Uzbequistão (437) e Kosovo (421). Enquanto isso, os testes educacionais brasileiros, como o Sistema de Avaliação da Educação Básica (Saeb) e o Exame Nacional do Ensino Médio (Enem), embora não indiquem uma boa qualidade do ensino no País, trazem algumas perspectivas diferentes por estarem defasados em relação aos internacionais.
Os resultados brasileiros estão bem abaixo da média dos países que compõem a Organização para a Cooperação e Desenvolvimento Econômico (OCDE) – um foro composto de 35 países dedicado à padronização de temas como economia, comércio, meio ambiente e social – e com quem o Ministério da Educação (MEC) mantém parceria para promoção de políticas voltadas para a melhoria da educação.
Para os especialistas na área, o matemático e Consultor da Fundação Cesgranrio, Ruben Klein, e a socióloga e mestre em Ciência Política, Maria Helena Guimarães de Castro, titular da Cátedra Instituto Ayrton Senna de Inovação em Avaliação Educacional do Instituto de Estudos Avançados da USP Polo Ribeirão Preto (IEA-RP), os resultados de testes nacionais e internacionais são discrepantes por utilizarem matrizes diferentes e medirem habilidades e competências diferentes.
Segundo a catedrática, enquanto os testes internacionais medem novas habilidades como cidadania, trabalho em equipe e autogestão, por exemplo, além de inserirem questões abertas realizadas através de uma plataforma on-line que utiliza a inteligência artificial (IA) para guiar a avaliação de cada aluno, os testes brasileiros ainda utilizam o papel e a caneta com questões fechadas baseadas em uma matriz educacional construída em 2001.
“Para simplificar, o Pisa é uma avaliação bastante avançada que tem um grupo de especialistas de consultores do mundo inteiro trabalhando no aperfeiçoamento permanente dos instrumentos, na introdução de inovações, tecnologias, questões abertas, avaliação de novas competências e habilidades, enquanto que o Saeb e o Enem são avaliações mais tradicionais com perguntas fechadas e itens de múltipla escolha que não passaram por inovações e aperfeiçoamentos nos últimos anos”
AFIRMA MARIA HELENA.
Outros fatores possíveis para essa disparidade entre os testes estão atrelados às características socioeconômicas e à maturidade dos alunos que realizam as provas. No Pisa, segundo Klein, a prova é aplicada em alunos de 15 anos de idade em uma amostra de estudantes espalhados pelo Brasil, enquanto no Saeb, o teste é aplicado no 5º e no 9º ano do ensino fundamental e nas 3ª e 4ª séries do ensino médio de maneira censitária.
“Temos também o Índice de Desenvolvimento da Educação Básica (Ideb), que é censitário nas escolas públicas brasileiras e tem grande influência nas redes de educação que devem motivar seus alunos a se saírem bem nos testes. O Pisa e o PIRLS são testes amostrais que não trazem resultados diretos a cada escola, mas um resultado nacional e regional, e que não há necessariamente essa motivação por parte das redes, o que deve fazer alguma diferença”
COMENTA KLEIN.
A pandemia da covid-19, segundo Klein, também foi um fator determinante para o desempenho abaixo do esperado no PIRLS e possivelmente para o resultado do Pisa 2021, que foi aplicado em 2022 e tem os resultados programados para dezembro de 2023, já que o Brasil foi o país que ficou com as escolas fechadas pelo maior período de tempo.
Como são feitos os testes
No Brasil, segundo Maria Helena, em geral os testes educacionais são desenvolvidos pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), da qual já foi presidente, em parceria com instituições especializadas como a Fundação Cesgranrio, o Centro de Políticas Públicas e Avaliação da Educação (Caed), a Fundação Getúlio Vargas (FGV), dentre outras.
As provas são elaboradas a partir de matrizes de referência baseadas nos currículos oferecidos pelas escolas. Após a elaboração, uma banca de especialistas faz uma análise e uma seleção do que está de acordo com o edital preestabelecido para verificar se cada item corresponde às medidas necessárias para a avaliação. “Com a prova elaborada é realizado um pré-teste que, em geral, é feito numa amostra representativa do grupo de alunos ou do sistema de ensino que está sendo avaliado. Com isso, para validar os testes, é aplicada a metodologia estatística de Teoria da Resposta ao Item (TRI) para fazer a calibração de cada item e permitir a comparabilidade”, explica a catedrática.
O problema não estaria relacionado à construção dos testes por parte dos órgãos que avaliam a educação brasileira, e sim com a falta de atualização das matrizes curriculares nos últimos anos, nas quais os testes são baseados, conforme indica Maria Helena.
Como melhorar
Para melhorar os resultados dos próximos anos, o objetivo principal é melhorar a qualidade da educação brasileira, caminho conhecido e necessário há um bom tempo, conforme dizem os especialistas. Para Klein, com a nova Base Nacional Comum Curricular (BNCC) sendo implantada de forma eficiente, os alunos terão mais oportunidades de aprender e adquirir habilidades complexas. “Isso tudo deve fazer alguma diferença no futuro, mas é um trabalho para vários anos e é claro que a pandemia atrapalhou. Vamos analisar a nova geração que está vindo após a pandemia, como vai se comportar, já com a BNCC implementada.”
Para Maria Helena, o que explica o fato de o Brasil ficar sempre numa posição bastante insuficiente nas avaliações internacionais é que as avaliações nacionais ainda avaliam competências simples e habilidades de baixa complexidade frente aos testes internacionais, que têm avaliações muito mais complexas e exigentes.
“São questões que exigem um conhecimento de leitura muito grande dos alunos e uma capacidade de resolver tarefas, o que os alunos brasileiros não desenvolvem nas escolas. Outro fator que deve ser pensado é a inserção de padrões mínimos a serem atingidos pelos alunos, uma vez que atualmente o resultado é apenas comparativo com anos anteriores. Essa é uma diferença importante para a gente pensar o futuro das nossas avaliações”
CONCLUI.
*Sob a orientação de Ferraz Junior
