Candidato do Enem, comece sempre pelas perguntas fáceis

Acertar questões mais fáceis do Enem é a melhor estratégia para se sair bem no exame, mostra análise estatística do jornal Folha de S.Paulo. Participantes que, por exemplo, acertam apenas 10 itens fáceis geralmente têm a mesma nota de alguém que acertou somente 20 difíceis.

Apesar da turbulência em torno do Enem nos últimos dias, o exame está confirmado: as provas começam neste domingo (21) e continuam no próximo (28). A prova é a principal porta de entrada para o ensino superior público no país.

Ao todo, são 180 questões, divididas em quatro áreas, além da redação. No primeiro dia, os participantes enfrentam as questões de linguagens, ciências humanas e a redação. As provas de matemática e ciências da natureza ocorrem no domingo seguinte. Neste ano, o governo recebeu 3,1 milhões de inscrições.

O modelo matemático adotado pelo Enem, a chamada TRI (Teoria de Resposta ao Item), prevê itens calibrados de acordo com parâmetros de discriminação (se diferencia os candidatos de acordo com o nível de conhecimento naquele tema), dificuldade e probabilidade de acerto casual. A nota dos participantes depende não só do número de acertos, mas também entra no cálculo quais perguntas foram respondidas corretamente.

Acertar questões difíceis e errar fáceis é entendido pelo modelo como um possível chute, e há reflexo na nota final. A análise estatística feita pela Folha de S.Paulo, a partir da base de dados do Enem de 2009 a 2019, mostra a dimensão dessas diferenças.

Candidatos que, por exemplo, acertaram 22 das 45 questões de matemática no Enem 2019 tiveram notas bem diferentes de acordo com o perfil dos acertos. Um participante que conseguiu uma nota de 758,5 anotou corretamente mais itens entre os mais fáceis (19 das 22).

Já outro candidato que, também com 22 acertos, foi melhor em itens mais difíceis teve nota bem inferior: 589,5 pontos.

Esse fenômeno é mais comum entre os candidatos com poucos acertos em cada prova. Até porque, entre aqueles com as maiores notas, é necessário maior número de acertos, o que abrange itens de dificuldades variadas. Pode haver, no entanto, impacto na concorrência para ingresso de cursos.

Para garantir uma nota 700, a média de acertos é de 20 pontos, ainda como exemplo a prova de matemática de 2019. Mas quem acertou 16 fáceis teve a mesma nota de um candidato com 26 acertos entre as mais difíceis.

A título de comparação, uma vez que a nota de corte depende da média de todas as áreas da prova, uma nota de 700 pontos seria suficiente para superar as notas de corte de ingresso de cursos como o de história na UFPEL (Universidade Federal de Pelotas) e enfermagem na UFBA (Federal da Bahia).

Esse comportamento aparece em todos os anos e em todas as provas. As diferenças são mais expressivas, no entanto, nas provas de matemática.

Os candidatos não recebem a informação sobre o nível de dificuldade da questão e essa variação de notas é motivo de angústia para quem faz as provas. A nota de quem erra só uma questão no Enem pode variar até 92 pontos, como também mostrou análise da Folha de S.Paulo no início do ano.

Não há erro nesse fenômeno, que segue o que é previsto pelo modelo matemático. Mas pode prejudicar um aluno que não chutou e de fato sabe uma questão mais complexa.

A TRI é adotada pelo Enem para garantir comparabilidade de notas entre provas de diferentes aplicações. Há uma lógica de tentar premiar com melhores notas estudantes que demonstrem maior coerência na aferição de suas habilidades na prova.

Para estimar a diferença de dificuldade das questões, a Folha de S.Paulo levou em conta a porcentagem de alunos que acertou o item além do parâmetro de dificuldade presente no modelo TRI do Enem. A reportagem calculou esses parâmetros a partir do modelo utilizado pelo exame, uma vez que o Inep não divulga esses dados.

Segundo o pesquisador Ricardo Primi​, especialista em avaliação e psicometria, seria interessante se o Inep fornecesse essas informações, das questões fáceis, médias e difíceis.

“O Enem é uma prova com média ponderada, e será que é justo o candidato não saber quais pesos têm cada questão?”, questiona ele, que é docente da Universidade de São Francisco, em São Paulo.

O que chamamos de dificuldade de uma questão, diz ele, tem a ver com a distância entre a habilidade do aluno e o parâmetro relacionado a isso do item (que, em geral, são pré-testados para definir a calibragem da prova).

Uma questão fácil, resume Primi, tem relação com uma proporção de ao menos 75% de acertos; uma difícil, com 25%.

“Um participante com baixa habilidade teria que investir nas fáceis, porque investir nas difíceis não vai ganhar nada”, completa ele, que pesquisa o tema.

Dedicar-se primeiro às questões que o candidato considera mais fáceis é estratégia apontada recorrentemente por professores de cursinho. Isso tem também a ver com o tempo curto para fazer o exame.

O professor de matemática Ademar Celedônio, diretor na SAS Plataforma de Educação, explica que o enunciado das questões trazem em geral informações que guardam ligação com a complexidade da questão e com as habilidades previstas na matriz de conteúdos que orienta a elaboração das perguntas.

“Quando enunciados trazem verbos de comando como ‘identificar’, ‘caracterizar’, ‘observar’, em geral a questão trata de informação que está no texto de apoio e está ligado a um eixo de habilidade mais simples, de domínio da linguagem ou entendimento de fenômenos”, diz.

Segundo ele, a leitura do enunciado é a chave par ao aluno perceber a dificuldade e, se for mais difícil, pular para outra e voltar a ela ao fim.

“Em matemática, por exemplo, uma dica para ganhar tempo é procurar as questões com gráficos e tabelas, que costumam trabalhar com competência mais simples de fazer inferências.

A análise da Folha de S.Paulo também mostra que a ordem que o item aparece na prova pode alterar a chance de acerto. O Enem tem quatro modelos de prova, diferenciados por cores, com questões em ordens diferentes para inibir fraudes e colas.

Se um item tiver na posição 14 ao invés de ser a primeira, há uma chance de 1 ponto percentual menor de acerto. Caso esteja na posição 45 ao invés da da primeira, será de 3,6 pontos percentuais.

Fazendo uma regressão linear, a cada posição mais distante da primeira cai em 0,08% a chance de acerto. A diferença é muito pequena, apesar de significativa estatisticamente. Mas, na competição por uma vaga na universidade, talvez valha a dica.

METODOLOGIA

A reportagem se baseia em um modelo estatístico que estima a chance de um candidato acertar uma questão dada a sua proficiência na prova. Para isso, foram calculados três parâmetros.

São eles: parâmetro de discriminação (mede se a questão consegue diferenciar os candidatos de acordo com o nível de conhecimento naquele tema), parâmetro de dificuldade (indica o nível de dificuldade daquela questão) e parâmetro de acerto casual (estima a chance de o candidato ter acertado no chute ou por sorte).

Eles fazem parte da TRI (Teoria da Resposta ao Item) de três parâmetros, metodologia que o Inep utiliza para corrigir e dar nota aos candidatos. O órgão, contudo, não forneceu o valor dos parâmetros que são utilizados, mesmo quando solicitado via Lei de Acesso à Informação, sob a justificativa de que são dados sensíveis.

Assim, a análise estimou os valores a partir de um pacote estatístico que considera medidas como média e desvio padrão das notas e distribuições dos parâmetros.

A análise foi feita a partir dos microdados do Enem, que são divulgados pelo Inep de forma anonimizada, para evitar a identificação dos participantes. Foram analisadas somente as primeiras aplicações das provas de cada ano.