Falhas na aplicação do Enem não são significativas
O ministro da Educação, Fernando Haddad, declarou que não há preocupações quanto à proposta de anular o Exame Nacional do Ensino Médio (Enem), feita pela Juíza da 7º Vara Federal do Ceará, Karla de Almeida Miranda Maia. A jurista se baseia em falhas de impressão nos cadernos de cor amarela, que alteraram a ordem correta das questões e respostas de gabaritos e provas.
Em entrevista cedida a Luis Nassif, Haddad explica que o problema ocorreu em 21 mil dos 4,6 milhões de cadernos aplicados. Ainda assim, não significa que todos os 21 mil estudantes que realizaram o teste foram prejudicados pela inversão da ordem de questões entre gabarito e caderno de questões.
A organização do Enem tinha na ocasião 370 mil cadernos para substituir os 21 mil com falhas de impressão. Assim, os alunos que perceberam a quebra numérica das questões, levantaram a mão, puderam trocar de caderno. Desde então, o número de prejudicados vem caindo, desde domingo, de 21 mil pessoas, para 2 mil na segunda. “Agora, o número está na casa de centenas”, completou.
O ministro também falou da possibilidade de uma nova provar ser aplicada aos alunos prejudicados, com igual grau de dificuldade dos testes aplicados no último fim de semana.
Acompanhe a entrevista na íntegra:
Luis Nassif – Em relação ao Enem, hoje fazendo um balanço, qual o percentual de provas que apresentaram problemas?
Fernando Haddad – O percentual que apresentou problemas é o mesmo, que são aqueles 21 mil cadernos em 4,6 milhões. Quer dizer, um percentual muito reduzido. Mas esse percentual é muito menor porque nós tínhamos 10% de reserva técnica, que no caso de um quarto das provas de cor amarela representa 120 mil cadernos, mais a abstenção do dia, que foi de 25%, que dá outros 250 mil cadernos, nós tínhamos, portanto 370 mil cadernos para substituir os 21 mil com falha de impressão.
Ou seja, bastava o aluno, assim que percebeu uma quebra numérica das questões, levantar a mão e fazer o que qualquer aluno faz nesses casos quando percebe que a impressão gráfica está com problemas, requerer um caderno novo. E aí teria disponível.
Por isso que esse número vem caindo desde domingo. Nós saímos domingo preocupados com a possibilidade de 21 mil pessoas terem sido prejudicadas. Esse número caiu para 2 mil na segunda feira, porque nós começamos a receber os relatos dos fiscais de prova. E agora o número está na casa das centenas.
Então, nós vamos fechar esses números nos últimos dias, mas o relato que nos chega da ponta, e todo dia é processado um lote, é de que é mínimo o número de estudantes que não conseguiram trocar o caderno com a falha de impressão por um caderno sem falha de impressão e realizar sua prova normalmente.
LN – Teve o problema dos cadernos, e teve também o problema do gabarito?
FH - Não, não. Ali não é essa questão. É que alguns alunos, e alguns fiscais de prova, estamos apurando isso também, porque é mais fácil de resolver... Há fiscais de prova que orientaram os alunos à preencher o gabarito na ordem inversa, em função do cabeçalho. Esses alunos, o único pedido deles, é que a prova seja corrigida da forma como eles preencheram. Então basta ele informar, no portal do MEC que ele preencheu o gabarito na ordem inversa por recomendação do fiscal.
Como todo mundo da sala fez o mesmo, ou uma boa parte dessa sala fez o mesmo, nós vamos saber onde o problema ocorreu. Isso ocorreu muito restritamente, aí o fiscal vai firmar a informação, e a correção vai ser feita da maneira como o aluno preencheu.
Esse é um problema menor porque você automatiza a informação. O aluno entra no site, informa. Você junta os requerimentos por sala, consulta o fiscal, valida e faz a correção na ordem correta. Esse é o problema menos preocupante no momento. O problema é que está sendo processado com mais rapidez, porque ele exige uma reaplicação da prova... é um problema relativo a impossibilidade de troca da prova porque a reserva técnica e as provas dos que abstiveram de participar não foram suficientes - em um caso ou num outro - para repor todas as provas afetadas pelo erro da gráfica.
LN – E são esses os casos que você diz que estão no caso das centenas?
FH – [Sim]... no caso das centenas.
Provas iguais
Grupos prejudicados poderão fazer 2º Enem
Em entrevista a Luis Nassif, o ministro da Educação, Fernando Haddad, lembrou que não é novidade a aplicação de uma segunda prova do Enem.
Todos os anos, a organização do exame produz duas provas, de igual nível de dificuldade, caso haja necessidade de aplicar uma segunda bateria de avaliações em grupos que, por força maior, como problemas da natureza ou falha humana, não puderam realizar o teste.
“O ano passado, por exemplo, houve uma inundação em duas cidades do Espírito Santo. Os alunos ficaram absolutamente impossibilitados de fazer a prova. E, um mês depois, nós reaplicamos o Enem, nessas duas cidades, para todos os estudantes prejudicados”, contou Haddad.
O ministro destacou que a liminar apresentada pela Juíza da 7º Vara Federal do Ceará, Karla de Almeida Miranda Maia, que suspende o Enem em todo o país, será facilmente caçada baseando-se no argumento da Teoria da Resposta ao Item (TRI).
Desenvolvida nos Estados Unidos, na década de 60, a TRI é um sistema que ajuda a formar um banco de questões (itens) de diferentes níveis de dificuldade. A partir desse banco, tem-se um número de questões para formular provas distintas, mas com mesmo valor de comparação. Portanto, nele é possível realizar mais de uma prova por ano em diferentes grupos, produzindo o mesmo resultado de avaliações.
O SAT [Scholastic Assessment Test] americano, por exemplo, conta atualmente com um banco com mais de 140 mil itens. Suas provas são aplicadas sete vezes ao ano.
Acompanhe a entrevista na íntegra:
Luis Nassif – E a questão da Juíza do Ceará?
Fernando Haddad – A Juíza, como uma boa parte dos juristas, está conhecendo pela primeira vez a chamada Teoria da Resposta ao Item. O que vem a ser essa teoria que tem mais de cinqüenta anos nos Estados Unidos? Você já deve ter ouvido falar do SITamericano [School for International Training], que é aplicado sete vezes ao ano. O TOEFL [Test of English as a Foreign Language] também um exame americano muito conhecido. Você agenda a aplicação do TOEFL, e ninguém faz a mesma prova no TOEFL, embora saia com um boletim com um score comparável a qualquer pessoa. Ou seja você faz provas diferentes, mas o seu score é comparável com qualquer outro score de outro boletim.
Essa tecnologia educacional foi desenvolvida nos anos 60, chama Teoria de Resposta ao Item, e o Brasil importou essa tecnologia em 1995 e toda a avaliação educacional no Brasil é baseada nela. Ou seja, admite a comparação no tempo de provas diversas.
LN – Agora, ministro, se tem essa possibilidade, qual é a sua avaliação entre a alternativa de um exame único, ou vários exames distribuídos ao longo do ano?
FH - O ideal é, a partir do momento que o INEP tiver um banco de itens robustos... Porque, o que essa tecnologia exige? Exige que toda a questão de prova seja pré-testada pra que seja atribuída a ela um coeficiente de dificuldade. Eu tenho que pré-testar a questão em ambiente seguro, reservado, para eventualmente utilizar essa questão numa prova. Então isso exige um banco de itens, porque esse banco de itens pré-testados é que garante a comparatividade. Eu consigo compor uma prova com 180 questões com o mesmo nível de dificuldade.
O ano passado, por exemplo, a imprensa não noticiou, e nós pensamos que esse debate fosse acontecer em 2009. Porque em 2009 ocorreu, não uma falha humana, mas um evento da natureza. Houve uma inundação em duas cidades do Espírito Santo. Os alunos ficaram absolutamente impossibilitados de fazer a prova. E, um mês depois, nós reaplicamos o Enem, nessas duas cidades, para todos os estudantes que tiveram o seu boletim divulgado na mesma data dos que fizeram a primeira edição. Ou seja, tecnicamente falando, não há nenhum problema em você, pela TRI, Teoria de Respostas ao Item, você aplicar provas diversas pra grupos diversos que sejam comparáveis entre si.
LN – Essa decisão da Juíza pode atrapalhar em quanto?
FH – Até o momento, em nada. Porque o próximo evento do Enem é a divulgação dos resultados. Portanto nós temos, nesse momento, e durante os próximos dias, de domingo até terça, da semana que vem, os correios estão retornando os cartões de repostas para as centrais de digitalização desse material. Portanto, nesse momento não está ocorrendo nada. Os cartões de resposta estão em transito. Não há o que ser feito a respeito deles.
LN – Então dá tempo para, eventualmente, recorrer sem prejudicar a divulgação?
FH - Totalmente. Nós vamos entrar com recursos. E temos muita segurança em caçar essa liminar, justamente apresentando ao desembargador esse argumento, de que não se sustenta a ideia de quebra de isonomia pelo fato de ser uma prova diferente. Porque, se não fosse assim, o Enem do ano passado já não poderia ter sido realizado, porque teve que ter uma segunda edição. E terá, esse ano, por exemplo, antes de incidente, já tava prevista a edição dos presídios, que a Polícia Federal recomendou que fosse feito em dia diferente da prova geral, por uma questão de segurança.
Então, não é nenhuma novidade uma segunda prova. Já tava previsto no primeiro edital. O que nós vamos fazer, quando chegar ao Judiciário, é a informação de que o Enem é assim. E não pode ser de outro jeito, Nassif. Um exame com essa escala, ou é comparável no tempo, ou é impossível, tecnicamente. Porque, por força maior, caso fortuito, falha humana, você pode ter um problema.
Vou te citar um outro incidente que ocorreu, e não gerou nenhuma conseqüência. Um determinado caminhão levando provas, lá em Santa Catarina, caiu numa vala. E o baú caiu numa posição que impedia sua abertura. Se não fosse a presença de um guincho junto ao local, teria sido impossível para a escolta da Polícia Rodoviária, recorrer os malotes e levar para o local de prova. E aí, você cancela a prova inteira porque cinqüenta alunos não fizeram?
O que quero dizer é que não se compara o Enem com uma prova clássica, que ou todo mundo faz ao mesma, ou ele é anulado. A vantagem do Enem é que ele não precisa ser assim.
Vou citar um terceiro exemplo muito importante. Você tem essa discussão sobre o pagamento de bônus em São Paulo para professor para desempenho dos alunos, não tem? Esse pagamento do salário de professores, de bônus, só faz sentido se você comparar uma prova com outra e verificar que o aluno aprendeu mais na segunda prova do que na primeira. Quer dizer, não há como você aferir o aumento de proficiência, se as provas não forem calibradas e comparadas entre si. Não adianta dizer “essa prova é mais difícil que aquela”. Você tem que dizer o quanto ela é mais difícil que aquela. O que significa dizer que os itens têm que ser pré-estados pra que você calibre os itens antes da aplicação.
LN – Como você faz essa calibração? Como é avaliado a questão de ser mais ou menos difícil?
FH – São pré-testes que você marca com grupos de controle. Vamos supor, eu pego um banco de três mil itens. Vou a um grupo que já passou por um grupo de vestibular, está no primeiro ano de faculdade, por exemplo. E aplico esses itens com alguns já pré-testados, com alguns já do banco. E aqueles que não foram pré-estados eu calibro em função daqueles que já tiverem sido. Então, eu consigo com isso medir a dificuldade de cada item em relação a todos os demais do banco. Porque tenho uma escala que permite isso. Esses itens vão para o banco para serem usados um dia. Podem ser usados daqui a dois anos, cinco anos. No caso do SIT americano, eles têm um banco com 140 mil itens. E já existe nos Estados Unidos, por exemplo, a composição de provas por computador. O computador compõe a prova, de acordo com essa calibragem, e te oferece o SIT pra você fazer na tela, e você sai com seu boletim, no dia.
Informatização
MEC estuda uso de computadores em provas do Enem
Ministério da Educação quer desenvolver método para aplicar provas por computador nos próximos anos. Sistema poderá ser usado no Exame Nacional do Ensino Médio (Enem).
Neste ano o Enem recebeu 4,6 milhões de inscritos, que realizaram a prova em nove mil locais e em 113 mil salas de aula. Como disponibilizar leptops a todos esses alunos em apenas um fim de semana por todo o Brasil?
Em entrevista dada a Luis Nassif, o ministro da Educação, Fernando Haddad, explicou que, no futuro, o exame terá as mesmas características de testes feitos nos Estados Unidos para provas como a do SIT (School for International Training ) americano, ou da TOEFL [Test of English as a Foreign Language].
Essas instituições alimentam anualmente um banco de questões de diferentes níveis de dificuldade. Por esse motivo, o SIT americano aplica sete provas anualmente com a mesma qualidade de avaliação.
Logo, ao invés de ministrar uma única edição a 4,6 milhões de alunos, o exame poderá ser realizado duas ou mais vezes no ano, diluindo o número de inscritos para 2 milhões, ou menos. E, por fim, facilitando a logística de automatização dos testes.
Acompanhe a entrevista na íntegra:
Luis Nassif – Em quanto tempo vamos ter os alunos entrando numa sala tendo um computador, fazendo que nem no TOEFL, já fazendo um exame computadorizado?
Fernando Haddad – O primeiro desafio que nós temos é fazer mais do que uma edição por ano. Nós temos que partir rapidamente pra duas ou três edições por ano. Porque daí você dilui o número de alunos inscritos por edição. Então ao invés de ter 4,6 milhões, você vai ter 2 milhões de alunos por ano. E se você fizer mais de um evento, vai ter menos inscritos por evento. Isso é que vai permitir a informatização. Porque você não vai conseguir 4,6 milhões de laptops, por exemplo, num sábado e num domingo, disponíveis em nove mil locais de prova, em 113 mil salas de aula.
Então nossa primeira medida é essa. Só não fizemos isso ainda, este ano, por um problema grave que aconteceu no primeiro semestre, que foi o fato de um exame da ordem dos advogados do Brasil, aplicado pelo CESP, que o mesmo órgão da ONB que aplica o Enem, ter vazado. Não sei se você lembra, no primeiro semestre, do vazamento da fraude da prova da AOB.
Quando aquilo ocorreu, nós não sabíamos onde tinha sido o problema, se no CESP, na OAB, se no trânsito. Então, depois de um tempo, a Polícia Federal descobriu que foi... me parece pela informação que tive do presidente da OAB, ontem, da confirmação, é de que houve um suborno a um policial da Polícia Rodoviária. Mas, antes de saber disso, nós não tínhamos a segurança plena de que não pudesse ter ocorrido um problema interno no CESP. Então nós falamos “é um ano difícil, tem eleições e tudo. Vamos arriscar fazer um Enem, no primeiro semestre, sem saber se dentro do CESP havia qualquer problema ligado ao servidor?”.
Quando essa hipótese foi totalmente afastada, não havia problema interno nenhum ai CESP, nós contratamos o CESP e a CESGRANRIO para aplicar o Enem 2010.
IDH para Educação ajudará a comparar novas e velhas políticas
Países desenvolvidos terão mais dificuldades para melhorar suas condições no novo Índice de Desenvolvimento Humano (IDH) para a Educação, desenvolvido pelas Nações Unidas, contou ao jornalista Luis Nassif, o Ministro da Educação, Fernando Haddad.
Após vinte anos as medições feitas para o setor educacional do IDH foram alteradas adotando agora duas variáveis para calcular o índice: uma relativa à escolaridade média de brasileiros com 25 anos ou mais, e outra que considera a expectativa de escolaridade média de crianças e jovens em idade escolar.
O ministro explicou que a nova metodologia revela os esforços recentes que estão sendo feitos pela educação no país, já que combina resultados.
O país tem atualmente uma média de escolaridade de 7,2 anos entre pessoas com 25 anos ou mais, e uma expectativa de escolaridade de 13,8 anos, entre crianças e jovens em idade escolar.
Acompanhe a entrevista na íntegra:
Luis Nassif - Bom dia, Ministro. Em relação ao IDH, eu vi uma explicação técnica sua no Bom Dia Brasil, eu queria entender direitinho a metodologia do IDH para a educação.
Fernando Haddad – O IDH foi alterado no que diz respeito à educação, depois de vinte anos. Recebemos a explicação da mudança muito tardiamente, e levou, evidentemente, algumas horas para compreender o calculo. Mas ele é até bem vindo.
Podia até ter outro nome, IDH Plus, IDH +, alguma coisa para distinguir do anterior. Mas, a novidade é que ele adota duas variáveis para a educação: uma variável relativa à escolaridade média de brasileiros com 25 anos ou mais.
Essa variável está olhando para o passado do país. Porque ninguém com 25 anos ou mais está na escola, certo? O número com pessoas com 25 anos ou mais estudando na escola pública é mínimo em educação de jovens e adultos. Então ela está olhando para o passado do sistema de ensino.
LN – Antes não era assim?
FH – Não, antes era Alfabetização de Adultos e não Escolaridade. É até uma melhoria do indicador. Só que ele pesa negativamente para os países em desenvolvimento, porque enquanto o analfabetismo de adultos está caindo no mundo inteiro e no Brasil também, a escolaridade média, que é uma variável mais precisa, concorre contra os países como Índia, Brasil, China.
No que diz respeito ao outro indicador, é um indicador que olha para o futuro. Portanto, olha para o atual sistema educacional, que é a expectativa de escolaridade média das crianças, em que o Brasil se aproximou, velozmente, da média latino-americana. Enquanto, na primeira variável nós estamos muito aquém da média Americana.
Então, como você avalia um país? Pela combinação das duas variáveis. Como você avalia um governo? Pela diferença das duas variáveis. Porque a diferença das duas variáveis é que dá a medida do esforço marginal, do esforço recente que está sendo feito pela educação.
LN – Então, já que o papel dos indicadores aí é justamente permitir avaliar avanços, houve alguma preocupação de se manter a série original do IDH, ou compatibilizar os novos indicadores, tentar pegar o histórico poder permitir uma melhor avaliação?
FH – Eles alteraram porque, na verdade, o IDH tradicional estava ficando um pouco sensível às mudanças. E como estava ficando um pouco sensível e estava todo mundo se ajustando muito por cima, ele [o indicador] começou não captar exatamente aquilo que se pretendia.
Agora, esse IDH, trás essa vantagem que é você, pela diferença das duas variáveis educacionais, medir o esforço que os governos estão fazendo, os governos mais recentes, em proveito da educação do país.
LN – Então, sem empregar os valores absolutos, mas só as variações, o Brasil ficaria em que posição, em termos de avanços percentuais?
FH – Nós não recebemos de todos os países. Mas, por exemplo, na América Latina o Brasil, sem sombra de dúvidas foi o que mais avançou, porque também era o que estava mais atrasado.
Tínhamos uma média de escolaridade de 7,2 anos, e temos uma expectativa de escolaridade de 13,8 anos. Isso é a medida atual, ou seja, a comparação da escolaridade de 25 anos ou mais e a expectativa de escolaridade de quem [está cursando].
Então essa diferença da medida de como os filhos dos brasileiros estão, em relação aos seus pais. A expectativa das crianças em relação a geração passada. Essa distância é a maior da América Latina, no caso do Brasil. O que significa dizer que o esforço recente que foi feito é maior que a média dos países latino-americanos.
