Desde 2016, equipes estão trabalhando para construir formas de avaliar o projeto Comunidade de Aprendizagem nas escolas. No fim de abril de 2017, com instrumentos prontos e profissionais capacitados, é hora de as visitas começarem a ser feitas nos 6 países na América do Sul em que o projeto está presente: Brasil, Chile, Peru, Colômbia, Argentina e México.

Lucas Sempé, doutorando da área de avaliação e professor da Universidad para el Desarrollo Andino, no Peru, e a consultora Sara Lucchetti Campos são os coordenadores dessa avaliação de impacto (ambos na foto acima). Serão dois anos de coleta de dados e análises realizadas por cerca de 15 pessoas. Até o início de 2019, poderemos verificar os resultados quantitativos e qualitativos que indicam a diferença que CA imprime nas escolas e as transformações no comportamento das pessoas envolvidas. Abaixo, veja a entrevista realizada com Lucas sobre como a avaliação será realizada em campo e os ganhos para Comunidade de Aprendizagem:

Qual o objetivo da avaliação de impacto de Comunidade de Aprendizagem?

Lucas - O objetivo é coletar evidências que mostrem, com dados estatísticos, o quanto Comunidade de Aprendizagem contribui positivamente nos locais em que está presente, verificando resultados alcançados no curto e médio prazos. A avaliação será feita em escolas de múltiplos contextos e diferentes tamanhos. Isso vai nos permitir concluir em qual medida o projeto acarreta mudanças nos vários atores – professor, equipe escolar, estudante e comunidade.

Por que isso é importante?

Lucas - Para possibilitar que pessoas envolvidas com o projeto tenham acesso a informações consistentes, e para que escolas, secretarias e governos que não tenham ligação com Comunidade de Aprendizagem passem a conhecer seu impacto. Além disso, existe o uso interno da equipe do projeto, que terá evidências para colaborar na tomada de decisões.

Como analisar escolas que estão localizadas em contextos tão diferentes?

Lucas - Para fazer uma avaliação de impacto como essa, tivemos que nos basear em um grande sustento teórico, que indica ser essencial medir características variáveis em dois grupos de escolas que sejam iguais ou o mais semelhantes possível.

Por isso, o primeiro passo é encontrar em cada um dos municípios escolas que sejam muito parecidas àquelas que estão ligadas ao projeto e analisá-las. Em outras palavras, as escolas de tratamento (que implementam o projeto e farão parte da avaliação) serão comparadas com as escolas de controle (que não implementam o projeto e terão os mesmos indicadores avaliados).  

Para fazer a escolha das escolas de controle, há técnicas específicas: são analisadas instituições que estejam preferencialmente em mesmos municípios e tenham dados muito próximos das escolas de tratamento, seja em relação ao tamanho da escola, dos índices educacionais, dados de violência, reprovação ou desistência. 

O segundo passo do trabalho é desenhar uma avaliação que permita coletar dados quantitativos, que medem percepção, desenvolvimento ou resultados, e dados qualitativos, que sejam obtidos nas respostas de entrevistas e grupos focais.

A análise é feita por inteiro, com dados numéricos e não, para melhor compreensão de contextos e de diferenças.

Como a avaliação está estruturada?

Lucas - A avaliação é longitudinal, isso é, avalia os diferentes grupos por dois anos para verificar as mudanças ao longo do tempo.

Em 2016, nossas principais ações foram desenhar um modelo, construir um quadro lógico e os instrumentos mais adequados. Então, fizemos uma primeira validação: aplicamos os questionários em algumas escolas, vimos o que parecia efetivo e quais alterações eram necessárias. Também buscamos as escolas de controle dos municípios e a seleção dos aplicadores dos questionários nos 6 países. Fechamos então em quais localidades a avaliação será realizada. No Brasil, por exemplo, as escolas estão em São Paulo (Cajamar, Mococa e São José do Rio Pardo) e na Bahia (Iraquara e Souto Soares). A atuação no México, Chile, Colômbia, Peru e Argentina também tem ampla distribuição geográfica nos territórios. 

Em 2017, realizamos a formação dos profissionais envolvidos e até o fim de abril começaremos a aplicação dos questionários, as entrevistas com profissionais das escolas e da comunidade. Terminaremos essa primeira etapa em junho. Em 2018, haverá outros momentos de coleta de dados.

O que será avaliado ao longo desses dois anos?

Lucas - Com base nas aplicações dos instrumentos avaliativos realizados com diretores, professores, pais e alunos da Educação Básica vamos verificar mudanças em várias dimensões. Em relação aos estudantes, nosso foco será no uso da leitura, gosto pela leitura e fluência verbal, além de mudanças das relações interpessoais e participação em situações de conflito na escola. Com os educadores, procuraremos acompanhar alterações no engajamento, compromisso com a escola, melhora nas relações interpessoais, percepção em relação à participação dos pais, aos problemas na escola e no clima. Como se vê, nosso foco não é medir o desempenho dos estudantes nem dos educadores, mas de que forma o projeto está funcionando nas escolas.

Quando serão divulgados os primeiros resultados?

Lucas - A cada coleta de dados faremos uma análise e entregaremos de forma sistematizada a cada país. As informações mais detalhadas serão liberadas a cada escola. Em 2017, isso vai ocorrer por volta de julho. Em 2018, teremos os resultados de 2017 para servirem de comparação, o que já enriquece o material. O produto final da avaliação será no início de 2019, com um documento conclusivo e comparativo.

Quais maiores dificuldades imagina encontrar?

Lucas - O passo a passo da avaliação é exigente para os profissionais envolvidos, mas o trabalho nas escolas normalmente é realizado com pessoas muito comprometidas, com desejo de aprender e melhorar. O que nos preocupa, então, são os fatores externos à avaliação, como assuntos de caráter político que alterem a direção da escola ou greves que impedem as coletas de dados.

Quais as boas notícias que vocês imaginam trazer?

Lucas - Esperamos mostrar resultados que não são tão valorizados por projetos e avaliações em geral, mas para Comunidade de Aprendizagem têm muito sentido, como avanços em relação a relações interpessoais, habilidades socio-emocionais, coesão social, solidariedade e aumento do nível de aprendizagem dos estudantes a longo prazo. Os instrumentos foram construídos com intenção de captar esse tipo de informação, que nos parece tão valiosa!

Por Beatriz Santomauro