sexta-feira, 7 de setembro de 2012

Como uma metodologia errada conduz a resultados equivocados: o RUF da Folha de São Paulo

Há uma máxima que aprendi com os computeiros quando ainda era estudante: GIGO: garbage in, garbage out ou Entra Lixo, Sai Lixo. É um trocadilho com FIFO (First In, First Out, ou Primeiro a entrar, Primeiro a sair), uma estratégia usada no gerenciamento de estruturas de dados. GIGO pode ser entendido como dados errados invariavelmente levam a conclusões equivocadas.

O universo acadêmico brasileiro começou a semana com uma notícia bomba: a divulgação do Ranking Universitário da Folha, o RUF. A exemplo do Times, que publica um dos mais respeitados rankings mundiais de universidades, a Folha de São Paulo decidiu fazer um ranking independente das avaliações oficiais feitas pelo INEP. Uma iniciativa desse tipo só merece elogios e tenho certeza que no futuro será uma referência fundamental. Até o Ministro da Educação, responsável pela avaliação oficial, elogiou a iniciativa. Rankings universitários consistem num assunto polêmico sobre o qual não quero me alongar agora (talvez no futuro...).

A exemplo de rankings internacionais, o RUF adotou uma mistura de parâmetros com pesos arbitrários mas bastante razoáveis para seu objetivo: 55% para um indicador de Pesquisa Acadêmica, 20% para Qualidade de Ensino, 20% para Avaliação do Mercado e 5% para Inovação. Com base nos parâmetros adotados, trata-se de um ranking voltado para orientar os estudantes na escolha de uma instituição, a exemplo do QS, Forbes e US News. No contexto brasileiro eu daria menos peso para a pesquisa, mas isso é uma questão de opinião pessoal.

Cada um dos parâmetros precisa ser medido ou estimado por uma metodologia própria. Os resultados são computados, pesados e tabelados. O resultado final está reproduzido na tabela abaixo:


as 10 melhores universidades

USPSP
UFMGMG
UFRJRJ
UFRGSRS
UnicampSP
UnespSP
UFPRPR
UnBDF
UFSCSC
10ºUFPEPE


Não há surpresas quanto às 10 primeiras colocadas: As 3 universidades públicas paulistas e mais 7 federais de reconhecida qualidade. No entanto, fiquei muito surpreso com a posição da Unicamp como 5a colocada.  Em TODOS os rankings acadêmicos internacionais (ARWU, THE, QS, Scimago, US News), a Unicamp aprece em segundo lugar no Brasil, com exceção do de Leiden onde ela está em terceiro. Mesmo no Webometrics, que eu não considero um ranking acadêmico, ela está em terceiro.

Um resultado surpreendente como esse levou a uma análise detalhada: No RUF a Unicamp aparece em Primeiro lugar em Inovação, segundo lugar nos parâmetros Pesquisa Acadêmica e Avaliação do Ensino, e 42 em Avaliação do Mercado.

Como assim 42???? Não devemos esquecer que segundo Douglas Adams (e o Google) 42 é a  resposta para a vida, o universo e tudo mais. Pena que não se saiba mais qual a pergunta...

Um resultado tão surpreendente exige uma explicação. De fato o RUF encontrou uma supremacia das universidades privadas na Avaliação do Mercado, ao contrário do esperado. O próprio RUF aponta a diferença entre a UNIP (9a segundo a Avaliação do Mercado) e a Unicamp (42a) . Segundo ele:
"O executivo valoriza a instituição que lhe oferece bons profissionais - em geral, eles saem de escolas do local de atuação da empresa. Podem ser até instituições de ensino superior sem papel relevante na pesquisa científica, mas que tenham fama de oferecer boa formação. O cientista, por outro lado, valoriza as que se destacam na produção em suas respectivas áreas, dependentemente da região do país."

Essa interpretação não é minimamente razoável, nem compatível com as leis do "mercado". A grande maioria dos jovens brasileiros busca no Ensino Superior uma garantia de emprego e bom salário. Se o "mercado" prefere os formados nas universidades privadas, por que a concorrência no vestibular das públicas é tão maior?

Sempre que uma medida dá um resultado muito surpreendente, os cientistas têm vários caminhos a tomar. Antes de divulgar alguma bobagem, que pode derrubar sua reputação para sempre, o responsável pelo resultado deve verificar a consistência. Por exemplo, verificar se algum outro laboratório encontrou resultado semelhante. No caso, não. Por exemplo, no relatório do QS a Unicamp aparece em segundo entre as brasileiras no geral e no parâmetro Employer Reputation, apesar de a metodologia usada não estar explícita. Ou seja, o dado do RUF é muito diferente do QS apenas nesse parâmetro.

Outra possibilidade é verificar a consistência entre o parâmetro medido e os demais parâmetros. Para isso é preciso fazer algumas considerações: No caso do "mercado", o que ele esperaria de um profissional? Por mais que imaginemos que o empresariado brasileiro seja pouco criativo e descompromissado com inovação ou pesquisa (não é!), certamente ele buscaria os profissionais educados onde a qualidade de ensino é mais alta. No entanto, entre as 40 primeiras segundo a Avaliação do Mercado 10 receberam ZERO em Avaliação do Ensino. É razoável supor que o "mercado" privilegie universidades com um ensino tão mal avaliado? Haveria uma máfia de responsáveis por recursos humanos que de propósito privilegiaria egressos de certas escolas, ainda que de qualidade inferior?

A resposta para essas questões está no relatório técnico que detalha a metodologia usada para estimar a Avaliação do Mercado. Como foi dito no início desse texto: GIGO: Entra lixo, sai lixo.

A metodologia usada para medir a Avaliação pelo Mercado é de uma ingenuidade incompatível sua pretensão de orientar políticas públicas. Foram entrevistados por telefone 1212 responsáveis por recursos humanos em empresas de diversas áreas. Os 20 cursos pesquisados estão no quadro abaixo. Cabe notar que a maior parte dos cursos está presente prioritariamente nas universidades privadas.



A Unicamp não oferece graduação em pelo menos 8 desses cursos. Nada mais óbvio que não seja lembrada. Aliás, assim como muitas das universidades públicas, que só detém 25% da matrícula em graduação.

Nenhuma das explicações oferecidas se sustenta, simplesmente porque a metodologia que foi usada para estimar a Avaliação do Mercado avalia a presença de profissionais em empresas, mas não como o "mercado" avalia os formados em cada instituição.

Isso poderia ser feito de outras maneiras, certamente mais trabalhosas, que alguns dos rankings internacionais usam: por exemplo, computar a empregabilidade dos formados, que salário médio eles obtém no início de carreira (isso sim dá uma boa idéia de como o "mercado percebe cada universidade), que tipo de cargo ocupam após alguns anos na empresa, etc.

É difícil acreditar que na experiente equipe que elaborou o RUF ninguém tenha se dado conta de que o indicador de Avaliação do Mercado tem algo de inconsistente. O blog Cidadania e Cultura do Fernando Nogueira Costa fez uma análise similar.

O raciocínio aqui exposto aplica-se também à UFSCar, uma das universidades mais concorridas do país e que não forma nas áreas privilegiadas pelo RUF. Se refazemos o ranking ignorando o parâmetro mal medido, ela pula de 17o para 10o lugar.

Só posso esperar que a Folha reconheça o erro e reveja seus métodos nas próximas edições do RUF.


Disclaimer: Potenciais conflitos de interesse: O autor é professor e assessor do Reitor da Unicamp, universidade que devido à metodologia utilizada foi classificada em 5o lugar pelo RUF, significativamente abaixo de sua real relevância no ensino superior brasileiro.

Atualização 8/9/2012: Dois textos sobre o assunto, em ordem cronológica:
Questionamentos ao “Ranking Universitário Folha”, do Dmitri Cerboncini Fernandes, de 3/9/2012.
Forrobodó Universitário: a polêmica do RUF, do Gene Reporter (Roberto Takata), de 8/9/2012.

domingo, 2 de setembro de 2012

Chimarrão, chá verde e câncer

ResearchBlogging.org
Eu sempre gostei muito de chás. Começando pelo delicioso chimarrão muito apreciado na minha terra. Ao mate são atribuídas diversas propriedades medicinais benéficas, algumas certamente exageradas, como não causar insônia. Minha própria experiência nos tempos de estudante indica o mate como mais eficaz que o café para passar a noite estudando (eu sei, péssimo hábito, mas já faz mais de 30 anos. Além disso, não se trata de um estudo com uma amostra grande e controlado por placebo). Menos conhecido é o lado carcinogênico do chimarrão. Um estudo feito por uma equipe da UFRGS indica que o hábito de tomar mate é um fator de risco para câncer de esôfago (apesar de a metodologia empregada ser questionável), o que é corroborado por estudos epidemiológicos, ainda que um recente artigo de revisão sugira que esses estudos são inconclusivos. Sempre que se discute a associação entre o mate e câncer é argumentado que na verdade o mate não é nocivo, mas sim a alta temperatura (até 70C!) da água usada na infusão. No entanto, pelo menos um estudo indica que são encontradas altas concentrações de substâncias cancerígenas em infusões preparadas tanto com água quente quanto a temperatura ambiente, indicando que a ação cancerígena está associada mesmo à erva.

Foi muito interessante o anúncio feito recentemente por pesquisadores da University of Strathclyde: Composto do chá verde é promissor para combater o câncer.

O último artigo de revisão sobre o assunto publicado em um periódico de prestígio afirma que apesar de existirem mecanismos bem estabelecidos para que o chá verde previna o câncer e resultados promissores em estudos com animais, "atividade preventiva para câncer ainda ainda não foi observada de forma consistente em humanos". Isso foi discutido num post muito mais otimista que esse no RNAm.

No que consiste o resultado de Strathclyde? Não consegui ler o preprint do artigo, que foi submetido à Nanomedicine-UK, que não faz parte dos 33010 periódicos assinados no portal Capes. Apesar disso, pelo resumo é possível entender o que foi estudado: O composto epigallocatechin-3-gallate (EGCG), presente no chá verde, apresenta propriedades anticancerígenas. No entanto, seu potencial é limitado porque ele não consegue atingir tumores após injeção intravenosa. A hipótese do artigo, que foi aparentemente confirmada, é que a eficiência do EGCG aumenta se ele for encapsulado em vesículas contendo transferrina. A conclusão do artigo é muito simples: Encapsulamento de EGCG em vesículas contendo transferrina é uma estratégia terapêutica promissora. Nada a ver com beber chá ou prevenir câncer pelo consumo de chá. Alguém na assessoria de imprensa da universidade deve ter percebido o potencial midiático do chá verde e o fato de pouca gente ler com cuidado os press releases e o estudo virou manchete no mundo todo. No Brasil:

Chá verde pode ser nova arma contra o câncer de pele, com uma foto de uma xícara de chá.
Chá verde pode combater o câncer de pele, mais uma xícara de chá.
Chá verde pode prevenir o câncer, outra xícara de chá.
Cura do câncer de pele pode esta no chá verde, dessa vez são as folhas de chá.

Curioso é que a conclusão do estudo é justamente que o EGCG só funciona bem quando encapsulado, ou seja, não adianta beber litros de chá para prevenir ou para combater o câncer. 

Outros sites foram mais cuidadosos, começando as chamadas com : "Extrato de chá verde...", mas a xícara sempre está lá. Para aproximar isso da realidade do estudo, ilustrei esse post com o instrumento necessário para o consumo do EGCG encapsulado. A realidade às vezes espeta.

O estudo precisa ser reproduzido e mais bem estabelecido, mas pode conter uma dica importante sobre por que é tão difícil reproduzir in vivo (no caso, in humano) os resultados obtidos in vitro.

Ah, e para constar, continuarei tomando meu mate e chá nas suas diversas formas: verde, preto, branco...


Referências:

Sérgio Gabriel Silva de BARROS, Eduardo Sörensen GHISOLFI, Letícia Perondi LUZ, Gabriel Guinsburg BARLEM, Roberta Machado VIDAL, Fernando Herz WOLFF, Valentino Antônio MAGNO, Helenice Pankowski BREYER, Judite DIETZ, Antonio Carlos GRÜBER, Cleber Dario Pinto KRUEL, João Carlos PROLLA (2000). Mate (Chimarrão) é consumido em alta temperatura por população sob risco para o carcinoma epidemóide de esôfago Arquivos de Gastroenterologia, 37 (1), 25-30 DOI: 10.1590/S0004-28032000000100006

Ana Luiza Curi Hallal, Sabina Léa Davidson Gotlieb, Maria do Rosário Dias de Oliveira Latorre (2001). Evolução da mortalidade por neoplasias malignas no Rio Grande do Sul, 1979-1995 Revista Brasileira de Epidemiologia, 4 (3), 161-177 DOI: 10.1590/S1415-790X2001000300004

Dora Loria, Enrique Barrios, Roberto Zanetti (2009). Cancer and yerba mate consumption: a review of possible associations Revista Panamericana de Salud Pública, 25 (6), 530-539 DOI: 10.1590/S1020-49892009000600010

Farin Kamangar, Michele M. Schantz, Christian C. Abnet, Renato B. Fagundes, Sanford M. Dawsey (2008). High Levels of Carcinogenic Polycyclic Aromatic Hydrocarbons in Mate Drinks Cancer Epidemiology, Biomarkers and Prevention, 17 (5), 1262-1268 DOI: 10.1158/1055-9965.EPI-08-0025

Chung S. Yang, Xin Wang, Gang Lu, Sonia C. Picinich (2009). Cancer prevention by tea: animal studies, molecular mechanisms and human relevance Nature Reviews Cancer, 9 (6), 429-439 DOI: 10.1038/nrc2641

Fanny Lemarié, Chun Wai Chang, David R Blatchford, Rumelo Amor, Greg Norris, Laurence Tetley, Gail McConnell, Christine Dufès (2012). Antitumor activity of the tea polyphenol epigallocatechin-3-gallate encapsulated in targeted vesicles after intravenous administration Nanomedicine-UK DOI: 10.2217/nnm.12.83
Creative Commons License
Os direitos de reprodução de Cultura Científica são regulados por uma Licença Creative Commons.