Os cientistas brasileiros avaliam a reprodutibilidade na pesquisa biomédica

SCiência sofre de um crise de reprodutibilidade.¹ Em toda a disciplina, os pesquisadores meta – cientistas que estudam a ciência da ciência – reproduzem menos da metade do Resultados De pesquisa em ciências biológicas.^2,3 Em resposta, meta pesquisadores e cientistas de pesquisa básica estão se unindo para resolver esse problema. No Brasil, o Iniciativa de reprodutibilidade brasileira (BRI), um consórcio estabelecido para avaliar a replicabilidade de dados, pesquisar pesquisas biomédicas investigadas no país. Suas descobertas, publicadas como um pré -impressão BiorhivivoAssim, Destaque lacunas na ciência da pesquisa e soluções que podem ser implementadas em escala local.⁴

O argumento para a melhor reprodutibilidade de pesquisa

Clarissa Carneiroum meta cientista e atualmente o co-executivo da Rede de Reprodutibilidade Brasileira, experimentaram o desafio de reprodutibilidade em primeira mão. Como estudante de graduação que estuda farmácia na Universidade Federal do Rio de Janeiro (FURJ), quando tentou estabelecer um modelo comportamental de uma publicação para estudar aspectos neurobiológicos da memória, “nada funcionou”, lembrou -se.

“O primeiro instinto é sempre pensar que algo está errado comigo ou com nossa instituição”, continuou ela, acrescentando que as diferenças entre os animais experimentais e sua infraestrutura habitacional podem causar variabilidade. No entanto, quando ela investigou mais, ela encontrou documentos do Indústria farmacêutica descrevendo desafios semelhantes na replicação de descobertas acadêmicas.^5,6

Embora os cientistas saibam que a baixa reprodutibilidade poderia atrasar o avanço do desenvolvimento de medicamentos, Carneiro explicou que a falta de bons critérios para estabelecer a validade dos métodos deixou os cientistas acadêmicos e da indústria impotentes. Carneiro disse que isso torna mais difícil determinar onde estão os problemas no desenvolvimento de medicamentos fracassados ​​e, de maneira mais geral, na replicação de pesquisas acadêmicas. Ela acrescentou que atualmente é difícil avaliar se um cientista obteve um resultado negativo porque um medicamento realmente não funciona ou porque esse pesquisador não concluiu o método da mesma maneira que outro grupo pretendia.

No entanto, seu interesse na questão estava em um nível mais fundamental. “Trata -se de melhorar os métodos que usamos”, disse ela. “Como selecionamos esses métodos, como relatamos os métodos e os resultados. E também tem um impacto na comunicação entre os cientistas (e) entre os cientistas”.

Na época, ela trabalhava em neurocientista Olavo AmaralGrupo em Furj. Essa questão de reprodutibilidade chamou a atenção de Amaral em 2011, quando ele ensinou estatísticas para os estudantes de graduação e, mais tarde, durante sua pesquisa em neurociência. “Acho que já tivemos problemas de reprodutibilidade há um tempo”, disse ele. “Não sei se isso sempre esteve conosco ou é um problema mais recente. Acho que começamos a prestar mais atenção a ele recentemente”.

Em 2017, com o objetivo de abordar essa questão, Amaral passou para o campo da meta pesquisa e iniciou o BRI, que Carneiro e outros na equipe de Amaral juntaram. Ao realizar seu projeto de reprodutibilidade, a equipe de coordenação do BRI consistia em dez pesquisadores e estagiários de todo o Brasil com experiência em várias disciplinas.

Estabelecendo um processo para replicar pesquisas

Quando a equipe da BRI esboçou seu projeto, o objetivo do projeto de um tiro era criar uma iniciativa multicêntrica para replicar experimentos publicados de pesquisadores brasileiros. Isso contrastava com os esforços anteriores de reprodutibilidade que avaliaram os métodos entre as geografias, mas dentro de uma área de pesquisa. “Fazer isso localmente é interessante no sentido de que permite a diálogo com nossa comunidade imediata”, disse Amaral. “Muitas das mudanças necessárias dependem de financiadores locais e instituições locais que promovem mudanças”.

O grupo começou identificando métodos experimentais freqüentemente usados ​​em pesquisas em ciências biomédicas por pesquisadores brasileiros. Em seguida, eles fizeram ligações para os laboratórios em todo o país para participar do projeto, replicando experimentos que usaram essas técnicas. Por fim, 56 grupos contribuíram com pelo menos um experimento de replicação.

A equipe de coordenação do BRI adquiriu mais de 2.700 publicações para experimentos que pediriam aos grupos participantes que replicassem de um banco de dados público. Com base nos grupos que se ofereceram e em sua revisão da literatura para técnicas de pesquisa comuns, a equipe de coordenação do BRI decidiu três métodos para testar a reprodutibilidade: um teste de metabolismo celular, um ensaio de amplificação de genes e uma análise de comportamento. A equipe pretendia avaliar esses métodos em pelo menos 20 experiências para cada ensaio.

Carneiro transcreveu a seção de métodos de cada experimento de seu artigo original para um protocolo de trabalho. Para responder a perguntas sobre lacunas no processo técnico, ela pediu aos pesquisadores participantes insights. No entanto, antes que os estudos de replicação pudessem começar, a pandemia covid-19 fechou muitos laboratórios por longos períodos de tempo, durante os quais alguns membros de grupos de laboratório deixaram e, em seguida, novas pessoas assumiram o trabalho de reprodutibilidade. “Então, essa outra pessoa agora interpretava o (protocolo) de maneira diferente”, disse Carneiro.

Essas instâncias não eram únicas; A BRI descobriu que pesquisadores experientes frequentemente interpretavam a terminologia em métodos de maneira diferente de seus pares. Using an example of taking samples from tumor cell lines, Amaral explained, “If you have an n of three, what is three is not really clear. Is it like one cell culture that you will take different passages in different days and do the experiment, like in three completely independent instances? Or do you have three cultures, you subculture from each of them, and you do the whole screen in the same day. Or do you actually have one culture and you take little samples of this one culture and call this an n of três?”

Esse dilema se tornou mais aparente depois que os grupos concluíram os estudos de replicação, nos quais eles registraram seus processos com o máximo de detalhes possível. Antes de analisar os dados, um grupo que consiste em coordenar membros da equipe e participantes dos laboratórios de replicação se reuniu para revisar os protocolos e anotações enviadas pelas equipes que replicaram os experimentos para decidir se alguns envios devem ser excluídos com base nos desvios do protocolo. “Perdemos quase um terço das repetições fazendo isso”, disse Amaral. No final, a equipe analisou 97 repetições de 47 experimentos individuais.

Após essa etapa de avaliação, a equipe do BRI descobriu que a taxa de reprodutibilidade em seus três experimentos estava entre 15 e 45 %. Estudos anteriores de reprodutibilidade produziram resultados semelhantes.

Abordando a reprodutibilidade na pesquisa em escala

“Isso não significa que o que está escrito lá está errado”, disse Amaral. Em vez disso, ele disse que indica que há lacunas na forma como a pesquisa é relatada, como detalhes sobre ambientes de laboratório e terminologias específicas.

“A coisa mais interessante sobre os resultados são realmente os problemas que você enfrentou ao longo do caminho”, disse Carniero, destacando os desafios da comunicação que eles experimentaram. Amaral e Carneiro concordaram que seu estudo oferece áreas onde a comunicação de pesquisa poderia ser melhorada em geral.

“O desafio pela frente é descobrir como podemos fazer isso com mais eficiência como comunidade mais ampla”, disse Carniero. Em seguida, a equipe do BRI explorará desafios específicos para cada um dos métodos que o estudo avaliou e discutindo possíveis soluções para eles.

Além disso, Carniero e Amaral continuam seu trabalho de reprodutibilidade com o Rede de reprodutibilidade brasileirauma iniciativa que convida pesquisadores em todo o país a desenvolver recursos para promover a reprodutibilidade da pesquisa.