Dodano: 09 grudnia 2021r.

Duże kontrowersje dot. badań nad nowotworami. Połowy wyników nie udało się powtórzyć

Projekt „Reproducibility: Cancer Biology” miał na celu sprawdzenie wyników badań najlepszych laboratoriów zajmujących się leczeniem nowotworów. Rozpoczął się osiem lat temu i teraz zakończył się w dość zaskakujący i przykry sposób. Jego autorzy donoszą, że kiedy próbowano powtórzyć eksperymenty zaczerpnięte z 23 ważnych publikacji naukowych, mniej niż połowa dała podobne wyniki.

Duże kontrowersje dot. badań nad nowotworami. Połowy wyników nie udało się powtórzyć

 

- Odkrycia te stanowią wyzwanie dla wiarygodności przedklinicznych badań na temat nowotworów - mówi psycholog Brian Nosek, dyrektor Centrum Otwartej Nauki (COS), współorganizatora projektu. Wyniki i wnioski opublikowano w „eLife” (DOI: 10.7554/eLife.67995).

Projekt udowadnia potrzebę dzielenia się przez autorów większą ilością szczegółów dotyczących ich eksperymentów, aby inni mogli je skutecznie odtworzyć. Wśród głównych problemów badacze wymieniają niejasne protokoły i niechętnych do współpracy autorów. Wszystkie te czynniki ostatecznie uniemożliwiły ukończenie eksperymentów w przypadku 30 z 53 prac, które początkowo wytypowano.

- Posiadanie wiedzy na temat odtwarzalności eksperymentów wydaje się być przydatne – mówi Charles Sawyers z Memorial Sloan Kettering Cancer Center. - Trudno jednak przewidzieć, czy w konsekwencji cokolwiek się zmieni – dodaje.

Problemy z odtwarzaniem eksperymentów

Centrum Noska i firma Science Exchange utworzyły projekt „Reproducibility: Cancer Biology” (RP:CB) w 2013 roku, po tym jak dwie firmy farmaceutyczne zgłosiły, że nie są w stanie odtworzyć wielu opublikowanych przedklinicznych eksperymentów dotyczących badań nad rakiem. Celem było powtórzenie kluczowych prac z najlepszych publikacji z zakresu podstawowej biologii nowotworów, opublikowanych przez czasopisma takie jak „Science”, „Nature” i „Cell” w latach 2010-2012.

Dzięki funduszom z Fundacji Arnolda (obecnie Arnold Ventures), organizatorzy zaplanowali badania odtwarzające (replikacyjne), które były recenzowane przez „eLife”. W ten sposób naukowcy chcieli upewnić się, że wiernie naśladują one oryginalne eksperymenty. Badania miały być przeprowadzane przez firmy i laboratoria zewnętrzne.

Osoby zaangażowane w projekt szybko napotkały problemy, ponieważ we wszystkich oryginalnych pracach brakowało szczegółów, takich jak dane bazowe, protokoły, kody statystyczne i źródła odczynników. Kiedy skontaktowano się z autorami w celu uzyskania tych informacji, wielu z nich spędziło miesiące na szukaniu szczegółów.

Ale tylko 41 proc. autorów było pomocnych. Jedna trzecia w ogóle odmówiła lub nie odpowiedziała na prośby. Dodatkowe problemy pojawiły się, gdy laboratoria rozpoczęły eksperymenty, ale komórki nowotworowe nie zachowywały się tak, jak opisywano w badaniu podstawowym.

Ostatecznie projekt zakończył się zredukowaniem początkowej listy 53 prac, obejmującej 193 kluczowe eksperymenty, do zaledwie 23 prac z 50 eksperymentami. W 18 z tych prac wykonano wszystkie badania, a w pozostałych tylko niektóre eksperymenty. Począwszy od 2017 roku, wyniki każdej z powtórek były publikowane w „eLife”. W sumie projekt pochłonął 1,5 miliona dolarów.

Wyniki nie napawają optymizmem

Wyniki tylko pięciu prac mogły być odtworzone w pełni, pozostałe badania przeprowadzono tylko w części. Jak się okazało, tylko 46 proc. ze 112 zgłoszonych efektów eksperymentów spełniało kryteria replikacji, na przykład opisany w pracy zwiększony wzrost komórek nowotworowych lub kurczenie się guza.

Jeszcze bardziej uderzające jest to, że wielkość zmian była zazwyczaj znacznie skromniejsza, średnio osiągała tylko 15 proc. efektu opisywanego w oryginalnej pracy. - Ma to ogromne znaczenie dla sukcesu tych eksperymentów, które potem są wprowadzane do klinik. Firmy farmaceutyczne chcą, aby były to silne, solidne efekty - mówi Tim Errington, lider projektu w COS.

- Odkrycia są niewiarygodnie ważne - mówi Michael Lauer dyrektor z National Institutes of Health (NIH). Jednocześnie ekspert podkreśla, że niższe pomiary efektów nie są zaskakujące. Naukowcom znany jest fakt, że najsilniejsze efekty mają największą szansę na opublikowanie. A ustalenia nie oznaczają, że „cała nauka jest niegodna zaufania”.

Jak się okazuje różne próby powtarzające ten sam eksperyment, nie zawsze dają takie same wyniki. Inne laboratoria potwierdzają większość prac, w tym niektóre podważone przez RP:CB. Sean Morrison, biolog z University of Texas Southwestern Medical Center, zauważa, że wysiłki RP:CB miały trudności z powtórzeniem badań na zwierzętach.

Naukowcy dostali kolejny dowód na to, jak trudne do weryfikacji i wykorzystania mogą być wyniki badań w niektórych dziedzinach, takich jak na przykład powiązania między bakteriami jelitowymi a rakiem jelita grubego. Badacze muszą zdawać sobie sprawę, że proste zmiany w konfiguracji eksperymentalnej, takie jak lokalne bakterie w kwaterze zwierząt laboratoryjnych, mogą wpłynąć na wyniki. Z tej perspektywy dla naukowców praca RP:CB jest z pewnością pouczającym doświadczeniem.

Liderzy projektu przekonują, że naukowcy i czasopisma naukowe muszą zaostrzyć wymagania, by autorzy dzielili się swoimi metodami i materiałami. - Panuje przekonanie, że takie replikacje są naprawdę powolne i trudne - mówi dyrektor generalny Science Exchange, Elizabeth Iorns. - Ale jeśli dane, protokół i odczynniki byłyby łatwo dostępne, to powtórka eksperymentu powinna być bardzo szybka – dodaje.

 

Źródło: Science, fot. PxHere/ CC0 Public Domain