I gdzie teraz jest Twój empiryzm?

BEC CREW, 6 JUL 2016

A bug in fMRI software could invalidate 15 years of brain research

This is huge.

There could be a very serious problem with the past 15 years of research into human brain activity, with a new study suggesting that a bug in fMRI software could invalidate the results of some 40,000 papers.

That’s massive, because functional magnetic resonance imaging (fMRI) is one of the best tools we have to measure brain activity, and if it’s flawed, it means all those conclusions about what our brains look like during things like exercise, gaming, love, and drug addiction are wrong.

„Despite the popularity of fMRI as a tool for studying brain function, the statistical methods used have rarely been validated using real data,” researchers led by Anders Eklund from Linköping University in Sweden assert.

The main problem here is in how scientists use fMRI scans to find sparks of activity in certain regions of the brain. During an experiment, a participant will be asked to perform a certain task, while a massive magnetic field pulsates through their body, picking up tiny changes in the blood flow of the brain.

These tiny changes can signal to scientists that certain regions of the brain have suddenly kicked into gear, such as the insular cortex region during gaming, which has been linked to ‚higher’ cognitive functions such as language processing, empathy, and compassion.

Getting high on mushrooms while connected to an fMRI machine has shown evidence of cross-brain activity – new and heightened connections across sections that wouldn’t normally communicate with each other.

It’s fascinating stuff, but the fact is that when scientists are interpreting data from an fMRI machine, they’re not looking at the actual brain. As Richard Chirgwin reports for The Register, what they’re looking at is an image of the brain divided into tiny ‚voxels’, then interpreted by a computer program.

„Software, rather than humans … scans the voxels looking for clusters,” says Chirgwin. „When you see a claim that ‘Scientists know when you’re about to move an arm: these images prove it,’ they’re interpreting what they’re told by the statistical software.”

To test how good this software actually is, Eklund and his team gathered resting-state fMRI data from 499 healthy people sourced from databases around the world, split them up into groups of 20, and measured them against each other to get 3 million random comparisons.

They tested the three most popular fMRI software packages for fMRI analysis – SPM, FSL, and AFNI – and while they shouldn’t have found much difference across the groups, the software resulted in false-positive rates of up to 70 percent.

And that’s a problem, because as Kate Lunau at Motherboard points out, not only did the team expect to see an average false positive rate of just 5 percent, it also suggests that some results were so inaccurate, they could be indicating brain activity where there was none.

„These results question the validity of some 40,000 fMRI studies and may have a large impact on the interpretation of neuroimaging results,” the team writes in PNAS.

The bad news here is that one of the bugs the team identified has been in the system for the past 15 years, which explains why so many papers could now be affected.

The bug was corrected in May 2015, at the time the researchers started writing up their paper, but the fact that it remained undetected for over a decade shows just how easy it was for something like this to happen, because researchers just haven’t had reliable methods for validating fMRI results.

Since fMRI machines became available in the early ’90s, neuroscientists and psychologists have been faced with a whole lot of challenges when it comes to validating their results.

One of the biggest obstacles has been the astronomical cost of using these machines – around US$600 per hour – which means studies have been limited to very small sample sizes of up to 30 or so participants, and very few organisations have the funds to run repeat experiments to see if they can replicate the results.

The other issue is that because software is the thing that’s actually interpreting the data from the fMRI scans, your results are only as good as your computer, and programs used to validate the results have been prohibitively slow.

But the good news is we’ve come a long way, and Eklund points to the fact that fMRI results are now being made freely available online for researchers to use, so they don’t have to keep paying for fMRI time to record new results, and our validation technology is finally up to snuff.

„It could have taken a single computer maybe 10 or 15 years to run this analysis,” Eklund told Motherboard. „But today, it’s possible to use a graphics card”, to lower the processing time „from 10 years to 20 days”.

So going forward, things are looking much more positive, but what of those 40,000 papers that could now be in question?

Just as we found out last year that when researchers tried to replicate the results of 100 psychology studies, more than half of them failed, we’re seeing more and more evidence that science is going through a bit of a ‚replication crisis’ right now, and it’s time we addressed it.

Unfortunately, running someone else’s experiment for the second, third, or fourth time isn’t nearly as exciting as running your own experiment for the first time, but studies like this are showing us why we can no longer avoid it.

Nieźle – 15 lat błędów i wypaczeń, stosy bzdur naprodukowanych przez kółka wzajemnej adoracji masturbujące się ideą peer review i wzajemnymi cytowaniami. A ostatecznie okazuje się, że stary, dobry konformizm zawarty w owczym pędzie i ciężar autorytetu robią swoje – w tym wypadku akurat powiązane ze ślepą ufnością w narzędzia pomiarowe.

Na całe szczęście to tylko neuronauki. Pomyślcie, co mogłoby się stać, gdyby podobna przypadłość dotknęła ekonomii! ;)

Reklamy

Utracone dwa miesiące pracy… Ech…

Rękopisy ponoć nie płoną a ludzie dzielą się na tych, którzy robią backupy i na tych, którzy dopiero zaczną je robić…

Straciłem tekst, który montowałem w wolnych chwilach przez ostatnie dwa miesiące. Rzecz, z jakiej niewątpliwie byłem zadowolony, co rzadko się zdarza, i szlifowałem jej formę, by dalej i chłonniej niosła treść. Wszystko w jednej chwili poszło do piachu – „Szaleństwa wielkich wspólnot” nie ma i będę musiał je odbudować, co napawa mnie niechęcią do podejmowania drugi raz tej samej drogi i lękiem, iż drugi raz nie uda mi się tak trafnie wyrazić tego, czego już raz – na świeżo – dokonałem. W takiej chwili człowiek chce po prostu kupić zwyczajną, analogową maszynę do pisania, by jakoś oprzeć się wirtualnej iluzoryczności magnetycznych bajtów. Oczywiście, najważniejsze argumenty da się odtworzyć, podobnie jak tok wnioskowania i ogólną konstrukcję, ale trudno ubierać to wszystko w słowa z podobnym entuzjazmem, animuszem czy rozmachem, gdy człowiek przestawia się w tryb seryjnego wyrobnika tej samej treści i ma się powtarzać.

Z drugiej strony, może to okazja, by zrobić to jeszcze lepiej?

Hmm, 24 grudnia – cóż tu robić? Z tej okazji chyba „Antychrysta” sobie poczytam. Wesołych świąt, umartwiacze! Zaspoileruję Wam: ukrzyżują go!

Dostawa świeżych hiperłącz

Czas na kolejną mikro-aktualizację bloga. Odnośnikowisko wzbogaca się o kolejne pozycje. Moimi „nowymi”* odkryciami są:

  • Filozofowanie na hołdzie — co prawda od marca nieaktualizowany, ale z dość długą, jak na internetowe żywoty, historią, zapewniającą więc sporo materiału do czytania. W dodatku, blogi o filozofii jako takiej są zjawiskiem dość rzadkim, tym bardziej w dodatku pochodzące z mojej małej ojczyzny. Proautonomiczne, więc decentralistyczne poglądy autora tym bardziej zaskarbiają mą sympatię, zatem aktualizowany bądź nie, blog Adama Brzoski trafia na drogowskazy Zakątka.
  • Płaszczyzna Immanencji — do kompletu blog Dziewica. Kupa solidnej roboty. W dodatku uskutecznianej po dzień dzisiejszy, co zasługuje na szczególną uwagę. Profil: filozofia i wyłącznie filozofia. „Płaszczyzna…” jest miejscem tętniącym życiem; autor chętnie wdaje się we wspólne z odwiedzającymi rozważania, o czym świadczyć mogą liczne komentarze. Mój faworyt tego rozdania hiperłącz.

Dalej.
Cenię pracę poświęcających się przy prowadzeniu specjalistycznych, tematycznych blogów, poruszających jakąś konkretną, wybraną dziedzinę. Podziwiam ich samozaparcie (bądź monotematyczne zainteresowania) i chętnie czytuję. Ale tak naprawdę, najbardziej lubię te zdecydowanie osobiste miejscówki, w których autorzy swobodnie mówią o tych sprawach, jakie „napadają” ich na codzień, prezentując na bieżąco swoją perspektywę na ten świat.

I dlatego też, choć po długich namysłach, dorzucam do Odnośnikowiska:

  • Antyszwecję, krainę Antyszweda. Piszę „po długich namysłach”, gdyż trochę się wahałem, czy na pewno chcę firmować niehigieniczne psychicznie umysłowe wyziewy kolegi z Yrizony. Mizantropijną bucerę podlaną nihilizmem, podpaloną często wymuszonym humorem audiowizualnym o wątpliwej jakości, ściślej rzecz biorąc. Doszedłem jednak do wniosku, spoglądając na tytuł swojego bloga, że nie stoi w sprzeczności z nim firmowanie ekstremów, ba! Wielkość-i-małość, Szlachetność-i-nikczemność powinny być afirmowane, na chwałę Diady Nieokreślonej!Zatem i blog zgniłka Antyszweda zasługuje na rekomendację. Dlaczego? Cóż, zdarzają się tam teksty niesamowicie trafne. Takim przykładowo jest jeden z ostatnich: „Życie bez jutra”. W sposób wyjątkowo precyzyjny kreślona jest tam perspektywa, jaką sam bardzo dobrze znam z autopsji. Mam zatem świadomość, że i autorowi jest ona nieobca. W związku z tym, mimo nieco różniącego się stosunku do tego, co wiemy, w czym tkwimy (bądź tkwiliśmy), wiem, że i on wie to samo. Jest to dla mnie zupełnie wystarczający powód, by śledzić dalsze losy Antyszwecji. :)

    Co prawda autor porzuca bloga na rzecz mamony, a później wysoce prawdopodobne jest, iż należy się będzie liczyć z zasypem hedonistycznego kontentu, który ustanie wraz z przepuszczoną kasą, zarobioną na obczyźnie. Jakoś to przetrwamy. Zachęcam jednak Antyszweda do niezarzucania pisania, i skrobania dla nas chociażby z angielskiego zmywaka. Perspektywa emigranta może dalej ubarwić bloga… No i kompletnych przenosin na WordPressa, bo kontrowersje są strasznie siermiężne, a ja nie chcę tu być taki osamotniony.

  • Ostatnią pozycją tej aktualizacji jest Strategiusz, blog Madlocka. Włażę mu tam, udzielam się dostarczając komentarzy, to zalegalizuję nasz związek.

*ok, wcale nie takimi nowymi. Znalazłem stare zakładki po dawnym formacie dysku, z takimi zapomnianymi blogami, o których miałem, co prawda, pamiętać, ale mi się nie udało — do tej zacnej chwili.