Nejauši ziņu un informācijas straumē es nonācu rakstā Nature Scientific Reports. Tas sniedz datus no 1500 zinātnieku aptaujas par pētījumu rezultātu reproducējamību. Ja agrāk šī problēma tika izvirzīta bioloģiskiem un medicīniskiem pētījumiem, kur, no vienas puses, tā ir izskaidrojama (nepatiesas korelācijas, tiek apsūdzēta pētāmo sistēmu vispārējā sarežģītība, dažkārt pat tiek apsūdzēta zinātniskā programmatūra), no otras puses, tai ir fenomenoloģisks raksturs (piemēram, peles mēdz izturēties atšķirīgi no zinātniekiem dažādi dzimumi (1. un 2.).
Tomēr ar dabaszinātnēm, piemēram, fiziku un inženieriju, ķīmiju, ekoloģiju, ne viss ir kārtībā. Šķiet, ka šīs pašas disciplīnas ir balstītas uz "absolūti" reproducējamiem eksperimentiem, kas veikti viskontrolētākajos apstākļos, diemžēl, pārsteidzoši - katra vārda izpratnē - aptaujas rezultāts: līdz 70% pētnieku ir saskārušies ar neatveidojamiem eksperimentiem un rezultātiem, ko ieguvušas ne tikai citas zinātnieku grupas, BET arī publicēto zinātnisko darbu autori / līdzautori!
Vai katrs smilškrāpis slavē savu purvu?
Lai arī 52% respondentu norāda uz atkārtojamības krīzi zinātnē, mazāk nekā 31% uzskata publicētos datus par pilnīgi nepareiziem, un vairākums norādīja, ka joprojām uzticas publicētajam darbam.
Jautājums: vai ir rezultātu atkārtojamības krīze?
Protams, nevajadzētu balstīties uz visu zinātni kā tādu, pamatojoties tikai uz šo aptauju: puse respondentu joprojām bija zinātnieki, kas tādā vai citādā veidā saistīti ar bioloģiskajām disciplīnām. Kā atzīmē autori, fizikā un ķīmijā iegūto rezultātu reproducējamības un pārliecības līmenis ir daudz augstāks (sk. Grafiku zemāk), taču tas joprojām nav 100%. Bet medicīnā, salīdzinot ar pārējo, lietas ir ļoti sliktas.
Reklāmas video:
Prātā nāk anekdote:
Anglijas Bristoles universitātes bioloģiskais psihologs Markuss Munafo ir ļoti ieinteresēts zinātnisko datu reproducējamībā. Atgādinot savas studentu dienas, viņš saka:
Jautājums: cik daudz jūsu nozarē publicētu darbu ir reproducējami?
Platuma un garuma problēmas dziļums
Iedomājieties, ka esat zinātnieks. Jūs esat saskāries ar interesantu rakstu, bet rezultātus / eksperimentus nevar reproducēt laboratorijā. Ir loģiski par to rakstīt oriģinālā raksta autoriem, lūgt padomu un uzdot precizējošus jautājumus. Saskaņā ar aptaujas datiem mazāk nekā 20% to ir izdarījuši jebkurā savas zinātniskās karjeras laikā!
Pētījuma autori atzīmē, ka, iespējams, šādi kontakti un sarunas ir pārāk grūti pašiem zinātniekiem, jo tie atklāj viņu nekompetenci un neatbilstību noteiktos jautājumos vai atklāj pārāk daudz pašreizējā projekta detaļu.
Turklāt lielākā daļa zinātnieku mēģināja publicēt nepārproducējamu rezultātu atspēkojumu, vienlaikus saskaroties ar redaktoru un recenzentu iebildumiem, kuri pieprasīja mazināt salīdzinājumus ar sākotnējo pētījumu. Vai ir kāds brīnums, ka iespēja ziņot par zinātnisko rezultātu neatveidojamību ir aptuveni 50%.
Pirmais jautājums: vai esat mēģinājis reproducēt eksperimenta rezultātus?
Otrais jautājums: vai esat mēģinājis izlikt mēģinājumu atkārtot rezultātus?
Varbūt tad laboratorijas iekšienē vismaz veikt atkārtojamības testu? Skumjākais ir tas, ka trešdaļa respondentu nekad nav pat domājuši par metožu izveidi datu reproducējamības pārbaudei. Tikai 40% norādīja, ka regulāri izmanto šādus paņēmienus.
J: Vai jūs kādreiz esat izstrādājuši īpašus paņēmienus / tehniskos procesus, lai uzlabotu rezultātu atkārtojamību?
Cits piemērs - bioķīmiķis no Apvienotās Karalistes, kurš nevēlējās atklāt savu vārdu, saka, ka, mēģinot atkārtot, reproducēt darbu savam laboratorijas projektam, tas vienkārši divkāršo laiku un materiālās izmaksas, nedodot vai pievienojot darbam neko jaunu. Papildu pārbaudes tiek veiktas tikai inovatīviem projektiem un neparastiem rezultātiem.
Un, protams, mūžīgie krievu jautājumi, kas sāka spīdzināt ārzemju kolēģus: kurš vainīgs un ko darīt?
Kas vainīgs?
Darba autori identificēja trīs galvenās rezultātu atkārtojamības problēmas:
- Augstāku spiediens, lai darbs tiktu publicēts savlaicīgi
- Selektīva ziņošana (acīmredzot, tas nozīmē dažu datu apspiešanu, kas "sabojā" visu attēlu)
- Nepietiekama datu analīze (ieskaitot statistisko)
Jautājums: Kādi faktori ir atbildīgi par neatkārtojamiem zinātniskiem rezultātiem?
Atbildes (no augšas uz leju): –Atskaites paraugs –Bosses spiediens –Pala analīze / statistika –– Nepietiekama eksperimenta atkārtojamība laboratorijā –Nepietiekama uzraudzība –Metodes vai koda trūkums –Par eksperimenta plānojumu –Apstrādātu datu trūkums primārajā laboratorijā –Krāpšana –Neefektīva pārbaude, ko veic eksperti / recenzenti - Problēmas ar reproducēšanas mēģinājumiem - Reproducēšanai nepieciešama tehniskā ekspertīze - Standarta reaģentu mainīgums - "Neddachka and Pichalka"
Ko darīt?
No 1500 aptaujātajiem vairāk nekā 1000 speciālistu izteica atbalstu statistikas uzlabošanai datu vākšanā un apstrādē, priekšnieku veiktā pārraudzības kvalitātes uzlabošanai un stingrākai eksperimentu plānošanai.
J: Kādi faktori palīdzēs uzlabot reproducējamību?
Atbildes (augšas uz leju): - labāka statistikas izpratne - stingrāka uzraudzība - labāka eksperimenta plānošana - apmācība - laboratorijas iekšējais pārskats - uzlabotas praktiskās iemaņas - formālu datu savstarpējas pārbaudes veicināšana - starplaboratoriju pārskats - vairāk laika atvēlēšana projektu vadībai - zinātnisko žurnālu standartu paaugstināšana - Vairāk laika veltīt darbam ar laboratorijas dokumentiem
Secinājums un zināma personīgā pieredze
Pirmkārt, pat man kā zinātniekam rezultāti ir satriecoši, lai gan es jau esmu pieradis pie zināma rezultātu neatgriezeniskuma. Īpaši tas uzskatāmi redzams darbos, ko ķīnieši un indiāņi veikuši bez trešo personu “audita” Amerikas / Eiropas profesoru formā. Ir labi, ka problēma tika atzīta un pārdomāta tās risināšana (-as). Es taktiski klusēšu par krievu zinātni saistībā ar neseno skandālu, kaut arī daudzi godīgi dara savu darbu.
Otrkārt, rakstā netiek ņemta vērā (vai drīzāk netiek apskatīta) zinātniskās metrikas un recenzētu zinātnisko žurnālu loma pētījumu rezultātu neatveidojamības problēmas rašanās un attīstībā. Tiecoties pēc publikāciju ātruma un biežuma (lasīt, citēšanas indeksu palielināšanās), strauji pazeminās kvalitāte un nav laika rezultātu papildu pārbaudei.
Kā viņi saka, visi varoņi ir izdomāti, bet balstās uz reāliem notikumiem. Kaut kā vienam studentam bija iespēja recenzēt rakstu, jo ne katram profesoram ir laiks un enerģija pārdomāti lasīt rakstus, tāpēc tiek apkopots 2–3–4 studentu un ārstu viedoklis, no kura veidojas recenzija. Tika uzrakstīts pārskats, kurā tika norādīts uz rezultātu neatgriezeniskumu saskaņā ar rakstā aprakstīto metodi. Tas tika skaidri parādīts profesoram. Bet, lai nesabojātu attiecības ar “kolēģiem” - galu galā viņiem viss izdodas -, pārskats tika “labots”. Un ir publicēti 2 vai 3 šādi raksti.
Tas izrādās apburtais loks. Zinātnieks rakstu nosūta žurnāla redaktoram, kur viņš norāda “vēlamos” un, pats galvenais, “nevēlamos” recenzentus, tas ir, patiesībā atstājot autoru komandā tikai tos, kuri ir pozitīvi noskaņoti. Viņi pārskata darbu, bet nevar “sūdīties komentāros” un mēģina izvēlēties mazāko no diviem ļaunumiem - tas ir saraksts ar jautājumiem, uz kuriem ir jāatbild, un tad mēs publicēsim rakstu.
Vēl viens piemērs, par kuru žurnāla Nature redaktors runāja tikai pirms mēneša, ir Grazelas saules paneļi. Sakarā ar milzīgo interesi par šo tēmu zinātnieku aprindās (galu galā viņi joprojām vēlas rakstu Dabā!), Redaktoriem bija jāizveido īpaša anketa, kurā viņiem jānorāda daudz parametru, jānodrošina aprīkojuma kalibrēšana, sertifikāti utt., Lai apstiprinātu, ka efektivitātes mērīšanas metode paneļi atbilst dažiem vispārīgiem principiem un standartiem.
Un, treškārt, kad atkal dzirdat par brīnumvakcīnu, kas iekaro visu un visus, jaunu stāstu par Darbu svārkos, jaunām baterijām vai ĢMO vai viedtālruņa starojuma bīstamību / priekšrocībām, it īpaši, ja to reklamēja žurnālistikas dzeltenie rakstnieki, tad esiet saprotošs un nemēdziet secināt. Gaidiet, kamēr citas zinātnieku grupas apstiprina rezultātus, masīva un datu paraugu uzkrāšanu.