Voiko ihminen vielä voittaa robotin tarkkuudessa ja toistettavuudessa?

alondon
Photo: Pavel Danilyuk, Pexels.com

Alkuperäinen teksti: Juuso Vuorinen

In English: Can We Still Beat a Robot in Accuracy and Reproducibility?

Akateemisen vuoden 2023-2024 saapuessa puoliväliin kaipasi moni meistä, allekirjoittanut mukaan luettuna,  jo taukoa syksyn intensiivisestä työnteosta. Odotimme kaikki jo innolla joulua ja vesi kielellä kaikkia joulun herkkuja. Ryhmällemme oli kuitenkin edessä vielä yksi haaste, ennen kuin pystyimme virittäytymään joulutunnelmaan joululaulujen ja Mariah Careyn melodisen äänen siivittämänä. Tehtävänämme oli selvittää voivatko ihmiset vielä voittaa laboratorioautomaation tarkkuudessa ja toistettavuudessa.

Juuso Vuorinen demonstroi nesteenkäsittelyrobotti OT-2:n toimintaa Laskennallisen biologian tutkimusryhmän (Tutkimusryhmän johtaja: Matti Nykter) Kuva: Janette Hinkka

Tultuamme tutuiksi laitteen teknisten ominaisuuksien kanssa, meille ei jäänyt epäselväksi, että vähintäänkin pienellä ihmisen tekemällä avustuksella, laboratorioautomaatio kykenee vaivattomasti selviytymään monista laboratorion rutiinitehtävistä huomattavan tarkasti ja äärimmäisen toistettavasti. Ennen kuin on liian myöhäistä, halusimme haastaa robotin leikkimieliseen pipetointikilpailuun bioinformaatikoitamme vastaan ja selvittää, että voiko keskimääräinen bioinformaatikko päihittää OT-2 robottimme, vai onko peli jo menetetty. Tehtävämme oli yksinkertainen, kykenemmekö tarkempaan ja toistettavampaan pipetointiin kuin OT-2 robotti?

Eräänä joulukuisena aamuna keräsimme parhaat bioinformaatikkomme, ryhmänjohtaja Matti Nykter mukaanlukien ARVO-rakennuksen opetuslaboratoriotiloihimme. Jalona tarkoituksenamme oli saattaa jokainen osallistuja taidoiltaan ja tiedoiltaan sellaiselle tasolle, että suoriudumme kunnialla kipailusta robottia vastaan (Osallistujina kuvissa: Serafiina Jaatinen, Reetta Nätkin, Kaisa Aho, Matti Nykter, Lauri Ryyppö, Antti Kiviaho, Anssi Nurminen, Tuomo Virtanen ja Sini Thusberg).

Valmistautuessamme haasteeseen tiedostimme vain osan meistä olevan kokeneita pipetoijia, kun taas osa meistä ei ollut koskaan nähnytkään kyseistä laitetta. Kivenkovalla päättäväisyydellä ja tarkoitukseen suunnitellun harjoitusohjelman avulla hioimme ensin taitomme timanttisiksi. Tarkkuudesta ja optimaalisista oppimistuloksista iso kiitos kuuluu hienostuneella tarkuudella oppimistamme valvoneille, äärimmäisen kokeneille laboratoriotyöntekijöille – Janette Hinkalle, Hanna Selinille ja Päivi Martikaiselle – joille haluamme osoittaa sydämelliset kiitokset avusta.

Laboratorion henkilökunta opastaa ryhmän jäseniä oikeassa pipetointitekniikassa, ja osallistujat  kouluttautuvat haasteeseen ja suorittaen mittauksia manuaalisesti maksimaalisella tarkkuudella. Kuva: Juuso Vuorinen

Jo lyhyen koulutuksen jälkeen kätemme olivat vakaat ja valmiina haasteeseen. Niinpä siirryimme suorittamaan mittauksia Quant-iT dsDNA BR -testillä. Harjoituksen ja mittausten aikana osallistujien keskittymisen taso oli kunnioitettavan korkeaa, kaikkien antaessa kaikkensa vastatakseen haasteeseen. Itse mittausprosessi sisälsi Quant-iT-reagenssin yhdistämisen mitattavaan DNA-näytteeseen, ja tämän jälkeisen fluoresoivan signaalin lukemisen Tecan Spark -levylukijalla. Mittausohjetta huolellisesti noudattaen, onnistuimme kaikki tehtävässä erinomaisesti. Kaikki oli kiinni vain siitä, kykenisikö ohjelmoimamme OT-2 robotti toistamaan prosessin paremmin, siten päihittäen meidät. Mitatusta fluoresenssisignaalista piiretty kuvaaja (alla) osoittaa selvästi, miten tarkkuutemme vertautuu nestekäsittelijä OT-2:n tarkkuuteen.

Bioinformaatikkojen, kokeneiden pipetoijien ja OT-2 nesteenkäsittelyrobotin välisen pipetointikilpailun tulokset. Kokeneet laboratoriotyöntekijät olivat kaikkein tarkimpia heidän mittaustensa keskiarvon (102 ng/µl) ollessa vain muutaman prosentin todellista pitoisuutta (100 ng/µl) korkeampi ja keskihajonnan ja variaatiokertoimen jäädessä pieneksi (4,61 ja 4.51%). Kuitenkin, toistettavuudessa robotin kädenjälki oli täysin omaa luokkaansa keskihajonnan ollessa vaivaiset 3,94 yksikköä ja variaatiokertoimen jäädessä 3,49%:n. Myös bioinformaatikot pitivät pintansa onnistuen pipetoinnissa odotukset ylittävästi niin tarkkuuden kuin toistettavuudenkin osalta, sillä heidän keskiarvonsa (94,7 ng/µl) oli niin ikään huomattavan lähellä todellista pitoisuutta ja myös keskihajonta oli maltillinen (8,25). Kuva: Juuso Vuorinen

Lopulta testatakseni OpenAI’s GPT-3.5:n kykyjä tällaisten tulosten pohdinnassa, pyysin sitä luonnostelemaan tulosten yhteenvedon ja muokkasin sitä vain hiukan luettavammaksi…

“🧬✨ Pipetointiolympialaisten Tulokset! 🏆✨

Jännittävässä kilpailussa tiimimme näytti piilevät taitonsa pipetoinnissa. Sukella tuloksiin:

🔍 Bioinformaatikot – Seikkailijat:

Keskimääräinen pitoisuus: 94,7 ng/µl 🎉 Vaikka reitiltä eksyminen oli lähellä, rohkeat bioinformaatikot pysyivät vahvoina! Heidän pipetointireittinsä sisälsi maisemallisia mutkia, tuloksena CV 8,7%. Rohkea suoritus ripauksella ennalta-arvaamattomuutta!

🤖 OT-2 Automatisointi – Robottimestarit:

Keskimääräinen pitoisuus: 114.17 ng/µl 🚀 Robottiherramme toimittivat tarkkuutta rautaisella otteella! OT-2 tiimi loisti tarkkuudella, ylpeillen vakaalla CV:llä 3,5%. “Robo-high-fives” tälle upealle suoritukselle, vaikka mittaustuloksessa pitoisuutta hiukan yliarvioitiinkin!

🧪 Kokeneet Pipetointimestarit – Taiteilijat:

Keskimääräinen pitoisuus: 101.53 ng/µl 🌟 Vuosien pipetointikokemuksella asiantuntijamme veistivät pitoisuudet esiin taidokkaasti. Kohtuullinen CV 4,5% heijastelee heidän taituruuttaan, yhdistäen tarkkuutta ja kokemusta. Pipetointitaiteen mestariluokkaa!

Laboratorion Yleisilme: Kaikki tiimit osuivat lähelle tavoiteltua 100 ng/µl pitoisuutta! 🎯 Jokainen ryhmä toi omanlaisensa panoksensa kisaan, luoden värikkään kirjon tuloksia. Kippis monipuoliselle taitureiden joukolle! Johtopäätös: Olitpa sitten laboratorioseikkailija, robottikuiskaaja tai pipetointitaiteilija, Labraolympialaiset osoittivat, että taito voi ilmentyä monin tavoin. Jatketaan pipetointijuhlaa! 🔬”

Juuso Vuorinen, Tutkimusapulainen, Laskennallisen biologian tutkimusryhmä.

Loppukaneettina on minun mainittava lisäksi, että yksi erityisen hyvä bioinformaatikkojen mittaustulos (100 ng/µl) sai kollegani pohtimaan, että kuka on tämä yli-ihminen meidän muiden kuolevaisen joukossa. Toisaalta toinen poikkeava mittaustulos (122 ng/µl) herätti huomion toisessa kolleegassani, ja hän epäilikin, että bioinformaatikoiden joukkoon on mahdollisesti soluttautunut robotti 🤖. Tähän mahdolliseen, joskin dystofiseen, robottien tunnistusongelmaan kolleegani oivallisesti esittikin, että tällä testillä voitaisiin mahdollisesti jatkossa korvata Voight-Kampff:n testi. Emme vielä kuitenkaan tunne testimme tarkkuutta tai toimintavarmuutta tällä sovellusalueella, niinpä tarvitaan lisätutkimuksia.

Moni teistä saattoi huomata nesteenkäsittelyrobotin yliarvioivan DNA pitoisuutta selkeästi, mutta ei hätää, sillä nämä pipetointitulokset saattavat johtua tekemästäni pienestä ohjelmointivirheestä. En nimittäin muistanut tätä uutta ohjelmaa kirjoittaessani tarkasti käskeä robottia pipetoimaan tietyllä tavalla ja tietystä korkeudesta, kuten yleensä näitä ohjelmia kirjoittaessani teen. Tästä syystä robotti noudatti parhaaksi katsomaansa tapaa, eli pipetoi sekoittamatta näytettä suoraan kaivon pohjalta, mikä saattoi hyvinkin aiheuttaa tämän pitoisuuden yli arvioinnin näissä mittauksissa. Tämä koesarjamme alleviivaa hienosti testaamisen tärkeyttä uusia ohjelmia kehitettäessä ja niitä iteroitaessa, siispä kiitos kaikille osallistuneille, te autoitte tekemään tästäkin ohjelmasta paremman.

Voit seurata meitä: Twitter/X ja Youtube.