Laten we eerst eens kijken naar hoe deze specifieke proef precies in elkaar zat. Het evenement werd gepresenteerd door de Schools of System Engineering aan de Universiteit van Reading, een onderdeel van de Royal Society, de Britse Academie der Wetenschappen. Daar presenteerden de onderzoekers Eugene, een chat-programma dat zich voordeed als een 13-jarig jochie uit Oekraïne. 30 'juryleden' mochten in sessies van 5 minuten praten met de bot en moesten vervolgens aangeven of ze dachten met een computer of met een mens te maken te hebben.

"33%"

33% van de juryleden was ervan overtuigd dat er een echt persoon aan de andere kant van de computer zat. Daarmee, zeggen de onderzoekers, is de Turing-test gehaald. Volgens hen doet een computer dat al wanneer het 'meer dan 30% van de keren' iemand voor de gek houdt.

Valsspelen

Er mankeert veel aan het bericht dat de onderzoekers naar buiten brengen. Sowieso is de terminologie niet correct - 'Eugene' was helemaal geen supercomputer, maar een doodgewone chatbot. Omdat chatbots de gestelde vragen vaak niet begrijpen, speelden de onderzoekers ook een klein beetje vals. Zo was de chatbot geen 'gewoon' iemand, maar een 13-jarig jongetje uit Oekraïne. Met dat slimme trucje dekken de onderzoekers zich in voor wanneer 'Eugene' de vraag niet begrijpt - het jongetje heeft immers maar een beperkte kennis van de Engelse taal - en de wereld.

Slechte onderzoeksopzet

Op de testmethode is ook het nodige af te dingen. Iedere wetenschapper kan vertellen dat één uitkomst geen uitkomst is. Om structureel te testen of een theorie klopt, zul je het door peer review moeten laten gaan, en een uitkomst moet herhaald worden met een controlegroep. Doe je dat doet, dan baseer je je als onderzoeker maar op één resultaat, en dat is een doodzonde in iedere vorm van onderzoek. Zeker bij een onvoorspelbare meting als de Turing-test.

De Turing-test

En over de Turing-test gesproken, ook daar bestaat veel onduidelijkheid over. Want waar staat het dat computerwetenschapper Alan Turing ooit zei dat "minstens 30% van de keren" het verschil tussen computer en mens niet kan worden herkend? Nergens. Sterker nog, er zijn weinig tot geen officiële 'spelregels' voor de beroemde test uit de jaren 50. In zijn essay, 'Computing machinery and intelligence' beschrijft Turing zijn hypothese dat machines ooit kunnen 'denken' als een mens. Hij stelt daarbij een test voor waarbij een proefpersoon tegen 2 machines praat. Achter één van die machines zit een mens.

"Wanneer een proefpersoon in minder dan 50% van de gevallen verkeerd aangeeft met wie hij praat, slaagt de computer voor de test", schreef Turing.

Door de jaren heen heeft de Turing-test (die in Turings essay nog 'the immitation game' heette) nogal wat regelveranderingen ondergaan. Zo hoeven de proefpersonen in dit geval niet te onderscheiden tussen 2 groepen, en is ook het criterium omlaag gehaald.

Al veel vaker

Overigens is het helemaal niet de eerste keer dat een computer of een programma de Turing-test haalt. In 2011 kreeg slimme chatbot Cleverbot dat ook al voor elkaar. Ook in de game-wereld bestaat de test, die in 2012 door Unreal Tournament-bots werd gehaald, en zelfs al in 2007 haalde een Russische dating-robot de test. Het is dus grote onzin dat dit de "eerste keer is dat een computer de test verslaat". Oh, en mocht je nog denken dat dit iets is van de laatste jaren, dan is er altijd nog Parry. Die haalde de test al in 1972.

Charlatan Kevin Warwick

Waarom werd dit onderzoek dan zo groot uitgemeten in diverse media? Waarschijnlijk heeft dat te maken met de man die achter het onderzoek zit: Kevin Warwick. De professor van cyberkinetica is wel vaker in het nieuws geweest, en niet altijd op een goede manier. Zo claimde hij in 2000 de eerste persoon ter wereld te zijn die zichzelf 'cyborg' mocht noemen, omdat hij zichzelf injecteerde met een RFID-chip. Daar is later veel kritiek op gekomen, zowel op zijn statement over cyborg-zijn als over zijn onderzoek. Toch haalde Warwicks strapatsen veelvuldig het nieuws, zoals het moment dat Warwick claimde de eerste mens met een computervirus te zijn. In werkelijkheid had Warwick enkel een geïnfecteerde RFID-chip in de hand van zijn collega-onderzoeker gezet. Het had weinig te maken met een echt virus en had geen enkel effect op de onderzoekers - maar wel werd Warwick wederom wereldnieuws.

We kunnen wel stellen dat Warwick er een handje van heeft zijn nieuwste ontwikkelingen breder uit te meten dan ze werkelijk zijn. Ook in dit geval nemen we Warwick niet serieus - zijn "supercomputer" versloeg de Turing-test helemaal niet. Al was het ongetwijfeld een slim staaltje software.