Tá ceist curtha os comhair ChatGPT, sárréalta na hintleachta saorga, agus é ag leanúint ar aghaidh ag dul ar aghaidh: Ar chomhlíon sé caighdeán tástála Turing chun aschuir a ghiniúint nach féidir a aithint ó fhreagraí daonna? Tugann an taighde is déanaí le fios nach cosúil go bhfuil ChatGPT, in ainneoin a fheidhmíocht den scoth, tar éis an tairseach sin a thrasnú go hiomlán.
Chuir beirt thaighdeoirí in Ollscoil California, San Diego, Cameron Jones, saineolaí teanga, séimeantaice agus meaisínfhoghlama, agus Benjamin Bergen, ollamh le heolaíocht chognaíoch, an cheist seo trí thagairt a dhéanamh d’obair Turing 70 bliain ó shin. Mhol Turing próiseas chun a chinneadh an bhféadfadh meaisín leibhéal faisnéise agus cumas comhrá a bhaint amach a bheadh leordhóthanach chun daoine eile a mhealladh chun smaoineamh gur duine daonna é.
"An éiríonn le GPT-4 sa Tástáil Turing?" Is féidir é a fháil ar an bhfreastalaí réamhphriontála arXiv. Don staidéar, bhailigh siad 650 rannpháirtí chun 1,400 "cluichí" a imirt ina raibh comhrá gairid ag rannpháirtithe le múnla daonna nó GPT eile agus iarradh orthu a chinneadh cé leis a raibh siad ag caint.
Ba shuntasach an rud a fuair na taighdeoirí. Rinne samhail GPT-4 na rannpháirtithe a mhealladh 41 faoin gcéad den am, agus níor thug GPT-3.5 amadán orthu ach 5 go 14 faoin gcéad den am. Is díol suntais é nár éirigh le daoine ach a chur ina luí ar rannpháirtithe nach meaisíní iad i 63 faoin gcéad de na trialacha.
"Ní bhfuaireamar aon fhianaise gur éirigh le GPT-4 tástáil Turing," a chríochnaigh na taighdeoirí. Mar sin féin, tugann siad faoi deara go bhfuil luach fós ag Tástáil Turing maidir le measúnú a dhéanamh ar éifeachtaí comhráite meaisín, mar chreat chun idirghníomhaíochtaí sóisialta agus dallamullóg a thomhas, agus chun straitéisí daonna a thuiscint chun oiriúnú do na feistí seo.
Mar sin féin, tugann siad rabhadh freisin go mbeidh chatbots fós in ann cumarsáid a dhéanamh ar bhealach diongbháilte i go leor cásanna. "Tugann an ráta ratha 41 faoin gcéad le fios go bhféadfadh go mbeadh an cumas ag samhlacha AI meabhlaireachta cheana féin, go háirithe i gcásanna nach bhfuil daoine chomh airdeall ar an bhféidearthacht nach bhfuil siad ag caint le duine," nótáil na taighdeoirí. D’fhéadfadh impleachtaí leathana sóisialta agus eacnamaíocha a bheith ag samhlacha AI a dhéanann aithris láidir ar dhaoine.”
Thug na taighdeoirí faoi deara gur dhírigh rannpháirtithe a d'aithin AI i gceart le daoine ar roinnt fachtóirí. Cruthaíonn múnla atá ró-fhoirmiúil nó ró-neamhfhoirmiúil amhras. Má tá a gcuid cainte rófhoclach nó ró-ghonta, má tá a gcuid gramadaí nó a gcuid poncaíochta neamhghnách maith nó “mí-chinnte” bocht, beidh sé ina phríomhfhachtóir freisin chun a chinneadh an bhfuil rannpháirtithe ag idirghníomhú le daoine nó le meaisíní. Ina theannta sin, bhí na rannpháirtithe íogair i leith freagraí a bhí róchineálach.
Tugann na taighdeoirí le fios go n-éireoidh níos mó tábhachta ag baint le samhlacha AI a rianú de réir mar a éiríonn siad níos sreabhach agus go n-ionsúnn siad níos mó guairí cosúil le daoine. "Beidh sé ag éirí níos tábhachtaí fachtóirí a aithint as a dtagann dallamullóg agus straitéisí chun é a mhaolú," a dúirt siad. Léiríonn an staidéar go bhfuil dúshláin fós le sárú ag réimse an chomhrá cliste, ach tugann sé léargas úsáideach freisin ar conas is féidir samhlacha AI a fheabhsú.