Zero-shot learning är en metod som används i maskininlärning för att lära LLM:er och andra AI-maskiner att identifiera, känna igen och klassificera saker som de aldrig har stött på tidigare.
“Språkinlärningsmodeller försöker bara göra ordförutsägelser så vi är förvånade över att de kan resonera. Under de senaste två åren har tekniken tagit ett stort steg från sina tidigare inkarnationer.” – Hongjing Lu, författare till studien i en artikel
Studiens medförfattare Keith J Holyoak tillägger att även om ChatGPT verkar tänka som en människa i något avseende: “Folk lärde sig inte genom att äta hela internet, så träningsmetoden är helt annorlunda.”
Han sa att de hoppas kunna utforska om språkmodellens kognitiva processer är “helt nya” och en verkligt “riktig artificiell intelligens.”
GPT-3:s testresultat
GPT-4 gjorde det särskilt bra på Ravens Progressive Matrices, som är ett bildprediktionstest. På det här testet fick den 80 %, medan den genomsnittliga människan får under 60 %.
Intressant nog, när språkmodellen gjorde misstag, gick den ofta fel på liknande sätt, och i liknande skeden, till dess kännande testmotsvarigheter.
Även om GPT-3 presterade berömvärt när det kom till analytiska resonemang, finns det andra uppsättningar frågor som den kämpade med, inklusive frågor som krävde en viss nivå av förståelse av det fysiska rummet.
GPT-3 gjorde inte heller lika bra som eleverna i testfrågor utformade för att se om försökspersonerna kunde para ihop analogier som förmedlade liknande betydelser. Noterbart är dock att GPT-4, efterföljaren till GPT-3 och GPT-3.5, presterade bättre i detta test.
