Inteliegjenca artificiale, historia pas shpikjes së tetë punonjësve të Google

Vëmendja është gjithçka që të nevojitet” u shkrua në pranverën e vitit 2017. Ky punim shkencor mbante tetë emra, të gjithë studiues të Google, në atë kohë asnjëri prej tyre nuk ishte larguar nga kompania.
Autorët kishin marrë në shqyrtim një teknologji të lulëzuar dhe në përmirësim – një shumëllojshmëri AI të quajtura rrjete nervore – dhe e shndërruan atë në diçka tjetër: një sistem dixhital aq i fuqishëm sa që prodhimi i tij mund të duket si produkt i një inteligjence aliene. E quajtur transformator, kjo arkitekturë është tharmi jo dhe aq sekret pas të gjitha atyre produkteve të AI-së, duke përfshirë ChatGPT dhe gjeneratorët grafikë si Dall-E dhe Midjourney.
Të tetë autorët tani janë të famshëm.
“Pa transformatorët nuk mendoj se do të ishim këtu tani,” thotë Geoffrey Hinton, i cili nuk është një nga autorët, por është ndoshta shkencëtari më i shquar në botë i AI. Ai i referohet kohërave të ndryshimit në të cilat jetojmë, pasi OpenAI dhe kompani të tjera ndërtojnë sisteme që rivalizojnë dhe në disa raste tejkalojnë prodhimin njerëzor.
Që atëherë të tetë autorët janë larguar nga Google. Ashtu si miliona të tjerë, ata tani janë duke punuar në një farë mënyre me sisteme të fuqizuara nga ajo që krijuan në 2017.
Historia e transformatorëve fillon me të katërtin nga tetë emrat: Jakob Uszkoreit.
Uszkoreit është djali i Hans Uszkoreit, një linguist i njohur kompjuterik. Si nxënës i shkollës së mesme në fund të viteve 1960, Hans u burgos për 15 muaj në vendlindjen e tij në Gjermaninë Lindore për protestën ndaj pushtimit sovjetik të Çekosllovakisë. Pas lirimit, ai u arratis në Gjermaninë Perëndimore dhe studioi kompjuterë dhe gjuhësi në Berlin. Ai shkoi në SHBA dhe punoi në një laborator të inteligjencës artificiale në SRI, një institut kërkimor në Menlo Park, Kaliforni, kur lindi Jakob. Familja përfundimisht u kthye në Gjermani, ku Jakob shkoi në universitet. Ai nuk kishte ndërmend të përqendrohej te gjuha, por teksa po fillonte studimet pasuniversitare, nisi praktikën në Google në zyrën e saj Mountain Vieë, ku hyri në grupin e përkthimit. Ai braktisi planet e doktoraturës dhe, në vitin 2012, vendosi t’i bashkohej një ekipi në Google që po punonte në një sistem që mund t’u përgjigjej pyetjeve të përdoruesve në vetë faqen e kërkimit pa i devijuar ata në faqet e tjera të internetit. Apple sapo lancuar Sirin, asistentin virtual, dhe Google ndjeu një kërcënim të madh konkurrues: Siri mund të mbyste trafikun e tyre të kërkimit. Ata filluan t’i kushtojnë më shumë vëmendje grupit të ri të Uszkoreit.
“Ishte panik i rremë,” thotë Uszkoreit. Siri nuk e kërcënoi kurrë Google. Por ai mirëpriti mundësinë për t’u zhytur në sisteme ku kompjuterët mund të përfshiheshin në një lloj dialogu me ne. Në atë kohë, rrjetet nervore të përsëritura papritmas kishin filluar të tejkalonin metodat e tjera të inxhinierisë së AI. Rrjetet përbëhen nga shumë shtresa, dhe informacioni kalohet dhe rikalohet nëpër ato shtresa për të identifikuar përgjigjet më të mira. Rrjetat nervore po grumbullonin fitore të mëdha në fusha të tilla si njohja e imazheve dhe një rilindje e inteligjencës artificiale po ndodhte papritur. Google po riorganizonte furishëm fuqinë e saj punëtore për të adoptuar teknikat. Kompania donte sisteme që mund të prodhonin përgjigje njerëzore—për të plotësuar automatikisht fjalitë në email ose për të krijuar chatbot relativisht të thjeshtë të shërbimit ndaj klientit.
Jo të gjithë menduan se kjo ide do të tronditte botën, duke përfshirë edhe babain e Uszkoreit, i cili kishte fituar dy çmime kërkimore të Fakultetit të Google ndërsa djali i tij punonte për kompaninë. “Njerëzit ngritën vetullat, sepse kjo ide rrëzoi të gjitha arkitekturat nervore ekzistuese,” thotë Jakob Uszkoreit.
Puna shte premtuese dhe në vitin 2016 u publikua një punim për të. Uszkoreit donte ta shtynte më tej kërkimin e tyre – eksperimentet e ekipit përdorën vetëm pjesë të vogla teksti – por asnjë nga bashkëpunëtorët e tij nuk ishte i interesuar. Në vend të kësaj, si kumarxhinjtë që largohen nga kazinoja me fitime modeste, ata provuan të vinin në zbatim atë që kishin mësuar.
Një ditë në vitin 2016, Uszkoreit po drekonte në një kafene Google me një shkencëtar të quajtur Illia Polosukhin. I lindur në Ukrainë, Polosukhin kishte qenë në Google për gati tre vjet. Ai u caktua në ekipin që jepte përgjigje për pyetjet e drejtpërdrejta të parashtruara në fushën e kërkimit. Nuk po shkonte edhe aq mirë. “Për t’iu përgjigjur diçkaje në Google.com, ju duhet diçka që është shumë e lirë dhe me performancë të lartë,” thotë Polosukhin. “Sepse keni milisekonda” për t’u përgjigjur. Kur Polosukhin transmetoi ankesat e tij, Uszkoreit nuk e kishte problem të gjente një zgjidhje. “Ai sugjeroi sistemin e ri », thotë Polosukhin.
Polosukhin ndonjëherë bashkëpunonte me një koleg të quajtur Ashish Vasëani. I lindur në Indi dhe i rritur kryesisht në Lindjen e Mesme, ai kishte shkuar në Universitetin e Kalifornisë Jugore për të fituar doktoraturën në grupin elitar të përkthimit automatik. Më pas, ai u transferua në Mountain Vieë për t’u bashkuar me Google, veçanërisht një organizatë e re e quajtur Google Brain. Ai e përshkruan trurin si “një grup radikal” që besonte se “rrjetet nervore do të çonin përpara të kuptuarit njerëzor”. Por ai ishte ende në kërkim të një projekti të madh për të punuar me të. Ekipi i tij punoi në Building 1965 ngjitur me ekipin gjuhësor të Polosukhin në 1945, dhe iu bashkua projektit të ri.
Së bashku, të tre studiuesit hartuan një dokument projektimi të quajtur “Transformatorët: Vetë-Vëmendje dhe përpunim i përsëritur për detyra të ndryshme”. Ata zgjodhën emrin “transformatorë” nga “dita zero”, thotë Uszkoreit. Ideja ishte që ky mekanizëm do të transformonte informacionin që merrte, duke e lejuar sistemin të nxirrte aq kuptim sa mundet një njeri – ose të paktën të jepte iluzionin e kësaj. Plus Uszkoreit kishte kujtime të bukura fëmijërie duke luajtur me figurat e veprimit Hasbro. “Kisha dy lodra të vogla Transformer kur isha shumë i vogël,” thotë ai. Dokumenti përfundonte me një imazh vizatimor të gjashtë transformatorëve në një terren malor, duke goditur me lazer njëri-tjetrin.
Në fillim të vitit 2017, Polosukhin u largua nga Google për të krijuar kompaninë e tij. Në atë kohë bashkëpunëtorë të rinj po i bashkoheshin kompanisë. Një inxhiniere indiane e quajtur Niki Parmar kishte punuar për një kompani amerikane softuerësh në Indi kur ajo u transferua në SHBA. Ajo fitoi një diplomë master nga USC në 2015 dhe u rekrutua nga të gjitha kompanitë e Big Tech. Ajo zgjodhi Google. Kur filloi, ajo u bashkua me Uszkoreit dhe punoi në variante modelesh për të përmirësuar kërkimin në Google.
Një tjetër anëtar i ri ishte Llion Jones. I lindur dhe i rritur në Uells, ai i donte kompjuterët “sepse nuk ishte normale”. Në Universitetin e Birminghamit ai mori një kurs për AI dhe u bë kurioz për rrjetet nervore, të cilat u prezantuan si kuriozitet historik. Ai mori masterin e tij në korrik 2009 dhe, në pamundësi për të gjetur një punë gjatë recesionit, jetoi pa pagesë për muaj të tërë. Ai gjeti një punë në një kompani lokale dhe më pas aplikoi në Google, kur përfundoi nën menaxhimin e Polosukhin.
Puna e transformatorit tërhoqi studiues të tjerë të Google Brain, të cilët po përpiqeshin gjithashtu të përmirësonin modele të mëdha gjuhësore. Kjo valë e tretë përfshinte Łukasz Kaiser, një shkencëtar teorik kompjuterik me origjinë polake dhe praktikantin e tij, Aidan Gomez. Gomez ishte rritur në një fshat të vogël bujqësor në Ontario, Kanada, ku familja e tij merrej me pemë panje çdo pranverë për shurup. Si i ri në Universitetin e Torontos, ai “ra në dashuri” me AI dhe iu bashkua grupit të mësimit kompjuterik – laboratorit të Geoffrey Hinton. Ai filloi të kontaktonte njerëz në Google që kishin shkruar studime interesante, me ide për të zgjeruar punën e tyre. Kaiser e ftoi të praktikonte dijet e tij. Vetëm disa muaj më vonë Gomez mësoi se ato praktika ishin të destinuara për studentët e doktoraturës, jo për studentët si ai.
Kaiser dhe Gomez e kuptuan shpejt se projekti për të cilin po punonin dukej si një zgjidhje premtuese dhe më radikale për problemin që po trajtonin.
Ata kishin përparuar goxha – derisa një ditë në 2017, kur Noam Shazeer dëgjoi për projektin e tyre, rastësisht. Shazeer ishte një veteran i Google-it – ai i ishte bashkuar kompanisë në vitin 2000 – dhe një legjendë e brendshme, duke filluar me punën e tij në sistemin e hershëm të reklamave të kompanisë. Shazeer kishte pesë vjet që punonte në mësimin kompjuterik dhe së fundmi ishte interesuar për modelet e mëdha gjuhësore. Por këto modele nuk ishin askund afër prodhimit të bisedave fluide që ai besonte se ishin të mundshme.
Bashkimi i Shazeer në grup ishte kritik. Ai vendosi të shkruante versionin e tij të kodit për transformatorin. “Unë e mora idenë bazë dhe e bëra vetë,” thotë ai. Herë pas here ai i bënte pyetje Kaiser-it, por më së shumti, thotë ai, “vetëm e vuri në veprim për një kohë dhe u kthye dhe tha, ‘Shiko, funksionon’”. Duke përdorur atë që anëtarët e ekipit do ta përshkruanin më vonë me fjalë si “magji” dhe ” alkimia” dhe “këmbanat dhe bilbilat”, ai e kishte çuar sistemin në një nivel të ri.
“Kjo nisi një sprint,” thotë Gomez. Ata ishin të motivuar dhe gjithashtu donin të arrinin një afat të ardhshëm – 19 maj, data e paraqitjes së punimeve në eventin më të madh të AI të vitit, konferencën e Sistemeve të Përpunimit të Informacionit Neural në dhjetor. Ata testuan dy modele transformatorësh: një që u prodhua me 12 orë trajnim dhe një version më të fuqishëm të quajtur Big që u trajnua për tre ditë e gjysmë. Ata i vendosën të punonin në përkthimin nga anglishtja në gjermanisht.
Modeli bazë i tejkaloi të gjithë konkurrentët – dhe Big mori një rezultat BLEU që tejkaloi në mënyrë vendimtare rekordet e mëparshme, duke qenë gjithashtu më efikas. “Ne e kishim bërë atë në më pak kohë se kushdo atje,” thotë Parmar. “Dhe ky ishte vetëm fillimi, sepse numri vazhdoi të përmirësohej.”
Dy javët e fundit para afatit ishin të furishëm. “Njerëzit nuk po flinin,” thotë Gomez, e cila, si praktikante, jetonte në një furi të vazhdueshme korrigjimi.
Sidoqoftë, në nivelet më të larta të Google, puna u pa si një projekt tjetër interesant i AI. “Ne e kuptuam se kjo ishte potencialisht një punë e madhe”, thotë Uszkoreit. “Dhe kjo na bëri që në të vërtetë të fiksoheshim pas një prej fjalive në studim deri në fund, ku komentojmë për punën e ardhshme.”
Ajo fjali parashikonte atë që mund të vinte më pas – aplikimi i modeleve të transformatorëve në thelb të gjitha format e shprehjes njerëzore. “Ne planifikojmë ta zgjerojmë transformatorin në problemet që përfshijnë modalitete hyrëse dhe dalëse të tjera përveç tekstit”, thuhej në studim.
Dhe titulli erdhi në fund, si një rikujtesë për këngën e Beatles, “All You Need Is Love”. “Vëmendja është gjithçka që ju nevojitet” – All you need is attention.
Burimi