De senaste månaderna har världen fullständigt exploderat vad gäller AI - modeller byggda på så kallad "generativ förtränad transformer teknik" som till exempel Chat GPT.
Hur fungerar det då? Och hur kan vi bli bättre på att "prata" med AI-modeller och få bättre resultat(svar)?
Längre ner i artikeln försöker jag förklara det mycket övergripande och på ett lite mera mänskligt sätt, nämligen en metafor där vi besöker en fiktiv AI fabrik, där vi stoppar in vårt byggmaterial (vår prompt) och ut kommer en färdig produkt (svar).
Det är en supermagisk och flexibel fabrik där produktionsprocessen kan göras om och om igen, hela tiden med en förbättrad och anpassad produkt.. hur häftigt är inte det!
Innan vi fortsätter in på artikeln vill jag uppmana dig att läsa följande av ren välvilja:
Ett vänligt råd till dig som använder öppna AI-modeller är att vara försiktig, källkritisk och dela absolut inte din personliga data mer än själva registreringen. Än har inte regelverk hunnit med och du kan inte veta vad som händer med din personliga eller företagets information. Sunt förnuft och säkerhetstänk ska gälla helt enkelt!
Besök i AI svarsfabriken
Föreställ dig en AI-fabrik, en plats där AI-prompter anländer som råmaterial, redo att bearbetas och omvandlas till en färdig produkt:
"Ett informativt och engagerande svar (produkt) från AI-modellen i fabriken"
Denna fabrik är en högteknologisk anläggning som drivs av transformerarkitekturens imponerande kraft.
Följ med mig på en resa genom denna fabrik, där vi upptäcker de fascinerande processerna och mekanismerna som transformerar AI-prompter till meningsfulla och användbara svar.
Framför entrén möts vi av fabrikens direktör. Han börjar med att berätta att maskinen eller såkallade AI - modellen i fabriken tog flera år att bygga. Den har blivit "tränad" genom massor av öppen textdata från internet, ett enormt stort antal böcker och webbsidor, inklusive Wikipedia, diskussionsforum och datorprograms manualer. Den har även "tränats" genom att analysera samtal eller rollspel mellan personer som har agerat å ena sidan chattbot och å andra sidan användare som har chattat med "chattroboten", samt genom människors bedömning av och återkoppling på robotens svarskvalitet.
Denna maskin kallad Generativ AI modell är alltså förtränad på att förstå sammanhang mellan byggstenar (text/ord) och kan nu ta emot vårt byggmaterial (vår prompt) och bearbeta det baserat på allt den har lärt sig i träningen och allt den lär sig från varje svar den genererar!
Läs detta och sen är det bara att testa sig fram!
Råmaterialets förberedelse (vår prompt)
När råmaterialet (AI-prompten) anländer till fabriken, behöver vi dela upp den i mindre enheter, kallade token, som representerar ord eller delar av ord.
Vi behöver förstå att token (våra ord) kommer sen inne i fabriken att få en positionell kodning, vilket ger dem en unik "adress" som hjälper maskinerna i fabriken att förstå deras ordning och sammanhang.
Därför behöver vi förstå hur vi ska dela upp vårt "byggmaterial" så att maskinerna i fabriken kan bearbeta det på bästa sätt.
Nu delar vi upp byggmaterialet:
Introduktion: Vi tar alla ord här som förklarar vad modellen förväntas göra, låt oss göra så att dessa ord formar en instruktion.
Kontext: Nu sorterar vi alla ord som ger modellen all nödvändig information för att förstå frågan eller uppgiften.
Fråga eller uppgift : I denna högen lägger vi alla ord som definierar själva frågan eller uppgiften som modellen ska besvara eller lösa.
Specifikation av önskat svar: I denna hög lägger vi alla ord som specificerar vad det önskade svaret ska vara, till exempel en kort beskrivning eller en längre text.
Exempel: Alla ord som ger modellen exempel på relevanta svar eller handlingar lägger vi i denna hög.
Parametrar: Nu dags för inställningar eller såkallade parametrar. Dessa är de inställningar som används för att styra hur modellen bearbetar prompten (byggmaterial), såsom:
Model size
Om vår fabrik har flera olika maskiner tränade på olika mängd data så väljer vi en mindre eller större. I GPT till exempel kan vi välja antigen 3,5 eller 4.
Temperatur
Varierar mellan 0-1 eller högre och styr kreativiteten i svaret. Ju lägre temperaturvärden tex desto mer konservativa svar och ju högre värde desto mer så mer kreativa och slumpmässiga svar.
Max tokens
Begränsar antalet ord den ska generera
Top-k
Parameter för att begränsa antalet token (ord) som modellen kan välja när den genererar text. I stället för att överväga alla möjliga token, kommer modellen att endast överväga de K ord med högst sannolikhet. Typiska värden för top-k varierar mellan 1 och 100, beroende på hur mycket variation du vill ha i de genererade svaren.
Ett lågt värde ger oss mer konservativa, sammanhängande och förutsägbara svar, ett högt värde ger modellen högre valfrihet, vilket kan leda till mer kreativa och varierade svar.
Top-p
Med Top-p väljer modellen ord baserat på sannolikhetsdistribution. Modellen räknar ut sannolikheterna för varje ord och väljer de ord som tillsammans har en kumulativ sannolikhet som överstiger P (ett värde mellan 0 och 1). Det innebär att Top-p inte bara begränsar sig till ett fast antal ord som K utan väljer ord baserat på deras sannolikheter i förhållande till p-värdet.
Lågt värde ger oss konservatism och väljer ord med högre sannolikhet dvs mer sammanhängande svar. Högt värde ger mer valfrihet och inkluderar mindre sannolika ord i urvalet.
Vi skulle endast kunna lämna in materialet utan parametrar för då används de redan programerade parametrar men använder du de får du se skillnad.
Genom att finjustera parametrarna kan vi med andra ord förvänta oss olika resultat.
Så nu har vi delat upp byggmaterialet och är redo för att skicka den in i fabriken!!
Självuppmärksamhetens hjärta (Encodern och Self attention)
I fabrikens andra del, hjärtat av bearbetningsprocessen, finns en central maskin som är avgörande för att skapa en meningsfull representation av prompten (vårt byggmaterial).
När råmaterialen anländer till detta steg bearbetas de av encodermaskiner. Encodern består av flera lager och använder en mekanism kallad "self-attention" för att förstå och analysera relationerna mellan olika ord i prompten (vårt byggmaterial). Den här processen hjälper till att bygga en förståelse av sammanhanget i texten, vilket är avgörande för att generera ett meningsfullt svar.
Self attention innebär att modellen själv uppmärksammar viktiga delar av vårt byggmaterial, vilket hjälper den att förstå sammanhanget mellan token (ord) och skapa en intern representation av promptens innebörd.
För att uppnå detta, beräknar maskinerna såkallade uppmärksamhetspoäng för varje par av token (ord), vilket indikerar hur mycket varje token är relaterad till de andra. Dessa poäng används sedan för att vikta och kombinera orden, vilket skapar en sammankopplad och sammanhängande representation av prompten.
Detta steg är avgörande för att modellen ska kunna förstå vad som förväntas av den och för att kunna generera ett korrekt svar. Genom att använda self attention kan modellen snabbt identifiera relevanta delar av prompten och bearbeta den på ett effektivt sätt.
Att förstå hur self attention fungerar och hur den påverkar bearbetningen av prompten är därför en viktig del av att skapa effektiva prompts och generera högkvalitativa svar från AI-modellen.
Vi har ju delat upp vårt byggmaterial rätt, valt parametrar och valt ut relevanta tokens (ord) så nu kan self attention mekanismen bearbeta byggmaterialet på ett effektivt sätt.
Genom transformerblockens labyrint bestående av decoder maskiner
Efter att råmaterialen har bearbetats av encodern och modellen har använt self attention för att förstå sammanhanget mellan token (orden), är det dags att generera ett svar.
För att göra detta skickas det nu bearbetade råmaterialet vidare till decodermaskiner som arbetar för att sätta ihop ett svar baserat på den information som bearbetats av encodern.
Decodern använder också self-attention mekanismen för att skapa en sekvens av ord som bildar ett sammanhängande och relevant svar. Self-attention hjälper decodern att fokusera på viktiga delar av prompten (byggmaterial) och skapa ett svar som är eller snarare beräknas vara relevant och meningsfullt.
Beroende på vilka parametrar vi har gett den så kommer den att leta efter fler token (ord) eller begränsa sannolikheten av nästkommande ord i följden.
Detta formar en slags kvalitetskontroll. Under hela fabriksprocessen används parametrarna för att finjustera och kontrollera kvaliteten på det genererade svaret.
Temperatur påverkar modellens kreativitet och risktagande, där lägre värden ger mer deterministiska svar, medan högre värden genererar mer varierade och kreativa svar. Top-k och top-p styr hur många ord samt deras sannolikhetsscore som övervägs för varje steg i decodningen, vilket påverkar diversiteten och kvaliteten i det genererade svaret.
Genom att använda rätt parametrar som vi gjort när vi delade upp vårt byggmaterial kan vi vara mer säkra att maskinerna i fabriken kan bearbeta byggmaterialet på ett effektivt sätt.
Svarsbyggets förunderliga verkstad
När den förfinade interna representationen har passerat genom transformerblockens labyrint, anländer den till svarsbyggets verkstad :-).
Här, baserat på denna representation, genererar fabrikens maskiner en sekvens av token (ord) som utgör det önskade svaret.
Detta görs som ni nu har förstått genom att förutsäga vilket token (ord) som har störst sannolikhet att följa de tidigare token (ord), baserat på den inlärda kunskapen (modellens storlek) och den bearbetade prompten (vårt byggmaterial).
Slutligen skickas den färdiga produkten (svaret) ut från fabriken och levereras till oss.
Detta svar är inget annat än resultatet av att bearbeta prompten (byggmaterialet) genom de olika stegen i fabriken, styrt av de angivna parametrarna.
Fabrikens flexibla magi
Gillar du inte resultatet, ingen fara. Ta ditt byggmaterial, dela upp det igen, förfina det och invänta nya resultat!
Du och din mänsklighet är sista steget, någonting som våra ingenjörer inte (än) har kunnat automatisera i fabriken, du är unik och din hjärna behöver nu göra den sista finslipningen annars är fabrikens produkt inget unikt eller värdefullt!
Innan vi går...
...Låter vi ingenjörerna fortsätta sitt kvällsarbete, de ska nu fortsätta finslipa maskinerna och justera parametrar samt såkallat belöna de för varje rätt svar, det är så modellen lär sig och blir än bättre på att bygga produkter av vårt byggmaterial.. vem vet hur bra dessa maskiner kan bli, jag tror och hoppas att dessa vi redan har och redan är imponerade av, kommer om några år att betraktas som de första omogna stadierna av vår AI fabriks utveckling!
6 tips inkl hur du skriver bättre prompter:
Först och återigen, var medveten om begränsningar och skydda din data! Vi är bara i starten just nu innan regleringar hinner ikapp mm så var försiktig!
Förstå din AI-modells förmågor och begränsningar. Innan du skriver en prompt, se till att du förstår hur din AI-modell fungerar och vilken typ av svar den kan generera.
Lita inte fullt ut på vad du får som svar. Kom ihåg, den tänker inte som du, den genererar det mest sannolika sekvens av ord baserat på din fråga och de parametrar du har gett den. Inget mer, inget mindre!
Anpassa din prompt till din fråga eller uppgift. Var tydlig och konkret i din prompt och se till att den innehåller all nödvändig information för att AI-modellen ska kunna generera det svar du söker.
Använd exempel och kontext för att förtydliga din prompt. Genom att ge exempel och beskriva den specifika kontexten som din prompt avser, kan du hjälpa din AI-modell att förstå vad du vill ha för svar.
Testa och justera dina parametrar för att optimera dina resultat. Använd rätt inställningar för temperatur, top-k och top-p för att finjustera dina resultat och optimera kvaliteten på dina svar.
Fortsätt att förbättra din prompt genom att iterera och anpassa den. Ju mer data din AI-modell får bearbeta, desto bättre kommer den att förstå vad du söker efter i din prompt. Genom att fortsätta justera och förbättra din prompt kan du öka chanserna för att få önskade och relevanta svar.
Slutligen
Efter att ha skrivit denna artikel känner jag mig både inspirerad och överväldigad av möjligheterna och kan drömma mig bort till generell AI, filosofiska frågor dyker upp om dessa AI modeller endast genererar text rent matematiskt eller så börjar vi skönja någonting djupare här. Men samtidigt kan jag inte tona ner tankar som gör mig lite orolig för integritet, källkritik, säkerhet, hur människor kan komma att använda detta, vad det gör med sanning och information mm.
AI:s utveckling och inverkan på människors liv är en ständig resa av upptäckter och förändringar och det går exponentiellt fort nu.
Jag har försökt mig på att förklara ämnet på ett tillgängligt och engagerande sätt för oss människor och speciellt för er därute som inte är så insatta eller vill sätta er in i allt det tekniska. Jag inser att jag bara har skrapat på ytan här.
Genom att använda metaforer och exempel har jag försökt förklara teknikens komplexitet på ett sätt som är lätt att förstå för gemene man, ni tekniker kan så mycket mer än mig ändå :-)
Jag hoppas att du finner artikeln givande och att den bidrar till en ökad medvetenhet och kunskap.
Jag ser fram emot att fortsätta utforska detta ämne och bidra till den ständigt pågående diskussionen kring AI:s roll i våra liv.
Tack för att du har läst!
Gillar du det?
Kommentera, dela och tryck like, här eller på LinkedIn (Du kan läsa fler artiklar här)
Hälsning Adnan