Spør eksperten

Språkmodellene i ChatGPT

Språkmodellene som brukes av ChatGPT endrer seg stadig vekk. Flere ganger i året lanseres nye modeller, eller nye varianter av eksisterende modeller. Mye av den grunnleggende teknologien er imidlertid den samme. Språkmodellene vi bruker i dag kan grovt sett deles inn i tre typer: Grunnmodeller, mini-modeller og resonnerende modeller.

Grunnmodellene er «arbeidshestene» blant språkmodellene. De er trent på enorme mengder tekst, og kan både analysere og generere tekst. Grunnmodellene svarer godt på de fleste oppgavene vi vanligvis bruker språkmodeller til.

De største grunnmodellene er multimodale. Det betyr at de kan behandle bilder og lyd også, i tillegg til tekst.

Språkmodeller forstår egentlig ikke hva du skriver. De er matematiske modeller, som beregner hvilke ord som hører sammen i ulike sammenhenger. Ved å analysere enorme mengder tekst under treningen, har beregningene blitt så gode at teksten modellene genererer ser ut som at den er skrevet av et menneske.

For å forstå betydningen av teksten, gjør modellene om ord og setninger til verdier. Ordene gjøres om til Tokens, som representeres av en tallverdi, og betydningen av ordene representeres av tusenvis av tall, eller Vektorer, som til sammen angir betydningen av et ord eller en setning.

Hvis jeg stiller spørsmålet «Hvor høyt er Tryvannstårnet?», blir spørsmålet mitt omgjort til et sett vektorer. ChatGPT søker i treningsdataene sine, på internett eller i andre kilder etter setninger som har vektorsett som er mest mulig lik spørsmålet mitt.

Setningen «Tryvannstårnet er et tårn i betong og stål med en total høyde på 118 meter» fra Store Norske Leksikon har et vektorsett som er ganske likt spørsmålet mitt. Da kan ChatGPT bruke innholdet i den setningen til å formulere et svar på spørsmålet mitt.

Resonnerende modeller lages også med utgangspunkt i grunnmodellene. Grunnmodellene forsøker å løse oppgavene du gir dem på første forsøk. Det fungerer fint på de fleste enkle oppgaver, men på komplekse oppgaver, for eksempel innen koding, matematikk og research, gir ikke dette alltid de beste resultatene.

De resonnerende modellene blir trent spesielt på å dele opp komplekse oppgaver i mindre deloppgaver, og så løse deloppgavene hver for seg. I tillegg får de resonnerende modellene lov til å bruke lenger tid på hver oppgave, noe som også gir bedre resultater.

Til sammen gjør dette at de resonnerende modellene gir bedre svar på komplekse oppgaver, enn det grunnmodellene gir. På enklere oppgaver, derimot gir grunnmodellene best svar.

Mini-modellene er grunnmodellenes småsøsken. Ved å ta utgangspunkt i grunnmodellene (eller de resonnerende modellene), og ta bort en del av den bredeste kunnskapen, får man modeller som fortsatt generer bra språk og har kunnskap om mye, men som er mye mindre. I tillegg til å være små, og dermed billigere i bruk, er disse mini-modellene også mye raskere enn de store grunnmodellene og resonnerende modellene.

Minimodellene egner seg godt til mange hverdagslige oppgaver som ikke krever den brede kunnskapen de store modellene har. Chatboter og enkel språkbehandling er eksempler på oppgaver mini-modellene kan brukes til.

ChatGPT bruker ulike språkmodeller, og betalende abonnenter kan velge mellom flere modeller basert på behov og oppgavetype. Gratisbrukere har ikke dette valget og får automatisk tilgang til den modellen som ChatGPT selv anser som mest passende.

Her er en oversikt over modellene som for øyeblikket er tilgjengelige:

GPT-4.5

GPT-4.5 er den nyeste og mest avanserte grunnmodellen fra OpenAI. Modellen er multimodal, noe som betyr at den håndterer både tekst, bilder og lyd. GPT-4.5 er trent på enorme mengder data og har et mer naturlig, nyansert og empatisk språk enn tidligere modeller. Den har også betydelig redusert tendens til såkalt «hallusinering» (feilinformasjon eller usanne utsagn).

GPT-4.5 leverer generelt bedre svar enn GPT-4o for de fleste ordinære oppgaver, men er ikke like godt egnet til svært komplekse oppgaver som de resonnerende modellene.

GPT-4o

GPT-4o var OpenAIs flaggskipmodell før lanseringen av GPT-4.5. Det var den første omfattende multimodale grunnmodellen som ble tilgjengelig, og representerte et betydelig fremskritt da den ble lansert.

GPT-4o egner seg svært godt til generelle og varierte oppgaver, og behandler sømløst både tekst, bilder og lyd.

GPT-4o Mini

GPT-4o Mini er en mindre og mer effektiv versjon av GPT-4o, med tilsvarende funksjonalitet, men begrenset størrelse og kapasitet. Den passer best til enklere oppgaver hvor rask respons og lavere kostnader er viktigere enn maksimal ytelse.

o3 Mini (Low, Medium, High)

o3 Mini-serien er OpenAIs nyeste generasjon resonnerende modeller. Disse modellene spesialiserer seg på avansert resonnering og problemløsing, inkludert koding, matematikk og research. o3 Mini er en videreutvikling av den tidligere o1 Mini og kommer i tre ytelsesnivåer:

  • Low: For enklere resonnerende oppgaver.
  • Medium: For middels komplekse oppgaver.
  • High: Leverer resultater på nivå med eller bedre enn den tidligere toppmodellen o1, til tross for at modellen er betydelig mindre.

o3 Mini High egner seg spesielt godt til krevende oppgaver hvor høy presisjon og avansert resonnering er nødvendig.

o1

o1 ble lansert i september 2024 og var OpenAIs første spesialiserte resonnerende modell. Modellen er optimalisert for å dele komplekse problemer inn i mindre steg gjennom en prosess kjent som "tankerekke-resonnering" (chain-of-thought reasoning). o1 bruker lengre tid på å bearbeide informasjonen, noe som gir svært høy presisjon og evne til å håndtere komplekse oppgaver innen koding, matematikk, forskning og detaljert analyse.

Les mer: Slik virker kunstig intelligens

Les mer: Resonnerende språkmodeller

Les mer: ChatGPT

Les mer: Perplexity


ChatGPT kurs