ChatGPT genererar bara text och har ett visst minne tillbaka i texten vad den för tillfället talar om. ChatGPT har ett förhållandevis djupt minne. Tidigare textgeneratorer hade ett mycket kortare minne och kunde börja generera samma mening om och om igen, Den text chatGPT genererar kan bara komma från den data som den är tränad på. Det är otroliga datamängder, men om dessa datamängder inte är faktagranskade så kan det slinka igenom vad som helst.
Exempelvis kan chatGPT, såvida den inte kopplas till andra system, ingenting om matematiska regler. Om man frågar om derivatan till en viss funktion, så vet chatGPT att den ska skriva ut matematiska symboler, men inte vilka, så den kommer troligen ge helt fel svar. ChatGPT kan heller inget om exempelvis himlakropparnas positioner eftersom de hela tiden förändras. Så det finns väldigt mycket chatGPT inte kan, men den kommer ändå svara helt tvärsäkert.
Det kommer bli läskigt på riktigt när det kommer riktigt bra bild och film generatorer. Då kan man plantera in vilka "bevis" man vill i vilka sammanhang man vill. Men det kommer uppstå andra möjligheter. I framtiden kan man nog be en generator att göra en film åt en inom en genre man gillar. Eller varför inte låta en generator generera en ny bok som man kan läsa till kvällen. Givetvis med önskat innehåll och slut.