Uttrykket «kjør din egen AI-kjæreste» får det til å høres ut som ett program. I praksis er det tre deler som snakker sammen, og å forstå hvilken del som gjør hva, sparer deg for det meste av frustrasjonen.
De tre delene
Hva som snakker med hva i et typisk lokalt oppsett.
Frontenden er det du ser: chatvinduer, karakterer, avatarer, innstillinger. SillyTavern er standardvalget for karakterchat. Den kjører i nettleseren din, lagrer karakterer og chatter som filer på disken din, og kan kobles til nesten hvilken som helst backend. Den genererer ikke tekst selv.
Backenden laster modellen og genererer svarene. KoboldCpp er ett enkelt program uten installasjon som er populært til rollespill fordi det viser alle genereringsinnstillingene. Ollama er den enkleste måten å få en modell i gang på med noen få kommandoer. LM Studio er en skrivebordsapp med en brukervennlig modellleser. Alle tilbyr modellen på en lokal adresse som frontenden kobler seg til.
Modellen er en stor fil, vanligvis i GGUF-formatet, lastet ned fra Hugging Face. Størrelsen i parametere – 8B, 12B, 24B – og kvantiseringen avgjør hvor god den er og hvilken maskinvare den trenger.
Spørsmålet om maskinvare
Det som avgjør om en modell kjører godt, er grafikkminnet (VRAM). Modellen må få plass, pluss rom til selve samtalen. Kvantisering krymper modeller så de passer: «Q4_K_M» er det vanlige kompromisset mellom størrelse og kvalitet.
| Modellstørrelse | Omtrentlig minne ved Q4 | Typisk maskinvare | Hva du kan forvente |
|---|---|---|---|
| 7–8B | 5–6 GB | Skjermkort med 8 GB | Sammenhengende, raskt, glemmer detaljer i lange scener |
| 12–14B | 9–10 GB | Kort med 12 GB | Merkbart bedre karakterer og språk |
| 22–24B | 14–16 GB | Kort med 16–24 GB | Nær gode nettbaserte apper til rollespill |
| 70B | 40 GB+ | To kort eller en Mac med mye minne | Utmerket, tregt og dyrt |
Tallene er omtrentlige: lengre kontekst trenger mer minne i tillegg. Apple Silicon-Mac-er deler minne mellom prosessor og grafikk, så en MacBook med 32 GB kan kjøre modeller et skjermkort med 12 GB ikke klarer. En modell som ikke får plass, flyter over på hovedprosessoren og går i sneglefart. Hvis svarene kommer med noen få ord i sekundet, bør du gå ned til en mindre modell før du prøver en hardere kvantisering. En mindre modell i god kvalitet slår vanligvis en større som er presset for hardt.
Hva du vinner
- Personvern som ikke avhenger av en erklæring. Ingenting forlater maskinen. Ingen lagringstid, ingen trening, ingen tilgang for ansatte, ingenting å slette senere.
- Ingen filtre utover modellens egne. Du velger modell, også de som er finjustert spesielt for rollespill. Lovens minstegrenser for innhold gjelder fortsatt deg, men ingen aktør legger regler oppå.
- Ingen abonnement og ingen kreditter. Generer så mye du vil.
- Karakterer du eier. Karakterkort er vanlige PNG-bilder med karakterarket innebygd. De kan flyttes mellom frontends og kan ikke tas fra deg av en oppdatering.
- Stabilitet. En modell som fungerer i dag, fungerer på samme måte om fem år. Ingen kan bytte den ut under deg – risikoen som er beskrevet i når AI-følgesvennen din endres over natten.
Hva du gir fra deg
- Oppsettstid. Regn med en kveld for den første fungerende chatten, og uker med tuslete hvis du liker det.
- Hukommelse er din jobb. Nettbaserte apper oppsummerer og lagrer fakta om deg i det stille. Lokalt styrer du dette med SillyTaverns lorebooks, sammendrag og karakternotater – de samme tre mekanismene som er forklart i slik fungerer hukommelsen til en AI-følgesvenn, bare med kontrollene synlige.
- Bilder og stemme er egne prosjekter. Bildegenerering trenger sin egen modell og vanligvis mer grafikkminne, og stemme krever verktøy for talegjenkjenning og talesyntese. Alt er mulig, ingenting er automatisk.
- Mobil er tungvint. Du kan åpne frontenden fra telefonen på hjemme-wifi. Å bruke den borte betyr å eksponere datamaskinen mot internett, og det krever forsiktighet.
- Kvalitetstak. De beste nettbaserte modellene er større enn alt de fleste kan kjøre hjemme, særlig når det gjelder konsistens over tid.
Mellomveien og haken ved den
Mange kjører SillyTavern på egen maskin, men kobler den til et betalt sky-API i stedet for en lokal modell. Da får du frontendens kontroll og karakterfiler, mye større modeller, og betaling per melding som kan bli billig ved lett bruk.
Det er derimot ikke privat. Hver melding går til API-leverandøren, under dens logging, lagring og innholdsregler, ofte strengere om rollespillinnhold enn dedikerte følgesvenn-apper. Det er en annen avveining, ikke et lokalt oppsett.
Grunnleggende sikkerhet
- Last bare ned programvare fra de offisielle prosjektsidene på GitHub eller prosjektets egen nettside.
- Last ned modeller fra kjente opplastere på Hugging Face, og foretrekk GGUF-filer, som inneholder modelldata og ikke kode.
- Les modellens lisens. Noen begrenser kommersiell bruk, og noen få begrenser visse typer innhold.
- La SillyTavern være bundet til din egen maskin eller ditt hjemmenettverk med mindre du har satt opp passord og forstår hva du eksponerer.
SillyTavern utvikles åpent på GitHub.
Hvem det passer for
Kjør en følgesvenn lokalt hvis personvern er hovedhensikten din, du allerede har kraftig maskinvare, eller du liker å sette opp ting like godt som å bruke dem. Hold deg til en nettbasert app hvis du vil ha stemme, bilder og lang hukommelse som fungerer ut av boksen, eller mest chatter på mobilen. Guiden vår for å velge første app tar for seg den veien. Mange ender opp med begge deler: en nettbasert app for bekvemmelighetens skyld og et lokalt oppsett til samtalene de helst ikke vil lagre andre steder.