Inställning av AI-chatt och gratis LLM-modeller på PC, lokalt och offline

Upptäck hur du kan installera och använda artificiell intelligens, som ChatGPT, gratis och offline på din PC med användning av LLM-modeller.

Om man inte arbetar inom området, är artificiell intelligens idag oftast kopplad till ChatGPT, applikationen vi alla använder för arbete, studier eller för att göra enklare experiment. Det som döljer sig bakom ChatGPT är däremot en stor och ständigt utvecklande värld, som skulle kräva djupgående studier och många tekniska färdigheter för att förstå helt.

Utan att gå in på för mycket tekniska detaljer som lätt kan hittas, ville jag i detta inlägg dela några resurser för att ha sitt eget verktyg för artificiell intelligens på PC:n, så att man kan skapa sin egen ChatGPT lokalt på sin dator hemma eller på kontoret, helt gratis och som fungerar offline.

Kan man installera en AI som ChatGPT på sin PC?

Innan vi börjar, låt oss göra en megasammanfattning för att förstå hur applikationer som ChatGPT, den mest kända men bara en av många tillgängliga, fungerar.

Historien börjar med konceptet av LLM (Large Language Model), det vill säga programmet för textbaserade AI. LLM, som betyder modeller av stort språk, kan förstå mänskligt språk och generera sammanhängande svar. LLM använder deep learning, en typ av maskininlärning som lär sig och får ny data utifrån hur den används.

Om LLM kan man läsa en välgjord guide som är lättförståelig på Cloudflare-sidan.

Utan att gå djupare in i teorin är det viktigt att veta att medan GPT från OpenAI är en proprietär betald LLM (åtminstone GPT3 och GPT4), finns det andra LLM som Llama från Facebook, Mistral och Gemma från Google som kan användas gratis för personliga projekt och forskning (på sidan Wikipedia på engelska om LLM finns en komplett lista).

Om vi nu undrar om det är möjligt att använda en AI som ChatGPT gratis och utan begränsningar, så är svaret definitivt ja. Vi kan enkelt installera ett LLM-program på PC:n, Windows, Linux eller Mac, och använda det fritt och gratis, även offline, utan att behöva koppla upp oss mot servrar eller externa tjänster.

Det finns många sätt att installera en AI på PC:n och många program som fungerar som gränssnitt för att chatta med den artificiella intelligensen. Vissa av dem är enkla och gratis, medan andra är mer komplicerade.

Det enda viktiga kravet för att använda AI på sin PC är en anständig hårdvara, en modern CPU och, framför allt, 16 GB RAM och ett dedikerat grafikkort.

Först av allt, låt oss se en sammanfattande video

LM Studio, det enklaste

Det enklaste sättet jag har funnit för att använda en textchatt som drivs av AI och en gratis LLM är genom att installera programmet LM Studio. Jag kan inte utesluta att det finns enklare program (givet att alternativen är många), men jag blev nöjd med detta).

LMStudio är inte en öppen källkodsprogramvara, så den nämns sällan i olika guider, men den fungerar riktigt bra, är enkel att installera och aktivera, kräver inga extra paket och är redo att använda.

Efter nedladdning och installation kommer du att bli ombedd att ladda ner en LLM-modell, och valet kan vara Gemma, Mistral eller Llama som kan användas fritt.

I utvecklarsektionen kan man ladda upp den nedladdade LLM-modellen till PC:n och i upptäcktssektionen kan man hitta LLM-modeller som kan laddas ner, däribland Gemma 2 2B och Llama 3.2 rekommenderas också eftersom de tar mindre lagringsutrymme.

Program för öppen källkod för AI och LLM-modeller på datorer lokalt

Om man vill ha en helt öppen källkods-lösning kan man installera programmet Ollama, gratis. Att använda Ollama är dock lite mer komplicerat. Först av allt måste man ladda ner Python på PC:n och sedan installera ett grafiskt gränssnitt.

Genom att använda Python-kommandon (i ett Windows Terminal-fönster) kan du ladda ner LLM för Ollama. Här kan du välja en modell, antingen Llama 3.2 eller Gemma 2 (som kräver mindre RAM-minne), eller den större Mistral. På Ollamas Github-sida finns kommandona du behöver för att ladda ner.

För att ladda ner Llama 3.2, när Ollama körs, öppna en kommandotolk i Windows (eller Terminal) och skriv kommandot ollama run llama3.2.

Ollama är i sig själv en serverapplikation som körs i bakgrunden; för att använda chatten behövs ett grafiskt gränssnitt.

Det bästa gränssnittet för Ollama är Open Web UI. Detta kräver även installation av programmet Docker (som måste köras i bakgrunden) och att vissa kommandon körs i terminalen (förklaras på projektets sida).

Enklare alternativ är program som Msty (gratis för personlig användning), Anything LLM (lätt att använda och inkluderar även Ollama) samt ConfyChat, som är gratis och open source, mer grundläggande och lättanvänt, bara att ladda ner och köra (i Windows, kör filen confichat.exe).

Eftersom Ollama är en serverapplikation kan man komma åt AI-chatten, som den i ConfyChat, även via smartphone genom att öppna den angivna webbsidan (vanligtvis på adressen 127.0.0.1:portnummer), så länge smartphone är ansluten till samma wifi-nätverk som datorn.

På så sätt blir det enkelt att ha en textbaserad AI som ChatGPT. Lösningar som LM Studio, trots att de inte är open source, är mycket effektiva, särskilt på mindre kraftfulla datorer. Ollama fungerar dessutom utmärkt på min dator med 16 GB RAM och ett grafikkort från några år tillbaka, och verkar inte lida av långsamhet.

Kan man chatt med AI LLM på smartphone?

Ja, det finns flera appar för att installera LLM lokalt på Android, som Private AI, Chatllama eller LM Playground, som automatiskt laddar ner lättare modeller att använda och testa.

Det går ännu bättre på iPhone, tack vare appen MyOllama, som kostar 3 Euro.

Nu när du har läst klart Inställning av AI-chatt och gratis LLM-modeller på PC, lokalt och offline, inbjuder vi dig att utforska kategorin Ansökningar ytterligare. Där hittar du fler intressanta artiklar som kommer att utöka dina kunskaper och hålla dig informerad. Sluta inte läsa och upptäcka mer!