Hur man kommer igång med Foundry Local AI

Upptäck Microsofts kostnadsfria verktyg Foundry Local AI som gör det enkelt att köra språkinlärningsmodeller på din Windows-dator, även utan internetuppkoppling.

Att köra en LLM (språkinlärningsmodell) på din Windows-dator har blivit mycket enklare tack vare Microsofts verktyg Foundry Local AI. Det är helt gratis att använda och erbjuder ett brett urval av AI-modeller att välja mellan.

Vad är Foundry Local AI

Microsoft tillkännagav nyligen Foundry Local, som främst är utformat för utvecklare. Det kostnadsfria verktyget låter dig köra LLM:er på din dator lokalt, utan behov av Internet. Du kommer inte att få samma resultat som med de populära molnbaserade AI-verktygen, som ChatGPT, Gemini eller Copilot, men det är fortfarande ett roligt sätt att experimentera med AI-modeller.

Eftersom det fortfarande är nytt och tekniskt sett endast i ett offentligt förhandsvisning, är det fortfarande ganska grundläggande, så förvänta dig inte något som tar andan ur dig. Med tiden kommer Foundry Local sannolikt att bli bättre och få fler funktioner.

Foundry Local Förutsättningar

Innan du installerar något, se till att din dator klarar av att hantera Foundry Local AI-modeller. Ja, helst vill Microsoft att du ska ha en kraftfull Copilot+-dator, men det är inte nödvändigt.

Du behöver:

• 64-bitarsversion av Windows 10 eller 11, Windows Server 2025 eller macOS
• 3 GB ledigt hårddiskutrymme, även om 15 GB rekommenderas, särskilt om du använder flera modeller
• 8 GB RAM, även om 16 GB rekommenderas för bästa resultat
• Även om det inte är ett krav, rekommenderar Microsoft att ha NVIDIA GPU (2,000-serien eller nyare), Qualcomm Snapdragon X Elite (8 GB eller mer av minne), AMD GPU (6,000-serien eller nyare) eller Apple-silicon

Du kommer endast behöva Internetåtkomst under installationen och när du installerar en ny AI-modell. Efter det kan du koppla bort. Se också till att du har administratörsbehörighet för att installera Foundry Local.

Hur man installerar Foundry Local AI

Till skillnad från många appar behöver du inte gå till en webbplats eller Microsoft Store för att installera Foundry Local. Istället använder du en winget, som låter dig installera programvara via en kommandoradsinmatning. Oroa dig inte, du behöver inte vara utvecklare eller mästare på kommandoraden för att göra detta.

Om du föredrar en mer traditionell installation, ladda ner det från GitHub.

För Windows, öppna ett terminalfönster. Tryck Win + X och klicka på Terminal (admin). Ange följande kommando:

winget install Microsoft.FoundryLocal

Godkänn villkoren och vänta på att installationen ska slutföras. Det kan ta några minuter.

För macOS, öppna ett terminalfönster och ange följande:

brew tap microsoft/foundrylocal
brew install foundrylocal

Om du föredrar att ladda ner en LLM på en Raspberry Pi, prova dessa steg.

Installera din första AI-modell

För första gången rekommenderar Microsoft en lättviktsmodell – Phi-3.5-mini. Du behöver inte börja med denna, men om du har ont om utrymme är det ett bra sätt att prova utan att offra värdefull lagring.

Öppna ett terminalfönster och ange följande kommando:

foundry model run phi-3.5-mini

Det kan ta flera minuter eller mer, beroende på vilken modell du väljer. För mig tog just denna modell bara två minuter. Det bästa är att Foundry Local AI installerar den optimala versionen av modellen för din hårdvarukonfiguration, så du slipper fundera på exakt vad som ska installeras.

Om du vill prova andra modeller, kolla in hela listan med följande kommando:

foundry model list

Varje modell i listan visar hur mycket lagring den behöver och dess syfte. För nu är varje modell bara för chattkomplettering.

Interagera med Lokala AI-modeller

Det finns ingen praktisk grafisk gränssnitt för att interagera med AI-modellerna du installerar. Istället gör du allt från kommandoraden. Men det är inte mycket annorlunda än att chatta med någon annan AI-chatbot. Skriv helt enkelt din text när du ser uppmaningen Interaktivt läge, vänligen ange din text.

Varje AI-modell har sina egna begränsningar. Till exempel angav jag en prompt för Phi-3.5-mini och frågade "vad är foundry local." Jag gjorde detta specifikt för att belysa att denna modells kunskap är begränsad.

Tidigt 2023 och tidigare. Resultatet nämner denna begränsning, men försöker besvara frågan så bra som möjligt. Spoiler alert – det besvarade inte frågan korrekt, men det var vad jag förväntade mig.

För bästa resultat, håll dig till enkla frågor som inte kräver mycket forskning eller aktuell/brottande nyhetskunskap.

Om du vill växla mellan modeller som du redan har installerat, använd följande kommando:

foundry model run modelname

Byt ut “modelname” mot din föredragna modell.

Om du är i Interaktivt läge, det vill säga chattläge, behöver du stänga terminalfönstret och starta en ny session. För närvarande finns det inget avkommando, vilket definitivt är en funktion som behövs.

Foundry Local AI-kommandon Du Behöver Känna Till

Även om det finns en lista du kan kolla in, behöver du egentligen bara känna till ett fåtal kommandon för att använda Foundry Local. Dessa kommandon visar alla tillgängliga kommandon inom var och en av de tre huvudsakliga kategorierna – modell, tjänst och cache.

Se alla allmänna Foundry Local-kommandon med:

foundry --help

För modellkommandon, använd:

foundry model --help

För tjänstekommandon, använd:

foundry service --help

För cache-kommandon, använd:

foundry cache --help

Så länge du minns dessa behöver du egentligen inte hela listan. Men, kom ihåg att nya kommandon troligen kommer att läggas till över tid när Microsoft bygger vidare på tjänsten. Just nu, betrakta det mer som en betatest än ett fullt utvecklat verktyg.

Om du behöver mer än vad Foundry Local kan erbjuda, håll dig till ChatGPT eller dessa alternativ. Eller, prova dessa AI-verktyg för att förbättra ditt liv och din produktivitet.

Löser dina frågor

Hur fungerar Azure AI Foundry?

Azure AI Foundry är en plattform som möjliggör utveckling och distribution av AI-lösningar på ett strukturerat sätt. Här är huvuddragen:

• -

Intäktsmodell

: Genererar intäkter genom produkter som kunder konsumerar, vilket inkluderar API:er, modeller och verktyg för hela AI-processen.
• Produkter: Varje produkt har sin egen faktureringsmodell och pris, vilket ger flexibilitet för användarna.
• Tillgång: Plattformen är kostnadsfri att använda och utforska, vilket gör det enkelt för företag att utveckla och testa sina AI-idéer.
• Ansvarsfull AI: Fokuserar på etiska och ansvarsfulla AI-tillämpningar och erbjuder lösningar för företagsklassens produktion.
• Skalbarhet: Stöder storskalig produktion av AI-lösningar, vilket är viktigt för företag med stora datamängder och komplicerade behov. Azure AI Foundry ger en kraftfull miljö för företag som vill komma igång med AI och implementera skräddarsydda lösningar effektivt.

Nu när du har läst klart Hur man kommer igång med Foundry Local AI, inbjuder vi dig att utforska kategorin Windows ytterligare. Där hittar du fler intressanta artiklar som kommer att utöka dina kunskaper och hålla dig informerad. Sluta inte läsa och upptäcka mer!