For et par dage siden min partner Pablinux fortalte dem hvordan man lokalt installerer den trendy kunstig intelligens-model. I dette indlæg vil jeg liste, hvad jeg anser for at være bedre modeller end DeepSeek, og hvordan man installerer og kører dem på vores computer.
Ser man bort fra enhver politisk sympati eller antipati, var den kinesiske regerings træk et mesterværk af diplomatisk markedsføring, der var Sun Tzu værdig. I modsætning til Donald Trumps "Elephant in the Chinaware"-stil annoncerede de en model, der tilbyder de samme funktioner som ChatGPT gratis og bruger færre ressourcer. Det ved kun os, der følger emnet Der har været mange andre open source-modeller (nogle fra nordamerikanske virksomheder såsom Meta) i lang tid, og DeepSeeks ydeevne er kun sammenlignelig med ChatGPT i de mest almindelige 5% af anvendelser.
Storskala sprogmodeller
ChatGPT, DeepSeek og andre kaldes Large Scale Language Models. Dybest set De giver en bruger mulighed for at interagere med en computer på et sprog, der ligner det, der bruges til at kommunikere med et andet menneske. For at opnå dette trænes de med store mængder tekst og regler, der giver dem mulighed for at producere ny information ud fra det, de allerede har.
Dens primære anvendelse er at besvare spørgsmål, opsummere tekster, lave oversættelser og gengive indhold.
Bedre modeller end DeepSeek og hvordan man installerer dem lokalt
Ligesom Pablinux kommer vi til at bruge Ollama. Dette er et værktøj, der giver os mulighed for at installere, afinstallere og bruge forskellige open source-modeller fra Linux-terminalen. I nogle tilfælde kan browseren bruges som en grafisk grænseflade, men det vil vi ikke dække i denne artikel.
For at Ollama kan give en ordentlig brugeroplevelse, er det bedst at have en dedikeret GPU.Især i modeller med flere parametre. De mindre kraftfulde kan dog bruges på en Raspberry Pi og da jeg oven i købet testede modeller med 7 milliarder parametre på en computer med 6 gigabyte og ingen dedikeret GPU, kørte computeren uden problemer. Det samme skete ikke med en på 13 mia.
Parametre er de regler, som modellen bruger til at bygge relationer og konstruere mønstre blandt dataene. Jo flere parametre og data, jo mere kraftfuld vil en model være dem med færre parametre taler spansk som Tarzan.
Vi kan installere Ollama med kommandoerne
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
Vi kan installere modellen med kommandoen:
ollama pull nombre_del modelo
Og kør det med:
ollama run nombre_del_modelo
Vi afinstallerer det ved hjælp af:
ollama rm nombre_del_modelo
Vi kan se de installerede modeller ved at skrive:
ollama list
Det følgende er en lille liste over de modeller, som jeg finder mest interessante: Den komplette liste over tilgængelige modeller kan findes her her:
lama2-ucensureret
Llama er en generel model skabt af Meta. I denne version blev alle begrænsninger, der blev indført af udviklerne af det oprindelige projekt af juridiske eller politiske årsager, fjernet.. Den har to versioner, en let, der klarer sig med 8GB og den fulde, der skal bruge 64. Den kan bruges til at besvare spørgsmål, skrive tekster eller i kodeopgaver.
Installeres med:
ollama pull llama2-uncensored
Og den kører med:
ollama run llama2-uncensored
kodegemma
CodeGemma er et udvalg af lette, men kraftfulde skabeloner, der giver dig mulighed for at udføre en række programmeringsopgaver hvordan man udfylder koden eller skriver den fra bunden. Forstår naturligt sprog, kan følge instruktioner og lave matematiske ræsonnementer.
Den kommer i 3 varianter:
- Instruere: Det omdanner naturligt sprog til kode og kan følge instruktioner:
- Kode: Komplet og generer kode fra dele af eksisterende kode.
- 2b: Hurtigere kodefuldførelsesopgave.
Tynillama
Som navnet indikerer, er det en mindre version af den originale Meta-model.. Så det vil ikke have så gode resultater, men hvis du vil se, hvordan en kunstig intelligens-model fungerer på beskeden hardware, er det værd at prøve. Den har kun 1100 milliarder parametre.
Brug af modeller lokalt har fordelene ved privatliv og adgang til ucensurerede og upartiske versioner, der i nogle tilfælde har en tendens til at ende som latterlige. Microsofts AI nægtede at skabe et billede af en gravhund for mig, fordi det anså udtrykket "tæve" for stødende. Den største ulempe er hardwarekravene. Det bliver et spørgsmål om at afprøve modellerne og finde en, der er god nok til det du skal bruge og kan køre på det udstyr du har.