Ollama hat es sehr einfach gemacht Claude Code lokal zum laufen zu bekommen. Claude Code ist die CLI Programmierentwicklungsumgebung von Anthropic, dass die Nutzung der LLMs von Anthropic vereinfacht. Eine Besonderheit des Programms ist, dass es ziemlich viele Schritte vorbereitet bevor überhaupt ein LLM involviert ist. Ollama ist eine von mehreren Möglichkeiten ein LLM lokal einzubinden und hat vor einiger Zeit den Schritt unternommen auch LLMs in der Cloud anzubieten, dazu später mehr.
Ollama installieren
Ich beschäftige mich hier nur mit der Linuxvariante, vor allem weil ich keinen Mac oder ein Windows zu Verfügung habe. ( Na gut, ich hab Windows, aber ich will nicht, Windows 11 ist untragbar.)
Installiert und upgedatet wird Ollama auf den meisten Linuxdistributionen mit diesem Befehl hier:
curl -fsSL https://ollama.com/install.sh | sh
Mehr Informationen zur Installation finden sich hier: https://ollama.com/download/linux
Ollamas Modelle woanders speichern
Nachdem Ollama installiert ist und läuft, ist es an der Zeit LLMs runter zu laden. Auf die einzelnen Unterschiede werde ich noch in einem späteren Artikel eingehen, hier ist jedoch erst einmal eine Liste von verfügbaren LLMs: https://ollama.com/search Wir ignorieren erst einmal alle mit dem Tag ‚cloud‘.
Installiert wird mit:
ollama pull
Welche Modelle installiert sind mit:
ollama list
Und sorgen über den Plattenplatz machen wir uns mit:
df -h
OLLAMA_MODELS
Da meine Systemplatten prinzipiell immer an Platzmangel leiden, muss ich die Models auslagern. Das kann durch die Umgebungsvariable OLLAMA_MODELS erreicht werden.
export OLLAMA_MODELS=/path/to/your/custom/models ollama run llama3.2
Das ist nur temporär, dass muss dann noch in der .bashrc / .bash_profile / .profile verankert werden oder in dem Configdatei für eure laufende Shell, wenn ihr kein bash nutzt.
Symlink
Oder durch ändern des Ordners mit einem Symlink,meistens von ~/.ollama/models
mv ~/.ollama/models /new/path/models ln -s /new/path/models ~/.ollama/models
Ollama ausführen und Output speichern
Ollama von der Kommandozeile laufen zu lassen ist sehr spartanisch und es ist natürlich möglich, Ollama in andere Programme einzubinden, die diesen Umgang stark vereinfachen. Ich nutze meistens Open WebUI, dass würde ich jetzt aber per Docker eingerichtet und das soll nicht Thema dieser Übung sein. Auch ist es möglich Ollama über verschiedene Programmiersprachen wie Python anzusprechen um es z.b. in ein RAG einzubinden. Wer jetzt nur die Unterhaltungen mit seinem lokalen LLM speichern will, dem kann ich das Programm script ans Herz legen. ( Ich hatte es erst mit tee versucht, jedoch verlangt Ollama ein tty für die Ausgabe und bricht einfach ab.)
script -q -c "ollama run alibayram/smollm3:latest" smoll.txt
Alles was wir nun in der Ausgabe der interaktiven Shell sehen, wird auch gleich in smoll.txt abgespeichert.
Nachdem wir mit Ollama soweit fertig sind, wenden wir uns Claude code zu.
Claude Code installieren
Claude Code installiert sich genau wie Ollama per script.
curl -fsSL https://claude.ai/install.sh | bash
Wer nicht immer irgendwelche Scripte ungelesen aus dem Internet installieren will, kann sich das Ding auch vorher einfach mal angucken:
curl -fsSL https://claude.ai/install.sh | cat
Aber sind wir mal realistisch, wer hat Zeit für sowas /s
Claude Code und Ollama
Vor einiger Zeit mussten noch Configdateien von Claude Code direkt editiert werden, wollte man die Verbindung zu Antrophic trennen. Heute liefert Ollama einen einfachen Weg beide Programme zu verbinden.
ollama launch claude --model qwen2.5-coder:7b
Jetzt haben wir Claude Code lokal laufen und können es kostenlos benutzen, jedenfalls in der Theorie. Die Praxis ist natürlich wieder eine andere.
Im letzten Artikel dieser Serie hatte ich berichtet, dass die LLMs jetzt langsam die Reife haben um mehr Nutzen als Last zu sein und ich diese Behauptung gern testen will. Leider verlangen diese LLMs auch entsprechende Hardware, die ich nicht habe. Da die Chinesen genau das gleiche Problem haben, stehen die Chancen gut, dass die weitere leistungsfähige, kleine Modelle auf dem Markt werfen werden.
Das alles soll uns jedoch nicht daran hindern Claude Code kennenzulernen. In einer der nächsten Artikeln werde ich auch raus finden, ob es irgendwo noch kostenlose Möglichkeiten gibt an LLM’s in der Cloud zu kommen oder ob Claude auch mit lokalen Modellen brauchbar ist. Bis dahin kann man sich schon damit hier beschäftigen:
https://www.scriptbyai.com/claude-code-resource-list/
Viel Spass
