von | März 21, 2025 | Uncategorized
Ob für das Feintunen, in einem RAG-System oder für den Offlinebetrieb: Small Language Models eignen sich auch für den lokalen Einsatz und sind einen Blick wert.
von | März 21, 2025 | Uncategorized
Kleine und zumeist offene Sprachmodelle versprechen Effizienz bei großer Leistung. Microsoft ist mit der Modellfamilie Phi ins Rennen eingestiegen.
von | März 21, 2025 | Uncategorized
Sprachmodelle können in zahlreichen Formaten vorliegen. Wer sie lokal einsetzen will, muss aber nur über Safetensors und das GGUF-Format Bescheid wissen.
von | März 21, 2025 | Uncategorized
APIs und eine einheitliche Sicht auf die Hardware machen es Entwicklern leicht, mit Apples MLX-Framework Sprachmodelle zu betreiben und ML-Anwendungen zu bauen.
von | März 21, 2025 | Uncategorized
Um Sprachmodelle bequem auf dem eigenen Rechner oder im lokalen Netz zu nutzen, gibt es Ollama für Kommandozeile und API, aber auch einige Applikationen.
