Also ich spiele hier mit dem lokalen #deepseek r1 rum und schon mit dem 14B Modell, das in 16GB Arbeitsspeicher passt, lässt sich sinnvoll arbeiten.

In unter 10 Sekunden gibt der mir Antworten und ruft sogar Funktionen auf, mit #ollama bekommt man sogar OpenAI kompatible API Endpunkte.

Allerdings geht da mit Funktionen und allem drum und dran doch öfter mal was schief, keine Ahnung wie es mit den großen 38B Modellen ist.. Bin aber versucht mir nen Mac Mini M4 mit 64GB RAM zu besorgen 😅