Ich habe versucht, DeepSeek lokal auf meinem Laptop auszuführen: So lief es

Während das Modell im Terminal einwandfrei funktioniert, können Sie auch eine App wie Chatbox verwenden, wenn Sie eine voll funktionsfähige Benutzeroberfläche mit der richtigen Textformatierung wie ChatGPT wünschen.

Das lokale Ausführen von DeepSeek ist nicht perfekt – aber es funktioniert

Wie bereits erwähnt, werden die Antworten nicht so gut (oder so schnell!) sein wie die des Online-KI-Chatbots von DeepSeek, da er ein leistungsfähigeres Modell verwendet und alles in der Cloud verarbeitet. Aber mal sehen, wie gut die kleineren Modelle abschneiden.

Lösen mathematischer Probleme

Um die Leistung des 7B-Parametermodells zu testen, gab ich ihm eine Gleichung und bat es, sein Integral zu lösen. Ich war ziemlich zufrieden mit der Leistung, zumal einfache Modelle oft Schwierigkeiten mit Mathematik haben.

Nun, ich gebe zu, dass dies nicht die komplizierteste Frage ist, aber genau deshalb ist es so nützlich, ein LLM lokal zu betreiben. Es geht darum, etwas zur Verfügung zu haben, mit dem einfache Anfragen sofort bearbeitet werden können, anstatt sich für alles auf die Cloud zu verlassen.

Debuggen von Code

Eine der besten Anwendungen, die ich für die lokale Ausführung von DeepSeek-R1 gefunden habe, ist die Hilfe bei meinen KI-Projekten. Das ist besonders nützlich, weil ich oft auf Flügen programmiere, auf denen ich keine Internetverbindung habe, und ich mich beim Debuggen stark auf LLMs verlasse. Um zu testen, wie gut es funktioniert, habe ich ihm diesen Code mit einem absichtlich hinzugefügten dummen Fehler gegeben.

        X = np.array([1, 2, 3, 4, 5]).reshape(-1, 1) 
y = np.array([2, 4, 6, 8, 10]) 
model = LinearRegression() 
model.fit(X, y) 
new_X = np.array([6, 7, 8]) 
prediction = model.predict(new_X)

Der Code wurde mühelos verarbeitet, aber denken Sie daran, dass ich dies auf einem M1 MacBook Air mit nur 8 GB Unified Memory ausgeführt habe. (Unified Memory wird von der CPU, der GPU und anderen Teilen des SoC gemeinsam genutzt.)

Mit einer geöffneten IDE und mehreren laufenden Browser-Tabs erlitt die Leistung meines MacBook einen ernsthaften Einbruch – ich musste alles zwangsbeenden, um es wieder reaktionsschnell zu machen. Wenn Sie 16 GB RAM oder sogar eine Mid-Tier-GPU haben, werden Sie wahrscheinlich nicht auf diese Probleme stoßen.

Ich habe es auch mit größeren Codebasen getestet, aber es blieb in einer Denkschleife stecken, so dass ich mich nicht darauf verlassen würde, leistungsstärkere Modelle vollständig zu ersetzen. Trotzdem ist es immer noch nützlich, um schnell kleinere Code-Snippets zu generieren.

Rätsel lösen

Ich war auch neugierig zu sehen, wie gut das Modell mit Rätseln und logischem Denken umgeht, also testete ich es mit dem Monty-Hall-Problem, das es leicht löste, aber ich fing an, DeepSeek aus einem anderen Grund wirklich zu schätzen.

Wie im Screenshot gezeigt, gibt es Ihnen nicht nur die Antwort, sondern führt Sie durch den gesamten Denkprozess und erklärt, wie es zur Lösung gekommen ist. Dies stellt klar, dass es sich um eine Argumentation durch das Problem handelt und nicht nur um eine auswendig gelernte Antwort aus seinen Trainingsdaten.

Forschungsarbeit

Einer der größten Nachteile der lokalen Durchführung eines LLM ist der veraltete Wissensschnitt. Da es keinen Zugriff auf das Internet hat, kann es schwierig sein, zuverlässige Informationen über aktuelle Ereignisse zu finden. Diese Einschränkung war in meinen Tests offensichtlich, aber sie wurde noch schlimmer, als ich nach einem kurzen Überblick über das ursprüngliche iPhone fragte – es erzeugte eine Antwort, die sowohl ungenau als auch unfreiwillig komisch war.

Das erste iPhone kam offensichtlich nicht mit iOS 5 auf den Markt, und es kam auch nicht nach dem nicht existierenden "iPhone 3. " Es hat fast alles falsch gemacht. Ich habe es mit ein paar anderen grundlegenden Fragen getestet, aber die Ungenauigkeiten gingen weiter.