Der On-Device-KI-Chatbot von NVIDIA unterstützt jetzt Google Gemma und ChatGLM3

Das dritte Update für NVIDIAs ChatRTX-App ist da. Es fügt neue Bilderkennungsfunktionen, Spracheingabefunktionen und eine erweiterte Auswahl an Open-Source-LLMs hinzu.

NVIDIA ChatRTX, früher "Chat with RTX" genannt, ist ein personalisierbarer KI-Chatbot, der lokal auf Windows-PCs ausgeführt werden kann. Es fungiert als eine Art persönlicher Assistent, der Fragen zu Dokumenten, Notizen und anderen Dateien auf Ihrem Computer ohne Cloud-Interaktion beantwortet. Es kann auch YouTube-Videos zusammenfassen, was nützlich sein kann, wenn Sie ein Rezept erhalten oder ein Tutorial durchlaufen möchten, ohne jemandem 15 Minuten lang zuzuhören. (Das Scannen auf YouTube ist jedoch seit dem Sicherheitspatch 0.2 nicht mehr verfügbar.)

Eines der interessanten Dinge an ChatRTX ist seine Fähigkeit, eine Vielzahl von LLMs auszuführen. ChatRTX wurde mit Unterstützung für Mistral und Llama 2 gestartet, obwohl es jetzt Google Gemma (ein leichtgewichtiger Ableger von Gemini) und ChatGLM3 (ein englisches und chinesisches LLM, das auf dem GLM-Framework basiert) unterstützt. Jedes dieser LLMs eignet sich für bestimmte Aufgaben, daher ist Abwechslung erforderlich.

Die neue ChatRTX-Version verfügt außerdem über die Integration von Whisper und Open AI CLIP. Während Whisper eine KI-basierte Spracherkennung für die Spracheingabe hinzufügt, verbessert CLIP die Bilderkennungsfunktionen von ChatRTX. Ein Fotograf kann ChatRTX verwenden, um beispielsweise eine Reihe von unbeschrifteten Bildern zu finden und zu organisieren.

Um es klar zu sagen, ChatRTX wird immer noch als "Tech-Demo" betrachtet. Es ist ein Beispiel dafür, was Entwickler mit dem Open-Source-Referenzprojekt TensorRT-LLM RAG erstellen können, und es ist etwas, das dem durchschnittlichen Computerbenutzer helfen kann, sich mit LLMs vertraut zu machen.

Und ich sollte anmerken, dass keines dieser ChatRTX-kompatiblen LLMs tatsächlich ChatRTX benötigt. Der Vorteil von ChatRTX besteht darin, dass es keine Fachkenntnisse erfordert und es Ihnen ermöglicht, einen personalisierten lokalen Chatbot ohne allzu viel Laufarbeit zu trainieren. Ich hoffe zwar, dass ChatRTX zu einem echten Produkt heranwächst, aber das muss es nicht, da es Entwickler dazu inspirieren wird, noch bessere KI-Anwendungen zu entwickeln.

Sie können ChatRTXtoday kostenlos von der NVIDIA-Website installieren. ChatRTX erfordert jedoch eine GPU der RTX 30- oder 40-Serie mit mindestens 8 GB VRAM (ja, einige Laptops erfüllen diese Spezifikationen). Sie werden auch genug Geduld brauchen, um bis zu einem 30-GB-Download zu warten – ChatRTX ist eine relativ große Anwendung.

Quelle: NVIDIA