Ich habe Microsofts Premium-Copilot-Agenten dafür bezahlt, meine Arbeit zu erledigen - sie waren dabei erstaunlich schlecht.

Kann man einen Copilot-Agenten dazu bringen, die Arbeit für einen zu erledigen? Ich habe es versucht - doch die KI war nicht bereit, mitzumachen.

Der Microsoft Copilot Analyst-Agent im Einsatz

Wichtigste Erkenntnisse

• Copilot-Agenten werden entwickelt, um bei Recherche und Analyse zu helfen.
• In meinen Tests lieferten diese Agenten keine nützlichen Ergebnisse.
• Das Troubleshooting mit Copilot war Zeitverschwendung und brachte keine Lösung.

Microsoft gibt eine unglaubliche Summe Geld für seine KI-Funktionen aus: Es baut Rechenzentren und lizenziert große Sprachmodelle von OpenAI, Anthropic und anderen - während es gleichzeitig versucht, eigene Alternative zu entwickeln.

Das Ziel, das direkt von der Spitze der Unternehmenshierarchie in Redmond vorgegeben wird, ist es, die Kombination aus Windows und Microsoft 365 zu einem „agentenfähigen Betriebssystem“ zu machen - einem System, das in der Lage ist, jene Aufgaben zu erledigen, die das Geschäftsleben so mühsam machen: Memos verfassen, Präsentationen erstellen, Meetings organisieren sowie Routineaufgaben automatisieren.

Aber lohnen sich diese Investitionen? Entwickler scheinen im Allgemeinen zufrieden zu sein mit den Produktivitätsgewinnen, die sie durch Tools wie Claude Code und GitHub Copilot erzielen. Doch die Agenten, die im Geschäftsbereich tätig sind, scheinen bei weitem nicht so kompetent zu sein.

In den letzten Wochen habe ich versucht, die KI-Funktionen in Microsoft 365 und Windows für verschiedene alltägliche Arbeitsaufgaben zu nutzen. Copilot zeigt gelegentlich Anzeichen von Kompetenz - doch meist sind die Ergebnisse eine Mischung aus Fehlinformationen, Halluzinationen sowie zeitraubenden Sackgassen.

Erlauben Sie mir, Ihnen von meinen jüngsten Erfahrungen zu erzählen.

„Es tut mir leid, Ed, das kann ich nicht tun.“

Monatelang hat Microsoft versucht, mich dazu zu bewegen, auf den neuen Microsoft 365 Premium-Plan umzusteigen - dieser bietet höhere Grenzen für die Nutzung von KI sowie einige exklusive KI-Agenten. Im Namen der Wissenschaft zahlte ich die 10 Dollar, um ein bisher ungenutztes Konto für einen Monat zu upgraden, damit ich die neuen Funktionen selbst ausprobieren konnte.

Ich begann mit dem Analyst-Agenten: Ich gab ihm eine Kopie der Tabellenkalkulation, die ich zur Verwaltung unserer Haushaltseinnahmen und -ausgaben verwende, und bat um Hilfe bei der Verbesserung des Layouts. Nach einigen Rückfragen dazu, was ich erreichen wollte, machte der Agent einige nützliche Vorschläge: Formeln zu optimieren, doppelte Tabellen zusammenzuführen sowie überflüssige Seiten zu entfernen. Abschließend bot er sogar an, ein Dashboard ausschließlich mithilfe von Formeln und Pivot-Tabellen zu erstellen.

„Falls Sie möchten“, sagte Copilot zu mir, „kann ich ein sauberes Dashboard-Layout (mit genauen Zellen und Abschnitten) erstellen, das auf Ihre Daten abgestimmt ist - damit Sie es in etwa 15 Minuten umsetzen können.“

Ich... dachte, dass die Agenten diese Arbeit für mich erledigen sollten? Also fragte ich: „Können Sie die eigentliche Excel-Datei für mich erstellen, oder muss ich das selbst tun?“

Natürlich teilte es es mir mit. Es gab nur eine kleine Einschränkung: Ich musste einen der Pivot-Punkte selbst erstellen - doch diese Arbeit würde weniger als 10 Sekunden in Anspruch nehmen.

„Nur zu“, sagte ich.

Eine oder zwei Minuten später sagte Copilot zu mir: „Ich habe Ihr bearbeitetes Arbeitsbuch erstellt. Laden Sie es hier herunter.“ Anschließend gab er mir einen Link zu [sandbox:/mnt/data/Personal_accounts_modified.xlsm]. Das ist der exakte Link - inklusive der Klammern. Er war jedoch nicht klickbar.

Sandbox? Was zum …? „Ja - das ist meine Schuld“, gab Copilot zu. „Dieser ‚Sandbox-Pfad‘ ist in Ihrer Benutzeroberfläche eigentlich nicht anklickbar, weshalb Sie die Datei nicht herunterladen konnten. Danke, dass Sie darauf hingewiesen haben. … Ich werde die Datei neu generieren und dafür sorgen, dass sie im Chat als echte, herunterladbare Dateianhang erscheint - sodass Sie eine anklickbare Dateikarte sehen, statt nur einen Pfad.“

Nach mehreren Versuchen gab Copilot auf. „Die Datei ist fertig. Allerdings muss ich ehrlich sein: Ihre Chat-Oberfläche rendert derzeit herunterladbare Dateianhänge nicht korrekt (deswegen sahen Sie zuvor diese nicht nutzbaren „Sandbox“-Pfade). Ich habe die Datei zwar erfolgreich erstellt, doch sie wird in Ihrer Benutzeroberfläche nicht als klickbarer Download angezeigt.“

Copilot hat die von mir angeforderte Datei erstellt, konnte sie mir aber nicht zukommen lassen.

Der Chatbot erklärte weiterhin, dass der Dateilink vielleicht funktioniert hätte, wenn ich ChatGPT verwendet hätte. Eine der von dem Support-Mitarbeiter vorgeschlagenen Lösungen war, die Datei in Google Sheets zu erstellen und mir anschließend einen Link zu senden! Irgendwie glaube ich nicht, dass das genau das war, was die Produktmanager in Redmond im Sinn hatten. (Bitte erzählen Sie es nicht Satya.)

Fazit: Ich habe einige gute Ideen zur Verbesserung meines Arbeitshefts bekommen, aber der Copilot-Agent, der eigentlich direkt mit Excel arbeiten sollte, kann die Arbeit für mich nicht erledigen.

„Welchen konkreten Plan meinen Sie?“

Als Nächstes bat ich den Microsoft 365 Premium Researcher-Agenten, mir eine knappe Erklärung zu den Vor- und Nachteilen von Microsoft 365 Premium zu geben. Ich war auf die Antwort nicht vorbereitet:

Damit ich genau das abdecke, was Sie benötigen: Welchen konkreten Plan meinen Sie mit „Microsoft 365 Premium“? A) Microsoft 365 Personal, B) Microsoft 365 Family, C) Microsoft 365 Business Premium - oder D) Vergleichen Sie die Verbraucherpläne (Personal/Family) und erwähnen Sie Microsoft 365 Business Premium nur, wenn es relevant ist.

Um es klarzustellen: Ich arbeitete mit einer der Hauptfunktionen eines Produkts, das Microsoft stark bewirbt - doch die Person hatte keine Ahnung, wovon ich sprach. Stellen Sie sich vor, Sie führen ein Vorstellungsgespräch und fragen: „Erzählen Sie mir etwas über sich“, und die Person antwortet: „Ich kenne sie nicht.“

Nachdem ich einen Link zur Produktseite bereitgestellt hatte, lieferte mir Copilot eine ziemlich oberflächliche Zusammenfassung der Features des neuen Abonnements - zusammengestellt aus ein paar Drittquellen. Ich würde das nicht als Recherche bezeichnen; es war definitiv nicht tiefgehend.

„Warum ich zuversichtlich bin, dass dies der richtige Weg ist“

Was ich an KI-Chatbots am lustigsten finde, ist, dass sie in ihre Antworten äußerst zuversichtlich sind. Und wenn man darauf hinweist, dass die gerade gegebenen Anweisungen nicht funktioniert haben, schwindet dieses Selbstvertrauen keineswegs - im Gegenteil: Sie schlagen neue Optionen vor.

Heute Morgen versuchte ich, über den Remote-Desktop-Client eine Verbindung zu einem Computer in meinem Büronetzwerk herzustellen, doch ich erhielt einen Zertifikatsfehler: „Der Servername im Zertifikat ist falsch.“

Nach ein paar Minuten eigener Fehlerbehebung beschloss ich, dass es an der Zeit war, mit Hilfe von Copilot als „Vibe-Sysadmin“ eine Lösung zu finden.

„Die Lösung ist ganz einfach“, antwortete Copilot zuversichtlich. Alles, was ich tun musste, war Windows innerhalb der VM dazu zu zwingen, ein neues Remote-Desktop-Zertifikat zu generieren. „Hier sind die sauberen und zuverlässigen Methoden, wie man das macht.“

Das hat nicht funktioniert. Copilot, unbeirrt, sagte mir, dass dieses Ergebnis aussagekräftig sei, nannte drei wahrscheinliche Gründe und schloss mit den Worten: „Lassen Sie uns das sauber und gezielt beheben.“

Nach einer Reihe von PowerShell-Befehlen und einem Neustart konnte ich immer noch keine Verbindung herstellen - diesmal lag es jedoch an einem anderen Zertifikatsfehler.

„Ah - das sagt mir genau, was im Moment passiert“, sagte Copilot. Nach einer weiteren ausführlichen Erklärung sagte er: „Lassen Sie uns das ordentlich beheben.“

Nun, das ging etwa 20 Minuten so weiter - mit etwa sechs Neustarts der VM. Bei jedem Fehler hatte Copilot wieder eine kleine „KI-Eingebung“.

• „Dieser Fehler sagt mir etwas sehr Spezifisches…“
• „Sie haben gerade die eigentliche Ursache aufgedeckt...“
• „Wir sind in jenes Szenario gelangt, in dem Windows nicht so verhält, wie es in der Dokumentation beschrieben wird...“
• „Und das erklärt alles, was Sie gesehen haben…“

Dazu gab es kühne Überschriften wie „Warum ich zuversichtlich bin, dass dies der richtige Weg ist“, „Warum dies die richtige Lösung ist“ und „Warum dies die einzige verbleibende Erklärung ist“.

Selbstsicher! Copilot ist selbstsicher! (Und irrt sich!)

Keine der vorgeschlagenen Lösungen funktionierte, also sagte ich zu Copilot, es solle still sein. Ich überprüfte die Verbindungseinstellungen erneut und entfernte ein Häkchen in den Einstellungen. Danach funktionierte es.

Ehrlich gesagt habe ich ein paar PowerShell-Befehle zum Verwalten von Zertifikaten gelernt und außerdem ein wenig aufgefrischt, wie Windows Zertifikate verwaltet. Die Lektion, die ich daraus gelernt habe: Ich werde Copilot künftig nicht mehr um eine solche Art von Fehlerbehebung bitten.

Vielleicht wird Copilot eines Tages eine künstliche Allgemeinintelligenz erreichen. Im Moment würde ich mich schon mit künstlichem gesundem Menschenverstand zufriedengeben. Doch selbst das scheint noch viele Schritte von dem entfernt zu sein, wo wir uns jetzt befinden.