Vier Regeln fürs Marketing Reporting, wenn der Agent jede Woche anders antwortet

Als Opus 5 ausgerollt wurde, wurden unsere Social-Media-Posts schlechter. Wir hatten am Prompt nichts geändert. Am Kontext nichts. An der Freigabe nichts.

Die erste Frage in so einem Moment geht fast immer nach innen. Ist das Briefing zu dünn geworden? Haben wir zu viele Regeln übereinander gestapelt? Hat jemand am Kontext gedreht und es nicht dokumentiert?

Die Ursache lag außerhalb. Das Modell darunter war getauscht. Der Agent war derselbe, die Anweisungen waren dieselben, der Motor war ein anderer.

Der Vorfall selbst ist unspektakulär. Interessant ist, wie lange man in der eigenen Konstruktion sucht, bevor man auf die Idee kommt, dass sich der Boden bewegt hat. Genau dafür fehlt in fast jedem Marketing-Team die Sprache. Und ohne Sprache entscheidet man auf Zufall.

Warum dieselbe Frage zwei Antworten hat

Wenn du einen Agenten zweimal dasselbe fragst, bekommst du zwei Antworten. Nicht völlig verschiedene, aber verschiedene. Das ist keine Fehlfunktion, das ist die Funktionsweise.

Der Unterschied zu allem, was Marketing in den letzten zwanzig Jahren gemessen hat, ist grundlegend. Eine Zahl aus dem Web-Analytics-Report steht still, solange niemand etwas tut. Bewegt sie sich, ist etwas passiert. Diese Gleichsetzung ist so tief eingeübt, dass wir sie nicht mehr als Annahme wahrnehmen.

Bei einem Agenten gilt sie nicht. Sein Ergebnis ist kein Wert, sondern ein Bereich, in dem das Ergebnis liegen kann. Was du siehst, ist eine Ziehung aus diesem Bereich. Frag noch einmal, und du ziehst neu.

Das Problem ist also nicht, dass Agenten unzuverlässig sind. Das Problem ist, dass wir einen Bereich als Punkt lesen. Und dann Rauschen für Leistung halten.

Das Prinzip, das wir schon hatten, und der Grund, den wir jetzt haben

Eine unserer Arbeitsregeln lautet: positiv zur Technologie, dauerhaft kritisch zum Output. Ausdrücklich auch dann, wenn ein Agent über Monate gute Ergebnisse liefert. Bisher war das eine Haltung, und Haltungen sind angreifbar. Irgendwann fragt jemand zu Recht, ab wann man einem System denn vertrauen darf.

Seit August habe ich darauf eine mechanische Antwort. Das IAB hat mit "Measuring Visibility in the AI Era" den ersten Messstandard für KI-Sichtbarkeit veröffentlicht. Der eine Teil des Papiers ist ein Einkaufsleitfaden für Messanbieter, und der gehört auf die Agenturseite. Der andere Teil beschreibt etwas viel Größeres: wie man eine Organisation führt, deren Zahlen sich bewegen, ohne dass jemand etwas getan hat.

Der entscheidende Satz dort lautet, dass eine Einzelmessung keine Messung ist. Wenn das Ergebnis ein Bereich ist, dann sagt eine lange Serie guter Ergebnisse statistisch nichts über das nächste Ergebnis. Die Skepsis ist damit keine Vorsicht mehr. Sie ist die korrekte Lesart der Datenlage.

Das Papier formuliert seine Praktiken nur für KI-Sichtbarkeit. Vier davon gelten für jeden Agenten, den ein Marketing-Team einsetzt. Diese Übertragung ist unser Teil, nicht der des IAB.

Regel 1: Die Schwankungsbreite kennen, bevor du interpretierst

Bevor du einen Agenten-Output bewertest, musst du wissen, wie stark er schwankt, wenn niemand etwas verändert. Ohne diesen Wert ist jede Trendaussage geraten. Das IAB nennt Trendinterpretation ohne dokumentierte Schwankungsbreite genau das: Rätselraten.

Konkret heißt das: denselben Prompt zehnmal laufen lassen, am selben Tag, mit demselben Kontext. Die Spannweite notieren. Diese Spannweite ist ab jetzt deine Null-Linie.

Eine Bewegung von vier Punkten ist erst dann eine Veränderung, wenn die Null-Linie kleiner als vier Punkte ist. Liegt sie bei sechs, hast du nichts gesehen. Der Aufwand für diese Messung ist eine halbe Stunde pro Agent. Sie ist die Voraussetzung dafür, dass jede weitere Zahl überhaupt etwas bedeutet.

• 10 Wiederholungen – Denselben Prompt am selben Tag laufen lassen
• 4 Punkte – Mindestabstand, ab dem eine Bewegung als Veränderung zählt (wenn die Null-Linie kleiner ist)
• 30 Minuten – Aufwand pro Agent zur Ermittlung der Schwankungsbreite

Regel 2: Erst fragen, ob es am Modell lag

Das IAB unterscheidet Veränderungen, die von der Plattform kommen, von denen, die vom Markt kommen. Das Unterscheidungsmerkmal ist praktisch. Tritt die Veränderung gleichzeitig bei mehreren Marken oder in der ganzen Kategorie auf, kommt sie fast immer vom Modell. Tritt sie isoliert an einer Stelle auf, ist sie echte Leistung.

Der Satz, der diesen Abschnitt trägt, lautet sinngemäß: Programme, die diese Unterscheidung nicht treffen, berichten Plattformveränderung als Markenleistung, und die Geschichte, die dann bei der Geschäftsführung ankommt, ist falsch.

Übertragen auf deinen Betrieb: wenn die Qualität eurer Agenten-Outputs von einer Woche auf die andere kippt, ist die erste Frage nicht, was ihr falsch gemacht habt. Die erste Frage ist, ob das Modell aktualisiert wurde. Diese Updates werden nicht immer angekündigt und sie verschieben Ergebnisse sofort und in einem Ausmaß, das man merkt. Bei uns hat die Suche in der eigenen Konstruktion begonnen, bevor die Frage überhaupt gestellt wurde.

Die Regel spart nicht nur Zeit. Sie verhindert die schlimmere Folge: dass ein Team an einem funktionierenden Aufbau herumschraubt, weil sich woanders etwas verändert hat.

Regel 3: Nicht jede Zahl darf ein Budget bewegen

Das IAB trennt richtungsweisende Daten von entscheidungsreifen Daten. Beide Stufen sind legitim. Der Fehler liegt darin, die erste wie die zweite zu behandeln, ohne den Unterschied zu sehen.

Ein Agent, der Leads bewertet, liefert eine brauchbare Vorsortierung. Er liefert keine Grundlage dafür, Budget umzuschichten. Ein Agent, der Wettbewerber beobachtet, liefert ein Frühwarnsignal. Er liefert keine Strategie.

Was eine Organisation braucht, ist eine ausdrückliche Zuordnung: welche Agenten-Ausgabe darf welche Klasse von Entscheidung tragen. Diese Zuordnung ist eine Führungsentscheidung, keine technische. Sie kostet eine Stunde und sie beendet die stille Aufwertung von Vorsortierungen zu Beschlussvorlagen.

Regel 4: Den Deutungsrahmen aktiv setzen

Der beste Abschnitt des Papiers behandelt das Berichten nach oben. Eine Führungskraft, die zwanzig Jahre exakte Zahlen gelesen hat, liest eine Spanne als Ungenauigkeit. Sie tut das zu Recht, solange der Bericht ihr nichts anderes anbietet. Die Aufgabe ist nicht, die Daten zu liefern. Die Aufgabe ist, den Rahmen zu ändern, in dem sie gelesen werden.

Ein Satzmuster, das das leistet:

KI-Systeme geben nicht jedes Mal dieselbe Antwort, auch nicht auf dieselbe Frage. Deshalb berichten wir Spannen statt einzelner Zahlen. Die Spanne zeigt, wie normale Schwankung aussieht. Veränderungen innerhalb der Spanne bedeuten nichts, Veränderungen außerhalb schon.

Und die Faustregel dahinter: "ungefähr 22 Prozent, plus minus 4 Punkte" ist für eine Entscheidung nützlicher als ein nacktes "22 Prozent", das eine Genauigkeit vortäuscht, die nicht existiert. Die Spanne ist nicht das Eingeständnis einer Schwäche. Sie ist die Information, die vorher gefehlt hat.

Nach Angaben des IAB verfolgen bislang 16 Prozent der Marken ihre KI-Sichtbarkeit systematisch. Das ist keine Zahl, die Angst machen sollte, sondern eine, die die Lücke zeigt. Die Daten des Papiers stammen überwiegend aus dem US-Markt, und es sagt selbst, dass dieselbe Abfrage aus Deutschland andere Ergebnisse liefert. Übertrage also die Methode, nicht die Werte.

1. Schwankungsbreite kennen Bevor Kennzahlen interpretiert werden, muss klar sein, wie stark ein Agent ohne Eingriff schwankt. Diese Spannweite dient als Null-Linie und macht sichtbar, was echte Veränderung ist und was bloß Rauschen bleibt.
2. Modellwechsel zuerst prüfen Kippen Ergebnisse plötzlich, ist die erste Hypothese ein Plattform- oder Modellupdate. Veränderungen, die gleichzeitig in einer Kategorie auftreten, sind selten Markenleistung, sondern stammen meist vom Modell.
3. Datenklassen trennen Richtungsweisende Agenten-Signale sind keine Grundlage für Budget- oder Strategiebeschlüsse. Eine klare Zuordnung, welche Ausgabe welche Entscheidungsklasse tragen darf, ist Führungsarbeit.
4. Deutungsrahmen setzen Statt Punktwerte werden Spannen berichtet, die normale Varianz abbilden. So wird deutlich, wann eine Veränderung relevant ist und wie Entscheidungen trotz Schwankung fundiert getroffen werden.

Was das für den Aufbau einer agentischen Organisation heißt

Hier endet das IAB-Papier und hier fängt die eigentliche Arbeit an. Wer eine agentische Marketingorganisation aufbaut, baut eine Organisation, in der ein wachsender Teil der Entscheidungsgrundlage schwankt. Drei Konsequenzen.

Erstens gehören Schwankungsbreiten ins System, nicht in Köpfe. Ein Wert, der einmal ermittelt und dann hinterlegt wird, gilt für alle. Ein Wert, der im Kopf einer einzelnen Person steckt, wird von jedem anderen neu und anders geschätzt. Das ist dieselbe Logik, mit der wir auch Regeln für Agenten hinterlegen statt sie zu erklären.

Zweitens bricht ein Modellwechsel die Zeitreihe. Das IAB beschreibt dafür einen bewussten Neustart der Basislinie, samt Dokumentation. Für eine Organisation, die Agenten produktiv einsetzt, heißt das: der Modellwechsel ist kein IT-Ereignis, sondern ein Reporting-Ereignis. Wer ihn nicht mitschreibt, vergleicht in sechs Monaten Zahlen, die nicht vergleichbar sind.

Drittens, und das ist der Punkt, an dem ich unseren eigenen Stand offenlegen muss: Wir messen etwas, aber nicht das. In unserem Verbesserungs-Loop bekommt der Agent die isolierten Performance-Zahlen der Maßnahme zurückgespielt. Das funktioniert und es macht die Arbeit besser. Es ist aber keine Schwankungsbreite. Wir wissen, ob eine Maßnahme gewirkt hat. Wir wissen noch nicht, wie viel Bewegung ein Agent auch ohne jede Maßnahme erzeugt. Das ist der Unterschied zwischen Optimierung und Messgüte, und den zweiten Teil bauen wir gerade auf.

Diese Unterscheidung ist mir wichtiger als jede Regel oben. Wer schon messt, ist noch nicht fertig. Die Frage ist, ob du die Bewegung deines Systems kennst oder nur seine Ergebnisse.

Was du beim nächsten Report anders fragst

Die vier Regeln kosten keine neue Technologie. Schwankung verschwindet nicht durch bessere Modelle, sie ist eine dauerhafte Eigenschaft dieser Systeme. Was sich ändern muss, ist die Führungspraxis.

Beim nächsten Agenten-Report reicht eine Frage, um den Unterschied zu machen. Wie groß ist die Schwankung, wenn wir nichts tun? Wer sie nicht beantworten kann, hat einen Report ohne Maßstab. Wer sie beantworten kann, entscheidet ab da auf Substanz.

Häufige Fragen zu Marketing-Reporting mit Agenten (FAQ)

Wie messe ich die Schwankungsbreite eines Agenten konkret?

Lass denselben Prompt mehrfach unter identischen Bedingungen laufen und dokumentiere die Spannweite der Ergebnisse. Diese Null-Linie zeigt dir, welche Schwankung normal ist und ab wann eine Veränderung tatsächlich zählt.

Wie oft sollte ich die Null-Linie neu bestimmen?

Immer dann, wenn sich die Rahmenbedingungen ändern, etwa nach einem Modell-Update oder einer größeren Anpassung am Setup. Eine regelmäßige, geplante Neubestimmung verhindert, dass du unvergleichbare Zeitreihen fortschreibst.

Woran erkenne ich einen Modellwechsel, wenn er nicht angekündigt wird?

Achte auf gleichzeitige Muster über mehrere Marken oder Kategorien hinweg. Wenn sich Ergebnisse parallel an mehreren Stellen verschieben, ist das ein starkes Indiz für ein Plattform- oder Modell-Update.

Welche Entscheidungen dürfen auf Agenten-Outputs basieren?

Trenne zwischen Signalen zur Orientierung und belastbaren Entscheidungsgrundlagen. Vorsortierungen und Frühwarnhinweise sind nützlich, Budget- oder Strategieentscheidungen brauchen gesonderte Validierung.

Wie erkläre ich Spannen im Reporting nach oben?

Führe aktiv den Deutungsrahmen ein: Statt exakter Einzelwerte berichtest du Ergebnisbereiche und ihre Bedeutung. So wird klar, dass Veränderungen innerhalb der Spanne normal sind und nur Ausreißer echte Signale senden.

Was in deinem Reporting bewegt sich gerade, ohne dass jemand etwas getan hat?