Marketing Mix Modeling (MMM) Tools im Test
Ausgangslage
Im Mittelpunkt unseres Praxistests mit Marketing Mix Modeling Tools steht die zentrale Frage eines MMM: Wie effektiv ist die Werbung oder wie hoch ist der Return on Investment (ROI)?
Es gibt mit dem Robyn-R-Package von Meta und dem Python-Skript Meridian von Google zwei große Tools, die die Erstellung eines Marketing Mix Modells deutlich vereinfachen und standardisieren. Beide bieten moderne, innovative Möglichkeiten und Methoden, um Werbewirkung messbar zu machen. Mithilfe von großen Sprachmodellen (LLMs) lassen sich sogar mit den richtigen Prompts entsprechende Modelle generieren. Doch wie verlässlich sind die Ergebnisse dieser Tools?
Um das zu testen, sind wir den normalen Analyse-Weg rückwärtsgegangen: Wir haben uns zunächst überlegt, wie die Ergebnisse und der ROI für verschiedene Medienkanäle aussehen sollen. Basierend auf diesen Zielwerten haben wir ein Testmodell gebaut, in dem wir die tatsächlichen Werbeeffekte bewusst versteckt haben. So konnten wir prüfen, ob Robyn, Meridian und Copilot in der Lage sind, diese versteckten Werbewirkungen zu entdecken und wie stark ihre Ergebnisse von den tatsächlichen Ergebnissen abweichen.
Natürlich lassen sich die Modelle durch Anpassungen und Feinjustierungen immer weiter verbessern. Für unseren Test haben wir jedoch Wert darauf gelegt, mit den Standardeinstellungen zu arbeiten – so, wie es ein unvoreingenommener Data Scientist tun würde, der einfach die vorgefertigten Codes von Robyn und Meridian verwendet, um ein Marketing Mix Modell zu erstellen. Damit wollten wir herausfinden, wie gut die Tools ohne Expertenwissen und aufwendige Anpassungen funktionieren.
Setup Praxistest
Um das erstellte KI-Modell objektiv zu testen, haben wir ein synthetisches FMCG-Szenario auf Basis realer Süßwaren-Marktdaten erstellt. Absatz und Werbewirkung wurden künstlich erzeugt, die Werbekanäle hatten definierte Adstock-Effekte. Die Zielgröße wurde mit einer Zufallsstreuung belegt, damit das Modell nicht zu 100% erklärt werden kann und gewährleistet ist, dass alle Absatzkanäle einen hohen signifikanten Einfluss aufweisen.
Wir testeten vier Mediapläne mit jeweils 30 Mio. € Bruttospendings über drei Jahre:
- Plan A: 90 % TV, 10 % Radio
- Plan B: 60 % TV, 30 % VOD, 10 % Social Paid
- Plan C: 75 % TV, 15 % VOD, 5 % Social Paid
- Plan D: 80 % TV, 10 % VOD, 5 % Social Paid, 5 % DOOH
Die Ergebnisse für Robyn
Robyn konnte die vorgegebenen Wirkungsverhältnisse weitgehend korrekt identifizieren. Die abgeleiteten Adstocks und Wirkungskurven entsprachen stark den Vorgaben. Lediglich bei Plan C, indem VOD und TV zeitgleich liefen, fiel die Trennung schwer.
Und das große ABER: Der von Robyn berechnete Gesamt-ROI lag 18 Cent unter dem erwarteten Wert. Ursache ist die standardmäßige Berücksichtigung der Jahressaison und der Feiertage – ohne zusätzliche, saisonale Feinheiten wie Ferien, Monatsanfänge oder Ab- und Aufbau der Weihnachtssaison.
Die Ergebnisse für Meridian
Uns hat besonders gut gefallen, dass die Distribution, Promotion und Preis ohne vorherige Normierung sehr realistisch abgebildet werden. Die Mediabeiträge werden zufriedenstellend identifiziert, jedoch gerade kleinere Budgets neigen zur Überschätzung. Aufgrund der fehlenden Prior-Kalibrierung ist das auch keine Überraschung. Das zeigt jedoch, wie wichtig Media-Erfahrung bei solchen Modellen ist. Über alle Planvarianten hinweg liegt der Media-ROI oder ROAS 22 Cent über den zu erwartenden Wert.
Die Ergebnisse für das KI-Modell
Unser Prompt hatte im wesentlichen folgende Inhalte:
- Bewerte die Modellgüte mit R² und MAPE.
- Alle verwendeten Absatztreiber müssen im Modell mit einem T-Wert größer als 1,8 signifikant sein.
- Füge Adstock-Effekte für TV und digitale Kanäle hinzu und optimiere die Adstock-Raten je Kanal.
- Berücksichtige Saisonalität im Modell.
- Promotion, Distribution und Werbung müssen einen positiven Absatzbeitrag haben.
Ohne klare Wirkungsrichtung der Variablen erstellt die KI ein Modell, bei dem Werbung teilweise eine negative Absatzwirkung mit einer Baseline weit über 100 % zeigt. Erst mit Vorzeichen-Vorgabe entstehen sinnvolle Absatzbeiträge.
Die Saisonalität versucht der Copilot über Sinus- und Cosinus-Kurven abzubilden – in unserem Fall jedoch ohne signifikantes Ergebnis. Die saisonalen Effekte wurden somit nicht ins Modell integriert.
Die Media-Variablen werden zwar sauber mit Adstock-Effekten direkt auf die Zielgröße optimiert, allerdings ohne Berücksichtigung von Preis, Promotion oder Distribution. Das führt zu einem hohen ROI. Der Grund für den hohen ROI ist der ungewöhnlich lange Carryover-Effekt (also die Nachwirkung der Werbung über die Zeit). Bei jedem Modell muss man sich stets den Verlauf der Carryover-Effekt anschauen und besonders im digitalen Bereich skeptisch werden, wenn eine Webewirkung nach 4 Wochen noch präsent ist.
Fazit
Ohne fundiertes Media-Know-how oder aussagekräftige Benchmarks gleicht der Einsatz von Meridian und KI-basierten Tools eher einer Fahrt ins Ungewisse als einer soliden Analyse. Im Vergleich liefert Robyn tendenziell zurückhaltendere und konservativere Ergebnisse. Ein zentrales Grundproblem aller MMM-Ansätze bleibt: Gerade bei kleineren Mediabudgets besteht die Gefahr, dass deren Effekt systematisch überschätzt wird – dieser Aspekt sollte bei der Budgetallokation stets mitbedacht werden und besonders bei Meridian-Modellenm Beachtung finden.
Um erfolgreiches Marketing Mix Modeling zu betreiben, ist eine enge Zusammenarbeit zwischen Analyse- und Marketing-Teams unerlässlich. Die Entwicklung und Validierung der Modelle sollten immer gemeinsam mit dem Kunden oder Mediaexperten erfolgen, um Scheinzusammenhänge und Abhängigkeiten zwischen Variablen frühzeitig zu erkennen und zu vermeiden (d.h. Schulterblick einplanen). Selbst hochkomplexe Modelle sind nicht vor solchen Fehlern gefeit – im Gegenteil, sie können diese durch ihre „Black-Box“-Natur noch verschleiern. Ein einfaches lineares Modell, zur Überprüfung von Saison-Effekten darf bei einer Modellexploration nicht fehlen, um Modellfehler zu minimieren und die Wirkung des Media-Mixes nachhaltig zu optimieren.
Letzter Praxistipp
Behaltet stets den zeitlichen Verlauf der Mediawirkung (Carryover) im Auge. Wenn ein digitaler Kanal über vier Wochen hinweg eine Werbewirkung zeigt, ist das so außergewöhnlich wie ein Einhorn unter Pferden: Es kommt zwar vor und sorgt für Freude, doch liegt die Ursache meist in einer künstlichen Verzerrung.