LLM in der Produktrecherche: Grenzen der Automatisierung

Können LLMs Produkt- und Marketingforschung vollständig automatisieren?

LLMs können Aufgaben in der Produkt- und Marketingforschung automatisieren, sofern der analytische Rahmen bereits feststeht. Sobald es jedoch darum geht, diesen Rahmen zu verfeinern oder grundlegend neu zu strukturieren, ist nach wie vor menschliche Expertise gefragt. Aus positivistischer Sicht sind Forschungsmethoden rein instrumentell. Eine konstruktivistische Perspektive betont hingegen, dass jede Methodik unweigerlich beeinflusst, was wir überhaupt beobachten. Während Routineaufgaben automatisiert werden können, erfordern höherwertige Forschungsprozesse Reflexivität – eine Fähigkeit, die aktuellen LLM-Architekturen ohne fundamentale technologische Sprünge fehlt.

Kognitive Ebenen in der Forschung

Forschung lässt sich danach kategorisieren, wie sie mit einer „Wissensmatrix“ interagiert – dem zugrundeliegenden System von Unterscheidungen, das unsere Realität konstruiert. Drei klar abgegrenzte Ebenen bestimmen, wie weit Automatisierung möglich ist:

• Ebene 1: Befüllen einer festen Matrix.
• Ebene 2: Formen und Verfeinern der Matrix.
• Ebene 3: Erfinden einer neuen Matrix.

Dieses Modell zeigt präzise auf, wo LLMs echten Mehrwert liefern und wo menschliche Forscher unverzichtbar bleiben.

Ebene 1: Das Befüllen der Wissensmatrix

In dieser Phase sind Unterscheidungen bereits als Attribute, Kennzahlen oder Kategorien vorgegeben. Die Forschung beschränkt sich darauf, Daten zu sammeln und sie durch einen festen Prozess zu leiten. Es gibt keine Rückkopplungsschleife, um die zugrundeliegenden Annahmen anzupassen; Abweichungen werden schlicht als statistisches Rauschen abgetan.

Typische Ansätze umfassen:

• Deskriptive und bayessche Statistik: Sales Funnels, NPS, CSI, Kano-Modelle, MaxDiff, TURF-Analysen.
• t-Tests und ANOVA: Standard-A/B-Tests.
• Strukturierte Interviews: Jobs-to-Be-Done (JTBD), Customer Development (CustDev), Usability-Tests.
• Preisforschung: Van-Westendorp, Gabor-Granger, Conjoint-Analyse.

Diese Aufgaben lassen sich mit klassischen linearen Algorithmen hervorragend automatisieren. LLMs optimieren hier vor allem den Formalisierungsprozess, statt völlig neue Fähigkeiten zu erschließen. Der Sprung zur Ebene 2 erfolgt, sobald Kennzahlen von der Realität abweichen und ein konzeptioneller Umbau nötig wird – etwa wenn neu definiert werden muss, was „Kundenloyalität“ in einer NPS-Umfrage eigentlich bedeutet.

Die Tiefe dieses Abschnitts unterstreicht die Engineering-Engpässe, die LLMs erfolgreich beseitigt haben.

Ebene 2: Formen und Verfeinern der Wissensmatrix

Hier entwickeln sich Unterscheidungen dynamisch weiter. Kategorien werden angepasst und analytische Modelle reagieren auf neue Daten. Interpretationen innerhalb etablierter Methoden sind hier der Standard – denken Sie an abduktives Schließen, Charmaz’ konstruktivistische Grounded Theory oder die reflexive thematische Analyse nach Braun und Clarke.

Zentrale Anwendungsfelder sind:

• Mapping von Nutzer-Entscheidungsmodellen.
• Zielgruppensegmentierung mittels Faktorenanalyse, Clustering und qualitativer Interpretation.

LLMs können auf dieser Ebene durch Techniken wie LoRA (Low-Rank Adaptation) zur Feinabstimmung der Modellgewichte oder Representation Engineering zur Anpassung interner Aktivierungen und Schärfung der semantischen Landschaft operieren. Standard-Prompts und RAG-Pipelines reichen hier nicht aus; es ist eine echte Parametermodifikation erforderlich. Zwar bringen iterative Feedbackschleifen den analytischen Rahmen näher an die Realität, doch es gibt eine harte Obergrenze: Irgendwann generiert das System nur noch triviale Erkenntnisse oder verstärkt Fehler, die es nicht mehr selbst korrigieren kann.

Ebene 3: Erfinden einer neuen Wissensmatrix

Auf dieser Stufe wird der gesamte analytische Rahmen infrage gestellt und von Grund auf neu aufgebaut. Forschende müssen ihre eigenen Annahmen kritisch hinterfragen und sich vollständig von der etablierten Methodik lösen. Es geht nicht mehr nur um das Justieren von Variablen, sondern um die Dekonstruktion der Art und Weise, wie das Problem überhaupt gestellt wird.

Hier stoßen LLMs an eine unüberwindbare Grenze. Selbst mit umfangreichem Fine-Tuning bleiben sie in ihren vortrainierten semantischen Grenzen gefangen. Ohne externe menschliche Reflexion sind KI-Halluzinationen nicht mehr von echten Erkenntnissen zu unterscheiden. Menschliche Forscher sind unverzichtbar, um methodische Prämissen zu hinterfragen, disparate Datenquellen zu synthetisieren und komplexe ethische Fragestellungen zu navigieren.

Relevante Ansätze sind hier die Ethnomethodologie, die Dekonstruktion und die narrative Analyse. Das Ziel ist nicht der Aufbau eines prädiktiven Modells, sondern das Verständnis dafür, wie Bedeutung in einem spezifischen Kontext sozial konstruiert wird.

Fazit

• LLMs automatisieren Ebene 1 (Matrix-Befüllung) nahtlos und ersetzen effektiv manuelle Datenverarbeitung.
• Ebene 2 erfordert gezielte Modellanpassungen (z. B. LoRA, RepE), um analytische Unterscheidungen iterativ zu schärfen.
• Ebene 3 bleibt für KI unerreichbar: Nur Menschen können ihre eigenen analytischen Rahmen kritisch reflektieren und neu konstruieren.
• Die Reibung zwischen den Ebenen offenbart die Grenzen der KI: Wenn Kennzahlen regelmäßig mit der Realität kollidieren, ist das ein klares Signal für die Notwendigkeit einer konzeptionellen Neuausrichtung.
• Ohne fundamentale architektonische Durchbrüche werden künftige LLMs in ihren bestehenden semantischen Grenzen verharren, was die Abhängigkeit von menschlicher Kontrolle weiterhin sicherstellt.

Diese Analyse konzentriert sich bewusst auf die technische und methodologische Tiefe für erfahrene Fach- und Führungskräfte in der Produktentwicklung.

— Editorial Team