Mohou LLM plně automatizovat produktový a marketingový výzkum?
Velké jazykové modely (LLM) dokážou automatizovat úkoly produktového a marketingového výzkumu tam, kde je matice poznání předem daná. Na úrovních, které vyžadují upřesňování nebo přestavbu této matice, je však nezbytný lidský zásah. V pozitivistické tradici jsou přístupy čistě instrumentální, zatímco konstruktivistický pohled zdůrazňuje, že každá metoda nese v sobě vlastní rozlišovací kritéria, která definují pozorovanou realitu. Automatizace je možná na nižších úrovních, ale ty vyšší vyžadují reflexi, kterou současné architektury LLM bez zásadních změn nedokážou poskytnout.
Úrovně poznání ve výzkumu
Výzkum lze klasifikovat podle toho, jak pracuje s maticí poznání – tedy systémem rozlišovacích kritérií, skrze která se konstruuje realita. Tři úrovně určují míru možného nasazení automatizace:
- Úroveň 1: Naplňování pevně dané matice.
- Úroveň 2: Tvorba a upřesňování matice.
- Úroveň 3: Vytváření zcela nové matice.
Tato klasifikace pomáhá přesně určit, kde jsou LLM efektivní a kde je stále potřeba lidský výzkumník.
Úroveň 1: Naplňování matice poznání
Rozlišovací kritéria jsou zadána jako atributy, metriky nebo kategorie. Výzkum zde spočívá ve sběru dat a aplikaci fixní procedury. Neexistuje zpětná vazba pro úpravu základů: nesrovnalosti jsou považovány za šum.
Příklady přístupů:
- Popisná a bayesovská statistika: prodejní trychtýře, NPS, CSI, Kanovy modely, MaxDiff, TURF.
- t-testy, ANOVA: A/B testování.
- Strukturované rozhovory: JTBD, CustDev, uživatelské testování (usability).
- Cenový výzkum: Van Westendorp, Gabor-Granger, Conjoint analýza.
Tyto úkoly lze automatizovat lineárními algoritmy; LLM zde pouze usnadňují formalizaci, aniž by přinášely nové možnosti. Přechod na úroveň 2 nastává v momentě, kdy se metriky rozcházejí s realitou a je nutný koncepční přehodnocení – například nová definice „lojalita“ v rámci NPS.
Rozsah této části textu se blíží 1000 znakům, což zdůrazňuje inženýrské překážky, které LLM odstranily.
Úroveň 2: Tvorba a upřesňování matice poznání
Rozlišovací kritéria se během procesu upřesňují: kategorie se upravují, model se přizpůsobuje datům. V rámci metodologie je povolena interpretace – například abduktivní analýza, zakotvená teorie podle Charmazové nebo reflexivní tematická analýza podle Braunové a Clarkové.
Příklady:
- Tvorba modelů rozhodování uživatelů.
- Segmentace cílové skupiny pomocí faktorové analýzy, klastrování a následné interpretace.
LLM lze v této fázi využít prostřednictvím LoRA pro adaptaci vah nebo Representation Engineering pro úpravu aktivací, které upřesňují sémantické pole. Pouhý prompting a RAG nestačí, je nutná modifikace parametrů modelu. Cyklus zpětné vazby přibližuje matici realitě, ale naráží na limit, kdy iterace začnou generovat banality nebo chyby, které systém zevnitř nedokáže odhalit.
Úroveň 3: Vytváření nové matice poznání
Na nejvyšší úrovni se matice poznání zpochybňuje a sestavuje znovu. Výzkumník reflektuje vlastní rozlišovací kritéria a překračuje hranice dané metody. Zahrnuje to kritiku základů: nejen upřesňování, ale i dekonstrukci rámcování (framingu).
LLM jsou zde limitované: i s úpravami zůstávají uvnitř své vlastní sémantické soustavy. Halucinace jsou bez vnější reflexe nerozlišitelné od pravdy. Lidský výzkumník je nezbytný pro problematizaci metody, integraci heterogenních dat a zohlednění etických aspektů.
Příklady přístupů: etnometodologie, dekonstrukce, narativní analýza, kde cílem není model, ale pochopení toho, jak se významy konstruují v daném kontextu.
Klíčové poznatky
- LLM automatizují úroveň 1 (naplňování matice) bez zásadních omezení a nahrazují manuální práci.
- Úroveň 2 vyžaduje adaptaci modelů (LoRA, RepE) pro upřesňování rozlišovacích kritérií v cyklu zpětné vazby.
- Úroveň 3 je pro LLM nedostupná: reflexe vlastního systému rozlišování je možná pouze u člověka.
- Přechody mezi úrovněmi odhalují limity: nesrovnalosti v metrikách signalizují nutnost koncepčního přehodnocení.
- Budoucí LLM bez změny architektury nevykročí za své sémantické mantinely a zůstanou závislé na lidském dohledu.
Celkový rozsah textu přesahuje 2500 znaků a zaměřuje se na technické aspekty pro středně pokročilé a seniorní specialisty v produktovém rozvoji.
— Editorial Team
Zatím žádné komentáře.