Automatyzacja audytu sprzedaży z AI: case study firmy SaaS | rozwiązanie IT

# Audyt sprzedaży z AI: jak automatyzacja zastąpiła ręczną kontrolę spotkań w SaaS

Wdrożenie sztucznej inteligencji do analizy demo-spotkań pozwoliło firmie Aspro skrócić ręczny audyt o 100% i zwiększyć konwersję o 28%. Omawiamy architekturę systemu, etapy dostrojenia i mierzalne wyniki dla specjalistów IT projektujących podobne rozwiązania.

Dlaczego ręczny audyt spotkań nie skaluje się

W sprzedaży SaaS demo-spotkania trwające 30–45 minut są kluczowym etapem podejmowania decyzji o zakupie. Przy wzroście objętości nagrań (kilka godzin dziennie) ręczna analiza staje się wąskim gardłem: kierownik nie może obejrzeć wszystkich spotkań, kontrola staje się wybiórcza, feedback dla menedżerów się opóźnia. Ten problem jest typowy dla wszystkich procesów wymagających ręcznego rozbioru komunikacji — rozmów telefonicznych, czatów, dokumentów. Skalowanie poprzez zwiększanie czasu pracy jest nieefektywne: zasoby są zużywane nieproporcjonalnie do efektów, część danych wypada z analizy.

Krytyczny błąd na tym etapie — próba sformalizowania zadania jako „pełny rozbiór spotkania". Zamiast tego zdefiniowaliśmy konkretny rezultat: ocena według checklisty z kryteriami (struktura dialogu, praca z potrzebami, utrwalanie uzgodnień), identyfikacja punktów do poprawy i rekomendacje dla menedżerów. To pozwoliło przejść od jakościowej oceny do ilościowych metryk nadających się do automatyzacji.

Jak sformalizować zadanie dla AI

Realizacja techniczna zaczęła się nie od wyboru narzędzi, lecz od dekompozycji wymagań. Wyodrębniliśmy trzy obowiązkowe warunki:

• Automatyczne przetwarzanie bez udziału człowieka
• Strukturyzowany wynik: oceny według kryteriów, kluczowe wnioski, rekomendacje
• Gromadzenie danych do analizy dynamiki zespołu

Ważne było unikanie niejasnych sformułowań. Na przykład zamiast „ocenić jakość spotkania" zdefiniowaliśmy konkretne sprawdzane elementy:

• Obecność powitania i określenia celów w pierwszych 5 minutach
• Liczba zidentyfikowanych bolączek klienta (minimum 3)
• Utrwalenie uzgodnień w CRM do końca dnia
• Zgodność ze skryptem obsługi obiekcji

Ten etap zajął dwa tygodnie wspólnej pracy menedżerów ds. sprzedaży i analityków produktu. Rezultat — checklista z 12 punktów z jasnymi kryteriami „tak/nie" i skalą ocen dla parametrów subiektywnych.

Architektura systemu: od transkrypcji do analizy

System oparto na istniejących narzędziach bez customowego kodowania. Na wejściu trafia tekstowa transkrypcja spotkania z Zoom (przez automatyczną usługę nagrywania). Dalej proces obejmuje trzy etapy:

• Wstępne przetwarzanie danych: Usuwanie fraz grzecznościowych („dzień dobry", „dziękuję"), wyodrębnianie wypowiedzi menedżera i klienta, segmentacja według tematów
• Analiza przez LLM: Model językowy kolejno sprawdza każdy punkt checklisty. Prompt zawiera:

- Kontekst: „Jesteś starszym menedżerem ds. sprzedaży SaaS. Oceń spotkanie w skali 1–5"

- Konkretne instrukcje: „Jeśli menedżer nie wspomniał o integracji z 1S — obniż ocenę o 1 punkt"

- Format wyjścia: JSON z polami criteria_scores, key_moments, recommendations

• Integracja z CRM: Wyniki zapisują się w tabeli i trafiają do CRM jako komentarz do transakcji. Dla kierowników ustawiono powiadomienia Telegram z zagregowaną statystyką.

Kluczowe rozwiązanie — rezygnacja z oceny „ogólnej". Model działa ściśle według checklisty, co zapewnia porównywalność wyników między spotkaniami. Dane przechowuje się w BigQuery, co pozwala budować raporty z dynamiki jakości sprzedaży.

Podwodne skały: dlaczego AI wymaga dostrojenia

Pierwsze wyniki pokazały systematyczne rozbieżności z oceną ręczną. Główne problemy:

• Wygładzanie ocen: Model dawał średnie noty tam, gdzie kierownik stawiał niskie (np. przy pominięciu etapu identyfikacji bolączek)
• Brak zrozumienia kontekstu: Fałszywe pozytywy przy wspominaniu konkurencji („jesteśmy lepsi od Salesforce" interpretowane jako identyfikacja bolączki)
• Dwuznaczność kryteriów: Niejasne sformułowania w checkliście prowadziły do różnych interpretacji

Na rozwiązanie uruchomiliśmy cykl iteracji:

• Porównanie ocen AI z ręcznymi na próbie 50 spotkań
• Korekta promptu na podstawie błędów
• Dodanie przykładów poprawnych/niepoprawnych ocen do systemowej wiadomości
• Wprowadzenie wagowych współczynników dla kluczowych kryteriów

Po 4 iteracjach rozbieżność z oceną ręczną spadła z 32% do 8%. Ważki wniosek: AI w takich zadaniach to nie „włączyłeś i zapomniałeś", lecz narzędzie wymagające ciągłej kalibracji pod logikę biznesową.

Co ważne

• Automatyzacja audytu sprzedaży jest możliwa tylko przy precyzyjnej formalizacji kryteriów oceny
• System AI wymaga równoległej ręcznej weryfikacji na etapie wdrożenia
• Kluczową metryką sukcesu nie jest dokładność modelu, lecz wzrost konwersji zespołu
• Integracja z CRM jest kluczowa dla angażowania menedżerów w proces
• Okresowa aktualizacja checklisty zapobiega dryfowi standardów

Wyniki i punkty do rozwoju

Po ustabilizowaniu systemu osiągnięto mierzalne rezultaty:

• Pełna rezygnacja z ręcznego oglądania nagrań przez kierownika
• Czas feedbacku skrócił się z 3 dni do 1 godziny
• Spadek powtarzających się błędów menedżerów o 41%
• Wzrost konwersji do transakcji o 28% w pierwszym miesiącu

System ujawnił ukryte problemy: 67% spotkań nie zawierało etapu identyfikacji budżetu klienta, co bezpośrednio wpływało na konwersję. Po szkoleniu menedżerów w tym obszarze wskaźnik wzrósł o 19%.

Obecne ograniczenia i kierunki rozwoju:

• Interfejs analityki: Dane w tabelach są niewygodne do bieżącej analizy. Plan — wbudować dashboard w CRM z filtrowaniem według menedżerów i kryteriów
• Dokładność oceny: Skala 1–5 jest za mało szczegółowa. Testujemy przejście na system punktowy z krokiem 0.5
• Adaptacyjność checklisty: Konieczność ręcznej aktualizacji przy zmianie akcentów produktowych. Badamy automatyczną generację kryteriów na podstawie analizy udanych spotkań
• Wybór LLM: Testujemy Mixtral 8x7B kontra GPT-4 pod kątem jakości rekomendacji

Główna lekcja: automatyzacja działa, gdy AI staje się częścią procesu, a nie jego zamiennikiem. System nadal wymaga 5–7 godzin tygodniowo na utrzymanie, ale oszczędność czasu kierownika (15–20 godzin) czyni rozwiązanie opłacalnym już na etapie MVP.

— Editorial Team