Органичният трафик расте.

Това добра новина ли е?

Вероятно.

Но още не знаем достатъчно.

Поръчките може също да растат.

Може да са останали почти без промяна.

Може дори да намаляват.

Новите посещения могат да идват към продуктови категории.

Или почти изцяло към информационни статии.

Може хората да разглеждат повече продукти.

Но по-малко от тях да започват checkout.

Всички тези ситуации започват с едно и също вярно наблюдение:

органичният трафик е нараснал.

И водят към различни следващи въпроси.

Това е причината един показател рядко да е достатъчен, когато се опитваме да разберем какво се случва в бизнеса.

Той може да ни покаже промяна.

Но обяснението често се намира между няколко сигнала.

Един KPI описва. Рядко обяснява.

Да приемем, че conversion rate намалява.

Това е информация.

Но само по себе си числото не ни казва защо.

Може да се е променил трафикът.

Може повече хора да идват към информационно съдържание.

Може продуктовият микс да е различен.

Може част от важните продукти да не са налични.

Може цените да са се променили.

Може да има технически проблем.

Може измерването да е неточно.

Conversion rate ни показва наблюдавана промяна.

Не избира между тези обяснения вместо нас.

Същото важи за:

трафика;

CTR;

average order value;

прихода;

броя поръчки;

add-to-cart rate;

връщанията;

времето за обслужване.

Един показател може да бъде много важен.

Но важността му не го превръща автоматично в обяснение.

Данните стават по-полезни, когато зададем втория въпрос

Първият въпрос може да бъде:

„Какво се е променило?“

Например:

органичните сесии са повече.

Следващият е:

„Ако тази промяна означава това, което предполагаме, какво друго бихме очаквали да видим?“

Да приемем, че хипотезата ни е:

„SEO подобренията привличат повече потенциални клиенти.“

Тогава има смисъл да проверим:

към кои landing pages идва новият трафик;

какви заявки стоят зад него;

дали повече хора достигат до продуктови или service страници;

дали поведението там се променя;

дали се появява промяна в последващите действия.

Не търсим едно число, което да докаже хипотезата.

Търсим няколко сигнала, които са съвместими или несъвместими с нея.

Повече трафик може да означава няколко различни неща

Нека използваме хипотетичен онлайн магазин.

Органичните сесии растат.

Ако спрем тук, изречението:

„SEO се представя по-добре“

изглежда достатъчно разумно.

Но разделяме трафика.

Оказва се, че почти целият ръст идва към статии от блога.

Това не прави ръста лош.

Просто променя въпросите.

После проверяваме продуктовите страници.

Трафикът към тях е почти непроменен.

След това поръчките.

И там няма съществено движение.

Сега имаме по-богата картина:

общ органичен трафик ↑

информационен органичен трафик ↑

продуктов органичен трафик →

поръчки →

Не сме доказали, че съдържанието няма стойност.

Не сме доказали и че SEO не работи.

Установили сме нещо по-конкретно:

първоначалният ръст не се движи през системата по начина, който бихме очаквали, ако ставаше дума основно за повече непосредствено търговско търсене.

Това вече ни дава по-добър следващ въпрос.

Не търсим само какво се движи нагоре или надолу

Понякога анализът се превръща в четене на стрелки.

Traffic ↑

Conversion ↓

Revenue ↑

AOV ↑

Но истинският въпрос не е коя стрелка е зелена.

А:

Как тези промени се отнасят една към друга?

Да приемем:

поръчките намаляват;

приходът остава сравнително стабилен.

Това предполага, че нещо компенсира по-малкия брой поръчки.

Може средната стойност на поръчката да е по-висока.

Може продуктовият микс да се е променил.

Може цените да са различни.

Още не знаем кое обяснение е вярно.

Но връзката между двата сигнала ни казва какво трябва да проверим.

Ако гледахме само приходите, можехме да пропуснем промяната в поръчките.

Ако гледахме само поръчките, можехме да приемем, че резултатът задължително се е влошил.

Двата сигнала заедно поставят различен въпрос.

Противоречието между два сигнала е информация

Това е една от най-полезните ситуации в анализа.

Например:

product views растат;

add-to-cart не се променя.

Или:

checkout starts растат;

успешните поръчки не.

Или:

customer service отчита по-бързо приключване на казуси;

повторните контакти по същите проблеми се увеличават.

Това противоречие не трябва да бъде изгладено.

То е нов сигнал.

Вместо:

„Кой KPI е правилният?“

въпросът става:

„Защо тези два сигнала не се движат така, както очаквахме?“

Точно там може да се появи информация, която един показател сам не би ни дал.

Какви други сигнали бихме очаквали, ако хипотезата е вярна?

Да приемем:

„Поръчките намаляват, защото имаме по-малко трафик.“

Какво трябва да видим, ако това е основната причина?

Вероятно достатъчно значима промяна в релевантния трафик.

Ако обаче трафикът към продуктовите страници е стабилен, имаме основание да отслабим първоначалната хипотеза.

Не сме доказали коя е истинската причина.

Но очевидното обяснение не получава подкрепата, която сме очаквали.

Друг пример:

„Продажбите падат, защото продуктите са по-скъпи.“

Тогава бихме проверили:

променили ли сме действително цените;

за кои продукти;

променила ли се е конкурентната позиция;

съвпада ли промяната във времето;

различно ли е поведението при продукти със и без ценова промяна.

Сигналите могат да подкрепят хипотезата.

Могат да я отслабят.

И могат да отворят нова.

Така не търсим доказателства само за първата си идея.

Опитваме се да разберем дали тя издържа проверката.

Няколко различни сигнала около един проблем са по-интересни от единичния случай

Един клиент се оплаква, че определена характеристика липсва.

Това може да е единичен случай.

След това виждаме:

същия въпрос в още support разговори;

по-високо отпадане при продуктите без тази характеристика;

повече връщания именно при тях;

същата липса в няколко продуктови категории.

Вече не разглеждаме само един клиентски казус.

Имаме няколко сигнала, произведени по различен начин, около една и съща част от системата.

Това още не доказва причината.

Но прави проблема много по-сериозен кандидат за проверка.

Същата логика важи и когато:

analytics показва отпадане на определена checkout стъпка;

support tickets съдържат повече въпроси за същия етап;

session recordings показват връщане между едни и същи опции;

техническите логове показват грешки при конкретна комбинация.

Сигналите не са еднакви.

Точно това ги прави полезни заедно.

Ако няколко показателя са произведени от една и съща грешна логика, тяхното съвпадение може да ни даде фалшива увереност.

Когато различни механизми на наблюдение показват сходно отклонение, имаме по-силно основание да продължим проверката.

Dashboard с много KPI не означава свързан анализ

Можем да поставим на един екран:

sessions;

users;

CTR;

conversion rate;

AOV;

revenue;

ROAS;

returns.

Технически вече ги виждаме на едно място.

Това не означава, че сме ги анализирали заедно.

Визуалната близост не е аналитична връзка.

Истинската работа започва, когато попитаме:

ако трафикът расте, какво се случва с релевантните product views?

Ако product views растат, какво става с add-to-cart?

Ако add-to-cart расте, стига ли промяната до checkout?

Ако поръчките растат, какво става с приходите?

Не защото всичко трябва да се движи в идеална права линия.

А защото искаме да видим къде предполагаемата връзка се появява и къде се прекъсва.

Един KPI понякога трябва да бъде проверен срещу друг резултат

Да приемем, че customer service започва да приключва казусите по-бързо.

Средното време намалява.

Това е реално подобрение на измервания показател.

Но ако едновременно растат повторните контакти по същите казуси, вече не можем да приемем скоростта сама по себе си като достатъчно описание на резултата.

Тук не изграждаме нова система за измерване.

Просто проверяваме дали едно наблюдавано подобрение е съвместимо с останалите сигнали около същия процес.

Връзка не означава автоматично причинност

Два показателя могат да се движат заедно, без единият непременно да причинява другия.

Корелацията описва статистическа зависимост между променливи. Причинното твърдение е по-силно: то предполага, че промяна в едната участва в причиняването на промяна в другата.

Затова наблюдавана корелация сама по себе си не е достатъчна за причинен извод. NIST също разглежда асоциацията и причинността като различни отношения и предупреждава, че наблюдаваната зависимост не доказва автоматично причинна връзка.

Да приемем:

рекламният бюджет расте;

приходът също расте.

Възможно е увеличената реклама да участва в ръста.

Но може едновременно:

да е започнал силният сезон;

да е пуснат нов продукт;

да се е подобрила наличността;

да има промяна в цените;

друг канал също да е нараснал.

Връзката ни дава основание да проверяваме.

Не право да обявим причината.

„След това“ също не означава автоматично „заради това“

Понякога аргументът е:

„Направихме промяната и след нея резултатът се подобри.“

Това е важен сигнал.

Но междувременно може да са се променили сезонът, цените, наличностите, кампаниите или продуктовият микс.

Затова времевата последователност подкрепя проверката.

Не я завършва.

Отново трябва да попитаме:

Какво друго бихме очаквали, ако нашето обяснение е вярно?

Как бих търсил връзка между сигналите

Не бих започнал с огромен dashboard и въпроса:

„Какво корелира с какво?“

Бих започнал от конкретното отклонение.

Например:

„Поръчките в категорията намаляват.“

След това:

1. Кой е първият надежден сигнал?

Установили сме спад в поръчките.

2. Какви зависимости могат логично да участват?

Трафик.

Наличност.

Цена.

Поведение в категорията.

Поведение в продуктовите страници.

Checkout.

3. Какво бихме очаквали да видим, ако конкретна хипотеза е вярна?

Ако причината е по-малко релевантен трафик, какъв сигнал очакваме?

Ако е наличността?

Ако е checkout?

4. Кои източници могат да наблюдават тези сигнали?

Тук използваме работата от статията за източниците.

5. Достатъчно надеждни ли са?

Тук използваме работата от статията за качеството.

6. Потвърждават ли се или възниква противоречие?

Тук започва настоящата статия.

Рамката става:

първи сигнал → предполагаема зависимост → очакван втори сигнал → проверка →

съвпадение или противоречие → следваща хипотеза

Все още не сме стигнали до окончателния извод.

Изграждаме карта на проблема.

Не е необходимо всички сигнали да сочат в една посока

Понякога добрият анализ завършва с:

„Имаме противоречива картина и още не знаем достатъчно.“

Това не е слаб анализ.

По-слабо би било да изберем удобния показател и да игнорираме останалите.

Например:

трафикът расте;

поръчките падат;

наличността изглежда стабилна;

support контактите за цена се увеличават;

конкурентното сравнение още липсва.

Тук нямаме основание да обявим:

„Проблемът е цената.“

Имаме основание да кажем:

„Съществува сигнал, че цената може да участва и трябва да бъде проверена.“

Това е по-малко окончателно.

Но е по-полезно за следващата стъпка.

Връзката между данните не е същото като значението им

Тук е границата към следващата мисъл от съзвездието.

Можем да установим:

трафикът расте;

поръчките са стабилни;

по-голямата част от ръста идва към информационно съдържание.

Вече разбираме връзката между сигналите значително по-добре.

Но още остава въпросът:

Това добро ли е или лошо за този конкретен бизнес?

Отговорът зависи от:

ролята на съдържанието;

целта на сайта;

дължината на покупателния процес;

начина, по който бизнесът превръща информационното търсене в бъдеща стойност;

момента, в който измерваме.

Това вече е Контекст.

Истинският анализ започва между числата

Един показател може да ни каже, че нещо се е променило.

Вторият може да покаже дали промяната продължава през системата.

Третият може да противоречи на първоначалното ни обяснение.

Точно затова данните не трябва само да бъдат събрани на едно място.

Трябва да бъдат проверявани един спрямо друг.

Когато имаме хипотеза, питаме:

Ако това е вярно, какво друго трябва да виждаме?

Когато два сигнала си противоречат:

Защо?

Когато две стойности се движат заедно:

Имаме ли основание да говорим за причинност или засега наблюдаваме само връзка?

Така отделните числа постепенно започват да образуват картина.

Не защото едно от тях е намерило „истината“.

А защото всяко ограничава обясненията, които можем разумно да приемем.

И точно там започва по-смисленият анализ:

не в отделното число, а във връзките между сигналите.