Lean Startup in a Nutshell, parte 3 - Measure

Creato l’MVP è ora di passare alla “misurazione” della reazione dei nostri clienti (early/potenziali/finali) al fine di poter applicare le pratiche annesse all’Innovation Accounting, che, come descritto nel post introduttivo, consentono di capire se si stanno facendo progressi o se la strategia adottata va modificata (PIVOT) perché non produce i risultati attesi.

measure                       

Per poter misurare correttamente i reali miglioramenti ottenuti è fondamentale affidarsi a Metriche Perseguibili (Actionable Metrics), che consentono di effettuare analisi su dati che fotografano lo stato reale del business, eliminando false valutazioni (Vanity Metrics). In generale, una metrica è perseguibile se è:

  • Impugnabile: chiara causa ed effetto;
  • Accessibile: facile da capire e maneggiare;
  • Controllabile: i dati devono essere attendibili.

Bisogna quindi avere una reale comprensione di ciò che si vuole misurare e del campione di utenza di riferimento, cosa che ci porta nell’ambito della Cohort Analysis, in cui le valutazioni sono basate su gruppi temporanei, omogenei ed indipendenti di utilizzatori con caratteristiche ed interessi affini. La Cohort Analysis, che si contrappone alla pratica di considerare gli utenti come “un unico gruppo”, è molto utile per analizzare la crescita andando a considerare i nuovi utenti in modo distinto da quelli precedenti. In tal modo, ad esempio, una startup può validare la capacità delle modifiche apportate di attrarre nuovi clienti, così come un’eventuale regressione. Per ogni Cohort (gruppo) deve essere possibile rispondere a domande come:

  • Quanti utenti del gruppo hanno utilizzato la nuova funzionalità?
  • Quanti utenti del gruppo hanno acquistato il prodotto?
  • Quanti utenti hanno lamentato un peggioramento della user experience?

E’ interessante evidenziare la possibilità di sfruttare la Cohort Analysis per la cosiddetta pratica del “killing features”: viene rimossa una funzionalità e si verifica cosa accade. Se le metriche di rilievo non subiscono cambiamenti significativi è possibile migliorare il prodotto nel complesso eliminando la funzionalità in modo da renderlo più snello e semplice da manutenere.

Nell’attività di analisi del nostro gruppo di clienti, è possibile sfruttare un’analisi Conversion Funnel. Nata nel mondo dell’e-commerce, tale analisi consente di tracciare il percorso (pagine) fatto da un cliente da quando clicca su un banner pubblicitario a quando finalizza l’acquisto, ottenendo Actionable Metrics legate, ad esempio, all’analisi delle pagine (o aree tematiche) su cui i clienti si soffermano maggiormente, piuttosto che conteggiare banalmente il numero di visitatori (Vanity Metrics).

conversion funnel

Conversion Funnels

A cosa ci serve la Conversion Funnel Analysis? Gli usi sono chiaramente molteplici, ma proviamo a fare un semplice esempio: dalla nostra analisi “misuriamo” che su 100 visitatori (potenziali clienti), 30 arrivano ad inserire un acquisto in catalogo, ma solo 3 completano l’acquisto stesso. Una delle ipotesi di tale riduzione è che il “carrello” abbia difficoltà intrinseche nel far completare la fase di acquisto, possiamo quindi scegliere di provare, ad esempio, a modificare la User Interface relativa per semplificare la fase finale di acquisto.

Un’ulteriore strumento di analisi, legato al comportamento del singolo cliente/utilizzatore, è il Net Promoter Score (NPS), che, in modo semplicistico, è possibile definire come il “tasso di passa parola”:

Qual è la probabilità che lei raccomandi il prodotto ad un amico o un collega?”

La domanda base può essere riformulata in diversi modi [Sean Ellis]:

“Sarebbe molto deluso se non potesse più utilizzare il prodotto?” oppure

“Ritiene il prodotto un must-have?”

In pratica si analizza la penetrazione virale della soluzione, consentendo alla startup di essere sempre focalizzata sul risultato finale che si vuole ottenere. Se si supera una percentuale del 40% di risposte affermative, la strategia intrapresa può essere ritenuta valida (stima empirica), altrimenti è ora di operare un PIVOT! (capiremo meglio cosa significa nei prossimi post della serie).

net promoter score

Net Promoter Score

Fin ora abbiamo ragionato in termini di variabilità degli utenti, ma se si utilizza un campione di riferimento costante, o se si stanno eseguendo i primissimi loop build-measure-learn in cui gli utenti sono gli early adopters, uno strumento particolarmente utile è lo Split Testing (o anche A/B testing), attraverso il quale è possibile verificare la reazione alle modifiche dividendo il campione in due macro-gruppi e consegnando loro due versioni leggermente differenti della soluzione.

split testing

Split Testing

Le differenze devono essere veramente minime (a livello atomico di modifica): una feature presente solo in una delle due alternative, il cambio di un bottone sulla UI, la modifica dei colori, ecc. In tal modo è possibile misurare in modo puntuale la reazione dei due gruppi alle alternative presentate e capire quali di esse risponde in maniera migliore alle esigenze degli utilizzatori.

Lo split testing è, inoltre, un ottimo approccio per misurare la reale utilità di una nuova feature: se si rilasciano due MVP in cui solo uno è dotato di una feature extra e questa viene praticamente ignorata dal gruppo di utilizzatori di riferimento, vuol dire che essa non è percepita come valore e non è utile investire su essa. In generale, uno split testing ben impostato segue due regole basilari:

  • Semplice da implementare da un punto di vista del codice (on-line development);
  • Facile da utilizzare per le metriche di analisi sui cui prendere specifiche decisioni.

Ad onor del vero lo split test può essere usato sempre, anche quando si è in fase di acquisizione di nuovi clienti, ma ciò rende più difficile valutare le reazioni perché i fattori da considerare si moltiplicano.


Si conclude qui il nostro terzo post dedicato a Lean Startup, nel prossimo appuntamento ci dedicheremo all’ultimo step del loop build-measure-learn.

agileiot logo  ac2 logodac dac dacdac dac psmii psmii safe cal1 less certazure fundamentals
mvp reconnect

Free Joomla templates by Ltheme