Prova a farla a bruciapelo: “rispetto a cosa hai misurato che funziona?”. È una domanda molto meno elegante di “quale modello usate?”, ma quasi sempre molto più utile.
Baseline prima della narrativa
Se non sai cosa succede senza il sistema, non sai misurare cosa sta aggiungendo. Una demo può mostrarti che un agente riesce a fare qualcosa. Non ti dice se lo fa meglio del processo precedente, a quale costo, con quale tasso di errore o quante volte passa comunque il caso a una persona.
Cosa succede senza il sistema
Quanto cambia con il sistema
Quale soglia deve superare
Le tre domande che farei a un fornitore
- FACT 01Rispetto a cosa avete misurato il miglioramento?
- FACT 02Quale metrica cambia davvero se spengo la parte AI?
- FACT 03Chi decide prima del test cosa significa “successo”?
Il criterio va fissato prima di sapere come è andata. Altrimenti rischia di diventare una spiegazione a posteriori: non una misura, ma una narrazione con un grafico.
EDITORIAL NOTE“Un sistema AI non dovrebbe essere credibile perché sembra intelligente. Dovrebbe essere credibile perché regge una verifica.”
È una regola che vale anche per INAZUMA. Se non riusciamo a dire cosa miglioriamo, rispetto a cosa e come lo misuriamo, abbiamo una demo interessante. Non ancora un sistema che merita di stare in produzione.