Valutare l’usabilità dei siti della PA

L’uso combinato di metodi ispettivi e test di usabilità

Cos’è l’usabilità e perché è importante?

La digitalizzazione dei servizi costituisce un importante passaggio nel rapporto fra le pubbliche amministrazioni e i cittadini. I servizi digitali, se implementati correttamente, aumentano l’efficienza e riducono la burocrazia, con un impatto positivo sui tempi di gestione ed erogazione. Contribuiscono ad aumentare l’accessibilità ai servizi, soprattutto per le persone che per vari motivi hanno difficoltà ad accedere agli sportelli fisici degli enti, e aumentano la trasparenza dei processi.

L’adozione dei servizi digitali da parte dei cittadini richiede però che siano in primis facili da usare: l’usabilità non solo favorisce un’esperienza d’uso positiva della tecnologia, ma aumenta la fiducia dei cittadini nelle amministrazioni pubbliche e garantisce una maggiore inclusività, soprattutto nei confronti di quelle persone con una minor propensione all’interazione con il digitale.

L’usabilità è il grado in cui un prodotto (un servizio digitale) può essere usato dagli utenti per raggiungere certi obiettivi con efficacia, efficienza e soddisfazione in uno specifico contesto d’uso. Un servizio è efficace se permette all’utente di raggiungere l’obiettivo che si era prefissato. A parità di efficacia, un servizio è più efficiente se richiede all’utente meno sforzo, quindi risorse (ad esempio meno tempo, meno spostamenti, meno burocrazia, minor costi). La soddisfazione infine è influenzata dall’utilità percepita e dal livello di comfort avvertito da parte dell’utente durante la fruizione.

Ma come possiamo valutare l’usabilità di un servizio?

Possiamo distinguere 4 tipi di metodi di valutazione dell’usabilità di un prodotto (Fernandez, Insfran, and Abrahão 2011; Bussolon 2021):

• i metodi empirici, quali i test di usabilità, che coinvolgono un limitato numero di persone che rappresentano gli utenti; ai partecipanti è chiesto di portare a termine dei compiti decisi dai ricercatori;
• i metodi ispettivi, in cui uno o più esperti di usabilità analizzano il prodotto in base a dei princìpi, a delle euristiche o a delle linee guida;
• i metodi automatici, in cui vengono utilizzati dei software per analizzare il codice, ad esempio per valutare il rispetto di alcune regole di accessibilità;
• i metodi analitici, in cui si analizzano i comportamenti degli utenti raccolti attraverso le statistiche d’uso delle applicazioni.

I primi due metodi sono qualitativi, i secondi quantitativi.

Perché affiancare metodi ispettivi a quelli empirici?

I test di usabilità sono il metodo principe di valutazione dell’usabilità di un prodotto. Perché usare anche la valutazione ispettiva? Non è raro che questo tipo di valutazione venga scelta come modalità più economica quando non ci sono le risorse e i tempi per fare i test di usabilità.

In realtà i metodi ispettivi non possono sostituire i test di usabilità, ma possono costituire un’ importante integrazione. Metodi ispettivi e test con gli utenti, infatti, fanno emergere problemi di usabilità in parte differenti.

Le persone, quando devono portare a termine un compito, usano due approcci complementari.

• Quando possibile seguono una sequenza prestabilita che permette loro di arrivare al risultato desiderato. L’esempio più lampante è quando seguiamo una ricetta per preparare una pietanza.
• Quando questo non è possibile cercano di costruirsi un modello mentale (una sorta di mappa) che li guidi nel raggiungere il risultato, integrando le loro conoscenze pregresse con le informazioni raccolte durante il processo.

In entrambi i casi dovranno poi compiere le azioni necessarie per portare a termine il compito.

Nel processo qualcosa può andare storto: nel creare la mappa cognitiva, nel seguire la sequenza, nel compiere le azioni concrete (Rasmussen 1983). Un buon servizio digitale aiuta le persone a creare la rappresentazione adeguata (fornendo le informazioni necessarie), le guida nel seguire le sequenze, le facilita nel compiere le azioni.

I metodi ispettivi sono lo strumento ideale per far emergere quei problemi di progettazione che possono indurre gli utenti in errore a livello di azione e a livello di sequenza (Fu, Salvendy, and Turley 2002). Soprattutto a livello delle azioni concrete, infatti, le regole di interazione sono piuttosto universali e valgono per ogni sito web e ogni applicazione. Questo vale anche per molte sequenze comuni nell’interazione con i prodotti digitali e in genere sul come progettare una sequenza. È dunque naturale definire delle linee guida di corretta progettazione dell’interazione e dell’interfaccia e valutare se sono rispettate.
Diversa è la situazione per quanto riguarda i problemi che possono sorgere nelle circostanze in cui l’utente deve crearsi un modello mentale, per due motivi. Il primo: queste rappresentazioni sono molto specifiche, variano di contesto in contesto, e dunque è più difficile definire delle regole da seguire. Il secondo: il modello mentale dipende in gran parte dalla conoscenza dell’utente, e chi fa la valutazione ispettiva fatica ad immaginare cosa l’utente sa e non sa. Questo vale soprattutto nel contesto delle pubbliche amministrazioni, in cui il cittadino non è tenuto ad essere un esperto in materia. Pertanto, per far emergere questi problemi, è necessario fare dei test di usabilità con delle persone che siano rappresentative dell’utenza.

L’utilizzo di differenti metodi di valutazione è noto in letteratura come triangolazione, ed è una buona pratica sia in ambito di ricerca qualitativa che nell’integrazione di metodi di ricerca qualitativa e quantitativa.

In particolare usare in sequenza metodi ispettivi e test di usabilità offre molteplici vantaggi:

• l’analisi ispettiva fatta prima del test aiuta a definire i task da sottoporre ai partecipanti, e aiuta ad interpretare le osservazioni fatte durante i test;
• permette di far emergere problemi che con il solo test di usabilità potrebbero non essere notati;
• rende più facile prioritizzare e risolvere, focalizzandosi su quei problemi che emergono da entrambi i metodi.
• può far emergere degli errori grossolani che possono distrarre il partecipante nel test di usabilità. Dunque, quando possibile, si fa la valutazione, si correggono gli errori più macroscopici, si fa il test con gli utenti con la versione già corretta.

La valutazione euristica

Il più noto tra i metodi ispettivi è quello della valutazione euristica. Le euristiche sono un numero ristretto di regole piuttosto generali di usabilità, ovvero princìpi che hanno un elevato valore predittivo perché rappresentano la sintesi dei problemi di usabilità più frequenti, organizzati in categorie. Le euristiche di Nielsen, ad esempio, sono ottenute tramite analisi fattoriale su una base di 249 problemi riscontrati in studi di vario tipo (Nielsen and Molich 1990). La valutazione euristica consiste nel verificare quanto una interfaccia rispetti queste regole. Ad esempio, le prime regole euristiche di Nielsen sono: 1. Visibilità dello stato attuale del sistema; 2. Corrispondenza tra il sistema e il mondo reale; 3. Libertà e possibilità di controllo del sistema da parte dell’utente.

Una delle difficoltà della valutazione euristica è che, essendo i princìpi piuttosto generali, e non specifici per un determinato contesto e/o target, lasciano ampio spazio di interpretazione, riducendone la validità diagnostica (Jaspers 2009).
Una possibile soluzione, che è quella che è stata adottata in questa circostanza, è di integrare i princìpi generali con delle regole più specifiche, più facili da verificare (Khajouei, Hajesmaeel Gohari, and Mirzaee 2018).
Inoltre le regole possono essere adattate a contesti specifici, ad esempio un sito o applicazione della pubblica amministrazione. Il risultato è una checklist in cui, per ogni princìpio generale, vengono definite delle regole più specifiche, più facili da verificare nel corso della valutazione e meno soggette ad interpretazioni.

Il contesto: la riprogettazione del modello comuni

L’idea di sviluppare una checklist specifica per valutare i siti della pubblica amministrazione è emersa durante la progettazione della versione 2.0 del modello per il sito e i servizi digitali dei Comuni italiani di Designers Italia.

Una delle attività del progetto era quella di valutare la versione 1.0 del modello, per identificare problematiche e limiti così da proporre delle modifiche per correggere gli errori e migliorare l’usabilità. Prima di fare il test di usabilità con gli utenti abbiamo deciso di fare una valutazione euristica, e per farla abbiamo sviluppato una checklist specifica per la progettazione di siti e servizi pubblici digitali.

Nel definire la checklist siamo partiti da fonti diverse:

• le euristiche di Nielsen (2005) e di Gerhardt-Powals (1996)
• i principi generali per l’e-government del piano d’azione UE
• gli aspetti legati all’usabilità e all’esperienza d’uso estrapolati dalle principali norme italiane
• il Codice dell’amministrazione digitale
• le Linee guida di design per siti e servizi web della PA
• le Linee guida sull’accessibilità degli strumenti informatici
• una checklist pre-esistente, non specifica per le pubbliche amministrazioni ma più focalizzata su siti e applicazioni del settore privato, che avevo sviluppato alcuni anni fa e che utilizzo prevalentemente come strumento didattico nel mio insegnamento. Ho recentemente pubblicato la checklist su github

La checklist risultante è stata pubblicata anch’essa su github

Tale checklist è stata usata per svolgere la valutazione euristica sul sito di un Comune di medie dimensioni che è stato tra i primi ad adottare il modello e che può essere considerato come stato dell’arte.

I risultati della valutazione euristica ci hanno aiutato a definire, almeno in parte, il protocollo e i task da far svolgere ai partecipanti. Abbiamo dunque condotto test di usabilità con 8 partecipanti, diversificando il campione per genere, età, provenienza e competenze digitali.

Il confronto fra i risultati

I risultati della ricerca hanno confermato il valore di affiancare i metodi ispettivi a quelli empirici. Infatti come previsto, dai due metodi sono emerse problematiche in parte simili e in parte diverse:

• 4 problemi sono emersi sia dalla valutazione ispettiva che dal test di usabilità.
• 3 problemi sono emersi solo dal test di usabilità.
• 4 problemi sono emersi solo dalla valutazione ispettiva.

Per un’analisi più dettagliata dei risultati, si veda il post nella mia newsletter.

L’indagine conferma dunque quello che avevamo immaginato: la valutazione ispettiva non può sostituirsi al test di usabilità, perché alcuni problemi emersi dal test non erano emersi dalla valutazione ispettiva. Ma costituisce un’importante integrazione, perché permette di rilevare problemi che dal test non erano apparsi, perché ci aiuta nella definizione dei compiti del test e perché ci aiuta a definirne le possibili soluzioni.
Infine, la valutazione ispettiva permette di verificare il rispetto di linee guida e princìpi che non emergerebbero dal test di usabilità ma che sono vincolanti in alcuni contesti, come quelli dei servizi digitali delle pubbliche amministrazioni.

Testi citati

Bussolon, Stefano. 2021. Grounded UX design. February 10. doi:10.17605/OSF.IO/J3FME. https://osf.io/dwk4f.

Fernandez, Adrian, Emilio Insfran, and Silvia Abrahão. 2011. Usability evaluation methods for the web: A systematic mapping study. Information and Software Technology 53, no. 8. Advances in functional size measurement and effort estimation — Extended best papers (August): 789–817. doi:10.1016/j.infsof.2011.02.007.

Fu, Limin, Gavriel Salvendy, and Lori Turley. 2002. Effectiveness of user testing and heuristic evaluation as a function of performance classification. Behaviour and Information Technology 21, no. 2: 137–43.

Gerhardt-Powals, Jill. 1996. Cognitive engineering principles for enhancing human-computer performance. International Journal of Human-Computer Interaction 8, no. 2: 189–211.

Jaspers, Monique W. M. 2009. A comparison of usability methods for testing interactive health technologies: Methodological aspects and empirical evidence. International Journal of Medical Informatics 78, no. 5 (May): 340–53. doi:10.1016/j.ijmedinf.2008.10.002.

Khajouei, Reza, Sadrieh Hajesmaeel Gohari, and Moghaddameh Mirzaee. 2018. Comparison of two heuristic evaluation methods for evaluating the usability of health information systems. Journal of Biomedical Informatics 80 (April): 37–42. doi:10.1016/j.jbi.2018.02.016.

Nielsen, Jakob. 2005. 10 Usability Heuristics for User Interface Design. Nielsen Norman Group. https://www.nngroup.com/articles/ten-usability-heuristics/.

Nielsen, Jakob, and Rolf Molich. 1990. Heuristic evaluation of user interfaces. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. CHI ’90. New York, NY, USA: Association for Computing Machinery, March. doi:10.1145/97243.97281.

Rasmussen, Jens. 1983. Skills, rules, and knowledge; signals, signs, and symbols, and other distinctions in human performance models. IEEE transactions on systems, man, and cybernetics, no. 3: 257–66.