Per quanto riguarda i metodi di self report applicati al tema dell'usabilità di Internet, il problema principale risiede nel fatto che non è possibile chiedere direttamente agli utenti cosa desiderino in un sito Web ed aspettarsi che le risposte abbiano una reale attinenza con il comportamento reale degli stessi utenti quando navigano in Rete. Solitamente, gli utenti affermano di desiderare siti più divertenti, che includano animazioni ed effetti speciali; quando, però, si chiede alle stesse persone di portare a termine un compito in Rete, ignorano beatamente le animazioni e tendono ad innervosirsi in presenza di effetti grafici, introdotti per rendere più piacevole ed attraente la navigazione, che rallentino il caricamento della pagina. Secondo l'opinione di Nielsen, tre motivi di ordine cognitivo rendono poco attendibili l'uso dei self report, per lo meno se riferito all'analisi dell'usabilità di un sito Internet:
gli utenti preferiscono fornire risposte accondiscendenti nei confronti dell'intervistatore e socialmente accettate;
possono riferire solo ciò che in quel momento ricordano, con tutti i limiti caratterizzano il ricordo di eventi;
riportano ciò che sono convinti di fare, senza possibilità, per il ricercatore, di verificare l'attendibilità di quanto affermato.
Una ricerca di Zona Research (riportata in Nielsen 2000b) trovò che solo il 28% degli intervistati considerava estremamente difficile localizzare le informazioni cercate nel Web, mentre in numerosi studi l'osservazione del comportamento reale degli utenti evidenzia che le persone trovano ciò che vanno cercando meno della metà delle volte. Quindi, in media, nel 50% dei casi le persone non riescono ad orientarsi nel mare di Internet, ma solo il 28% di esse riferisce di avere avuto problemi con la navigazione. Probabilmente, gli intervistati, non trovando quanto cercavano, avranno pensato che i siti visitati non contenessero l'informazione esatta o avranno biasimato la propria incapacità nell'uso dello strumento Internet, come succede molto spesso per le persone che si trovano a disagio nell'utilizzo degli strumenti tecnologici (Norman, 1997). Questo a dimostrazione della non totale affidabilità di strumenti di valutazione come i self report, le interviste, o i focus group, più adatti nella fase di ideazione di un progetto.