Il s’agit maintenant de se représenter « comment ça s’est passé ». Toutes sortes de questions peuvent se poser, dans différentes optiques:
  

Comment ont-ils opérationnalisé leur recherche? Fait-elle référence à un milieu naturel (complexe et spontané, le plus souvent) ou artificiel (généralement simple, reproductible et contraint) ? 
Quelles sont les variables indépendantes ?

Quelles sont les variables dépendantes ? Quelle est la propriété mesurée ? C’est souvent une propriété (une dimension psychologique) d’un « sujet » volontaire ou non, humain ou non.

Qu’est-ce qui est mesuré ? A quoi correspond cette propriété (intelligence, mémoire, etc.) de l’objet ? Est-ce qu’on a voulu mesurer une dimension psychologique sous-jacente, une variable intermédiaire, dont dépend la variable dépendante mesurée ? Est-ce que cette dépendance est clairement démontrée ? 

Comment chaque variable dépendante est-elle mesurée ? Quelles sont les qualités métrologique des tests utilisés (sensibilité, fidélité et validité d’une mesure, performance globale, homogénéité et étalonnage d’un test) ?  Tous les contrôles nécessaires ont-ils été effectués ? 

Quel est le niveau de la variable dépendante ? nominal ? ordinal ? quantitatif de rapport ou d’intervalle ? dans quelle unité est-elle exprimée (fréquence brute ou relative (%), temps de réponse, erreurs, différences, score, etc.) ? Quelles sont les limites théoriques de cette variable ?

Le test est-il bien choisi ? L’appareil de mesure est-il approprié ? Est-ce qu’il permet de classer de manière pertinente toutes les réponses possibles ? Est-ce qu’il n’a pas un effet par lui-même sur les sujets ?

Les comparaisons inter- ou intra-sujet sont-elles bien maîtrisées ?

Globalement, pour la mesure de chaque variable dépendante, quelles sont les facteurs d’erreurs possibles ?  

Quelles sont les cellules du plan expérimental ? S’il y a fractionnement, est-ce équilibré ? Les facteurs croisés  sont-ils tous des variables nichées ?

Du point de vue de l’espace et du temps, les situations sont-elles bien maîtrisées? Peut-on soupçonner des facteurs d’erreur tels que :  

Quelles sont les compétences exigées des expérimentateurs pour mener à bien cette recherche ? 

Un autre biais expérimental concernant les attentes du sujet, son interprétation subjective de la tâche et des consignes (effet Orne) a t-il été pris en compte ? (Variables parasites)

Quels sont les critères retenus pour l’échantillonnage des sujets, des situations, des expérimentateurs, des modalités des différentes variables ?

Est-ce que je pourrais refaire cette expérience avec les informations qui me sont données ? Est-ce qu’elle semble réaliste ?
  

Est-ce que cette recherche a tenu compte des biais possibles liés aux expérimentateurs, à l’espace (lieux), au temps (séquences, histoire, etc.) ?

Est-ce que cette recherche est éthique ?
 
 

On peut se poser toutes sortes de questions sur les résultats et sur la manière de les présenter. 

Comment a t-on passé des données brutes aux résultats présentés dans l’article? (réduction des données)

Un indice de tendance centrale (mode, médian, moyenne, moyenne tronquée) et un indice de dispersion correspondant ont-ils été fournis (entropie, espace semi-interquartile, écart-type, empan, etc.) 

Pour les résultats présentés, est-ce qu’on peut assumer que les mesures ont une distribution normale ? ou asymétrique ? ou bimodale ? etc. 

Les tableaux et figures aident-ils à la compréhension ? Les titres et légendes sont-ils clairs ?

Est-ce que tous les résultats sont montrés ? Quelles sont les informations récoltées (selon ce qu’on a compris des méthodes) pour lesquelles les auteurs n’ont rapporté aucun résultat ? Quelle pourrait en être la raison ?

Un indice de corrélation entre diverses mesures a-t-il été calculé ? lequel ? est-ce approprié ? (Par exemple, pour le coefficient r de Bravais-Pearson, les variables doivent être quantitatives, suivre chacune une distribution normale et avoir une relation linéaire : est-ce que ce que l’on sait permet de l’assumer ?)

Quels sont les tests statistiques choisis ? Ce choix est-il correct ?

Quelle est la mortalité expérimentale ? Comment est-elle prise en compte dans les résultats ?

Le nombre d’observations est-il adéquat ? Et le nombre de sujets ? La répartition est-elle homogène ?

Les auteurs se sont-ils donnés les moyens de mener cette recherche à bien ? Avec un autre budget (avec moins de temps, d’expérimentateurs, de sujets, de situations, etc.) aurait-on pu arriver aux mêmes conclusions ? A contrario, avec un budget plus important, aurait-on pu être plus convaincant ?
 

De nombreuses questions peuvent aider à décortiquer la partie discussion d’un article. 

Au vu de la discussion des résultats, quelles pouvaient être les hypothèses des auteurs ? Si l’on va relire l’introduction, est-ce que l’on peut percevoir une continuité ?  

Quelle est la validité du raisonnement ? Quelle est la relation entre le plan expérimental et les hypothèses ?

Quel détour opératoire les auteurs ont-ils faits pour passer de leur hypothèse théorique à une hypothèse opérationnelle ? En ont-ils explicité les caractéristiques pertinentes ? (Validité interne)

Tous les résultats ont-ils été pris en compte, pas seulement ceux qui vont dans le sens des hypothèses ? Et dans ce cas (si les résultats ne sont pas ceux qui étaient attendus), quelle est l’attitude : rejet de l’hypothèse qui leur tient à cœur, ou explications ad hoc ?

Est-ce qu’il y a d’autres études commentées par les auteurs qui soutiennent la même théorie ? Peut-on parler de triangulation entre les hypothèses présentées dans d’autres études et celles de cette étude (tout en procédant différemment, les résultats des différentes recherches mènent-ils aux mêmes conclusions) ? (Validité externe)

Les auteurs commentent-ils des positions différentes de la leur ? 
(Validité externe)

Au niveau de la logique interne de l’article, y a-t-il des informations présentées dans la discussion qui auraient pu avantageusement être présentées dans l’introduction ?

Les résultats pourraient-ils être interprétés différemment ?