MODERATION LABORATORY


Image Slashdot Image K5





copyright: Marie-Agnès Thibaut, Michele Notari
magnesthibaut@yahoo.fr
micheno@hotmail.com

Cet article aborde la question des systèmes de modération présents sur les weblogs. Nous avons étudié quatre systèmes de modération principaux, sujet à des modifications pour chacun des weblogs analysés. Ces weblogs sont: Slashdot, Kuro5hin, Advogato et Meatball Wiki.
Notre objectif était de qualifier un système de modération selon l'évolution des discussions. Nous avons essayé de définir les paramètres important pour une telle étude. Pour observer ces paramètres nous avons mis en place quelques "outils d'analyse". Ces instruments seront appliqués sur deux articles principaux choisi dans deux weblogs avec un système de modération différent pour pouvoir être comparés.
Les deux weblogs choisis sont Slashdot et Kuro5hin (K5). Leur système de modération est proche mais suffisamment différent pour être analysé. Notre analyse comporte deux axes principaux pour observer l'évolution des discussions: l'évolution dans le temps (durée d'existence d'une discussion) et l'évolution spatiale ( niveaux d'interaction entre les utilisateurs). Pour estimer correctement la qualité des interventions nous avons cherché à définir pour l'étude les paramètres suivant: la taille du weblog, c'est à dire le nombre d'utilisateurs, la longueur moyenne des articles et des contributions, le comportement du rating et les niveaux de discussions atteint.
Les résultats obtenus ne sont pas parlant quantitativement car ils ne portaient que sur deux articles, mais la démarche peut être retenu pour des travaux ultérieurs plus important. Ce travail s'intègre dans l'environnement staf 18, orienté cette année vers les "Portails d'information et de communication". Le sujet appartient au chapitre concernant les "Rating systems" et s'articule avec d'autres thèmes tels que le "Peer rating" et les "Systèmes de confiance et de réputation".

Les weblogs sont des sites créés par un ou plusieurs concepteurs présentant leurs articles. Les lecteurs peuvent participer et enrichir ces sites en postant des articles ou en participant à des discussions issues d'articles. Ce principe de collaboration est de plus en plus fréquent. Ces weblogs permettent aux minorités de s'exprimer, de biaiser les médias traditionnels ou les grands portails commerciaux et de défendre leurs idées dans un plus grand pluralisme démocratique. Mais cette liberté d'expression connaît des limites et les forums en sont la preuve. En effet les discussions contenaient beaucoup de " bruit ", car constituées de messages sans intérêts non structurés et non pertinents. En effectuant une recherche sur internet pour trouver une définition du terme " modérateur " nous avons trouver cette définition un peu obsolète mais très parlante: " Les modérateurs peuvent se définir comme individus ou groupe de personnes gérant une mailing list ou un forum de discussion. Ce sont eux qui acceptent ou non de transmettre aux participants du service le message d'un utilisateur. ". Les weblogs ont développés cet intérêt pour l'utilisation de la modération.
L'affluence des interventions dont ils sont sujets peut remettre en cause leur qualité. Il devient nécessaire de filtrer l'information pour extraire et ne présenter que les documents intéressant les utilisateurs. C'est pourquoi certains portails ont mis en place un système de modération. Il existe différents cadres et différents types de modération. Par exemple, la modération peut être effectuée par le concepteur lui même dans le cas d'un petit weblog ou bien par une équipe indépendante ( cas d'une équipe rédactionnelle sur le site d'un grand quotidien ou d'une entreprise commerciale) mais elle peut également être effectuée par les participants eux-mêmes, et dans ce cas, il s'agit, la plupart du temps, de weblogs plus importants, non commerciaux et dynamiques. Ce dernier système de modération correspond au modèle de filtrage par collaboration (collaborative filtering). Dans ce cas, les utilisateurs donnent leur avis sur les documents lus ou sur les auteurs de ces articles et leurs réactions pourront être annotées et consultées par d'autres. Nous orienterons notre travail sur ce cadre de modération.
La possibilité de participer et de classifier les articles et les participants a un impact sur la croissance globale de ces portails ou weblogs, et nous supposons que le type de modération choisi par un site influence le développement d'une discussion.

La modération avec participation des utilisateurs peut être effectuée très différemment d'un site à un autre et se révèle parfois très complexe. Ces différents types de modération aboutissent-ils à différents comportements de l'évolution des discussions? Certains types permettent-ils aux discussions de mieux se développer dans le temps et sur le thème? Peut-on estimer la qualité d'un type de modération?
Pour pouvoir répondre en partie à ces questions nous souhaitons dans ce projet comparer le développement temporel (durée d'existence de la discussion) et spatial (hiérarchie des contributions postées) d'une discussion dans deux weblogs modérés de façon différente. Pour pouvoir être comparée, chaque discussion choisie devra comporter un nombre de contributions semblable.
C'est une approche de type " bottom-up " car on part d'un fait important traité dans deux articles semblables (bottom) et l'on analyse ce qu'il se passe sur tout le portail (up).
Cette étude nécessite un gros travail d'investigation pour définir au mieux les systèmes de modération utilisés dans les Weblogs choisis. Cette étude doit permettre de faire émerger des critères à étudier pour estimer la qualité d'un système de modération utilisé par un weblog ou du moins pour le définir de façon précise et en comprendre les tenants et les aboutissants. Ce travail doit pouvoir proposer des outils pour catégoriser ces différents systèmes de modération.

I- TYPOLOGIE DES SYSTEMES DE MODERATION

La modération est une aide pour pouvoir permettre à beaucoup de personnes de s'exprimer simultanément dans le même endroit. C'est une façon de régler le flux d'information. Modérer implique toujours un jugement. Ainsi, une contribution choisie par une personne ou un système sera traitée différemment par rapport aux autres. Il est évident qu'avec chaque modération (également pour un système non modéré) il y a un risque d'abus.

I-1 Cadre de la modération

Le rôle de la modération est de choisir le (les) critère(s) pertinents pour juger l'intérêt d'une contribution. Selon le type de communication (écrite parlée) il y a différentes stratégies de modération. Pour une communication écrite le système de modération choisit une contribution reçue et la poste à un endroit où tout le monde peut la lire (p.ex. première page d'une revue). Il peut aussi ne pas permettre la publication de l'article.

I-1-1 Rôle des systèmes de modération

Dans ce travail nous souhaitons montrer différents types de modération utilisés pour des Weblogs (portails). La modération dans les portails d'information et de communication est un phénomène récent lié à la popularité de certains Weblogs ces dernières années. L'Internet, comme moyen de communication ouvert, a renforcé ce besoin de modération puisque de plus en plus de personnes (et surtout des débutants) se permettent de s'immiscer dans des discussions menées entre professionnels. La masse de contributions et l'évolution de la qualité des discussions ont rendu nécessaire un certain filtrage du flux d'information.

I-1-2 Différents systèmes de modération pour différents types de weblogs

Avant notre analyse, il est important de bien différencier les types de portails pour comprendre l'utilisation qui en est faite. Ces weblogs ou portails naissent et évoluent différemment selon qu'ils sont petits ou grands, commerciaux ou non commerciaux.
  1. weblogs de petite taille: ils évoluent très vite, sont conçus et gérés le plus souvent par une seule personne. Visités par peu de monde, leur modération est donc facile a effectuer par le concepteur et ne requière donc pas de système complexe.
  2. weblogs de grande taille et commerciaux: les concepteurs ont une idée précise de ce que doit proposer leur site. Ils reçoivent des directives de leurs supérieurs et se doivent de garantir une certaine homogénéité du contenu. La modération est simple puisqu'elle est effectuée par ces personnes rémunérées pour ce travail. Ces types de portails sont très souvent visités mais ne permettent pas aux utilisateurs de bénéficier d'une très grande liberté, leur but n'étant pas de provoquer une certaine démocratisation de la communication.
  3. gros weblogs de grande taille non commerciaux: ces weblogs ne sont pas directement commerciaux mais ils servent un certain marché partagé entre les petits professionnels du monde informatique. Ce sont des sites très dynamiques, crées par une ou plusieurs personnes. Victimes de leur succès ils sont confrontés très rapidement à un nombre important de contributions et doivent mettre en place un système de modération pour alléger leur travail car ces personnes ne sont pas rémunérées. Le système de modération choisi garantira une plus ou moins grande démocratisation de la communication, objectif visé par la plupart de ces sites.
Notre étude concernera ce dernier type de weblog.

I-2 Analyse des systèmes de modération dans des weblogs importants et non commerciaux

Nous avons vu que la modération est nécessaire seulement pour les 'grands' weblogs. Dans le monde du weblog, des phénomènes de mode se produisent et font que momentanément de nombreux internautes cherchent à participer simultanément au même weblog. Cet effet de masse produit un parasitage nécessitant une modération plus exigeante. Les concepteurs cherchent alors des systèmes pour pouvoir rendre lisible le weblog sans devoir interdire directement les articles des personnes avec peu de connaissances ou superficiellement intéressées. L'évolution de la modération des blogs montre que les premiers systèmes étaient personnels, c'est à dire que les concepteurs jugeaient eux même la pertinence d'une information et la plaçait à l'endroit qui leur semblait adéquat. Avec l'augmentation du flux d'information il devenait impossible pour les modérateurs d'accomplir ce travail et on est passé à des systèmes de modération du type algorithmique, c'est à dire que selon des jugements faits par les utilisateurs la machine modère elle même la discussion. Nous avons recherché les systèmes de modération utilisés dans plusieurs weblogs et nous avons identifié quatres systèmes différents.

I-2-1 Quatres types de modération analysés

I-2-1-1 Karma
Ce type de modération a été choisi par un weblog très connu concernant les 'open source developers' il s'agit de Slashdot (http://slashdot.org). Méthode de modération :
Cette modération est algorithmique. Ce système choisit un certain nombre d'utilisateurs au hasard (non débutants) et leur donne le pouvoir de juger la qualité de trois à cinq contributions pendant 3 jours consécutifs. Ces utilisateurs devenus modérateurs peuvent classifier la qualité de l'article posté par leur vote La somme des votes (bon et mauvais) pour cet article à un effet sur le " Karma "de l'utilisateur qui l'a posté.
En quoi consiste le " Karma "? Un utilisateur qui poste beaucoup de contributions jugées de bonne qualité reçoit un bon Karma, a accès à plus d'entités de vote et a la possibilité d'être choisi plus souvent comme modérateur. Un utilisateur avec un bon Karma a certains privilèges. Il peut, par exemple, publier ses articles à un endroit auquel beaucoup d'utilisateurs pourront accéder (front page), mais il peut perdre des points de Karma si les articles qu'il publie sont jugés de mauvaise qualité.
Voter ces articles, permet aux utilisateurs de filtrer la visibilité de ces interventions sur l'écran. Par exemple, l'utilisateur x peut décider de lire seulement les articles qui sont d'un certain niveau (= level of judgement).
Pour acquérir un karma élevé, un débutant devra poster un grand nombre d'articles jugés de bonne qualité. Avec un karma important, il est risqué de poster beaucoup d'articles car pour maintenir le même niveau de karma, l'utilisateur doit toujours envoyer de très bons articles. Par contre un bon niveau de karma permet d'avoir un pouvoir de modération important. Pour ce type d'utilisateur il est donc plus intéressant d'intervenir sur l'évolution du portail en jugeant des articles qu'en publiant les siens.
C'est ici un point critique de ce système de modération. En effet il renforce les 'puissants' et freine les débutants car il est plus difficile d'écrire plusieurs bons articles que de juger beaucoup d'articles. Dans ces weblogs dynamiques dont la croissance est rapide, les premiers utilisateurs ont eu la possibilité d'acquérir plus facilement des points pour leur Karma lorsque le weblog était encore de petite taille. On a trouvé deux propositions dans la littérature pour réduire le pouvoir des utilisateurs de Karma élevé.
I-2-1-2 Une particularité: le Karma avec méta-modération
(http://www.usemod.com/cgi-bin/mb.pl?MetaModeration ) Une personne choisie à le pouvoir de voter la modération faite pour une contribution et pas seulement une contribution. Ce vote a un grand pouvoir parce qu'un vote négatif de méta-modération réduit le Karma du modérateur d'un point. C'est un essai pour réduire l'abus de modération de certains modérateurs. Mais les problèmes d'abus ne sont pas éliminés de cette façon, ils sont seulement déplacés à un autre niveau ; car un méta-modérateur peut abuser de ses pouvoirs, etc… Un autre système permet d'éviter une stratégie de vote où le modérateur, possédant de nombreux points, pourrait ne poster que trés peu d'articles voire aucun, afin de ne perdre aucun point et continuer à bénéficier de son pouvoir de vote. Il s'agit du système "Mojo".
I-2-1-3 Mojo
(http://usemod.com/cgi-bin/mb.pl?KuroshingMojo ;http://www.geocrawler.com/lists/3/SourceForge/3222/25/4121891/ ) Ce système de gestion du Karma nommé "Mojo" est proposé par Rusty Foster (http://www.geocrawler.com/lists/3/SourceForge/3222/25/4121891/) et ne permet pas aux utilisateurs de haut Karma (beaucoup de points) de maintenir leur statut s'ils ne publient pas des contributions régulièrement. On acquiére un Mojo élevé selon le nombre de bonnes contributions dans les derniers 90 jours (par exemple). Foster propose un rating où la contribution la plus récente a 30 fois plus de valeur, l'avant dernière 29...et la trentième contribution vaut seulement "1". Cette valeur peut être positive (si l'intervention est de bonne qualité) ou négative. Le Mojo se calcule comme moyenne de ces trente derniers votes. Pour avoir un Mojo élevé il faut donc constamment publier car la publication la plus récente est celle qui a le plus de valeur. Dans ce système il est donc plus facile pour les nouveaux d' acquérir rapidement un bon Mojo s'ils postent des articles de bonne qualité.
On peut décrire l'algorithme du Mojo de façon suivante :
r=rating (peut être positif ou négatif)

W= weightin factor (facteur qui indique la valeur du rating (article récent à plus de valeur qu'un article ancien))

s = total weihgted rating sum

n = total weightet number of comments

start with:
w=30
n=0
s=0

for each rating r:
{
s=(r*w) +s
n=n + w
w = (w -1)
next r
}

Mojo = s / n

(http://usemod.com/cgi-bin/mb.pl?KuroshingMojo) Cet algorithme suppose qu'à partir de 30 articles déposés et publiés, on dépasse le statut de débutant.
I-2-1-4 Trust metrics

'métrique de confiance' (http://www.Advogato.org/trust-metric.html ;http://www.usemod.com/cgi-bin/mb.pl?TrustMetric ;http://computing.org/internet/ )
Il existe plusieurs systèmes de modération qui se basent sur le concept de " trust metrics ".Nous allons décrire les racines de ce système en analysant une adaptation appliquée dans Advogato, weblog souvent utilisé par des 'open source developers'. Les systèmes trust metrics sont adaptés souvent dans des plateformes de e-commerce.
Dans ce cadre il est important qu'il y ait une confiance mutuelle entre les producteurs d'un article et les consommateurs. Entre les deux nous trouvons plusieurs "marchands intermédiaires" qui doivent être inclus dans le système de confiance. Le degré de confiance doit pouvoir être classifié pour s'assurer que les transactions fonctionnent bien (il s'agit de transfert d'argent mais aussi d'information). On a crée des stratégies de contrôle de la confiance en rapport au coût du contrôle, des sommes transférées, de la fréquence des transactions et de la fiabilité du client (par exemple, si un client dans le passé a toujours payé pour les articles qu'il a reçu). Ces 4 paramètres sont à la base du calcul pour estimer la confiance d'un client et la confiance des marchands intermédiaires. Pour les weblogs il n'est pas important de pouvoir transférer de l'argent mais plutôt de donner du pouvoir de modération à des utilisateurs fiables et d'enlever du pouvoir aux non fiables.

A la tête d'"Advogato trust metrics" nous avons quatre personnes absolument fiables (parmi celles-ci le concepteur du blog). Ces membres ont jugé d'autres personnes très fiables et qui à leur tour délèguent leur confiance à d'autres utilisateurs. Une personne fiable a beaucoup de droits. Pour devenir fiable il est nécessaire d'acquérir la confiance des personnes fiables. En écrivant des articles et des contributions de bonne qualité les utilisateurs fiables jugent l'auteur de cet article. Le terme confiance n'est pas à prendre dans le sens commun d'usage mais il s'agit plutôt d'une confiance par rapport au savoir de cette personne, à la maîtrise du sujet traité (p.ex. technique). Les formes de jugement de confiance sont caractérisées par niveaux : apprentis, journeyer (ouvrier qualifié) , master...

Le problème de ce système de rating est que la confiance n'est pas transitive. Par exemple : l'utilisateur x fait confiance à l'utilisateur Y ; qui fait confiance à l'utilisateur z ; Le système donne le même type de confiance aussi entre les deux utilisateurs x et z même si la confiance entre les deux n'a pas été formulée explicitement.
Un autre problème de ce système est qu'une compétence élevée dans une matière ne sollicite pas automatiquement la même compétence dans d'autres matières. Dans un blog qui traite strictement d'un thème (p.ex. un logiciel spécialisé) ce deuxième point n'a pas de grande importance mais si une discussion s'éloigne du sujet technique cela peut devenir un problème. Cet aspect peut être un frein à la spontanéité des contributions postées car pour maintenir un bon niveau de confiance il semble toujours falloir maîtriser le sujet.
La stratégie pour acquérir du pouvoir dans un système de trust metrics est d'essayer de recevoir la confiance des utilisateurs avec un niveau important de confiance. Dans ce système de modération on ne vote pas l'article ou le commentaire mais la personne (p.ex. utilisateur x juge l'utilisateur y comme master, par contre l'utilisateur y juge l'utilisateur x comme journeyer). La confiance personnelle se calcule par la moyenne de tous les votes des utilisateurs. Le nombre de votes de confiance est indéfini, même pour de simples observateurs (=premier niveau de confiance) qui n'ont pas encore postés d'articles.Ce système est donc très ouvert.
Il est possible de connaître qui a estimé notre contribution et quel degré de confiance on a reçu par chacun de ces votants. Cette possibilité peut engendrer des conflits, des désirs de "vengeance" entre utilisateurs . On se rend bien compte que ce système nécessite de la part des utilisateurs une plus grande maturité si l'on veut qu'il fonctionne correctement. Son cadre est beaucoup moins rigide par rapport aux systèmes de modération de type " Karma " étudiés plus haut. C'est un système plus démocratique voir " anarchique ". Pour l'instant " Advogato " est un site moyennement visité et la compétition pour être publié en "front page" n'est pas trop ardue. Mais ce système semble limité dans le cas de plus grands weblogs comme Slashdot par exemple.

Problématique générale des systèmes de modération avec votes des utilisateurs mais contrôlés et gérés par un algorithme: (http://www.usemod.com/cgi-bin/mb.pl?WhyWikiWorks/)
  1. Les articles une fois postés ne peuvent plus être modifiés par l'auteur.
  2. Des articles similaires ne peuvent être rapprochés.
  3. Concurrence et méfiance netre les utilisateurs
  4. Le système peut être contourné et récupéré par certains utlisateurs pour acquérir du pouvoir.
Un autre système de modération n'as pas ce type de problèmes ; c'est la modération qui est adaptée dans Meatball wiki, un méta weblog :
I-2-1-5 Wiki way
(href="http://www.usemod.com/cgi-bin/mb.pl?MeatballWiki ) La stratégie de cette modération est de laisser aux utilisateurs le pouvoir de gérer l'importance des contributions et de ne plus être tributaire de la machine, d'un algorythme. Dans Meatball Wiki chaque utilisateur a le droit d'écrire des articles, de créer de nouvelles pages, de changer des articles existants, de " biffer " des articles. On pourrait décrire ce système comme une modération 'anarchique' exercée entièrement par les utilisateurs. Ce n'est pas la machine (=algorithme) mais les utilisateurs qui ont la responsabilité de sauvegarder la qualité des interventions. Ce système pourrait devenir une plate-forme idéale pour les attaques de "spam" ou de "hackers" qui ont pour habitude de désorganiser un site. Mais nous avons trouvé également des témoignages d'utilisateurs (dans leurs contributions)expliquant leur mécontentement lorsque certains utilisateurs transforment leur texte. Par conséquent, ils ont biffé tout leur travail et ne visitent plus les pages de wiki-wiki. Le système prévois quand même une possibilité de backup si un vandale ou un débutant détruit beaucoup d'articles. (http://tavi.sourceforge.net/WhyWikiWorks) On est tenté de dire que ce système ne peut fonctionner correctement mais jusqu'à présent le site évolue de façon positive. D'ailleurs nous avons trouvé sur ce weblog de nombreuses informations et idées très intéressantes et critique sur les différents systèmes de modération existant à l'heure actuelle.

I-2-2 Grille d'analyse

Karma

Kuro5hin Mojo

Trust Metrics

'Meatball Wiki'
Modération algorithme algorithme algorithme utilisateur
Possibilité de modération
des articles initiaux		 si pas de Karma négatif toujours dés le départ toujours
Objet voté Article Article utilisateur -
Vote des articles au choix oui articles proposés - -
Vote des contributions
de discussion 		oui oui non -
Les votes restent secret oui, sauf pour les
méta-modérateurs		 oui non, votes des personnes
peuvent être lus		 -
Maintien de la puissance
de l'utilisateur		 oui, sauf si publication
de mauvais articles
ou méta-modération		 oui si publication régulière de bons articles oui, si confiance des autres
utilisateurs		 -
Possibilité changer le texte
des articles initiaux postés 		non non non oui
Possibilité de regrouper
des articles similaires 		non non non oui
risque de piratage
du weblog 		petit petit petit GRAND

II-ANALYSE DES ARTICLES

Notre approche 'bottom up' part de l'hypothèse que les articles et les items de discussion peuvent être utilisés pour juger la qualité d'un weblog. Nous avons décidé de comparer deux articles avec un nombre de feedbacks comparables dans deux weblogs modérés de façon différente. Les deux weblogs choisis sont conçus pour des utilisateurs faisant partie de l' OSDN (open source development network): Slashdot et Kuro5hin. Se sont deux weblogs assez bien fréquentés mais dont le système de modération ne diffère pas totalement (voir au dessus, mojo et karma).
Au départ nous souhaitions comparer deux articles sur un même sujet et dans deux weblogs de grandeur comparable . Mais après une longue recherche nous nous sommes rendu compte qu'il était difficile de respecter ces paramètres. Par contre nous avons découvert qu'il n'était pas nécessaire d'analyser des articles sur un même sujet parce que l'intérêt est de comparer l'évolution de la discussion et non pas son contenu et les opinions qu'elle engendre. Finalement notre objectif sera de comparer deux articles avec le même nombre de feedbacks et ils ne devront pas dépasser la cinquantaine de réponses pour pouvoir être traités rapidement et correctement. Les deux articles choisis sont publiés sur la page principale, pour être certain qu'il s'agit d'articles importants du Weblog (car des articles jugés peu important par le système de modération sont rarement publiés sur la frontpage du weblog lorsque celui-ci atteint une certaine importance..).
Notre but est de comparer l'évolution temporelle et spatiale de la discussion liée à ces deux articles.
En parcourant plusieurs discussions de chaque weblog nous nous sommes rendu compte que l'évolution temporelle d'une discussion, c'est à dire la durée d'existence de la discussion, est strictement liée à la grandeur du weblog. Ces deux weblogs sont fréquemment visités, mais, Slashdot est plus important que Kuro5hin. Le nombre des participants est plus grand, les articles postés chaque jours sont plus nombreux et l'évolution temporelle ne sera pas la même. Pour éviter que ce facteur fausse la comparaison il sera nécessaire d'effectuer un rapport entre les deux weblogs. Le temps qui nous ait imparti ne nous permet pas d'effectuer un calcul très scientifique, mais on propose de faire un rapport entre les articles de chaque weblogs présentant le nombre le plus important de réponses et les articles choisis pour l'analyse. Ce rapport sera utiliser pour estimer l'évolution temporelle des discussions et sera présenté plus bas dans l'énoncé.
L'évolution spatiale concerne le cheminement d'une discussion, car elle peut se développer sur plusieurs niveaux. Le premier niveau concerne les réponses à l'article initial, puis, s'il y a des commentaires sur ces réponses, la discussion s'enrichie spatialement. Ensuite nous regarderons également la longueur des deux articles et celle des réponses. On analysera aussi les votes donnés aux réponses (toutes les contributions peuvent être votées dans Slashdot et Kur5hin). Ce résultat sera mis en rapport avec la longueur des réponses et nous établirons également un rapport entre la longueur des réponses et l'évolution spatiale de la discussion (on estime que la longueur d'un article a un impact sur la lisibilité et l'envie de répondre à cette contribution ; de même qu'une longue réponse suppose d'avoir du temps et beaucoup d'intérêt pour l'article). Nos conclusions seront basées sur cette petite recherche

II-1 Articles choisi pour l'analyse

Weblog 1: Slashdot (http://slashdot.org)
Titre: Converting audio from vinyle to MP3
Auteur: Cliff
Nombre d'articles publié en cette semaine dans ce weblog:4
Date: 10 décembre 2001; 01:15 pm
Longueur de l'article :152 Mots, 3 links
Nombre de réponses totales : 50
Dont: 25 réponses directes
13 réponses de premier degré (réponse à une réponse)
7 réponses de deuxième degré
3 réponses de troisième degré, et
2 réponses de quatrième degré
Slashdot est un Weblog très frèquenté ; nous avons choisi cet article parmi les 1000 derniers articles postés et l'on a trouvé certains articles avec 1172 réponses. On utilisera ce nombre de réponses comme donnée pour calculer le rapport de grandeur des deux sites.

weblog 2: Kuro5hin (http://www.kuro5hin.org
Titre : Indias parliament attacked ; nobody notices
Author: UncleMikey
Nombre d'articles publié en cette semaine dans ce weblog:1
Date: 18 décembre 2001 ; 04 :49 am
Longueur de l'article : 377
Nombre de réponses totales : 53
Dont:
22 réponses directes
19 réponses de deuxième degré
7 réponses de troisième degré
5 réponses de quatrième degrè
Kuro5hin est moins fréquenté que Slashdot. L'article avec le plus de réponses avait : 656 réponses

II-2 Résultats de l'analyse avec graphiques

II-2-1 Importance de l'article choisi selon le nombre de réponses

Pour évaluer la discussion dans deux weblogs on a choisi deux articles de taille assez petite (50 et 53 feedbacks). Mais, le nombre d'activitées diffère beaucoup dans les deux weblogs. Pour donner une idée de la différence de taille, nous avons cherché dans chaque site les articles avec le nombre le plus élevé de feedbacks et nous les avons mis en rapport avec l'article choisi.
importance de l'article

Dans Slashdot l'article avec le plus de feedbacks contenait 1172 réponses et dans K5, 656 réponses. Pour estimer l'importance de l'article et la 'grandeur' des weblogs nous avons divisé le nombre de feedbacks de l'article choisi par le maximum de feedbacks pour chaque site. Dans le graphique, l'indice " 1 " de l'axe correspondrait à un article avec 1172 réponses. Dans Slashdot on peut remarquer que l'article choisi pour l'étude a une 'importance de 0.04 et dans K5 une importance de 0,08 donc double.
Tout les résultats suivants doivent être soumis à ce rapport de 'grandeur'!
moyenne d'items de discussion

Pour pouvoir estimer un peu plus précisément ce rapport, nous avons compté le nombre de contributions pour les 100 derniers articles publiés en " front page " et nous avons calculé leur moyenne. Pour Slashdot le 100-ième article datait du 24 décembre, et celui de K5 datait du 16 novembre. Si on somme les résultats des deux premières graphiques on peut estimer l' activitée dans Slashdot 12 fois plus élevée que dans K5 (rapport du temps avec le nombre moyen de contrivutions pour chaque article pricipal).

II-2-2 Qualité des réponses

Pour établir ces graphiques, nous avons compté les mots de toutes les contributions liées aux deux articles et nous avons différencié les réponses à l'article initial et les réponses aux réponses etc.
moyenne de mots directes

Nous remarquons, dans ce premier graphique concernant les réponses à l'article initial, donc les réponses de premier niveau, une différence entre les deux sites. Le rapport sur la longueur moyenne des textes des contributions de premier niveau entre les deux sites est d'environ 1/5 (119 / 589). Le second graphique inclus les autres niveaux d'articles et nous pouvons voir que cette différence se réduit.
moyenne de mots totales
Nous pouvons avancer que dans Slashdot les réponses de deuxième, troisième, quatrième et cinquième niveau, sont un peu plus longues que dans K5. Mais globalement la longueur des réponses dans K5 est la plupart du temps deux à trois fois plus importante que dans Slashdot (92/251). Nous supposons qu'avec du temps cette différence pourrait être prouvée avec des tests statistiques.

II-2-3 Links dans les discussions

Le nombre de links ne diffère pas de façon notable. Pour les articles choisi nous avons 21 links pour K5 et 16 links pour Slashdot . Ces chiffres concernent l'ensemble des discussions liées à l'article.
nombre de links

II-2-4 Evolution temporelle des nombres de réponses

Evolution des réponses
Nous remarquons que dans Slaschdot nous avons, le jour même de la publication de l'article un nombre important de réponses. Dès le premier jour, 40 réponses sont publiées. Le nombre de contribution diminue très rapidement dès la deuxième journée car seulement 5 contributions seront publiées, et l'article est pratiquement " mort " après trois jours d'existence. La dernière contribution a été postée 5 jours après la parution de l'article. Dans K5 nous notons une augmentation des contributions à partir du deuxième jour puisque de 12 articles postés le premier jour nous passons à 25 dès le lendemain. La diminution du nombre de contributions publiées est un peu moins rapide que pour Slashdot . La dernière contribution à été publiée le sixième jour.
niveau des réponses
L'évolution spatiale de la discussion montre un résultat différent pour les deux sites .Dans ce graphique, le niveau zéro correspond à l'article initial, le niveau 1 aux réponses à l'article initial, le niveau 2 les réponses aux réponses … Nous pouvons remarquer que la discussion se développe mieux dans Slashdot, car nous avons cinq niveaux de réponses. Par contre l'article choisi dans K5 ne draine que trois niveaux de réponses.

II-2-5 Identification des auteurs

Nous avons trouvé dans K5 44 auteurs différents tous avec un login et dans Slashdot 35 auteurs dont 9 sans login (anonymous cowards).
identification des autheurs

II-2-6 Rating selon les réponses

Enfin nous avons regardé le rating des réponses aux articles. Chaque utilisateur avec login a le droit de voter les contributions.
rating totale
Dans K5 la moyenne de rating était plus élevée (3.73) que dans Slashdot (2.52). Nous avons également effectué un rapport entre les votes et les niveaux de discussion et nous avons remarqué que pour K5 le rating augmente avec le niveau de discussion. Par contre pour Slashdot, le taux de rating baisse parallèlement avec les niveaux de discussion.
rating selon les niveaus
C'est à dire que les utilisateurs de K5 estiment les réponses de deuxème et de troixième niveau ont autant de valeur sinon plus que les réponses initiales. Dans Slashdot, les réponses de premier niveau obtiennent les plus fort taux de rating, elles seraient donc plus considérées que les réponses de niveaux subalternes.

II-3 Analyse des résultats

Quelles sont les réponses que peuvent nous apporter ces graphiques, s'ils étaient appliqués à de nombreux articles issus des deux weblogs ?
Dans cette analyse, les deux premiers graphiques doivent estimer le nombre d'utilisateurs pour avoir une idée de la grandeur du weblog, car on suppose que l'importance du nombre d'articles nouveaux par jour jouera sur le comportement des utilisateurs.
Le nombre d'articles apparaissant sur l'écran, est limité par l'utilisateur. Mais Slashdot propose plus d'articles que K5 par jour et donc il y a des chances que l'utilisateur soit confronté à plus de nouveaux articles par jour. On suppose que ce fait aura un impact sur le comportement de l'utilisateur: On suppose que dans Slashdot, les contributions de 4ème et 5ème niveau seront plus rarement lu et donc les éditeurs feront moins attention à la qualité de leur article et le rating sera moins fort. Par contre par rapport à K5 la longueur des contributions des 2ème et 3ème niveau est finalement relativement longue (voir graphique sur la longueur des textes). Dans ce cas notre hypothèse de départ : la longueur d'une contribution est signe de qualité, ne se valide pas pour les utilisateurs de Slashdot.
Il semblerait que la modération des utilisateurs dans Slashdot soit à la recherche de textes courts. Mais un texte long peut être porteur de beaucoup d'information.
K5 propose des textes plus long que dans Slashdot. Cette information peut être un indicateur sur le type de weblog.
Ce travail nous a permis de mettre en place et de tester des " outils " d'analyse pour catégoriser les types de contributions et donc dans un cadre plus large le type et la qualité d'un weblog par rapport à un autre. Nous nous sommes rendu compte que les facteurs entrant en jeux sont très nombreux et très liés entre eux (grandeur du weblog, connaissance des utilisateurs, contenu de l'information…) Après l'ensemble des résultats de l'étude nous avons réussi à esquisser certains profils dans les deux weblogs choisis.
Concernant Slashdot, nous sommes en face d'un grand weblog proposant avant tout de l'information. Par contre K5, weblog plus petit, semble avoir pour objectif de favoriser la communication et la discussion approfondie de certains concepts.
Il est très difficile, même pour les concepteurs, d'estimer l'impact d'un système de modération, sauf si la modération est effectuée par des personnes qui lisent un à un les articles, en discutent, les comparent avant leur publication. Dans ce cas ce système est maîtrisable mais il n'est pas neutre. Toute la bibliographie est sous forme de liens, intégrés dans le texte.