Projet:Aide et accueil/Évaluation du message d'accueil - Wikiwand
For faster navigation, this Iframe is preloading the Wikiwand page for Projet:Aide et accueil/Évaluation du message d'accueil.

Projet:Aide et accueil/Évaluation du message d'accueil

Une page de Wikipédia, l'encyclopédie libre.

But de ce projet : Tester l'efficacité du message d'accueil et identifier des pistes pour l'améliorer, avec l'aide de CivilServant, une organisation à but non-lucratif qui a l'habitude de faire ce genre de campagne de test et qui a déjà travaillé avec d'autres Wikipédias.

Cette page résume le projet. Rappel de la prise de décision pour ce test : [1]. Dernière mise à jour : 6 décembre 2019.

Très bref rappel du contexte

Depuis plusieurs années, suite à l'initiative du Projet Aide et accueil (A&A), tous les nouveaux comptes reçoivent automatiquement un message de bienvenue (((Bienvenue nouveau))) délivré par un bot, et validé par la signature d'une Wikipédienne ou d'un Wikipédien volontaire, afin de rendre le message plus humain. Le but de ce message est d'établir un premier contact afin de faciliter les premiers pas du nouveau. Cependant, l'utilité et l'efficacité de ce message n'ont jamais été testés.

Projet Test du message d'accueil

Protocole pour mesurer l'efficacité du message

Le projet A&A prévoit de comparer l'« intégration des nouveaux » qui reçoivent le message, à celle des nouveaux qui ne reçoivent pas de message. Cela signifie que durant l'expérimentation, un nouveau sur deux recevra le message d'accueil, les autres ne recevront rien (comme dans l'ancien temps). Cette approche, inspirée du Test A/B, permet de mesurer scientifiquement l'efficacité du bandeau. L'intégration des nouveaux sera mesurée de la façon suivante :

1. Par des mesures objectives
  • Rétention (combien de nouveaux sont toujours actifs après un jour, une semaine, un mois, trois mois) ;
  • Nombre de nouveaux passant le pas de faire leur première contribution ;
  • Nombre de contributions dans le main non révertées ;
  • Fréquence d'utilisation des outils d'aide suivants : forum des nouveaux, parrainage, brouillon, demandes d'aide directe auprès d'un autre contributeur ;
  • Nombre de contributions sur les espaces de discussions ;
  • Nombre de contributions révertées, d'articles supprimés et/ou de comptes bloqués.
2. En obtenant le retour des nouveaux

Ce retour sera obtenu via un questionnaire délivré automatiquement à des nouveaux non-vandales tirés au hasard. L'objectif est d'obtenir au moins une centaine de réponses. Il est facultatif et a pour but de mesurer comment les nouveaux perçoivent leur intégration. Ce questionnaire inclut cinq types de questions, largement inspirées d'autres études similaires menées par CivilCervant :

  • Vous sentez-vous capables de contribuer à Wikipédia en respectant les cinq principes fondateurs ?
  • Savez-vous quoi faire sur Wikipédia ?
  • Trouvez-vous la communauté de Wikipédia accueillante ?
  • Vous sentez-vous intégré à la communauté de Wikipédia ?
  • Savez-vous qui contacter pour obtenir de l'aide ?

Tester un autre message d'accueil

Nous allons profiter de cette expérience pour tester une version légèrement remaniée du message d'accueil ébauchée par Trizek ici : Utilisateur:Trizek/Brouillon/Test CivilServant. Ce message alternatif vise à mettre encore plus en avant les outils d'aide (forum des nouveaux / contacter un Wikipédien).

Durée de l'étude

La collecte des données (distribution des messages ou non) durera trois mois maximum. Au bout de 2 semaines, CivilCervant fera un premier contrôle pour s'assurer qu'il n'y a pas de problème majeur avec les nouveaux qui ne reçoivent pas le message d'accueil.

Ensuite, CivilCervant diffusera le questionnaire décrit plus haut, et distribuera rétrospectivement le message d'accueil aux nouveaux qui ne l'ont pas reçu.

L'analyse des données sera effectuée par CivilCervants après la collecte des données et durera de un à trois mois selon leur charge de travail. Tous les résultats seront communiqués à la communauté.

En fonction des résultats, nous pourrions être amenés à modifier le message d'accueil actuel (s'il s'avère inutile ou contreproductif).

Implémentation, analyse et confidentialité

CivilCervant est en charge de tout ce qui est logiciel (collecter les données) et analyse. Ils ont mis au point le protocole décrit plus haut, en collaboration étroite avec Binabik (d · c · b) assisté par Trizek (d · c · b), et avec les retours ponctuels du projet A&A. Les données collectées seront entièrement anonymes, et le code sera public et ouvert, et pourra donc être utilisé pour tester d'autres versions du message ultérieusement.

Il convient de noter que le protocole de l'expérimentation a été entièrement vérifié et validé par le Comité d'éthique de l'université Cornell.

Historique des discussions

{{bottomLinkPreText}} {{bottomLinkText}}
Projet:Aide et accueil/Évaluation du message d'accueil
Listen to this article