Le Verdict : bien contestable devant un jury de professionnels

29 avril 2010

Collaboration spéciale de Anne Guérinel au sujet de l’émission Le Verdict.

_____________________________________________________________________

Vous êtes-il déjà arrivé de vous faire appeler, à l’heure du souper, pour vous faire poser des questions niaiseuses du genre : ‘préférez-vous le chocolat au sexe ?’ … C’est le genre de situation qui arrivait souvent aux Québécois naguère, quand les sondages téléphoniques avaient encore le vent en poupe et que les gens écoutaient religieusement La Guerre des Clans à TQS  ! Ce temps n’est pas si lointain, on parle des années 1990 et pourtant ça nous paraît maintenant si loin !…

Je me souviens à l’époque, c’étaient mes premières années en recherche marketing comme analyste dans une grande firme de sondage. Une de mes collègues planchait régulièrement pour trouver des questions stupides et futiles qui seraient posées aux 1000 répondants du sondage mensuel omnibus (sondage auprès de la population générale, dans lequel des entreprises peuvent acheter quelques questions – c’est souvent dans ces sondages qui sautent du coq à l’âne dans leur questionnaire que sont posées les questions de sondage politique), pour ensuite être déballées, selon tout un décorum, à l’émission en question. Oui, ça donnait beaucoup de visibilité à la firme de sondage en question et je me souviens qu’à chaque fois que je disais à une nouvelle personne que je travaillais là, on me demandait presque systématiquement si c’est moi qui travaillait sur les questions de la Guerre des Clans, comme si c’était la job la plus intéressante au monde (sic !). S’ils avaient su comment ma pauvre collègue n’en pouvait plus, après des mois, d’essayer de trouver des questions intéressantes !!!!

Depuis, les méthodes de collecte de données ont beaucoup évolué, et le sondage en ligne est tranquillement en train de prendre la place des sondages téléphoniques. Mais cela n’empêche pas les télédiffuseurs de tenter encore de divertir le monde à partir de sondages.

Oui, La Guerre des Clans est renée de ses cendres sur V. Mais j’avoue que, comme je ne suis vraiment pas intéressée par ce genre d’émission que je ne regarde jamais, car j’ai des choses bien plus intéressantes à faire (comme par exemple aider mes étudiants), je ne sais pas si la nouvelle mouture de cette émission est basée, comme l’ancienne, sur le sondage. Par contre, comme il m’arrive à l’occasion d’écouter Radio-Canada, chaîne de télévision sur laquelle on retrouve quand même des émissions et des séries de meilleur calibre que sur V, je me suis intéressée à la nouvelle émission de Véronique Cloutier Le Verdict, qui a un concept lui aussi en lien avec les sondages. Cette fois-ci, les questions portent sur les perceptions des Québécois de leurs vedettes et l’animatrice se fait un malin plaisir de confronter ces mêmes vedettes avec les résultats. L’idée est originale, surtout quand on sait qu’elle est venue à Véro et à Louis Morissette, après le scandale qui a éclaboussé Guy Cloutier et quelques échecs du couple en TV, couple qui avait alors commandé un sondage pour savoir ce que les Québécois pensaient d’eux !

Oui, concept original, mais ma foi ô combien contestable pour des professionnels en recherche marketing. Tout d’abord, la méthodogie employée pour trouver ces résultats est quasiment passée sous silence. Or tout chercheur en marketing sait bien qu’une des premières choses qu’il faut regarder quand on s’intéresse à des résultats d’études de marché, eh bien c’est la méthodologie justement ! Pourquoi ? Eh bien, pour s’assurer qu’on peut se fier aux résultats ! Si on conclut que les résultats resprésentent ce que pensent les Québécois, et bien il faut s’assurer que l’échantillon de répondants qui a été interrogé est représentatif de la population. Il faut également que le type de collecte de données soit approprié pour les objectifs de l’étude (par exemple, on ne fait pas un sondage de satisfaction pour un magasin en face à face dans le magasin parce qu’on sait délibérément que les répondants pourraient être gênés de dire ce qu’ils pensent vraiment). Et dans Le Verdict, la méthodologie de recherche est très peu visible (elle passe en quelques secondes sur le générique de fin – sincèrement, je n’ai eu le temps de voir que 600 répondants). Elle n’est pas minilament annoncée avant les résultats, ce qui va à l’encontre de tous les principes de présentation de résultats de recherche. Vous me direz que c’est CROP, une maison renomée en sondage qui est le partenaire de l’émission pour cette partie, et que donc on peut bien se fier à eux pour que la méthodologie soit correcte. J’en conviens, mais j’ai déjà vu des gros noms en recherche marketing faire des bourdes énormes en recherche (notamment CROP qui a dû s’excuser en février 2006 à la Une de la Presse pour avoir présenté des résultats erronés, mais ils ne sont pas les seuls, c’est également arrivé à Léger Marketing au début du débat des accomodements raisonnables).

En outre, les questions posées dans le sondage semblent parfois biaisées : lit-on les choix de réponse ou sont-elles complètement ouvertes ? Ce n’est pas clair ! Ça change tout sur l’interprétation des résultats. Par exemple, si le succès de Louis-José Houde (dans la 2e émission du 12 avril) n’a pas été attribué à sa beauté, est-ce par ce choix était noyé dans une liste d’autres réponses que les répondants ont préféré ? Et ils auraient peut-être choisi cet aspect en 2e choix (oui, oui, Louis-José, tu es beau, ne t’en fais pas comme tu avais l’air de t’en faire avec ces résultats !….) ! La façon dont les résultats étaient présentés (avoir mis 0% pour beauté) donnaient le sentiment que les choix de réponses avaient été lus, donc qu’on limitait les répondants à un certain nombre de choix. Les résultats auraient probablement été très différents si la question avait été demandé de façon spontanée (i.e. ‘A quoi attribuez-vous le succès de Louis-José Houde ?’ plutôt que ‘Parmi les réponses suivantes, à quoi attribuez-vous le succès de Louis-José Houde ?’)

Ce ne sont là que quelques éléments qu’un professionnel en recherche marketing pourrait reprocher à cette émission. C’est vrai que tout le monde n’est pas spécialiste en la matière et que l’émission n’est de toute façon pas destinée à des spécialistes en recherche marketing (ça ferait un auditoire pas mal trop maigrelet pour Radio Canada !). L’émission est divertissante et rondement bien menée par Véro qui sait mettre ses invités à l’aise et ne pose jamais de questions gênantes ou ‘politically’ incorrectes, ni à l’antenne, ni dans ses sondages. Mais cela me fait bien penser à l’article L’esprit troué de Patrick Lagacé vendredi dernier (le 23 avril) sur la nouvelle émission de Chantale Lacroix à venir sur TVA Rencontres paranormales. Dans cet article, Pat Lagacé met en lumière le fait que les scientifiques sceptiques ont été mis de côté dans l’émission parce que leur esprit peu ouvert rendait difficile la communication avec les esprits (!!!!).

Pour en finir avec le Verdict, même si cela ne paraît pas, j’ai bien aimé l’émission, mais je ne miserai pas cher sur la validité des résultats ! Mais bon, ce concept d’émission peut sûrement quand même aider la recherche marketing dans son ensemble parce qu’une bonne partie des gens qui se font solliciter pour de tels sondages doivent être tout content et tout heureux d’y participer : cela leur donne l’impression de ‘participer’, même si c’est par procuration, à une émission de télé ! Et si on se fie à l’engouement pour les téléréalités ces dernières années au Québec, c’est un facteur non négligeable qui pourrait à long terme faire en sorte que les gens aient de meilleures perceptions des sondages (et qu’ils ne pensent pas juste à sondage politique quand on parle de sondages) et du coup, améliorer les taux de réponses aux sondages, qui sont de plus en plus problématiques pour les compagnies de recherche marketing.

  1. mai 10, 2010

    J’ai lu votre billet avec grand intérêt, notamment les considérations méthodologiques que vous soulevez. J’ai moi-même écrit un billet sur cette émission (uniquement sur le volet métho) il y a quelque temps déjà. Je vous invite à en prendre connaissance et à partager vos impressions! La discussion qui a suivie (commentaires) est particulièrement intéressante…
    http://blogue.som.ca/le-verdict-est-ce-vraiment-votre-opinion/

Laissez une réponse

Note: You can use basic XHTML in your comments. Your email address will never be published.

Subscribe to this comment feed via RSS

Rss Feed Tweeter button Facebook button Linkedin button Delicious button