« Combien de Tremblay connaissez-vous? » Un sondage sur la COVID fait un faux pas

Ces questions font partie d’une série de huit qui ont été retirées cet automne d’un sondage de l’Institut national de santé publique du Québec (INSPQ) sur l’évolution des cas de COVID-19 au Québec, en raison notamment de plaintes reçues de la part d’un grand nombre de répondants qui affirment ne pas comprendre le but de ces questions.

« Pseudo-sondage du gouvernement québécois [...] aucun rapport avec la COVID-19 », écrit sur Twitter un internaute commentant le questionnaire qu’il a reçu en septembre par courriel. « C'est du délire », réagit un autre. « Totalement inapproprié », écrit un troisième.

Contacté par Radio-Canada, Denis Hamel, coordonnateur-statisticien à l'INSPQ, explique que ces questions ont été choisies dans le cadre d’une nouvelle méthode d'estimation statistique, appelée APR (ou Amplificateur par réseau), inspirée des travaux du Centre interuniversitaire de recherche en analyse des organisations (CIRANO).

Le sondage en question a d’abord été mené par CIRANO de la mi-janvier à la mi-mai 2022 pour remédier au manque de données sur les cas d'infection après l’introduction des tests rapides et la restriction de l’accès aux tests PCR dans les centres de dépistage.

Mais à la différence avec le sondage de l'INSPQ, celui de CIRANO ne comporte que trois questions tirées de la méthode APR et sont toutes en lien avec le milieu de la santé : « combien connaissez-vous de personnes qui sont médecins? » ou « qui résident dans une résidence pour personnes âgées ou en CHSLD? » ou « qui n'ont reçu aucune dose de vaccin contre la COVID-19? »

« Tellement inapproprié »

Selon M. Hamel, « l’une des difficultés avec cette méthode est de trouver des questions sur des sous-groupes de la population dont le nombre est connu au Québec, comme le nombre de personnes dont le nom de famille est Tremblay […] ou le nombre d’avocats ou de médecins dans la province ».

« C’est pour cela que ces questions-là ont été retenues, mais ça pose problème parce que les gens se demandent pourquoi on pose des questions de cette nature-là », explique-t-il.

« C’est pour cela qu’on s’est dit cet automne qu’on va les retirer. On a eu beaucoup de problèmes de compréhension de la part des participants. »

Chaque semaine, l’INSPQ envoie son questionnaire par courriel à 30 000 personnes sélectionnées de manière aléatoire à partir de la base de données ClicSanté, qui a servi entre autres à la prise de rendez-vous pour la vaccination.

Marion Bialek, 70 ans, a reçu le sondage fin juin. Ce fonctionnaire fédéral à la retraite, né à Montréal de parents russes et polonais, affirme à Radio-Canada avoir été particulièrement offusqué par la question sur les personnes dont la langue maternelle n’est ni le français ni l’anglais.

« Je ne vois pas l’intérêt de ces questions dans un sondage sur la COVID-19. Je comprends qu’ils veuillent faire un recensement, mais les questions sont déplacées. On dirait que ça mêle la politique. C’est tellement inapproprié. »

Face aux nombreuses plaintes reçues, deux employés de l'INSPQ ont été chargés de répondre aux courriels du public pour expliquer l'objectif des questions controversées.

« Les questions relatives aux sous-populations telles que Tremblay, les infirmières, les avocats sont utilisées pour estimer les réseaux de connaissances des personnes répondantes, afin d'améliorer l'estimation du nombre total de cas de COVID-19 au Québec », peut-on lire dans un de leur modèle de réponse. « Ces questions qui semblent bizarres à première vue sont essentielles à l'application de la méthode APR. »

« Ça se peut qu’une personne qui vient d’un autre pays ou d’une autre province ne connaisse pas [...] beaucoup de personnes dont le nom de famille est Tremblay, c’est tout à fait normal », concède M. Hamel.

Il affirme toutefois que les huit questions continueront d'être posées dans le sondage « une fois aux quatre semaines » pour évaluer le comportement de la méthode APR, mais « ce n'est pas une approche si novatrice [...] on ne pense pas la reproduire dans l’avenir ».

« Plusieurs limites »

De son côté, Pierre-Carl Michaud, chercheur principal au CIRANO et professeur titulaire au Département d’économie appliquée à HEC Montréal, reconnaît que la technique APR « a plusieurs limites », mais affirme qu'elle est « utile quand on a de petits échantillons et qu’on veut quand même avoir la mesure d’un phénomène qui est relativement rare ».

« L'échantillon de 30 000 utilisé par l'INSPQ est dix fois plus grand que le nôtre », précise-t-il.

« Les questions sur les Tremblay et les Gagnon pouvaient potentiellement être de très bonnes questions parce que l’on sait combien il y a de Tremblay et de Gagnon au Québec, mais le problème, c’est que c’est une question qui apparaît sans rapport avec l’enquête. »

C'est ce que Claire Durand, spécialiste des sondages d'opinion et professeure au Département de sociologie de l'Université de Montréal, appelle un « problème de validité apparente ».

« Du côté de CIRANO, les questions sont probablement passées comme une lettre à la poste, car elles sont pertinentes », explique à Radio-Canada Mme Durand. « Là où ça a accroché, c’est du côté de l’INSPQ [qui a] ajouté de nouvelles questions [...] et [qui est] tombé dans un problème au niveau de validité apparente ».

« Les gens se demandent pourquoi ils veulent savoir combien de Tremblay on connaît. Surtout que l’INSPQ n’explique pas de façon claire quel est le but de ces questions dans un sondage sur la COVID. Leur introduction n’est pas suffisante pour que les gens se sentent assez à l’aise pour y répondre. »

« C’est dur pour monsieur et madame Tout-le-Monde de comprendre le but des questions sans explications claires, c’est même dur pour moi », dit-elle encore. « Est-ce qu’on inclut aussi dans nos réponses le nombre de Tremblay-Gagnon ou de Gagnon-Roy qu'on connaît? Ça peut devenir compliqué... »