Collecte de données pour l'Enquête canadienne sur les capacités financières (ECCF) 2024

Octobre 2024

Rapport méthodologique

Information sur le contrat

Pour plus d'informations sur ce rapport, veuillez contacter l'Agence de la consommation en matière financière du Canada (ACFC) à l'adresse suivante : info@fcac-acfc.gc.ca

This report is also available in English.

Ce rapport présente les détails méthodologiques de l'Enquête canadienne sur les capacités financières de 2024 menée par Advanis Inc. pour le compte de l'Agence de la consommation en matière financière du Canada (ACFC). L'enquête a été menée auprès de 7 963 membres du grand public canadien adulte, entre le 14 février et le 22 mars 2024.

This report is also available in English under the title: Data Collection for the 2024 Canadian Financial Capability Survey.

Cette publication ne peut être reproduite qu'à des fins non commerciales. Une autorisation écrite préalable doit être obtenue de l'Agence de la consommation en matière financière du Canada (ACFC). Pour plus d'information sur ce rapport, veuillez contacter : info@fcac-acfc.gc.ca

• Numéro de catalogue : FC5-42/2-2024F-PDF
• Numéro international standardisé du livre (ISBN) : 978-0-660-73841-3

• Publications connexes:

  Numéro de catalogue : FC5-42/2-2024E-PDF (Rapport méthodologique, anglais)

  Numéro international standardisé du livre (ISBN) : 978-0-660-73840-6 (français)

© Sa Majesté le Roi du chef du Canada, représenté par l’Agence de la consommation en matière financière du Canada, 2024

1. Sommaire exécutif

1.1 Contexte

L'ECCF a été menée pour la première fois en 2009, puis en 2014 et en 2019. Statistique Canada a conçu l'enquête pour recueillir des informations approfondies et complètes sur la capacité financière des Canadiens. L'ECCF initiale, lancée en 2009, a défini la capacité financière comme étant « les compétences et la confiance [qui permettent aux Canadiens] d’être au fait des occasions sur le plan financier, de savoir où obtenir de l’aide, de faire des choix éclairés et de prendre des mesures efficaces pour améliorer leur bien-être financier ». En d'autres termes, l'ECCF nous éclaire sur la façon dont les Canadiens comprennent leur situation financière et les services financiers à leur disposition, de même que sur leurs projets d'avenir.

Statistique Canada a initialement conçu l'ECCF sous la forme d'un sondage téléphonique qui prenait en moyenne plus de 35 minutes à remplir. En 2019, l'ACFC a divisé l'ECCF en deux parties : un sondage principal, mené auprès de tous les répondants et d'une durée d'environ 25 minutes, et une section supplémentaire ^[1] , menée quelques semaines plus tard auprès d'environ 40 % des répondants et d'une durée de 10 minutes. Cette composante supplémentaire a été introduite principalement pour couvrir de nouveaux contenus sur les facteurs psychologiques, la fraude, la gestion des dettes et le bien-être financier. Une approche hybride (en ligne et par téléphone) a été adoptée en 2019 pour adapter la méthodologie de l'enquête aux progrès technologiques (i.e. les panels probabilistes). Cette nouvelle approche a permis aux répondants de répondre à l'enquête soit en ligne, soit par téléphone. De plus, l'ACFC a élargi la base de sondage de l'ECCF 2019 en recourant à la composition aléatoire (RDD).

L'ECCF est un outil essentiel pour identifier les tendances et les besoins émergents afin de faciliter l'élaboration de recommandations et d'orientations fondées sur des données probantes et de guider les discussions stratégiques. La dernière ECCF remonte à 2019. Depuis, le paysage économique a changé, tant pour les consommateurs de produits financiers que pour l'ACFC. Par exemple, le taux d'inflation au Canada a atteint son niveau le plus élevé en 40 ans, soit 8,1 %, en juin 2022. Par conséquent, la Banque du Canada, après avoir réduit son taux de prêt de référence au début de la pandémie, a entamé une campagne agressive de hausses de taux au début de 2022. Depuis, les Canadiens sont confrontés à des conditions économiques difficiles, notamment des prix plus élevés pour les produits de première nécessité comme la nourriture, le transport et le logement, ainsi qu’à des coûts hypothécaires plus élevés pour les propriétaires canadiens souscrivant à un prêt hypothécaire. Bien que l'inflation ait baissé par rapport à son sommet, elle a de nouveau augmenté en avril 2023, principalement en raison du coût de l'essence et des loyers ^[2] , ce qui a entraîné des difficultés économiques pour les Canadiens vulnérables.

De plus, tel qu'indiqué dans le Plan d'activités pour 2022-2023 à 2024-2025 de l’Agence de la consommation en matière financière du Canada , ^[3] l'ACFC prévoit augmenter la fréquence de la collecte de données fondamentales en passant du cycle quinquennal historique de l'Enquête canadienne sur les capacités financières à un calendrier plus fréquent. L'ACFC a réalisé des progrès considérables dans sa compréhension de la littératie financière. Par exemple, le document Faisons des changements qui comptent : Stratégie nationale pour la littératie financière 2021-2026 met en évidence cinq composantes clés pour aider les consommateurs à acquérir les compétences, les capacités et les comportements qui mènent à la résilience financière et qui touchent tous les Canadiens, indépendamment de leur revenu, de leur contexte personnel ou de leur situation, à savoir :

1. (1) les compétences nécessaires pour se repérer dans le marché financier ;
2. (2) la connaissance et la confiance en soi « juste-à-temps » ;
3. (3) la gestion des dépenses ;
4. (4) la gestion des dettes ;
5. (5) la gestion de l'épargne.

L'objectif de l'ECCF 2024 est de continuer à recueillir des informations approfondies et complètes sur la capacité financière et le bien-être financier des Canadiens. Cette intention découle de la reconnaissance du rôle crucial que jouent ces informations dans l'élaboration de politiques, l'orientation d’initiatives en matière d'éducation financière et la satisfaction des besoins en constante évolution des consommateurs canadiens.

1.2 Objectifs

L'objectif principal de cette recherche est de recueillir des informations approfondies et complètes sur la capacité financière des Canadiens. La capacité financière a été définie dans la première ECCF, en 2009, comme « les compétences et la confiance [qui permettent aux Canadiens] d’être au fait des occasions sur le plan financier, de savoir où obtenir de l’aide, de faire des choix éclairés et de prendre des mesures efficaces pour améliorer leur bien-être financier ». L'objectif de l'ECCF est de nous éclairer sur la façon dont les Canadiens comprennent leur situation financière et les services financiers à leur disposition, de même que sur leurs projets d'avenir.

L'ECCF 2024 vise à atteindre les objectifs décrits ci-dessous.

i) Fournir une estimation fiable du niveau de littératie financière des Canadiens, qui permette des comparaisons dans le temps tout en renforçant les liens avec les priorités économiques de l'ACFC et les objectifs de la SNLF.

L'un des principaux objectifs de l'ECCF 2024 est de continuer à recueillir des informations qui fournissent une mesure fiable de la littératie financière au Canada - particulièrement en matière de connaissances financières, de confiance financière et de comportements financiers. Les questions sont comparables à celles des vagues précédentes de l'ECCF, notamment en ce qui concerne les principales mesures des résultats. L'ECCF 2024 comprend des mesures de littératie financière étroitement liées aux priorités opérationnelles de l'ACFC et aux objectifs de la SNFL, notamment des mesures liées à la navigation sur le marché financier, aux connaissances et à la confiance en matière financière, à la gestion des dépenses, à la gestion des dettes et de l'épargne, à l'accès au numérique et à la littératie numérique.

ii) Améliorer la qualité et l'efficacité des données recueillies afin de mieux comprendre les enjeux liés à la littératie financière.

L'ECCF 2024 vise à optimiser la fluidité du questionnaire et à améliorer la formulation des questions tout en garantissant la comparabilité dans le temps. Les remaniements comprennent l'élimination des questions à faible taux de réponse, la consolidation ou la simplification des catégories de réponses et la reformulation de certaines questions pour faciliter les réponses. La méthodologie de l'enquête priorise la rentabilité, la qualité des données, les taux de réponse et la couverture de la population cible.

iii) Encourager la diffusion d'informations sur la littératie financière afin de renforcer les connaissances des consommateurs de produits financiers.

Enfin, un des objectifs clés est d'optimiser l'ECCF 2024 en tant qu'outil de diffusion d'informations pertinentes et utiles sur les consommateurs de produits financiers. Cela implique, notamment, de recueillir des données utiles et de les communiquer de façon à fournir des informations pertinentes et utiles aux consommateurs de produits financiers sur des questions essentielles liées aux priorités actuelles de la SNLF et à d'autres enjeux émergents. L'ACFC prévoit de rendre les données de l'ECCF 2024 facilement disponibles et accessibles à d'autres chercheurs. ^[4]

1.3 Méthodologie

La collecte de données, réalisée par Advanis, a commencé le 14 février 2024 et s'est terminée le 22 mars 2024. Advanis a constitué un échantillon probabiliste de 7 963 Canadiens âgés de 18 ans ou plus en utilisant son échantillon populationnel aléatoire (EPA) et en recourant à la composition aléatoire (RDD) des numéros de téléphone à l'aide d'un logiciel.

Les données ont été recueillies à l'aide d'une approche multimodale, en collectant les réponses au sondage en ligne et par téléphone, afin d'obtenir un échantillon représentatif à l'échelle nationale. Dans un premier temps, les participants ont été aléatoirement puisés de notre échantillon EPA, recrutés par téléphone et invités à participer à un sondage en ligne. Puis, ceux qui ont accepté de participer ont reçu un courriel ou un message texte les invitant à remplir le questionnaire. Pour les populations difficiles à atteindre, le sondage a également été proposé par téléphone, à l'aide d'une méthode d'interview téléphonique assistée par ordinateur (ITAO).

Les résultats du sondage ont été pondérés en fonction de la région, du genre+, du revenu, du niveau d'éducation et de la tranche d'âge. Les résultats pour 2024 sont basés sur les réponses de 7 963 personnes. Le recrutement a permis d'atteindre les quotas pour les sous-populations clés afin de garantir la puissance statistique et la représentativité.

Les résultats pondérés peuvent être extrapolés à l'ensemble de la population. Les tableaux croisés doivent s'aligner sur les catégories pondérées pour être extrapolés à l'ensemble de la population. À défaut, des distorsions peuvent se produire dans les données.

1.4 Valeur du contrat

La valeur du contrat pour cette enquête était de 259 763,33 $ ( TVH incluse).

1.5 Exigence de neutralité politique

J’atteste, par la présente, en tant qu’administrateur principal d’Advanis, que les produits livrables sont entièrement conformes aux exigences de neutralité politique du gouvernement du Canada énoncées dans la Politique sur les communications et l'image de marque et la Procédure de planification et d'attribution de marchés de services de recherche sur l'opinion publique.

Plus précisément, les produits livrables ne contiennent aucune information sur les intentions de vote, les préférences quant aux partis politiques, les positions des partis ou l'évaluation de la performance d'un parti politique ou de ses dirigeants.

Signé:

Nicolas Toutant

Vice-président, Recherche et évaluation

ntoutant@advanis.net

2. Méthodologie

L'ACFC a confié à Advanis la réalisation de l'Enquête canadienne sur les capacités financières 2024, menée auprès d'adultes canadiens du grand public entre le 14 février et le 22 mars 2024.

Pour ce projet, Advanis a eu recours à son échantillon populationnel aléatoire (EPA) exclusif. Il s'agit d'une approche en deux étapes dans laquelle des personnes faisant partie de notre échantillon EPA sont recrutées par téléphone et invitées à participer à un sondage en ligne.

Dans un premier temps, nous avons utilisé une méthodologie RVI-à-web et ITAO-à-web pour contacter les répondants potentiels. Nous avons utilisé notre propre système de réponse vocale interactive (RVI) et notre centre d'appel ITAO interne pour procéder à une composition aléatoire (RDD) afin de recruter des répondants appelés à faire partie de notre échantillon EPA. Dans un deuxième temps, les personnes faisant désormais partie de notre échantillon EPA ont été recrutées par téléphone pour participer à un sondage en ligne sur le web.

Les répondants de l'échantillon EPA ont été invités à participer à un sondage en ligne par courriel ou par SMS (message texte), en fonction de leur préférence au moment du recrutement. Après l'invitation initiale, si les répondants n'avaient pas encore répondu au sondage, ils recevaient jusqu'à deux (2) messages de rappel. Les messages de rappel ont été envoyés 3 et 6 jours après le recrutement initial.

Certains répondants ont également été contactés par le biais d'une méthode de composition aléatoire (RDD) et ont répondu au sondage par téléphone. Cette approche visait à rendre l'enquête accessible à des populations plus difficiles à atteindre, comme les personnes à faible revenu ou à faible niveau d'éducation, qui sont sous-représentées dans les échantillons en ligne en raison des capacités de lecture requises.

Toutefois, si elles exprimaient le souhait de répondre au sondage en ligne, elles recevaient une invitation par courriel ou par message texte.

Ces méthodes sont basées sur les probabilités, c'est-à-dire que chaque recrue a une chance égale et connue d'être invitée.

Il peut y avoir un biais inconnu puisque tous n'acceptent pas de participer à ces études. Le biais potentiel inhérent à notre échantillon EPA est similaire à celui d'autres approches d'échantillonnage aléatoire.

2.1 Conception du sondage

Les questions de cette enquête ont été conçues par l'ACFC et fournies à Advanis. Advanis s'est chargé de la traduction du questionnaire en français. Le questionnaire contenait des questions sur la capacité financière des participants et abordait différents thèmes tels que la gestion financière quotidienne (par exemple, l'établissement d'un budget), la planification financière à long terme (par exemple, la planification de la retraite), les actifs, les dettes, l'éducation financière, etc.

Les normes du gouvernement du Canada en matière de tests préliminaires ont été respectées. Le prétest s'est déroulé en anglais et en français, du 14 au 16 février 2024. Advanis a sondé 69 participants de partout au Canada (41 anglophones et 28 francophones). Les entrevues du prétest n'ont pas été conservées puisque de nombreux ajustements ont dû être apportés au questionnaire.

Durant la phase de collecte de données, le sondage téléphonique a duré en moyenne 30,6 minutes (la durée prévue était de 24 minutes) et le sondage en ligne a duré en moyenne 15,5 minutes (la durée prévue était de 16 minutes).

2.2 Échantillonnage et administration

La population cible de ce projet était le public canadien âgé de 18 ans et plus vivant dans les dix provinces et les trois territoires. Nous avons utilisé des quotas d'enquête pour les principaux groupes sociodémographiques afin de garantir que l'échantillon reflète le plus fidèlement possible la population canadienne dans son ensemble. L'objectif était d'obtenir 8 000 questionnaires remplis par des adultes canadiens. Les sous-populations clés qui ont nécessité des quotas sont les suivantes :

• Canadiens ayant un diplôme d'études secondaires ou moins ( ME résultant des données : 2%)
• Canadiens à faible revenu (60 000 $ ou moins) ( ME résultant des données : 2 %)
• Canadiens âgés de moins de 35 ans ( ME résultant des données : 2%)
• Canadiens autochtones (ME résultant des données : 5%)
• Immigrants récents (ME non disponible en raison de la disponibilité limitée des données - recensement de 2021)

Des Canadiens âgés de 18 ans ou plus ont participé à l'enquête. Les résultats de l'échantillon final peuvent être extrapolés à l'ensemble des Canadiens âgés de 18 ans et plus, avec une marge de 1,2 %.

Les répondants devaient être âgés d’au moins 18 ans et vivre au Canada pour être admissibles à l'enquête. Tel qu'mindiqué précédemment, une partie des participants ont été puisés dans notre échantillon EPA, tandis que les autres ont été contactés par le biais d'un système de composition aléatoire (RDD). Les participants de l'échantillon EPA ont reçu une invitation par courriel ou par message texte. Les participants RDD ont répondu au sondage par téléphone, mais s'ils exprimaient le souhait de répondre au sondage en ligne, ils recevaient alors une invitation par courriel ou par message texte.

Afin de cibler les Canadiens uniquement titulaires d'un diplôme d'études secondaires, qui sont souvent plus difficiles à joindre en ligne (niveau d'alphabétisation plus faible), les participants potentiels ont été joints par téléphone (RDD) et on leur a demandé s'ils souhaitaient répondre au sondage avec un intervieweur. Ceux qui ont accepté ont répondu aux questions à l'aide de la méthodologie ITAO (interview téléphonique assistée par ordinateur). Au total, 7 963 questionnaires ont été remplis (6 347 en anglais et 1 616 en français) pour atteindre les quotas (tableau 2). Tous les quotas ont été atteints.

Le taux de réponse global pour l'enquête était de 14,1 %.

2.3 Méthodologie web

Les invitations ont été envoyées par SMS/courriel et regroupées par province, afin de s'assurer qu'elles étaient envoyées à des heures appropriées dans chaque fuseau horaire. Elles ont été envoyées à un échantillon cible qui correspondait aux caractéristiques du public cible, sur la base d'informations déjà compilées dans notre échantillon EPA. Au total, 24 166 personnes ont été recrutées pour le sondage en ligne et 5 991 y ont participé, soit un taux de réponse de 24,8 %.

Suite à l'envoi de l'invitation initiale, un message de rappel a été envoyé trois jours plus tard aux candidats qui n'avaient pas répondu à un sondage. La majorité des répondants ont reçu deux messages de rappel. Au total, 56 280 messages texte et courriels ont été envoyés lors de la collecte de données pour cette étude.

Chaque questionnaire comportait un numéro unique intégré dans l'hyperlien afin d'éliminer la possibilité de réponses en double de la part d'un même participant.

2.4 Méthodologie ITAO

Les participants ayant répondu au sondage par téléphone ont été joints entre le 15 février et le 22 mars 2024. Les entrevues ont été proposées en français ou en anglais, selon la préférence du répondant. Au total, 48 256 répondants potentiels ont été appelés et 2 840 ont accepté de participer au sondage. Le taux de réponse pour la partie ITAO de l'étude était de 7,5 %. Parmi les personnes qui ont accepté de participer, 898 n'étaient pas admissibles. Au total, 1 972 personnes ont répondu au sondage par téléphone. Des statistiques plus détaillées sur la collecte de données figurent à l'annexe B.

2.5 Pondération et nettoyage des données

Une approche de pondération directe a été utilisée au moyen de cinq variables : la région, le genre+, le revenu, le niveau d'éducation et l'âge. Les tailles de population sont basées sur les résultats publiés du dernier recensement de Statistique Canada en 2021. Ce poids et l'identifiant du système de pondération correspondant sont fournis dans les données finales nettoyées. Pour les données manquantes et les individus de genre différent, les valeurs ont été imputées de manière aléatoire à des fins de pondération. Cela s'applique aux variables de genre et d'éducation utilisées pour calculer les poids (il ne s'agit pas des variables d'origine de la collecte de données; de nouvelles variables ont été créées pour le système de pondération afin d'éviter de modifier les variables de la collecte de données et d'assurer la transparence). Pour les données manquantes de la variable revenu, les données ont été calculées sur la base des réponses disponibles du sondage lorsque possible et de manière aléatoire lorsqu'aucune catégorie probable n'était définie. Les données manquantes ont été redistribuées de manière à conserver les mêmes proportions que l'échantillon. Les valeurs de pondération détaillées se trouvent à l'annexe A.

La base de données a été nettoyée pour éliminer toute erreur à la fin de la phase de collecte, et tous les identifiants uniques figurant dans les profils des clients ont été supprimés de l'ensemble de données final fourni à l'ACFC. Les réponses textuelles ont été revues et aucun identifiant unique n'y a été trouvé, c'est-à-dire qu'aucun répondant n'avait entré d'informations permettant de l'identifier personnellement. Toutes les réponses au sondage sont donc anonymes. Si une réponse textuelle correspondait à un niveau de question existant, elle était recodée pour correspondre au niveau existant. De nouveaux niveaux ont été créés lorsque nécessaire. Lorsque des questions ouvertes ont été recodées dans des catégories existantes et qu'un filtre a été affecté, le répondant a été supprimé de l'ensemble de données. Cette mesure a été prise afin d'éviter toute incohérence dans le calcul de la base.

2.6 Contrôle de la qualité

Advanis a recours à un certain nombre de mesures de contrôle de la qualité afin de garantir la réussite du projet tout au long de son cycle. Ces mesures, utilisées dans le cadre de ce projet, sont détaillées ci-dessous.

Programmation des sondages :

Advanis utilise la technologie pour maximiser le contrôle de la qualité dans la programmation des sondages. Ayant développé un instrument d'enquête breveté, les professionnels d'Advanis sont en mesure de concevoir et de programmer un sondage dans un environnement basé sur un navigateur, éliminant ainsi le besoin d'impliquer un programmeur moins familier avec le sujet de l'enquête. L'enquête a été minutieusement testée, au préalable, par les membres de l'équipe de projet d'Advanis, ainsi que par des personnes extérieures à l'équipe (les personnes extérieures à l'équipe apportent un "regard nouveau" qui permet de détecter les erreurs potentielles).

Méthodologie ITAO :

Le script de recrutement ITAO a été programmé sur la plateforme ITAO brevetée d'Advanis, sans difficultés imprévues. Advanis a pu tirer parti de son expérience pour la programmation du sondage et le processus de rappel afin d'atteindre des normes de qualité élevées. Advanis a mis en œuvre les mesures suivantes pour garantir une collecte de données de la plus haute qualité:

• Formation des intervieweurs afin qu'ils comprennent bien les objectifs de l'étude et qu'ils soient en mesure de prononcer et de comprendre le libellé du questionnaire.
• Conservation, par le système ITAO automatisé, des enregistrements détaillés des appels, qui sont étudiés à des fins d'analyse de la productivité (c'est-à-dire qu'ils ne sont pas sujets à l'erreur humaine).
• Test préalable des scripts de recrutement afin d'assurer la meilleure fluidité possible.
• La durée moyenne d'emploi de nos intervieweurs est très élevée par rapport aux normes du secteur, ce qui permet de disposer d'une équipe d'intervieweurs plus expérimentés et mieux informés sur le public cible.
• L'équipe d'assurance qualité d'Advanis écoute les enregistrements réels de 10 % des sondages complétés et compare les réponses à celles entrées par l'intervieweur afin de s'assurer que les réponses ont été correctement enregistrées. Cela s'ajoute au contrôle en direct effectué par les superviseurs sur le terrain.
• Les superviseurs d'équipe procèdent à des évaluations régulières et plus formelles avec chaque intervieweur, en plus du monitoring, chaque soir, de chacun des intervieweurs de leur équipe.

Pour garantir la qualité des entrevues, nos intervieweurs sont formés à diverses techniques d'entrevue. Outre le maintien d'une attitude professionnelle, ils doivent être convaincants, lire mot à mot, prendre des notes, confirmer systématiquement les informations données et savoir écouter les répondants. Advanis a également créé, pour les intervieweurs, des outils dans le script des questionnaires leur permettant d'utiliser l'alphabet phonétique pour confirmer l'orthographe des adresses courriel (par exemple, a pour alpha, b pour bravo, etc.) afin de réduire le nombre d'adresses courriel qui rebondissent. Toutefois, si des adresses courriel rebondissent, Advanis a également développé des outils supplémentaires qui permettent à un membre de l’équipe de réécouter l'enregistrement et de corriger facilement l'adresse.

Méthodologie web :

Tous les sondages en ligne d'Advanis sont hébergés à l'interne par Advanis et utilisent un ensemble rigoureux et strict de mécanismes de contrôle de la collecte de données afin d'assurer la plus haute qualité des données recueillies, y compris les mesures suivantes:

• Les répondants disposent d'un code d'accès unique qui garantit qu'ils sont les seuls à pouvoir répondre au sondage en ligne.
• Des contrôles logiques internes approfondis sont programmés directement dans le questionnaire afin de garantir des réponses logiques.
• Les sondages en ligne sont réalisés à l'aide du logiciel breveté d'Advanis, qui est conçu pour gérer des formats de sondage complexes.
• Advanis effectue chaque fois un test interne approfondi et un prétest externe afin de s'assurer que l'instrument de sondage fonctionne comme prévu.
• Le questionnaire est testé sur plusieurs navigateurs et un lien est fourni à l'ASPC pour qu'elle puisse procéder à des tests internes.

Traitement des données et rapports :

Advanis développe des règles pour vérifier la validité des données recueillies. Ces règles comprennent des éléments tels que :

• Temps nécessaire pour répondre au sondage
• Repérage des verbatims qui sont incompréhensibles ou n'ont aucun sens.
• Contrôles rigoureux qui sont effectués pour s'assurer que les données soient exactes et exemptes d'erreurs, conformément à la logique du questionnaire (motifs de sauts).

Tous les nettoyages de données effectués dans le cadre d'un projet sont indiqués et répertoriés dans un document de spécifications interne afin qu'ils puissent faire l'objet d'un contrôle de qualité et être approuvés. Le fichier de données brutes original n'est jamais écrasé, de sorte que si une erreur est découverte dans notre code, nous pouvons rapidement et facilement réexécuter le processus pour produire un nouveau fichier de données. Les personnes qui développent le code y intègrent des contrôles internes (par exemple, des tableaux à double entrée) pour s'assurer que l'ajustement a eu l'effet désiré. En outre, tous les enregistrements sont revus par un autre membre de l'équipe ou un spécialiste technique pour s'assurer de leur exactitude.

3. Biais de non-réponse et limitations

Il y a biais de non-réponse lorsque les non-répondants diffèrent de manière significative des répondants et que cette différence a un impact sur les informations recueillies. Il est difficile d'évaluer la présence d'un biais de non-réponse, car les informations sur les raisons pour lesquelles les non-répondants n'ont pas participé ne sont généralement pas disponibles. Cela dit, une façon d'évaluer l'impact potentiel du biais de non-réponse est de déterminer si l'échantillon est représentatif en comparant les caractéristiques des répondants et en vérifiant si elles reflètent les caractéristiques connues de la population. Dans la mesure du possible, nous pouvons vérifier la répartition des répondants entre les différentes catégories démographiques (par exemple, l'âge et le sexe) et géographiques et comparer ces répartitions aux caractéristiques connues de la population. Si la variation est relativement faible et que nous n'avons aucune raison de penser que d'autres facteurs influencent la volonté des répondants de participer, nous pouvons conclure que la probabilité d'un biais de non-réponse ayant un impact sur les informations recueillies dans le cadre de l'étude est minime. C'est le cas de l'étude actuelle. Les personnes plus instruites sont plus susceptibles de participer aux sondages, ce qui entraîne une sous-représentation des groupes moins instruits, souvent à faible revenu.

Plusieurs stratégies ont été employées pour augmenter les taux de réponse et réduire les effets du biais de non-réponse. Entre autres:

• Recrutement des répondants par téléphone (cellulaire).
• Affichage d'un numéro de téléphone local (plutôt qu'un numéro sans frais), ce qui plus susceptible d'inciter les gens à décrocher (réduisant ainsi le filtrage des appels).
• Fixer systématiquement la date et l'heure de l'appel suivant en fonction du résultat de l'appel en cours, ce qui garantit que chaque répondant est appelé méthodiquement, tous les jours de la semaine et à toutes les heures de la journée. Cette méthode permet de maximiser les chances de joindre les répondants, en particulier ceux qui sont difficiles à joindre.
• L'envoi d'un message texte aux personnes recrutées, ce qui assure une transition directe entre l'entretien téléphonique et le sondage en ligne, car la réception du message texte peut être confirmée en temps réel, ce qui incite les répondants à remplir le sondage dès la fin de l'appel.
• Demander l'adresse courriel et le numéro de téléphone lors du recrutement, de sorte que si l'adresse courriel rebondit, nous avons la possibilité de contacter la personne par SMS si elle a donné son d'accord.
• Offrir le questionnaire dans les deux langues officielles afin qu'il soit plus facile, pour les répondants, de le remplir.

4. Recommandations pour l’analyse et la diffusion

Lors de toute analyse, il est important d'aligner le plan d'analyse sur le système de pondération. Les poids ajustent les données pour mieux refléter la population sur la base de paramètres qui ont été choisis pour maximiser le niveau de détail sans créer de distorsions dues à des poids extrêmes (un poids extrême se produit lorsqu'un groupe de population est représenté par un sous-ensemble de répondants proportionnellement plus petit que d'autres groupes de population, introduisant ainsi un risque important de biais en raison de leur profil spécifique).

Pour cette enquête, les informations sociodémographiques de base qui devraient être utilisées dans l'analyse des résultats sont les suivantes :

• Régions (Atlantique, Québec, Ontario, Prairies ou Colombie-Britannique et territoires)
• Genre+ (hommes+ ou femmes+)
• Revenu (moins de 60 000 $ ou 60 000 $ ou plus)
• Niveau d'éducation (secondaire ou moins, ou plus que secondaire)
• Groupe d'âge (18 à 34 ans, 35 à 54 ans ou 55 ans ou plus)

L'utilisation de groupes d'âge autres que ceux décrits ci-dessus pourrait potentiellement produire des données faussées. Comme ces résultats pourraient être inexacts en raison de la manière dont les poids ont été calculés, nous conseillons vivement de ne pas communiquer de résultats qui ne correspondent pas aux catégories spécifiées.

Tout résultat dont la taille de la base non pondérée (dénominateur) est inférieure à 30 ne devrait pas être rapporté, pour des raisons de robustesse statistique. ^[5]-[6] Cela est dû à l'augmentation du coefficient de variation et, par conséquent, à l'élargissement des intervalles de confiance autour des résultats avec des bases plus petites. Par ailleurs, pour des raisons de confidentialité, les résultats dont la base est inférieure à 5 (i.e. 1 à 4) devraient être supprimés.

Pour toutes les estimations basées sur un dénominateur de 30 ou moins, les lignes directrices suivantes pour la suppression des données relatives au coefficient de variation (CV) doivent être appliquées lors de la publication des estimations : 

L'examen de l'intervalle de confiance de l'estimation fournit une indication supplémentaire de la qualité de l'estimation en termes de variabilité. Des intervalles de confiance longs indiquent une précision moindre de l'estimation, tandis que des intervalles de confiance plus petits indiquent une plus grande précision. Lors de l'évaluation de la fiabilité des proportions d'un échantillon, les intervalles de confiance des estimations doivent être pris en compte.

4.1 Recommandations en matière d’arrondissements

Les utilisateurs sont invités à respecter les règles d'arrondissement suivantes pour les estimations.

• Les estimations figurant dans le corps principal d'un tableau statistique doivent être arrondies à la centaine d'unités la plus proche en utilisant la technique d'arrondissement habituel. Dans l'arrondissement habituel, si le premier ou le seul chiffre à supprimer est compris entre 0 et 4, le dernier chiffre à conserver n'est pas modifié. Si le premier ou le seul chiffre à supprimer est compris entre 5 et 9, le dernier chiffre à conserver est augmenté d'une unité. Par exemple, lors d'un arrondissement à la centaine la plus proche, si les deux derniers chiffres sont compris entre 00 et 49, ils sont remplacés par 00 et le chiffre précédent (le chiffre des centaines) reste inchangé. Si les derniers chiffres sont compris entre 50 et 99, ils sont remplacés par 00 et le chiffre précédent est augmenté de 1.
• Les sous-totaux et les totaux marginaux des tableaux statistiques sont dérivés de leurs composants non arrondis correspondants et sont ensuite arrondis eux-mêmes à la centaine d'unités la plus proche en utilisant l'arrondissement habituel.
• Les moyennes, les taux et les pourcentages doivent être calculés à partir de composants non arrondis (c'est-à-dire les numérateurs et/ou les dénominateurs) et doivent ensuite être arrondis à une décimale en utilisant l'arrondissement habituel. Lors de l'arrondissement habituel à un seul chiffre, si le dernier ou le seul chiffre à supprimer est compris entre 0 et 4, le dernier chiffre à conserver n'est pas modifié. Si le premier ou le seul chiffre à supprimer est compris entre 5 et 9, le dernier chiffre à conserver est augmenté de 1.
• Les estimations non arrondies ne doivent en aucun cas être publiées ou diffusées par les utilisateurs. Les estimations non arrondies suggèrent une plus grande précision que celle qui existe réellement.

5. Annexes

Annexe A: poids pour la méthode de pondération directe

Annexe B: Calcul du taux de réponse