Campagne publicitaire sur les services à l’intention des nouveaux arrivants 2023-2024, outil d’évaluation de campagnes publicitaires (OECP)

Rapport méthodologique

Préparé pour Immigration, Réfugiés et Citoyenneté Canada

Fournisseur: Advanis Inc.

Numéro du contrat: CW2333794

Valeur du contrat: 54 420,80$ (TVH comprise)

Date d’octroi: 12 octobre 2024

Date de livraison: 21 mars 2024

Numéro d’enregistrement: POR 065-23

Pour obtenir de plus amples renseignements sur ce rapport, veuillez communiquer avec IRCC à :
IRCC.COMMPOR-ROPCOMM.IRCC@cic.gc.ca

This report is also available in English

Droits d’auteur

Ce rapport de recherche sur l’opinion publique présente les détails méthodologiques de l’étude sur la Campagne publicitaire sur les services à l’intention des nouveaux arrivants - OECP (2023-2024) menée par Advanis Inc. au nom d’Immigration, Réfugiés et Citoyenneté Canada (« IRCC »). L’Étude de référence (avant le lancement de la campagne publicitaire) a été mené auprès de 511 nouveaux arrivants au Canada entre le 31 octobre et le 13 novembre 2023, tandis que la phase suivant le lancement de la campagne publicitaire a été menée auprès de 515 nouveaux arrivants entre les 22 février et 15 mars 2024.

This publication is also available in English under the title: 2023-24 Newcomer Services Campaign Advertising Campaign Evaluation Tool (ACET).

Cette publication peut être reproduite à des fins non commerciales uniquement. Une autorisation écrite préalable doit être obtenue auprès d’Immigration, Réfugiés et Citoyenneté Canada. Pour obtenir de plus amples renseignements sur ce rapport, veuillez communiquer avec Immigration, Réfugiés et Citoyenneté Canada au: IRCC.COMMPOR-ROPCOMM.IRCC@cic.gc.ca ou encore à l’adresse suivante:

Direction générale des communications
Immigration, Réfugiés et Citoyenneté Canada
Tour Jean-Edmonds Sud
365, avenue Laurier Ouest
Ottawa (Ontario) K1A 1L1

Numéro de catalogue: Ci4-226/2024F-PDF
Numéro international normalisé du livre (ISBN): 978-0-660-71000-6

Publications connexes (numéro d’enregistrement: POR 065-23):
Numéro de catalogue: Ci4-226/2024E-PDF (Rapport méthodologique, anglais)
ISBN: 978-0-660-70999-4

Droits d'auteur : Sa Majesté le Roi du chef du Canada, représenté par le ministre d’Immigration, Réfugiés et Citoyenneté Canada, 2024

Attestation de neutralité politique

J’atteste, par les présentes, à titre d’agent principal d’Advanis, l’entière conformité des produits livrables aux exigences en matière de neutralité politique du gouvernement du Canada énoncées dans la Politique sur les communications et l’image de marque et la Directive sur la gestion des communications.

Plus précisément, les produits livrables ne comprennent pas d’information sur les intentions de vote électoral, les préférences quant aux partis politiques, les positions des partis ou l’évaluation de la performance d’un parti politique ou de ses dirigeants.

Résumé

Contexte

Le gouvernement du Canada souhaite aider les immigrants à réussir leur vie au Canada. Afin de sensibiliser les nouveaux arrivants aux services auxquels les résidents permanents peuvent avoir accès, le gouvernement du Canada a lancé la Campagne publicitaire sur les services à l’intention des nouveaux arrivants en 2009 pour informer ces derniers des services d’établissement offerts pour les aider à réussir dans leur nouveau pays.

Le gouvernement du Canada exige une évaluation de la campagne à l’aide de l’outil d’évaluation de campagnes publicitaires (OECP) pour toutes les campagnes publicitaires dont la valeur des achats médias dépasse 1 000 000$^[1].

Objectifs

Cette étude quantitative vise à s’assurer que la publicité destinée aux nouveaux arrivants au Canada était efficace et appropriée et qu’elle a atteint son objectif de mieux faire connaître et comprendre les services d’établissement offerts pendant la pandémie.

L’étude portait sur les nouveaux arrivants au Canada dans l’ensemble du pays (à l’extérieur du Québec). L’étude a permis de mesurer si la population cible connaissait les publicités, si elle s’en souvenait, de même que l’incidence de ces publicités. L’étude comptait deux phases: une phase de référence menée avant le lancement de la campagne et une phase à la fin de la campagne. Plus précisément, l’étude visait à évaluer:

• Le rappel spontané et assisté des publicités;
• La connaissance et l’utilisation des canaux d’information (c.-à-d. site Web) présentés dans les publicités;
• Les messages perçus dans les publicités et l’efficacité des publicités à faire connaître davantage IRCC ainsi que les services à l’intention des nouveaux arrivants;
• La réceptivité aux publicités du gouvernement, et l’évaluation des priorités et du rendement du gouvernement.

Les résultats de cette recherche ont permis de recueillir des commentaires sur l’efficacité des publicités pour sensibiliser le public cible aux services qui leur sont offerts. Les résultats serviront également à orienter et à éclairer la conception et la mise en œuvre des futures activités de sensibilisation du public et d’information visant les nouveaux arrivants.

Méthodologie

La phase de référence du sondage a été menée en ligne auprès de 511 nouveaux arrivants au Canada (depuis 2018, âgés entre 24 et 60 ans), à l’extérieur du Québec, du 31 octobre au 13 novembre 2023. La phase post-campagne du sondage a été menée auprès de 515 nouveaux arrivants au Canada, à l’extérieur du Québec, du 22 février au 15 mars 2024. Les répondants, provenant d’une base de données avec des informations de profil préétablies et recrutés au hasard par téléphone, ont reçu un SMS ou une invitation par courriel à participer à l’étude. Le temps moyen pour répondre au sondage de référence était de 6 minutes, et de 10 minutes pour le sondage post-campagne. La marge d'erreur pour le sondage de référence était de +/-4,3%, avec un intervalle de confiance de 95 %, tandis que pour le sondage post-campagne, elle était de +/-4,3 %, avec un intervalle de confiance de 95 %. Les données rapportées ont été pondérées de manière à reproduire le plus fidèlement possible la répartition réelle de la population des nouveaux arrivants selon l’âge et le genre au Canada, en fonction des données d’IRCC. On a offert aux répondants de répondre au sondage dans la langue officielle de leur choix.

Un rapport complet sur la méthodologie quantitative, comprenant tous les renseignements sur l’exécution du travail sur le terrain qui est nécessaire pour reproduire l’initiative de recherche, se trouve à l’annexe A. Les instruments de recherche sur les enquêtes quantitatives se trouvent dans l’annexe B. Enfin, des tableaux de résultats des enquêtes quantitatives sont fournis en anglais et en français dans un document distinct.

La valeur de ce contrat est de 54 420,80$ (TVH comprise).

Annexe A: Méthodologie

Échantillonnage et conception du sondage

Advanis a utilisé son échantillon populationnel aléatoire (EPA), qui est une base de données correspondant à un profil préétabli pour trouver des répondants potentiels. Notre EPA recrute des personnes qui vivent au Canada en utilisant la composition téléphonique aléatoire (numéros de téléphones fixes et de téléphones cellulaires) pour recueillir un échantillon aléatoire de répondants potentiels. Advanis a identifié des nouveaux arrivants de toutes les provinces canadiennes (à l’exception du Québec) qui sont au Canada depuis moins de cinq ans pour alimenter son échantillon. Les répondants potentiels ont été sélectionnés pour atteindre le nombre cible de questionnaires complétés pour chaque province ou région du Canada.

Tableau 1: Échantillon par province/région du Canada

Le questionnaire du sondage de référence et le questionnaire post-campagne ont été conçus par IRCC et fournis à Advanis. Les questions du sondage ont permis de filtrer les réponses des personnes âgées de moins de 24 ans ou de plus de 60 ans, des personnes ayant déclaré être nées au Canada, des personnes ayant déclaré être arrivées au Canada avant 2018 pour la phase de référence et avant 2019 pour la phase post-campagne, et des personnes travaillant pour une société d'études de marché, un magazine ou un journal, une agence de publicité, une firme de conception graphique, un parti politique, une station de radio ou de télévision, une agence de relations publiques ou le gouvernement fédéral/provincial.

La plupart des questions étaient les mêmes pour les deux sondages (de référence et post-campagne), mais des questions supplémentaires ont été ajoutées pour le sondage post-campagne. On a montré aux répondants des bannières publicitaires et des vidéos d'IRCC et on leur a posé des questions de suivi sur leur exposition aux publicités, de même que sur leur réaction et leur évaluation sur celles-ci.

Recrutement par interview téléphonique assistée par ordinateur (ITAO)

Pour les deux phases du sondage, Advanis a utilisé un sondage par interview téléphonique assistée par ordinateur (ITAO) pour recruter des répondants potentiels au questionnaire en ligne. Les participants potentiels de notre EPA ont été appelés au hasard et on leur a demandé s’ils acceptaient de participer à une étude en ligne. Ceux qui ont accepté ont reçu une invitation par SMS ou par courriel. En tout, 1 730 personnes ont accepté de recevoir une invitation à répondre au questionnaire en ligne pour la phase de référence et 2 826 pour la phase post-campagne.

Invitations et rappels par courriel et SMS

Les invitations ont été envoyées principalement par SMS. Des courriels n’ont été envoyés que si le participant potentiel en avait fait la demande. Un message de rappel a été envoyé tous les trois jours, après l’envoi de l’invitation initiale, aux personnes qui n’avaient pas rempli le questionnaire ou qui n’avaient pas été exclues du sondage. Jusqu’à trois messages de rappel ont été envoyés.

Un test préalable a été effectué le 31 octobre pour le sondage de référence et le 22 février pour le sondage post-campagne. Aucun problème n’a été relevé dans le questionnaire ni dans le processus de collecte de données lors des tests préalables.

Une adresse courriel et un numéro de téléphone de soutien étaient fournis dans le questionnaire pour les problèmes d’ordre technique. Un numéro unique était intégré à l’hyperlien des questionnaires pour éviter d’obtenir des réponses en double d’un même participant.

Résultats

Le tableau ci-dessous présente le détail des invitations initiales envoyées, des sondages non ouverts, des candidats rejetés ainsi que des sondages complets et incomplets. Au total, 511 questionnaires web ont été remplis lors de la phase de référence et 515 lors de la phase post-campagne. La marge d'erreur pour le sondage de base était de +/-4,3 %, avec un intervalle de confiance de 95 %, et de +/-4,3 %, avec un intervalle de confiance de 95 %, pour le sondage post-campagne.

Le taux de réponse, calculé en divisant le nombre d’unités répondantes dans le champ d’enquête par la somme des cas non résolus, des unités non-répondantes dans le champ d’enquête et des unités répondantes dans le champ d’enquête, était de 39,2 % pour la phase de référence avant la campagne et de 26,6 % pour la phase post-campagne. Ce taux de réponse se situe dans les fourchettes normales d’un sondage de ce type.

Tableau 2: Invitations envoyées et taux de réponses

La participation inclusive est une exigence de la recherche sur l'opinion publique commandée par le Gouvernement du Canada. Par exemple, les enquêtes en ligne sont programmées pour s'adapter aux appareils mobiles, limiter les grands tableaux de questions à échelle, être compatibles avec les lecteurs d'écran et permettre l'utilisation des touches de tabulation pour naviguer dans les écrans. Des formats alternatifs (par exemple, des entrevues téléphoniques) sont également disponibles sur demande. Les mesures mises en place par Advanis ont permis de répondre aux besoins potentiels des participants susceptibles de rencontrer des difficultés, puisque personne n'a demandé de soutien supplémentaire.

Questionnaires complétés et cibles

Au total, 1 730 Canadiens ont été invités à participer au sondage en ligne lors de la première phase, et 2 826 pendant la deuxième phase. Le temps moyen pour répondre au sondage de référence était de 6 minutes, et de 10 minutes pour le sondage post-campagne.

Pour les deux phases, le nombre de questionnaires complétés par province correspondait approximativement au nombre de questionnaires complétés ciblé par IRCC.

Tableau 3: Nombre de questionnaires complétés et nombre ciblé de questionnaires complétés par province

Tableau 4: Nombre de participants exclus

Pondération et nettoyage des données

Au total, 1 026 entrevues en ligne ont été réalisées au cours de la période de collecte de données. Les données finales ont été pondérées dans chaque phase du sondage selon l’âge et le genre. La méthode de pondération a été fournie par IRCC sur la base d’estimations internes des caractéristiques démographiques de la population de nouveaux arrivants au Canada (englobant les résidents permanents et temporaires), et Advanis a appliqué la pondération à la base de données.

Tableau 5: Pondération

Toutes les variables démographiques et dérivées utilisées dans l'analyse et/ou la pondération ont été incluses dans la base de données. Les réponses ouvertes ont été codées en thèmes généraux. Les réponses codées et les réponses verbatim originales ont été conservées dans la base de données. Une base de données a été fourni pour la phase de référence et la phase post-campagne. Une base de données fusionné pour les deux phases a également été fourni à IRCC.

Les questions ont été croisées avec des catégories thématiques afin de mieux comprendre les résultats. Des tableaux croisés ont été fournis pour la phase de référence et la phase post-campagne. Des tableaux croisés fusionnés comparant les résultats des deux phases ont également été fournis. Les tableaux croisés finaux comprenaient des fréquences et des pourcentages non pondérés (totaux) et pondérés.

Analyse du biais de non-réponse

Il y a biais de non-réponse lorsque les non-répondants diffèrent de manière significative des répondants et que cette différence a un impact sur les informations recueillies. Il est difficile d'évaluer la présence d'un biais de non-réponse car les informations sur les raisons pour lesquelles les non-répondants n'ont pas participé ne sont généralement pas disponibles. Cela dit, une façon d'évaluer l'impact potentiel du biais de non-réponse est de déterminer si l'échantillon est représentatif en comparant les caractéristiques des répondants et en vérifiant si elles reflètent les caractéristiques connues de la population. Dans la mesure du possible, nous pouvons vérifier la répartition des répondants entre les différentes catégories démographiques (par exemple, l'âge et le genre) et géographiques et comparer ces répartitions aux caractéristiques connues de la population. Si la variation est relativement faible et que nous n'avons aucune raison de supposer que d'autres facteurs influencent la volonté des répondants de participer, nous pouvons conclure que la probabilité d'un biais de non-réponse ayant un impact sur les informations recueillies dans le cadre de l'étude est minime. C'est le cas de l'étude actuelle.

Différentes stratégies ont été employées pour augmenter les taux de réponse et réduire les effets du biais de non-réponse. Entre autres:

• Recruter les répondants par téléphone, ce qui permet d'obtenir un taux de réponse plus élevé que des invitations par courriel.
• L'affichage d'un numéro de téléphone local (plutôt que d'un numéro sans frais), ce qui augmente le taux de gens qui répondent à l'appel et réduit le filtrage des appels.
• L'envoi d'un SMS aux répondants recrutés, ce qui assure une transition fluide entre le sondage téléphonique et le sondage en ligne, car la réception du questionnaire peut être confirmée en temps réel et encourage les répondants à répondre au sondage dès la fin de l'appel.
• Proposer le sondage dans les deux langues officielles afin de permettre au plus grand nombre de le compléter.

Annexe B: Instruments Quantitatifs

Les instruments d'enquête quantitative en français et en anglais sont présentés dans un document séparé.

Annexe C: série complète de données tabulées

Une série complète de données tabulées pour les phases de référence et de post-campagne est fournie dans un document séparé.

1. Voir la Directive sur la gestion des communications : https://www.tbs-sct.gc.ca/pol/doc-eng.aspx?id=30682#appB