Sondage sur la dotation et l’impartialité politique de 2023 : rapport méthodologique

Janvier 2024

Rapport

Information sur le contrat

Accessibilité

En date du 25 mars 2024, je soussigné, Nael Hajjar, confirme que l’accessibilité de ce document a été vérifiée.

Numéro de catalogue : SC1-11F-PDF (PDF électronique, français)

ISSN 2816-3974

Numéro d’enregistrement : POR 106-22

Cette publication ne peut être reproduite qu’à des fins non commerciales. Une autorisation écrite doit être obtenue au préalable auprès de la Commission de la fonction publique du Canada. Pour plus d’information sur ce rapport, veuillez contacter : cfp.sdip-snps.psc@cfp-psc.gc.ca.

© Sa Majesté le Roi du chef du Canada, représenté par la présidente de la Commission de la fonction publique du Canada, 2024

This report is also available in English.

Ce rapport présente les renseignements méthodologiques du Sondage sur la dotation et l’impartialité politique de 2023 mené par Advanis Inc. pour le compte de la Commission de la fonction publique du Canada (CFP). Le sondage a été réalisé auprès de 273 186 employés du gouvernement du Canada entre le 20 septembre et le 17 novembre 2023.

This report is also available in English under the title: 2023 Staffing and Non-Partisanship Survey Methodological Report.

1. Sommaire

1.1 Contexte

Le Sondage sur la dotation et l’impartialité politique a été lancé pour la première fois en 2018 en tant que sondage bisannuel couvrant tous les ministères et organismes fédéraux qui relèvent de la Loi sur l’emploi dans la fonction publique. Ce sondage en ligne aide la Commission de la fonction publique du Canada (CFP) à s’acquitter de son mandat et de ses responsabilités en matière d’impartialité et de surveillance de l’intégrité du système de dotation de la fonction publique fédérale. Il recueille des informations clés sur l’intégrité du système de dotation de la fonction publique et constitue actuellement le seul outil dont dispose la CFP pour évaluer la perception qu’ont les employés du système de dotation et de l’impartialité politique de la fonction publique.

La CFP a confié la réalisation du sondage à Advanis pour le troisième cycle du sondage, en 2023.

1.2 Objectifs

Les résultats du sondage sont importants pour permettre à la CFP de s’acquitter de son mandat. Les réponses aux questions du sondage de 2023 aideront la CFP à étudier et à comprendre les perceptions qu’ont les fonctionnaires du système de dotation de la fonction publique fédérale et à évaluer leur connaissance des droits et des responsabilités liés aux activités politiques et à l’impartialité.

Parmi les thèmes clés abordés dans ce sondage figurent les perceptions des employés, des gestionnaires d’embauche, des superviseurs et des conseillers en dotation relativement aux points suivants :

• le mérite, l’équité et la transparence dans le cadre du processus de dotation de la fonction publique fédérale;
• les politiques et pratiques de dotation organisationnelles;
• les services et conseils en matière de dotation;
• les droits de priorité.

En 2023, de nouveaux fils de questions ont été ajoutés pour refléter les priorités actuelles, telles que la lutte contre les préjugés et les obstacles auxquels sont confrontés les groupes en quête d’équité.

1.3 Méthodologie

La CFP a conçu le questionnaire du Sondage sur la dotation et l’impartialité politique de 2023. Le contenu a été mis à jour à partir du cycle de 2021. Une partie de l’élaboration du sondage a consisté en un prétest au cours duquel les participants ont été encouragés à fournir des commentaires et des captures d’écran sur le contenu du sondage pendant qu’ils le remplissaient.

Le questionnaire de 2023 a pris la forme d’un sondage électronique (à remplir en ligne) entièrement conforme aux Règles pour l’accessibilité des contenus Web 2.0, niveau AA ou supérieur. Les employés avaient également la possibilité de contacter Advanis par téléphone pour répondre au sondage avec un intervieweur.

Le sondage a été réalisé du 20 septembre au 17 novembre 2023 auprès de fonctionnaires qui travaillaient dans les ministères et organismes fédéraux relevant de la Loi sur l’emploi dans la fonction publique. Le sondage a également été mené auprès des personnes suivantes :

• les membres des Forces armées canadiennes ayant des subordonnés civils (fonctionnaires) directs, employés en vertu de la Loi sur l’emploi dans la fonction publique;
• les membres réguliers, les membres civils et les gendarmes spéciaux de la Gendarmerie royale du Canada employés en vertu de la Loi sur la Gendarmerie royale du Canada qui ont des subordonnés (fonctionnaires) directs employés en vertu de la Loi sur l’emploi dans la fonction publique.

La base d’échantillonnage a été créée à partir des listes les plus récentes de tous les employés admissibles, fournies par les services des ressources humaines de chaque ministère ou organisme participant. La CFP a ensuite procédé à la vérification, au nettoyage et à la combinaison de ces listes pour créer l’ensemble de la base d’échantillonnage, puis l’a transmise à Advanis. Tous les employés admissibles disposant d’une adresse courriel valide ont reçu une invitation à remplir le questionnaire en ligne. Les invitations ont été envoyées sur une période de 5 jours. Des courriels de rappel ont également été envoyés aux participants qui n’avaient pas répondu.

Durant la période de collecte de données, les ministères et la CFP pouvaient également ajouter de nouveaux employés à la base d’échantillonnage par le biais d’un site Web d’assistance en libre-service hébergé par Advanis.

Sur les 273 186 employés admissibles à participer, 86 717 ont répondu au sondage, soit un taux de réponse de 31,7 %. Parmi les répondants, 77 % (66 403) ont répondu au sondage en anglais et 23 % (20 314) en français.

Le sondage ayant été réalisé sous la forme d’un recensement, les résultats peuvent être extrapolés à l’ensemble de la population des employés des ministères et organismes fédéraux participants qui relèvent de la Loi sur l’emploi dans la fonction publique.

Bien que tous les employés admissibles aient été inclus dans l’échantillon du sondage de 2023, en raison des niveaux de non-réponse, il a été nécessaire de pondérer les unités répondantes par ministère ou organisme afin qu’elles soient représentatives de la population cible. La pondération tient compte de la non-réponse dans les groupes de genre et d’âge, au sein de chaque ministère ou organisme. Bien que la valeur du bootstrap ait été discutée pour une étude de type recensement comme celle-ci, 1 000 poids bootstrap ont été fournis dans un fichier séparé.

1.4 Valeur du contrat

La valeur du contrat pour ce sondage était de 299 986,75 $ (TVH incluse).

1.5 Exigence de neutralité politique

J’atteste, par la présente, en tant qu’administrateur principal d’Advanis, que les produits livrables sont entièrement conformes aux exigences de neutralité politique du gouvernement du Canada énoncées dans la Politique sur les communications et l’image de marque et conformes aux exigences de la Directive sur la gestion des communications portant sur les rapports de recherches sur l’opinion publique. Plus précisément, les produits livrables ne contiennent pas d’information sur les intentions de vote, les préférences quant aux partis politiques, les positions des partis ou l’évaluation de la performance d’un parti politique ou de ses dirigeants.

Signé:

Nicolas Toutant

Vice-président, Recherche et évaluation

Advanis

nicolas.toutant@advanis.ca

2. Contexte

La CFP est chargée de promouvoir et de maintenir une fonction publique non partisane, fondée sur le mérite et représentative, et au service de tous les Canadiens. Pour atteindre ces objectifs, la CFP s’efforce de :

• promouvoir la diversité et l’inclusion dans les nominations à la fonction publique;
• permettre des processus d’embauche efficaces et efficients dans l’ensemble de la fonction publique fédérale;
• soutenir les ministères et les organismes dans le recrutement des talents dont ils ont besoin.

Dans le cadre du mandat et des responsabilités de la CFP en matière de surveillance de l’intégrité du système de dotation de la fonction publique fédérale et de garantie de l’impartialité, le Sondage sur la dotation et l’impartialité politique a été réalisé pour la première fois en 2018 en tant que sondage bisannuel à l’échelle de la fonction publique. Ce sondage en ligne recueille des informations clés sur l’intégrité du système de dotation de la fonction publique et constitue actuellement le seul outil dont dispose la CFP peut connaître la perception qu’ont les employés du système de dotation et de l’impartialité politique de la fonction publique.

Le sondage a été réalisé par Statistique Canada pour le compte de la CFP en 2018 et, avec un retard dû à la pandémie, en 2021. Le premier cycle du sondage a été mené de février à avril 2018; il s’agissait d’une refonte du Sondage sur la dotation qui avait également été mené par Statistique Canada à plusieurs reprises, dans le passé, depuis 2009.

En 2023, la CFP a retenu les services d’Advanis pour réaliser le troisième cycle du sondage.

Tous les fonctionnaires employés en juillet 2023 par des ministères et organismes qui effectuent leurs activités de dotation conformément à la Loi sur l’emploi dans la fonction publique pouvaient participer au sondage. Les employés d’organismes distincts (par exemple, l’Agence du revenu du Canada) n’étaient pas admissibles au sondage.

Le sondage recueille des informations auprès d’un large éventail de publics cibles (employés, gestionnaires d’embauche et conseillers en dotation) sur des aspects clés du système de dotation (par exemple, le mérite). Comme lors des cycles précédents, le sondage recueille également des informations essentielles sur la compréhension qu’ont les employés de leurs droits et responsabilités en matière d’activités politiques et d’impartialité.

3. Objectifs

Les résultats du sondage sont importants pour permettre à la CFP de s’acquitter de son mandat. Les réponses aux questions du sondage aideront la CFP à étudier et à comprendre les perceptions qu’ont les fonctionnaires du système de dotation de la fonction publique fédérale et à évaluer leur connaissance des droits et des responsabilités liés aux activités politiques et à l’impartialité.

Parmi les thèmes clés abordés dans ce sondage figurent les perceptions des employés, des gestionnaires d’embauche, des superviseurs et des conseillers en dotation relativement aux points suivants :

• le mérite, l’impartialité et la transparence dans les processus de dotation de la fonction publique fédérale;
• les politiques et pratiques organisationnelles en matière de dotation;
• les services et conseils en matière de dotation;
• le placement prioritaire des vétérans et des bénéficiaires de priorité.

En 2023, de nouveaux fils de questions ont été ajoutés pour refléter les priorités actuelles, telles que la lutte contre les préjugés et les obstacles auxquels sont confrontés les groupes en quête d’équité.

Les résultats du sondage de 2023 aident la CFP, de même que les ministères et organismes participants, à déterminer dans quels domaines des progrès ont été réalisés, ainsi qu’à cerner les lacunes et les possibilités d’amélioration. Les informations recueillies aident la CFP à s’assurer que ses politiques, ses programmes et ses pratiques sont adaptés à la clientèle de la fonction publique qu’elle sert. Les résultats du sondage contribueront à soutenir ses efforts visant à maintenir l’impartialité et à promouvoir la diversité et l’inclusion à la fonction publique.

Le sondage fournira des informations importantes aux gestionnaires, aux conseillers en ressources humaines et aux sous-ministres afin d’améliorer la dotation dans leurs propres ministères et organismes. Ces informations serviront également à étayer le rapport annuel que la CFP présente au Parlement.

4. Méthodologie du sondage

Le sondage a été mené du 20 septembre au 17 novembre 2023 auprès d’employés de la fonction publique travaillant dans des ministères et organismes fédéraux assujettis à la Loi sur l’emploi dans la fonction publique, ainsi qu’auprès de membres réguliers et civils de la Gendarmerie royale du Canada et de membres des Forces armées canadiennes dont les subordonnés directs sont employés en vertu de la Loi sur l’emploi dans la fonction publique. Chaque personne de l’échantillon a été contactée par courriel et invitée à remplir un questionnaire en ligne hébergé par Advanis.

4.1 Couverture de la population

Le sondage s’adressait aux employés de la fonction publique qui travaillaient dans des ministères et organismes fédéraux relevant de la Loi sur l’emploi dans la fonction publique en juillet 2023.

Le sondage ciblait également :

• les membres des Forces armées canadiennes ayant des subordonnés civils (fonctionnaires) directs, employés en vertu de la Loi sur l’emploi dans la fonction publique;
• les membres réguliers, les membres civils et les gendarmes spéciaux de la Gendarmerie royale du Canada employés en vertu de la Loi sur la Gendarmerie royale du Canada qui ont des subordonnés (fonctionnaires) directs employés en vertu de la Loi sur l’emploi dans la fonction publique.

Tous les employés admissibles des ministères et organismes inclus dans le champ du sondage et disposant d’une adresse courriel valide ont reçu une invitation à remplir le questionnaire en ligne. Les invitations ont été envoyées sur une période de 5 jours.

Le questionnaire du sondage s’adressait à 3 populations distinctes :

• tous les employés de la fonction publique admissibles, à qui l’on a posé des questions sur les activités de dotation et les activités politiques au sein de leur ministère ou organisme;
• les conseillers en dotation, définis comme des personnes dont les principales fonctions consistent à conseiller les gestionnaires sur les activités de dotation et les nominations en vertu de la Loi sur l’emploi dans la fonction publique, dans un contexte opérationnel :
• les conseillers en dotation ont été interrogés sur leur rôle au sein de leur ministère/organisme et sur leurs interactions avec les gestionnaires d’embauche;
• les gestionnaires et les superviseurs, définis comme des personnes ayant un ou plusieurs employés civils sous leurs ordres, sans qu’aucune autorité déléguée en matière de dotation ne soit requise :
• cela inclut également les membres des Forces armées canadiennes et de la Gendarmerie royale du Canada qui supervisent des fonctionnaires embauchés en vertu de la Loi sur l’emploi dans la fonction publique,
• les gestionnaires ont été interrogés sur l’embauche qu’ils ont effectuée entre le 16 septembre 2022 et le 15 septembre 2023, ainsi que sur leurs points de vue relatifs aux pratiques de dotation au sein de leur ministère ou de leur organisme.

4.2 Ministères et organismes participants

Pour la liste des ministères et organismes participants, veuillez vous référer au tableau figurant ici : section 7.1 : Taux de réponse : ministères et organismes.

4.3 Plan d’échantillonnage

Ce sondage est un recensement volontaire avec un échantillon stratifié.

L’unité d’échantillonnage est l’employé.

La base de sondage est constituée de tous les employés du champ du sondage qui figuraient sur la liste de juillet 2023 que la CFP a fournie à Advanis et de tous les membres des Forces armées canadiennes et de la Gendarmerie royale du Canada qui avaient au moins 1 employé civil sous leurs ordres.

La base de sondage a été créée à partir des listes les plus récentes de tous les fonctionnaires admissibles fournies par les services des ressources humaines (RH) de chaque ministère ou organisme participant. La CFP a fourni aux contacts RH un modèle Excel qui précisait les champs nécessaires à la réalisation du sondage. La CFP a ensuite vérifié, nettoyé et combiné ces listes pour créer l’ensemble de la base de sondage, qu’elle a transmise à Advanis.

À 2 reprises, au cours de la période de collecte de données, Advanis a transmis à la CFP des listes d’adresses courriel non valides ou ayant rebondi, et la CFP a fait parvenir ces listes aux ministères et aux organismes pour qu’ils les corrigent, si possible. Au cours de ce même processus, les ministères et les organismes ont pu indiquer les adresses courriel qui devaient être supprimées (celles, notamment, des employés ayant quitté la fonction publique durant la période de collecte de données).

Après le 20 septembre 2023, les ministères, les organismes et la CFP pouvaient également ajouter de nouveaux employés à la base de sondage par le biais d’un site d’assistance en libre-service hébergé par Advanis durant toute la période de collecte de données. La CFP s’est assurée que les employés ajoutés par l’intermédiaire du site d’assistance remplissaient les conditions requises pour participer à l’étude. Ce site d’assistance est décrit plus en détail ici : section 5.3 : Soutien aux employés.

5. Collecte de données

5.1 Conception du questionnaire

La CFP a conçu le questionnaire du Sondage sur la dotation et l’impartialité politique. Le contenu a été mis à jour à partir du cycle de 2021.

Un prétest a été réalisé du 21 au 27 mars 2023 pour évaluer le questionnaire. Les participants ont été encouragés à fournir des commentaires et des captures d’écran sur le contenu du sondage pendant qu’ils le remplissaient. Au total, 58 questionnaires (37 en anglais et 21 en français) ont été remplis au cours du prétest.

Le questionnaire 2023 était présenté sous forme d’un sondage en ligne. Les employés avaient également la possibilité de contacter Advanis par téléphone pour répondre au sondage avec un intervieweur. Au total, seuls 2 questionnaires ont été remplis par téléphone. Le temps moyen pour répondre au sondage en ligne était de 14,6 minutes.

Le sondage en ligne devait être entièrement conforme aux Règles pour l’accessibilité des contenus Web, niveau AA ou supérieur. Le processus d’élaboration du sondage en ligne a donc été exhaustif. Advanis a travaillé avec le gouvernement du Canada pour soumettre le sondage à des tests et à des analyses approfondis, avec pour résultat un sondage entièrement conforme et accessible. Le questionnaire a aussi été minutieusement testé par Advanis et la CFP afin de s’assurer que toutes les questions de la version en ligne correspondaient à celles du questionnaire fourni à Advanis et que tous les sauts intégrés et embranchements fonctionnaient comme prévu.

5.2 Collecte de données

La participation à ce sondage était volontaire. Les données ont été collectées directement auprès des répondants.

La CFP a annoncé le lancement du sondage aux administrateurs généraux et aux chefs des ressources humaines de tous les ministères et organismes participants. Des messages types visant à promouvoir la participation ont été transmis aux ministères et organismes participants et les taux de réponse hebdomadaires ont été communiqués à la CFP.

La CFP a également organisé 2 réunions de groupe, entre :

• la CFP, les représentants des technologies de l’information (TI) des ministères et organismes, et Advanis;
• la CFP, les représentants des services de communication et des ressources humaines des ministères et organismes, et Advanis.

Lors de ces réunions, la CFP et Advanis ont échangé des informations sur le calendrier, la logistique et le soutien. Advanis a notamment fourni des renseignements permettant aux ministères et aux organismes de veiller à ce que les courriels provenant d’Advanis soient acceptés par les serveurs du gouvernement du Canada et parviendraient aux employés. Advanis a également envoyé un sondage spécialement conçu aux représentants des TI afin qu’ils puissent tester eux-mêmes le processus.

Advanis a utilisé son propre logiciel pour envoyer des invitations et des rappels par courriel. Chaque employé de la base de sondage a reçu un courriel contenant une invitation à remplir le sondage en ligne avec un lien vers le questionnaire hébergé par Advanis. Le lien contenait un code d’accès intégré qui permettait d’accéder au questionnaire. Ce lien unique permettait à l’employé d’interrompre le sondage au besoin et d’y revenir plus tard, exactement là où il s’était arrêté. Ainsi, chaque employé ne pouvait terminer le questionnaire qu’une seule fois.

Une semaine avant le lancement principal du sondage, afin de s’assurer que le processus fonctionnait correctement, Advanis a envoyé des invitations par courriel :

• à la CFP;
• à Services partagés Canada;
• aux membres réguliers, aux membres civils et aux gendarmes spéciaux de la Gendarmerie royale du Canada employés en vertu de la Loi sur la Gendarmerie royale du Canada qui ont des subordonnés (fonctionnaires) directs employés en vertu de la Loi sur l’emploi dans la fonction publique.

Ce prélancement a eu lieu les 13 et 14 septembre 2023. Advanis a ensuite envoyé les invitations par courriel aux autres ministères et organismes pendant 5 jours ouvrables, du 20 au 26 septembre 2023. Pour certains grands ministères, comme Emploi et Développement social Canada, Advanis a réparti l’envoi des courriels sur plusieurs jours afin de réduire la surcharge de leurs serveurs.

Durant la collecte, 6 courriels de rappel ont été envoyés aux participants qui n’avaient pas répondu.

5.3 Soutien aux employés

Advanis a fourni une assistance aux employés de 3 façons : par le biais d’un site Web d’assistance personnalisé, par courriel et par téléphone.

Advanis a créé un site Web d’assistance afin que les employés puissent obtenir rapidement de l’aide pour des problèmes courants, à toute heure du jour ou de la nuit, 7 jours sur 7, tout au long de la période de collecte de données. Lorsque les ministères et les organismes ont parlé du sondage à leurs employés, ils leur ont fourni le lien vers ce site, qui permettait aux employés de :

• demander un lien vers le sondage;
• accéder à des informations sur le sondage, telles que :
  • un aperçu,
  • des informations sur la confidentialité,
  • les critères d’admissibilité et la liste des ministères et organismes participants;
• envoyer des commentaires à la CFP sur les questions figurant dans le sondage;
• trouver un numéro de téléphone sans frais et une adresse courriel où s’adresser pour obtenir de l’aide supplémentaire.

Des centaines d’employés ont visité le site d’assistance. Il est à noter que 362 d’entre eux ont choisi l’option « Demander un lien vers le sondage », ce qu’ils ont fait 454 fois au total. Les employés ont demandé un lien pour les raisons suivantes :

• 59,7 % (216) parce que le 26 septembre 2023 était passé et qu’ils n’avaient pas encore reçu d’invitation par courriel;
• 16,9 % (61) parce qu’ils avaient supprimé ou n’arrivaient plus à trouver l’invitation par courriel;
• 14,6 % (53) parce que le 26 septembre 2023 était passé et qu’ils étaient nouvellement employés;
• 6,9 % (25) parce que leur lien ne fonctionnait pas;
• 1,9 % (7) parce qu’ils avaient partagé leur lien avec quelqu’un d’autre.

Advanis a assuré le suivi et répondu à 265 courriels d’employés qui avaient besoin d’aide. Certains employés ont envoyé des courriels pour plusieurs raisons. Sur ces 265 courriels, il y a eu 195 demandes individuelles. Les raisons de l’envoi d’un courriel se répartissent comme suit :

• 23,6 % (46) ont demandé un lien;
• 16,4 % (32) ont demandé à ne pas recevoir d’autres rappels;
• 15,9 % (31) avaient des questions générales sur le sondage;
• 11,8 % (23) ont posé une question au sujet de la CFP;
• 4,1 % (8) souhaitaient confirmer la légitimité du sondage et qu’il ne s’agissait pas d’un courriel non sollicité (pourriel);
• 3,6 % (7) ont rapporté un problème technique provenant d’Advanis;
• 3,1 % (6) ont rapporté un problème technique provenant du gouvernement;
• 1,5 % (3) ont demandé l’envoi par courrier, une copie des questions ou des résultats;
• 1,5 % (3) ont signalé ne pas avoir accès à l’Internet;
• 1,5 % (3) souhaitaient modifier des réponses ou refaire tout le sondage;
• 1,0 % (2) avaient besoin de précisions sur la façon de répondre à une question;
• 1,0 % (2) avaient partagé leur lien et en demandaient un nouveau;
• 1,0 % (2) ont demandé à répondre au sondage après sa clôture;
• 13,9 % (27) autres raisons.

Advanis a mis à disposition des répondants un numéro sans frais qu’ils pouvaient appeler pour poser des questions. Ils pouvaient également laisser un message vocal, auquel un intervieweur d’Advanis répondait le jour même ou le jour ouvrable suivant. Au total, Advanis a traité 8 appels comprenant 9 questions. Les employés ont appelé pour les raisons suivantes :

• 22,2 % (2) voulaient modifier leurs réponses ou refaire tout le sondage;
• 22,2 % (2) avaient partagé leur lien, ont demandé un nouveau lien, ont été redirigés vers le site Web d’assistance;
• 11,1 % (1) ont signalé un problème technique provenant du gouvernement;
• 11,1 % (1) ont demandé un lien;
• 11,1 % (1) ont posé une question au sujet de la CFP;
• 11,1 % (1) souhaitaient confirmer la légitimité du sondage et qu’il ne s’agissait pas d’un courriel non sollicité (pourriel);
• 11,1 % (1) voulaient signaler un courriel différent associé à l’employé.

6. Traitement des données

Les principaux résultats du Sondage sur la dotation et l’impartialité politique comprennent un fichier de micro-données « propre ». Le fichier de micro-données est constitué de données traitées à partir du questionnaire en ligne. Cette section présente un bref résumé des étapes de traitement nécessaires à la production de ces fichiers.

6.1 Collecte des données

Les réponses à toutes les questions du sondage ont été entrées directement par les répondants. Le fait que le questionnaire soit en ligne réduit le temps de traitement et les coûts liés à la saisie des données, aux erreurs de transcription et à la transmission des données. Les réponses ont été sécurisées par des protocoles de cryptage, des pare-feu et des couches de cryptage conformes aux normes de l’industrie.

Certaines modifications ont été effectuées directement pendant que le questionnaire en ligne était rempli. Lorsqu’une réponse se situait en dehors de la fourchette (trop grande ou trop petite) des valeurs attendues, ou qu’elle était incohérente par rapport aux réponses précédentes, le répondant était invité, par le biais d’écrans de messages, à vérifier l’information. Les répondants avaient également la possibilité de ne pas répondre aux questions s’ils ne connaissaient pas la réponse ou s’ils préféraient ne pas répondre. Dans ces cas, les données ont été soumises à d’autres processus de contrôle après leur soumission.

6.2 Nettoyage des données

Les informations de tous les répondants qui ont soumis le questionnaire en ligne ont été conservées et les données ont été traitées.

Des contrôles peuvent être effectués à plusieurs reprises, durant toutes les étapes du sondage. Il peut s’agir de simples contrôles préliminaires ou de vérifications automatisées plus complexes effectuées par un programme informatique après la saisie des données. En général, les règles de contrôle sont basées sur ce qui est logiquement ou validement possible.

Deux catégories de contrôles ont été utilisées pour ce sondage : les contrôles de validité et les contrôles de cohérence. Les contrôles de validité permettent de :

• vérifier la syntaxe des réponses;
• comprendre la vérification des caractères non numériques dans les champs numériques et la vérification des valeurs manquantes;
• vérifier que les données codées se situent dans une fourchette de valeurs autorisée :
  • par exemple, un contrôle d’intervalle peut être effectué sur le nombre de personnes à charge vivant dans le ménage d’un répondant afin de s’assurer qu’il se situe entre 0 et 50.

Les contrôles de cohérence permettent de vérifier que les liens entre les questions sont respectés. Ces contrôles peuvent être basés sur des liens logiques ou structurels entre des questions ou les parties d’une question.

Exemple

Le premier type d’erreurs traitées comprenait celui des erreurs dans l’enchaînement des questions, lorsque des questions qui ne s’appliquaient pas au répondant (et auxquelles il n’aurait donc pas dû répondre) se sont avérées contenir des réponses. Dans ce cas, un système informatique a automatiquement éliminé les données superflues en respectant l’enchaînement du questionnaire suggéré par les réponses aux questions précédentes.

Le deuxième type d’erreurs traitées concernait un manque d’information dans des questions auxquelles le répondant aurait dû répondre. Pour ce type d’erreurs, un code de non-réponse ou « non déclaré » a été attribué à la question.

6.2.1 Contrôles avant la vérification

Pour tous les résultats où des valeurs manquaient (vides) dans la collecte, la valeur « 9 », « 99 », « 999 », et ainsi de suite, a été attribuée pour indiquer qu’aucune information n’avait été recueillie.

6.2.2 Vérification des enchaînements

La vérification des enchaînements reproduit les enchaînements du questionnaire. Les variables qui sont omises sur la base des enchaînements ont été converties, passant des codes « Sauté » aux codes « Saut valide » (« 6 », « 96 », « 996 », et ainsi de suite). Pour les sauts basés sur la réponse à certaines questions, les questions sautées ont été converties en « Saut valide ».

6.3 Codage des questions ouvertes

Le questionnaire comportait 2 questions ouvertes (COM_10B et MAN_S25, MAN_Q25_5) et 8 questions ouvertes « Autre, veuillez préciser » (GEN_35A_151_, GEN_35B_24_, STA_30_18_, STA_58_8_, GDR_10_3_, GDR_11_12_, DIS_01_12_ et PG_05L_). Les réponses écrites à ces questions ont été passées en revue et expurgées de toute information d’identification personnelle. Nous avons également recodé les réponses à la question ouverte « Autre, veuillez préciser » GEN_35A_151_ dans le niveau existant de GEN_35A lorsque cela était possible.

6.4 Imputation

Il n’y a pas eu d’imputation de données dans ce sondage.

6.5 Création de variables dérivées

Un certain nombre de variables incluses dans le fichier de micro-données ont été dérivées en regroupant des catégories de réponses ou en combinant des variables du questionnaire afin de faciliter l’analyse des données.

6.6 Poids

Des poids statistiques ont été calculés pour chaque répondant afin d’indiquer le nombre d’employés de la population qu’il représentait.

Les poids apparaissent dans le fichier de micro-données et doivent être utilisés pour obtenir des estimations du sondage. Par exemple, si l’on veut estimer le nombre d’employés travaillant au Québec qui ont participé à un processus de dotation au cours des 12 derniers mois, il faut sélectionner les enregistrements se rapportant aux employés de l’échantillon possédant ces caractéristiques et additionner les poids entrés dans ces enregistrements.

Les renseignements de la méthode utilisée pour calculer ces poids sont présentés à la section 8.

6.7 Suppression des informations confidentielles

Comme décrit dans la section 6.3, les réponses aux questions ouvertes ont été passées en revue par Advanis, et expurgées de toute information d’identification personnelle. Tous les résultats mis à la disposition du public par le biais de rapports, d’outils de visualisation des données ou du Portail du gouvernement ouvert sont supprimés lorsqu’il y a moins de 10 réponses à la question.

7. Qualité des données

7.1 Taux de réponse : ministères et organismes

Sur les 273 186 employés admissibles à participer, 86 717 ont répondu au sondage, soit un taux de réponse de 31,7 %.

77 % (66 403 personnes) ont répondu au sondage en anglais et 23 % (20 314 personnes) en français.

Le taux de réponse est calculé comme suit : r=R/N; r étant le taux de réponse, R le nombre de sondages complétés et N le nombre d’employés admissibles à participer.

7.2 Erreurs dans le sondage

Le sondage est sujet à diverses erreurs qui peuvent survenir dans presque toutes ses phases. Les répondants peuvent mal comprendre les instructions ou faire des erreurs en répondant aux questions; les réponses peuvent être incorrectement entrées dans le questionnaire et des erreurs peuvent se produire lors du traitement et de la mise en tableau des données.

Sur un grand nombre d’observations, les erreurs aléatoires auront peu d’effet sur les estimations tirées du sondage. Cependant, les erreurs qui se produisent de façon systématique contribueront à fausser les estimations. Un temps et des efforts considérables ont été consacrés à la réduction des erreurs non dues à l’échantillonnage. Des mesures d’assurance qualité ont été mises en œuvre à chaque étape de l’élaboration du questionnaire, de la collecte de données et du cycle de collecte afin de contrôler la qualité des données. Ces mesures comprennent un prétest du sondage pour détecter les problèmes de conception du questionnaire ou de mauvaise compréhension des instructions, des applications de questionnaires informatisés hautement testées, des contrôles visant à réduire au minimum les erreurs de saisie de données et des contrôles de qualité pour vérifier la logique du processus.

7.3 Collecte de données

Une description des objectifs du sondage a été fournie aux répondants sur la page de connexion au sondage. Le site Web d’assistance d’Advanis fournissait également des liens vers la page d’information sur le sondage du gouvernement du Canada, de même que des coordonnées au cas où les répondants auraient des questions à poser à la CFP.

L’équipe de soutien d’Advanis (accessible grâce à un numéro sans frais et une adresse courriel) a apporté son soutien aux participants qui avaient des questions durant la collecte de données ou qui avaient besoin d’une assistance technique.

7.4 Traitement des données

Le traitement des données du sondage a été effectué en plusieurs étapes, notamment la vérification, la révision, l’estimation et la confidentialité. À chaque étape, une copie des fichiers de sortie est conservée et une vérification peut facilement être effectuée en comparant les fichiers de l’étape en cours à ceux de l’étape précédente.

7.5 Non-réponse

Il existe un risque de biais de non-réponse dans la mesure où les taux de réponse variaient selon les ministères et les organismes et selon certaines caractéristiques démographiques (par exemple, les taux de réponse chez les jeunes employés ont tendance à être inférieurs à ceux des employés plus âgés). Pour corriger cette source d’erreur possible, Advanis a pondéré les données en fonction de l’âge, du sexe et du ministère.

Le degré de non-réponse peut aller de la non-réponse partielle (absence de réponse à une ou plusieurs questions) à la non-réponse totale. La non-réponse totale s’explique par le fait que les coordonnées de l’employé n’ont pu être obtenues auprès du ministère ou de l’organisme, que les coordonnées étaient incorrectes, que le répondant a eu des difficultés à accéder au questionnaire en ligne ou qu’il a refusé de participer au sondage. La non-réponse totale a été traitée en rajustant le poids des employés qui ont répondu au sondage afin de compenser pour ceux qui n’y avaient pas répondu.

Dans la plupart des cas, la non-réponse partielle au sondage s’est produite lorsque le répondant n’a pas compris ou a mal interprété une question, a refusé de répondre à une question ou ne se souvenait pas de l’information demandée. En cas de non-réponse partielle à une question, un code « Non déclaré » a été attribué à cette question.

7.6 Mesure de l’erreur d’échantillonnage

Bien que tous les employés admissibles aient été inclus dans l’échantillon du Sondage sur la dotation et l’impartialité politique de 2023, en raison des niveaux de non-réponse, il est possible de considérer les répondants comme un échantillon de la population. Cette hypothèse permet de calculer une mesure de l’erreur d’échantillonnage qui peut être utilisée pour produire des indicateurs de qualité. Dans le cadre du sondage de 2023, les termes « erreur d’échantillonnage » et « erreur de sondage » sont utilisés de manière interchangeable.

Cette section du document présente les mesures de l’erreur d’échantillonnage que les utilisateurs produisant des estimations à partir de ce fichier de micro-données doivent également utiliser.

La valeur potentielle de l’erreur d’échantillonnage est calculée à partir de l’erreur-type des estimations découlant des résultats du sondage.

Cependant, en raison de la grande diversité d’estimations que l’on peut tirer d’un sondage, l’erreur-type d’une estimation est habituellement exprimée en fonction de l’estimation à laquelle elle se rapporte. La mesure ainsi obtenue, connue comme le coefficient de variation (CV) de l’estimation, s’obtient en divisant l’erreur-type de l’estimation par l’estimation elle-même et elle est exprimée en pourcentage de l’estimation.

Par exemple, supposons que l’on estime que 52 % des fonctionnaires fédéraux ont participé à une activité de dotation et que l’erreur type de cette estimation est de 0,005. Le coefficient de variation de l’estimation est alors calculé comme suit :

Déterminer la qualité des estimations et calculer les coefficients de variation (CV) pour le sondage nécessite l’utilisation de la méthode bootstrap d’estimation de la variance.

is the number of respondents in department or agency i and non-response group j.

The total weighted count of respondents in a non-response group sums to the public service population of that group. For example, the total weighted count of the respondents from the female, 25 to 29 age group at Employment and Social Development Canada (ESDC) sums to the total count of all females aged 25 to 29 employees at ESDC.

8. Pondération

Bien que tous les employés admissibles aient été inclus dans l’échantillon du sondage de 2023, en raison des niveaux de non-réponse, il a été nécessaire de pondérer les unités répondantes par ministère ou organisme afin qu’elles soient représentatives de la population cible. La pondération tient compte de la non-réponse au sein des groupes de genre et d’âge, et au sein de chaque ministère et organisme. Il y a un poids pour chaque enregistrement.

8.1 Rajustement pour la non-réponse

La non-réponse totale peut être une source importante d’erreur non due à l’échantillonnage dans de nombreux sondages, en fonction du degré de différence entre les répondants et les non-répondants en ce qui a trait aux caractéristiques d’intérêt. Dans le sondage, il y avait non-réponse totale lorsqu’un employé admissible ne participait pas au sondage. En 2023, 31,7 % des employés admissibles de la population sondée ont répondu au sondage. Des groupes de non-réponse ont été formés à partir des groupes de sexe et d’âge afin de calculer les facteurs de rajustement du poids de la non-réponse pour chaque ministère et organisme.

Les poids ont été calculés en utilisant le rapport entre la population et le nombre de répondants pour chaque combinaison d’âge et de genre, au sein de chaque ministère et organisme. Lorsque l’âge ou le genre étaient inconnus ou non binaires, des valeurs ont été attribuées de manière aléatoire sur la base des proportions globales d’âge et de genre au sein de tous les ministères et organismes participants. Lorsque les populations d’âge et de genre étaient manquantes, des poids ont été créés en combinant les groupes d’âge plus âgés lorsque c’était possible (et plus jeunes lorsque ce n’était pas possible). Un poids a ensuite été calculé pour chaque répondant.

L’objectif du rajustement pour la non-réponse est de tenir compte de la sous-représentation des groupes d’âge et de genre dans le groupe de répondants en se basant sur les chiffres de la population. De cette façon, le groupe de répondants représentera mieux la composition des groupes d’âge et de genre du ministère ou de l’organisme.

8.2 Stratification a posteriori et poids final

La stratification a posteriori est l’une des techniques d’estimation par calage largement utilisées dans les enquêtes sociales. Les poids produits pour le sondage de 2023 ont été calibrés en fonction du nombre d’employés dans la population de la fonction publique pour chaque ministère ou organisme. Des poststrates ont également été définies à l’aide d’informations sur l’âge et le genre.

Pour chaque réponse dans le ministère ou organisme i et dans le groupe de non-réponse j le poids est égal à :

Où :

est le nombre d’employés de la fonction publique au sein du ministère ou de l’organisme i et le groupe de non-réponse j, et

est le nombre de répondants au sein du ministère ou de l’organisme i et le groupe de non-réponse j.

Le nombre total pondéré de répondants dans un groupe de non-réponse correspond à la population de la fonction publique de ce groupe. Par exemple, le nombre total pondéré des répondants du groupe d’âge de femmes de 25 à 29 ans à Emploi et Développement social Canada correspond au nombre total de toutes les femmes âgées de 25 à 29 ans employées dans ce ministère.

9. Annexes

Annexe A : Questionnaire

Sondage sur la dotation et l’impartialité politique de 2023