Test du contenu du programme du recensement de 2016 :

Test du contenu du programme du recensement de 2016 :
No 92-140-X2016001 au catalogue
ISBN 978-0-660-04889-5
Test du contenu du programme
du recensement de 2016 :
design et résultats
Recensement de la population, 2016
Date de diffusion : le 1 avril 2016
Comment obtenir d’autres renseignements
Pour toute demande de renseignements au sujet de ce produit ou sur l’ensemble des données et des services de Statistique Canada,
visiter notre site Web à www.statcan.gc.ca.
Vous pouvez également communiquer avec nous par :
Courriel à STATCAN.infostats-infostats.STATCAN@canada.ca
Téléphone entre 8 h 30 et 16 h 30 du lundi au vendredi aux numéros sans frais suivants :
•• Service de renseignements statistiques
1-800-263-1136
•• Service national d’appareils de télécommunications pour les malentendants
1-800-363-7629
•• Télécopieur1-877-287-4369
Programme des services de dépôt
•• Service de renseignements
1-800-635-7943
•• Télécopieur1-800-565-7757
Normes de service à la clientèle
Signes conventionnels dans les tableaux
Statistique Canada s’engage à fournir à ses clients des services
rapides, fiables et courtois. À cet égard, notre organisme s’est
doté de normes de service à la clientèle que les employés
observent. Pour obtenir une copie de ces normes de service,
veuillez communiquer avec Statistique Canada au numéro
sans frais 1-800-263-1136. Les normes de service sont aussi
publiées sur le site www.statcan.gc.ca sous « Contactez-nous »
> « Normes de service à la clientèle ».
Les signes conventionnels suivants sont employés dans les
publications de Statistique Canada :
Note de reconnaissance
Le succès du système statistique du Canada repose sur un
partenariat bien établi entre Statistique Canada et la population
du Canada, les entreprises, les administrations et les autres
organismes. Sans cette collaboration et cette bonne volonté,
il serait impossible de produire des statistiques exactes et
actuelles.
. indisponible pour toute période de référence
.. indisponible pour une période de référence précise
... n’ayant pas lieu de figurer
0 zéro absolu ou valeur arrondie à zéro
0s valeur arrondie à 0 (zéro) là où il y a une distinction
importante entre le zéro absolu et la valeur arrondie
p
provisoire
r
révisé
x confidentiel en vertu des dispositions de la Loi sur la
statistique
E
à utiliser avec prudence
F trop peu fiable pour être publié
* valeur significativement différente de l’estimation pour la
catégorie de référence (p<0,05)
Publication autorisée par le ministre responsable de Statistique Canada
© Ministre de l’Industrie, 2016
Tous droits réservés. L’utilisation de la présente publication est assujettie aux modalités de l’entente de licence ouverte de
Statistique Canada.
Une version HTML est aussi disponible.
This publication is also available in English.
Test du contenu du programme du recensement de 2016 :
design et résultats
Table des matières
Liste des tableaux......................................................................................................................3
1.Introduction........................................................................................................................6
1.2.Objectifs..........................................................................................................................................................6
2.Design.................................................................................................................................7
2.1Aperçu.............................................................................................................................................................7
2.2
Population cible et échantillonnage.............................................................................................................8
2.2.1
Approche par vagues du recensement................................................................................................................ 9
2.3
Collecte des données..................................................................................................................................10
2.4
Traitement des questionnaires retournés................................................................................................. 11
2.5
Traitement des données.............................................................................................................................. 11
2.6
Taux de réponse totale................................................................................................................................ 11
2.7
Stratégie d’analyse......................................................................................................................................13
3.
Test de contenu : changements testés et résultats de l’analyse................................15
3.1
Étapes relatives à la couverture.................................................................................................................15
3.1.1
Étape A – Adresse de courrier électronique....................................................................................................... 15
3.1.2
Étape B – Dénombrement.................................................................................................................................. 17
3.1.3
Étape C – Personnes non inscrites.................................................................................................................... 20
3.2
Format du questionnaire papier.................................................................................................................24
3.3
Questions démographiques.......................................................................................................................26
3.4
3.5
3.6
3.3.1
Le mode interrogatif........................................................................................................................................... 26
3.3.2
État matrimonial et union libre ........................................................................................................................... 27
3.3.3
Lien avec la personne repère (Personne 1)....................................................................................................... 29
Questions sur les langues..........................................................................................................................31
3.4.1
La langue parlée à la maison............................................................................................................................. 31
3.4.2
La langue maternelle.......................................................................................................................................... 33
Question sur le numéro d’assurance sociale (NAS)................................................................................34
3.5.1
Taux de réponse................................................................................................................................................. 35
3.5.2
Qualité des réponses fournies............................................................................................................................ 36
3.5.3
Impacts de la question....................................................................................................................................... 37
Revenu et gains...........................................................................................................................................39
Statistique Canada – No 92-140-X2016001 au catalogue
1
Test du contenu du programme du recensement de 2016 :
design et résultats
3.7
Questionnaires intégrés Recensement / ENM..........................................................................................40
3.8
Activités de la vie quotidienne...................................................................................................................42
3.9
Renseignements socioculturels.................................................................................................................45
3.9.1
La question sur le lieu de naissance du répondant............................................................................................ 45
3.9.2
La question sur la citoyenneté............................................................................................................................ 48
3.9.3
La question sur l’année d’immigration................................................................................................................ 49
3.9.4
La question sur l’origine ethnique....................................................................................................................... 50
3.9.5
Les questions sur l’identification autochtone ..................................................................................................... 54
3.9.6
La question sur le groupe de population............................................................................................................ 56
3.10Scolarité........................................................................................................................................................57
3.10.1 Les questions relatives aux diplômes obtenus................................................................................................... 58
3.10.2 Le principal domaine d’études............................................................................................................................ 64
3.10.3 La question sur la fréquentation scolaire............................................................................................................ 65
3.11 Travail (activité sur le marché du travail)..................................................................................................67
3.11.1 La restructuration de la section sur le travail...................................................................................................... 67
3 11.2 L’industrie et la profession.................................................................................................................................. 68
3.11.3 La question sur la langue de travail.................................................................................................................... 69
3.12 Permission de rendre accessibles les renseignements personnels tirés du recensement après
une période de 92 ans.................................................................................................................................71
4.Conclusion.......................................................................................................................73
Annexes....................................................................................................................................74
Annexe A – Liste des principaux changements apportés au contenu du Programme du Recensement
de 2016....................................................................................................................................................................74
Annexe B – Liste des questions des questionnaires de tests et de contrôle (Test de contenu).................... 75
2
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Liste des tableaux
Tableau 1
Modèles proposés pour le Recensement de 2016 et l’Enquête nationale auprès des ménages de 2016,
Test de contenu..........................................................................................................................................................7
Tableau 2
Sous-ensembles de la population à l’étude, Test de contenu....................................................................................8
Tableau 3
L’approche de collecte par vagues...........................................................................................................................10
Tableau 4
Taux de retour pour le recensement, selon le test et le panel..................................................................................12
Tableau 5
Taux de retour pour l’ENM, selon le test et le panel.................................................................................................13
Tableau 6
Répartition des réponses selon le mode de réponse, Test de contenu.................................................................... 16
Tableau 7
Répartition des réponses selon le mode de réponse, Test du NAS.........................................................................16
Tableau 8
Taux de non-réponse à la question concernant le nombre de personnes à cette adresse, selon le panel, mode
de réponse papier, Test de contenu.........................................................................................................................19
Tableau 9
Taux de non-réponse concernant la liste des membres du ménage, selon le panel, mode de réponse papier,
Test de contenu........................................................................................................................................................20
Tableau 10
Proportion (%) de ménages qui ont déclaré une personne à l’étape C, selon le panel et le mode de collecte,
Tests de contenu et du NAS.....................................................................................................................................22
Tableau 11
Personnes listées et ajoutées à l’étape C, selon les raisons mentionnées, questionnaire électronique,
Test de contenu........................................................................................................................................................23
Tableau 12
Taux de non-réponse aux questions du recensement, selon la taille du ménage et la position de la personne,
questionnaires papier, Recensement de 2011 et Test de contenu...........................................................................25
Tableau 13
Taux de complétion du recensement, questionnaire papier, Recensement de 2011, Test de contenu.................... 26
Tableau 14
Répartition des réponses à l’union libre, selon le panel et la langue du questionnaire, personnes âgées de
15 ans et plus ayant une réponse valide, Test de contenu.......................................................................................28
Tableau 15
Répartition des réponses à l’état matrimonial parmi les personnes qui ont déclaré être en union libre,
selon le panel et la langue du questionnaire, personnes âgées de 15 ans et plus ayant une réponse valide,
Test de contenu........................................................................................................................................................28
Tableau 16
Répartition de la catégorie « autre lien » à la question sur le lien avec la Personne repère selon le mode de
collecte, Test de contenu..........................................................................................................................................30
Statistique Canada – No 92-140-X2016001 au catalogue
3
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 17
Répartition et taux de non-réponse à la question sur le lien avec la Personne repère, selon l’âge des
répondants et le mode de collecte, Test de contenu................................................................................................31
Tableau 18
Répartition des réponses à la question sur la langue parlée le plus souvent à la maison, selon le panel, le mode
de réponse et la langue du questionnaire, Test de contenu.....................................................................................33
Tableau 19
Répartition des réponses à la question sur la langue maternelle, selon le panel, le mode de réponse et la
langue du questionnaire, Test de contenu................................................................................................................34
Tableau 20
Taux de transition vers l’ENM, selon le panel et le mode de collecte, Test du NAS................................................. 36
Tableau 21
Répartition des réponses à la question sur le numéro d’assurance sociale, selon le mode de collecte,
Test du NAS.............................................................................................................................................................36
Tableau 22
Répartition des réponses à la question sur le NAS selon la position de la personne dans le ménage, selon le
mode de collecte pour les ménages auto-répondants, Test du NAS........................................................................37
Tableau 23
Impacts estimés de la présence de la question sur le NAS sur les activités de rappel et de suivi de 2016............ 38
Tableau 24
Taux de transition à l’ENM, selon le test et le mode de réponse..............................................................................41
Tableau 25
Taux de non-réponse à la question sur l’incapacité, selon le mode de collecte, panel de test seulement,
Test de contenu........................................................................................................................................................44
Tableau 26
Répartition des réponses sur le lieu de naissance du répondant, selon le panel, questionnaire électronique,
Test de contenu........................................................................................................................................................47
Tableau 27
Population immigrante dérivée, selon le panel et le mode de collecte, Test de contenu......................................... 48
Tableau 28
Répartition des origines ethniques uniques, selon le panel et le mode de collecte, Test de contenu...................... 52
Tableau 29
Réponses uniques et réponses multiples à la question sur l’origine ethnique, selon le panel et le mode de
collecte, Test de contenu..........................................................................................................................................53
Tableau 30
Répartition des réponses à la question sur l’identité autochtone auto-déclarée, selon le panel et le mode de
collecte, Test de contenu..........................................................................................................................................55
Tableau 31
Répartition des réponses à la question sur le statut d’Indien, selon le panel et le mode de collecte,
Test de contenu........................................................................................................................................................56
Tableau 32
Répartition du plus haut niveau de scolarité acquise, selon le panel, QE uniquement, Test de contenu................ 60
Tableau 33
Répartition des réponses aux diplômes de métier et de collège, selon le panel, QE, Test de contenu................... 60
4
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 34
Taux de non-réponse aux questions sur la scolarité, selon le panel et le mode de collecte, Test de contenu......... 61
Tableau 35
Répartition des non-répondants à la question sur la scolarité postsecondaire, selon le panel, questionnaire
papier, Test de contenu............................................................................................................................................62
Tableau 36
Synthèse des modifications du libellé apportées aux sous-questions sur la scolarité postsecondaire,
Test de contenu .......................................................................................................................................................63
Tableau 37
Répartition de la fréquentation scolaire, selon l’âge des répondants, le panel, et le mode de collecte, Test de
contenu 2014, ENM 2011 et EPA 2011....................................................................................................................66
Tableau 38
Répartition des taux de non-réponse aux questions de la section sur le travail, selon le panel et le mode de
collecte, Test de contenu..........................................................................................................................................68
Tableau 39
Répartition des réponses à la question sur la langue utilisée le plus souvent au travail, selon le panel, le mode
de réponse et la langue du questionnaire, Test de contenu.....................................................................................70
Tableau 40
Répartition estimée des personnes qui seraient incluses et exclues de l’univers de la question sur les langues
parlées en milieu de travail en 2016 selon l’ENM 2011............................................................................................71
Tableau 41
Répartition de la réponse à la question, selon le mode de collecte et le panel, Recensement (2A) et ENM (N1),
Test de contenu........................................................................................................................................................72
Tableau 42
Répartition de la réponse à la question, selon le mode de collecte et le panel, ENM (N1), personnes âgées de
moins de 15 ans, Test de contenu............................................................................................................................73
Statistique Canada – No 92-140-X2016001 au catalogue
5
Test du contenu du programme du recensement de 2016 :
design et résultats
1.Introduction
Du 2 mai au 30 juin 2014, Statistique Canada a mené le Test de contenu du Programme du Recensement de
2016 qui regroupe d’une part, le questionnaire du recensement obligatoire (2A) et d’autre part, le questionnaire
combiné du recensement et de l’Enquête nationale auprès des ménages (N1)1 qui pourraient tous deux
être utilisés lors du prochain cycle. Au total, cinq tests ont permis de mettre à l’essai différents aspects du
Programme du Recensement de 2016. À Statistique Canada, ces tests sont appelés « tests de comportement »
et correspondent à l’acronyme « BT ». Les tests 1 et 4, soient BT1 et BT4, visaient à tester le matériel de
communication; les tests BT3 et BT5 visaient les opérations sur le terrain et le test BT2 a permis de tester les
options de contenu proposé pour le programme du Recensement de 2016. La date de référence du test BT2 était
le 13 mai 2014.
Le présent rapport présente les objectifs du Test de contenu, le design et la synthèse de cette analyse pour la
détermination du contenu potentiel. Les résultats de l’analyse de données du test ne sont pas les seuls éléments
qui ont permis de déterminer le contenu pour 2016. Plusieurs autres éléments ont aussi été considérés pour la
détermination du contenu, tels que le fardeau de réponse, la comparabilité dans le temps des estimations et des
comptes et les besoins des utilisateurs.
1.2.Objectifs
Des changements ont été proposés au contenu de 2016 par rapport à celui du Recensement de 2011 et de l’ENM
de 2011. Ces changements ont pris en compte les éléments suivants :
•
les besoins exprimés par divers partenaires utilisateurs des données du recensement lors des
consultations menées à l’automne 2012 •
les exigences opérationnelles et budgétaires du programme du recensement •
le respect des cadres normatifs nouvellement adoptés par l’organisme en matière de normalisation des
outils de la collecte et de réduction du fardeau de la réponse auprès des ménages •
les résultats des différents tests qualitatifs qui ont été menés préalablement au Test de contenu entre mai
2013 et janvier 2014.
Tout changement apporté au contenu a fait l’objet d’une évaluation minutieuse quant à l’impact sur la qualité
des réponses obtenues. En tenant compte de tous les changements proposés, deux objectifs principaux ont été
définis pour le Test de contenu.
Objectif no 1 : valider les changements proposés au contenu concernant :
•
le libellé des questions et des instructions pour y répondre
•
les choix de réponses proposées
•
la structure du questionnaire du recensement et de l’ENM
•
le format papier des questionnaires
•
le format électronique des questionnaires et les fonctionnalités de l’application.
Objectif no 2 : évaluer l’impact de la question demandant le numéro d’assurance sociale (NAS) sur la qualité des
données, les opérations de collecte et les appariements possibles avec d’autres fichiers administratifs.
1. Statistique Canada a entrepris la mise en œuvre de la décision du gouvernement du Canada de rétablir le questionnaire détaillé obligatoire
du recensement en novembre 2015.
6
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
2.Design
2.1Aperçu
Le design du test a été conçu pour répondre aux deux objectifs principaux : évaluer l’impact de tout changement
proposé au contenu (objectif no 1), mesurer l’impact de la question sur le NAS (objectif no 2). À cette fin, deux
modèles de questionnaire ont été élaborés pour répondre aux objectifs : un modèle avec tous les changements
proposés SAUF la question sur le NAS, un modèle avec tous les changements proposés INCLUANT la question
sur le NAS. Un modèle de questionnaire de contrôle avec le contenu de 2011 a aussi été élaboré. Le tableau 1
présente chacun de ces modèles de questionnaire.
Tableau 1
Modèles proposés pour le Recensement de 2016 et l’Enquête nationale auprès des ménages de 2016,
Test de contenu
Modèle 1
Modèle 2
Modèle de contrôle
Recensement
Neuf questions
obligatoires avec les
changements proposés
Dix questions obligatoires,
Neuf questions obligatoires
avec les changements
identiques à celles utilisées
proposés, incluant la question en 2011
sur le NAS
Enquête nationale
auprès des
ménages (ENM)
Vingt-six questions volontaires, incluant les changements
proposés et permettant de recueillir l’information sur
les thèmes suivants : activité de la vie quotidienne,
renseignements socioculturels (immigration, identité
autochtone, minorité visible), mobilité (1 an et 5 ans),
lieu de naissance des parents, scolarité, activités sur le
marché du travail
Cinquante-cinq questions,
identiques à celles utilisées
en 2011
Source : Statistique Canada, Test de contenu de 2014.
Pour répondre adéquatement à l’objectif no 2 et bien mesurer l’impact de la question sur le NAS sur la collecte,
le Test de contenu était obligatoire pour les répondants. L’aspect obligatoire a ainsi été nécessaire pour simuler
des conditions au Test de contenu similaires à celles du Recensement de la population (le recensement est
obligatoire). L’aspect obligatoire ne s’appliquait qu’aux questions du recensement; celles de l’ENM étaient
volontaires.
Au total, le Test de contenu a nécessité le développement de questionnaires de test et de contrôle différents, en
français et en anglais, répartis en 11 panels d’analyse. Ces 11 panels ont été groupés pour répondre aux deux
principaux objectifs. Cinq panels ont été utilisés pour l’objectif no 1 et six panels ont été utilisés pour l’objectif
no 2.
Les questions incluses dans les modèles 1 et 2 de l’ENM ont permis d’évaluer des modifications potentielles à
certaines questions et d’évaluer un contenu réduit dans un contexte d’une plus grande utilisation de données
administratives et de diminution du fardeau de réponse.
Statistique Canada – No 92-140-X2016001 au catalogue
7
Test du contenu du programme du recensement de 2016 :
design et résultats
2.2
Population cible et échantillonnage
Pour chacun des 11 panels, une population cible a été définie et un échantillon a été sélectionné (voir figure 1).
En raison des contraintes de collecte du test (par ex., absence de personnel sur le terrain pour la livraison des
questionnaires), les logements privés situés dans les secteurs d’envoi par la poste dans l’une des 10 provinces
ont été retenus pour la sélection de l’échantillon. Les logements collectifs ont été exclus de ce test, tout comme
les logements privés situés dans les secteurs d’énumération par listage/livraison ou par interview. Seuls les
ménages vivant dans les logements privés occupés en 2011 ayant répondu à l’ENM ont été ciblés. Cet aspect
a été considéré pour maximiser le nombre de répondants au test qui avaient aussi rempli l’ENM en 2011 afin
d’obtenir plus de réponses de 2011 et 2014 à comparer parmi les répondants appariés. Pour le test du NAS, la
condition de réponse à l’ENM n’était pas nécessaire : des ménages non répondants en 2011 ont été inclus dans
la population cible.
Les logements échantillonnés de chaque panel ont été choisis de façon à être représentatifs de différentes
populations cibles et ainsi servir soit à l’analyse de contenu de l’objectif no 1 (panels 1 à 5) soit à l’analyse du
NAS de l’objectif no 2 (panels 6 à 11). Parmi tous les changements proposés, certains ne s’appliquaient qu’au
questionnaire papier (par ex., le format du questionnaire papier) et d’autres ne s’appliquaient qu’au questionnaire
électronique (QE) (par ex., fonctionnalité électronique). La population cible et la méthode de collecte des 11
panels ont été définies de façon à obtenir un nombre suffisant de réponses « papier » et un nombre suffisant
de réponses « électroniques » pour s’assurer que tous les changements proposés étaient testés correctement.
Cette particularité était nécessaire pour permettre un niveau de précision adéquat lors de l’analyse des données
et ainsi détecter des différences statistiquement significatives par mode de réponse (papier ou QE). Le tableau 2
présente pour les 11 panels, la population cible et l’objectif associé à chacune.
Tableau 2
Sous-ensembles de la population à l’étude, Test de contenu
Population cible
Panels
Objectifs
Ménages des secteurs
Panel de test no 1 et no 2 vs. Panel de
contrôle no 4
d’envoi par la poste qui ont
répondu à la version papier du
questionnaire de l’ENM en 2011
Mesurer l’impact des
changements apportés au
questionnaire papier
Ménages des secteurs d’envoi Panel de test no 3 vs. Panel de contrôle
par la poste qui ont répondu
no 5
à la version électronique du
questionnaire de l’ENM en 2011
Mesurer l’impact des
changements apportés au
questionnaire électronique et à
ses fonctionnalités
Ménages des secteurs d’envoi
par la poste en 2011
Mesurer l’impact de la question
sur le NAS sur la qualité,
la collecte et l’appariement
possible avec d’autres sources
de données
Panel de test no 6 vs. Panel de contrôle
no 9
Panel de test no 7 vs. Panel de contrôle
no 10
Panel de test no 8 vs. Panel de contrôle
no 11
Source : Statistique Canada, Test de contenu de 2014.
La figure 1 décrit le design de chaque panel et indique s’il s’agit d’un panel de test (panel utilisé pour les
changements proposés) ou d’un panel de contrôle. La description de chaque panel donne aussi la population
cible (base de sondage), la taille de l’échantillon (n), le principal type de questionnaire utilisé (papier ou QE), le
nom du questionnaire (2A, N1, N1.1, 2As, N1s) et le modèle de questionnaire associé (voir le tableau 1 pour
les différents modèles). Le questionnaire N1 était le questionnaire qui intégrait les questions du recensement
et les questions de l’ENM pour les panels de test et le questionnaire N1.1 était le questionnaire qui intégrait les
questions du recensement et celles de l’ENM pour les panels de contrôle.
8
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Figure 1
Design du Test de contenu de 2014
Pour chacun des panels 1 à 5, l’échantillon a été un échantillon aléatoire simple stratifié (selon la province et la
langue). Pour chacun des panels 6 à 11, afin de minimiser les coûts du suivi des cas de non-réponse (SCNR),
l’échantillon a d’abord été stratifié par bureau local du recensement; ensuite 400 grappes (zones) ont été
sélectionnées à l’intérieur des strates selon un plan d’échantillonnage systématique avec probabilité
proportionnelle à la taille. Enfin, un échantillon aléatoire simple de 75 logements a été sélectionné dans chacune
des grappes.
2.2.1 Approche par vagues du recensement
L’approche par vagues a été utilisée pour la collecte des données du Test de contenu. Cette approche a permis
de maximiser le taux de réponse tout en minimisant les coûts de collecte. Le tableau 3 présente les principales
dates des différentes vagues. Cette approche est très similaire à celle utilisée lors du Recensement de 2011 et
envisagée pour le Recensement de 2016.
Statistique Canada – No 92-140-X2016001 au catalogue
9
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 3
L’approche de collecte par vagues
Étape de la
collecte
Activité principale
Panels ciblés
Date de début
Réception d’une lettre comportant un
code d’accès sécurisé
Panels format QE
5 mai 2014
Réception d’une trousse du questionnaire
Panels format papier
5 mai 2014
Réception d’une lettre de rappel
comportant un code d’accès sécurisé
Tous les ménages non
répondants
13 mai 2014
Vague 3
Réception d’une trousse du questionnaire
Panels format QE et format
papier : ménages non
répondants lors de la vague 1
qui ont reçu une lettre
21 mai 2014
Vague ENM
Réception d’une lettre de rappel
comportant un code d’accès sécurisé
pour le QE de l’ENM seulement (QE ENM
« application autonome»)
Tous les ménages répondants
QE à la portion recensement
et non répondants à la portion
ENM
30 mai 2014
Vague 4
Avis de visite et début du suivi des cas de
non-réponse (SCNR); visite en personne
et par téléphone
Panels pour objectif no 2
(NAS) : sous-échantillon des
ménages non répondants
2 juin 2014
Vague 1
Vague 2
Source : Statistique Canada, Test de contenu de 2014.
Au total, 55 000 logements, répartis en 11 panels d’analyse, ont été contactés pendant le Test de contenu;
20 000 lettres d’invitation initiale, 35 000 enveloppes de questionnaires de la vague 1 et des lettres de rappel ont
été expédiées par Poste Canada lors de ces vagues.
2.3
Collecte des données
La collecte a eu lieu du 2 mai au 30 juin 2014. La date de référence était le 13 mai.
En plus d’utiliser l’approche par vagues, d’autres activités de collecte ont été mises en place pour favoriser le
taux de réponse. L’Assistance téléphonique du recensement (ATR) a été ouverte du 2 mai au 30 juin 2014.
Ceux qui avaient des questions ou avaient besoin d’aide pour remplir leur questionnaire pouvaient donc parler
avec un agent. L’Assistance téléphonique du recensement a reçu 7 400 appels. Lorsque l’appel visait à assister
un répondant pour remplir son questionnaire, les agents ont utilisé l’application iQE, soit un questionnaire
électronique spécialement conçu pour ce besoin.
Pour les répondants qui recevaient une lettre comportant un code d’accès sécurisé et qui ne pouvaient pas ou ne
voulaient pas utiliser le QE, un système de demande de questionnaire papier a été mis en place.
Une opération de suivi des cas de non-réponse (SCNR) a également eu lieu du 2 au 30 juin. Cette opération
n’a été offerte qu’aux panels utilisés pour l’analyse du NAS. Elle a été mise en place pour comparer la collecte
lorsqu’une question sur le NAS était présente (panels 6, 7 et 8) contre une collecte lorsque la question sur le NAS
n’était pas présente (panels 9, 10 et 11). Cette opération de suivi a été menée par les intervieweurs de Statistique
Canada. Les intervieweurs devaient contacter, par téléphone ou par interview sur place, les ménages de tous ces
panels qui, en date du 30 mai, n’avaient pas répondu. Pour réduire le nombre de suivis en raison de la limitation
des ressources et pour contrôler les coûts de collecte, un sous-échantillon de ménages non répondants a été
sélectionné.
10
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
2.4
Traitement des questionnaires retournés
Pour le Test de contenu, les QE remplis par les répondants ont été transmis directement aux serveurs du Centre
des opérations des données (COD) de Statistique Canada et enregistrés automatiquement dès la réception. Les
questionnaires papier qui ont été retournés par la poste ont été enregistrés également au COD en balayant le
code à barres sur la couverture du questionnaire. Les questionnaires remplis par les intervieweurs pendant le
SCNR ont été envoyés par la poste au COD.
Une fois enregistrés, les questionnaires papier ont été traités pour l’étape de la saisie des données.
2.5
Traitement des données
Les données des questionnaires papier ont été saisies avec ANYDOC, un système de saisi par reconnaissance
optique des caractères. Une fois saisies, les données des questionnaires papier (QP) ont été intégrées à
celles des questionnaires électroniques (QE) dans un même fichier. Un processus d’intégration complexe a été
nécessaire pour uniformiser les données de chaque mode de réponse. Ce processus avait pour but de produire
un fichier unique pour tous les modes de réponse et tous les panels. Des règles de traitement ont été appliquées
à ce fichier afin d’assurer que certains problèmes et certaines incohérences soient identifiés et corrigés (par ex.,
un questionnaire papier retourné sans aucune réponse, un questionnaire papier et un questionnaire électronique
remplis pour le même ménage, etc.). Un contrôle a aussi permis d’identifier les questionnaires ne contenant
aucun renseignement ou des renseignements insuffisants pour continuer à l’étape de traitement et de l’analyse.
Étant donné les ressources disponibles, le calendrier de production et les objectifs d’analyse, les données n’ont
pas été soumises au processus de contrôle et imputation. De même, les réponses en toutes lettres dans les
questionnaires n’ont pas été soumises à un codage.
2.6
Taux de réponse totale
Cette section présente le taux de retour au niveau du ménage du Test de contenu. Ce taux est calculé à partir
du nombre de questionnaires remplis par rapport au nombre total de logements sélectionnés. Pour la portion
recensement, un questionnaire a été considéré rempli s’il y avait au moins une question répondue à partir de la
question 2 (Sexe). Pour la portion ENM, un questionnaire a été considéré rempli si le répondant avait répondu à
au moins une question de l’ENM. Ces règles sont les mêmes que celles qui ont été utilisées en 2011. Le tableau
4 présente les taux de retour au recensement pour le Test de contenu et le Test du NAS. Le taux de retour a été
calculé comme le ratio du nombre de ménages qui ont retourné un questionnaire entièrement ou partiellement
rempli sur le nombre total de logements de l’échantillon. Ce taux ne tient pas compte des logements inoccupés.
Statistique Canada – No 92-140-X2016001 au catalogue
11
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 4
Taux de retour pour le recensement, selon le test et le panel
Total des
questionnaires
envoyés
Total des
questionnaires
reçus
Taux de retour
(%)
Test de contenu (objectif no 1)
Panel de test (1)
Panel de test (2)
Panel de contrôle (4)
5 000
5 000
5 000
4 168
4 163
4 106
83,4
83,3
82,1
Panel de test (3)
Panel de contrôle (5)
5 000
5 000
4 122
4 062
82,4
81,2
Test du NAS (objectif no 2)
Panel de test (6)
Panel de contrôle (9)
5 000
5 000
4 424
4 418
88,5
88,4
Panel de test (7)
Panel de contrôle (10)
5 000
5 000
4 386
4 417
87,7
88,3
Panel de test (8)
Panel de contrôle (11)
5 000
5 000
4 408
4 426
88,2
88,5
Source : Statistique Canada, Test de contenu de 2014.
Comme l’indique le tableau 4, le Test de contenu et le Test du NAS ont donné de bons résultats en matière
de collecte des données du recensement, avec des taux de retour supérieurs à 80 % quels que soient les
panels et les modes de collecte. Ces taux élevés de participation s’expliquent par le caractère obligatoire du
Test de contenu, bien qu’il s’agisse d‘un test, et par le fait que les ménages sélectionnés pour les panels 1 à 5
sont également ceux qui ont répondu en 2011 à l’ENM de façon volontaire. Il faut également tenir compte de
l’opération du suivi des cas de non-réponse qui a été mise en place pour le Test du NAS (panels 6 à 11) à partir
du 2 juin et grâce à elle, la participation d’environ 2 400 ménages supplémentaires a pu être ajoutée. Enfin, la
méthode d’envoi par vagues a certainement contribué à ces résultats élevés. Le tableau 5 présente les taux de
retour de l’ENM pour le Test de contenu et le Test du NAS.
12
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 5
Taux de retour pour l’ENM, selon le test et le panel
Total des
questionnaires
envoyés
Total des
questionnaires
reçus
Taux de retour
(%)
Test de contenu (objectif no 1)
Panel de test (2)
Panel de contrôle (4)
5 000
5 000
3 974
3 837
79,5
76,7
Panel de test (3)
Panel de contrôle (5)
5 000
5 000
3 398
3 413
68,0
68,3
Test du NAS (objectif no 2)
Panel de test (7)
Panel de contrôle (10)
5 000
5 000
3 963
4 010
79,3
80,2
Panel de test (8)
Panel de contrôle (11)
5 000
5 000
3 679
3 757
73,6
75,1
Source : Statistique Canada, Test de contenu de 2014.
En ce qui concerne les taux de retour pour l’ENM, les résultats du Test de contenu et du Test du NAS sont un peu
différents. Les premiers (panels pour le Test de contenu) oscillent entre 68 % et 79,5 %, et les seconds (panels
pour le Test du NAS), entre 73,6 % et 80,2 %. Il faut rappeler que la participation à l’ENM était volontaire, ce qui
peut expliquer ces taux plus bas.
2.7
Stratégie d’analyse
Pour mener à bien l’analyse des données colligées dans le cadre de ce Test de contenu, un groupe de travail
a été formé, composé d’analystes des domaines spécialisés, de méthodologistes et de personnel associé aux
tâches de détermination du contenu et de certification. Ce groupe a élaboré le plan des analyses à réaliser,
précisant les hypothèses à valider concernant l’impact des changements pour chaque modification apportée au
contenu ainsi que les activités à mener pour constituer la base de données des réponses, et dériver les variables
nécessaires à l’analyse. Les méthodes de comparaison ont également été définies et validées par ce groupe.
Un plan d’analyse indépendant, spécifique à l’ajout de la question sur le numéro d’assurance sociale, a aussi été
développé.
Aux fins de l’analyse et de la validation des hypothèses, les résultats des panels de test et de contrôle ont
été comparés pour évaluer les effets des modifications proposées au contenu. Les réponses provenant
des questionnaires papier et des questionnaires électroniques ont été analysées séparément. L’analyse a
principalement porté sur l’incidence des modifications sur la répartition des réponses et les taux de non-réponse.
Dans le cas des modifications apportées au contenu existant, les résultats des panels de contrôle et de test ont
été comparés et les écarts ont été évalués. En ce qui a trait aux nouvelles questions, les résultats du panel de
test ont été comparés à ceux du panel de contrôle pour veiller à ce que ces questions n’aient pas d’effet sur les
questions situées à proximité dans le questionnaire ou sur d’autres questions connexes. Pour vérifier l’exactitude
et la cohérence des données, on a aussi comparé les résultats des panels de test et des panels de contrôle pour
les questions sans aucune modification.
Les résultats des panels de contrôle ont aussi été analysés et comparés aux données du Recensement de 2011.
Puisque le contenu des panels de contrôle était sensiblement le même qu’en 2011, des analyses sommaires ont
été faites entre les données des panels de contrôle et les données de 2011 pour vérifier que les répartitions et la
qualité étaient similaires.
Statistique Canada – No 92-140-X2016001 au catalogue
13
Test du contenu du programme du recensement de 2016 :
design et résultats
Les données
Une base de données intégrant les modes de collecte électronique et papier, et contenant les données nettoyées
et les poids de sondage a permis d’effectuer les analyses liées au contenu (objectif no 1).
Pour l’analyse du Test du NAS (objectif no 2), une base de données indépendante, incluant des poids de sondage
avec un accès restreint aux personnes impliquées dans cette analyse, a été créée.
De plus, les données du test ont été appariées aux données du recensement et de l’ENM de 2011. Ainsi, dans
le cas des répondants qui vivaient dans le même logement que lors du Recensement de 2011, les réponses
fournies dans le contexte du Test de 2014 ont été comparées à celles fournies en 2011, pour mieux comprendre
les variations potentielles dans les données et approfondir l’analyse des données sur les changements proposés.
14
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
3. Test de contenu : changements testés et résultats de l’analyse
Étant donné l’objectif du Test de contenu, l’analyse présentée dans ce rapport porte dans une large mesure sur
les panels de test puisqu’il s’agit de ceux visés par les changements proposés. Les résultats de l’analyse feront
référence aux panels de test et de contrôle, aux questionnaires de test et de contrôle ou aux questions de test
et de contrôle. Les termes « questionnaire papier » (QP) et « questionnaire électronique » (QE) sont également
utilisés pour désigner le mode de collecte.
Pour chaque thème, le rapport présente d’abord les changements apportés au contenu dans les versions papier
et électronique des questionnaires, suivi des résultats des analyses avec données à l’appui.
Les données présentées dans cette section sont les données des panels utilisés pour l’objectif no 1 (panels 1
à 5 pour l’analyse du contenu), à l’exception des données pour la question sur le NAS, qui sont les données des
panels utilisés pour l’objectif no 2 (panels 6 à 11 pour le NAS).
Les résultats présentés, à l’exception de la sous-section portant sur l’analyse des étapes relatives à la couverture,
se basent sur des données pondérées. En ce qui a trait aux questions contenues dans les étapes relatives à la
couverture, seuls les questionnaires des ménages considérés comme répondants ont été utilisés. Les analyses
ont été faites de façon non pondérée puisqu’on combine parfois les répondants de divers panels ensemble,
y compris les répondants du Test de contenu avec ceux du Test du NAS.
3.1
Étapes relatives à la couverture
Le questionnaire du recensement commence avec les étapes A, B et C – dites de « couverture » – car elles
visent à établir les chiffres exacts de population le jour de référence du recensement2. La couverture de la
population repose sur deux concepts : la population cible (soit l’ensemble des personnes qu’il faut dénombrer)
et le lieu où chaque personne de la population cible doit être dénombrée. Chaque personne faisant partie de la
population cible doit être dénombrée une seule fois, à son lieu de résidence habituel, le jour du recensement.
Dans la version papier du questionnaire ainsi que dans la version électronique, les étapes de couverture ont
subi des changements mineurs dans le libellé des questions et des instructions. Les principaux changements
concernent l’ajout de la question concernant l’adresse électronique à l’étape A dans les versions papier et
électronique, ainsi qu’une modification intégrale de l’étape C dans la version électronique.
Les analyses sur les étapes relatives à la couverture ont été faites dans un premier temps avec les panels de
l’objectif no 1 (contenu). Pour valider certaines conclusions et certaines tendances, les panels de l’objectif no 2
(question NAS) ont aussi été utilisés. Les résultats de cette sous-section présentent donc des analyses faites à
partir des panels des objectifs nos 1 et 2.
3.1.1 Étape A – Adresse de courrier électronique
Pour la première fois, on a demandé aux répondants de fournir une adresse électronique (voir figure 2). Cette
question faisait partie de l’étape A des questionnaires des panels de test uniquement. La question est posée
immédiatement après celle du numéro de téléphone et avant celle de l’adresse.
Cette question n’étant pas applicable à tous les ménages, il n’y a pas de message de validation en cas
de non-réponse dans le questionnaire électronique, mais il y en a un si le répondant omet le caractère
« @ » ou le « . ». Pour les besoins de cette analyse, on a ajouté deux conditions pour qu’une adresse de
courrier électronique soit considérée comme valide. Elle devait respecter le format généralement accepté
2. L’étape D permet d’identifier les ménages qui demeurent sur une exploitation agricole et les réponses à cette étape sont utilisées pour le
Recensement de l’agriculture.
Statistique Canada – No 92-140-X2016001 au catalogue
15
Test du contenu du programme du recensement de 2016 :
design et résultats
« “caractère”@”caractère”.“caractère” », c’est-à-dire, l’adresse fournie devait commencer avec un caractère
alphanumérique et avoir une longueur d’au moins cinq caractères.
Figure 2
Question sur l’adresse du courrier électronique
Source : Statistique Canada, Test de contenu de 2014, questionnaire 2A.
Résultats
Le tableau 6 montre la répartition des réponses selon le mode de réponse pour le Test de contenu et le tableau 7
montre la même répartition pour le Test du NAS.
Le taux de réponse totale (réponse valide et réponse invalide) à cette question est de 52,6 % pour le Test de
contenu et de 62,7 % pour le Test du NAS. Parmi les ménages du Test de contenu, 49,7 % ont fourni une réponse
valide; cette proportion est de 60,4 % en ce qui concerne les ménages du Test du NAS. Le pourcentage de
réponses valides diffère selon le mode de réponse : pour le Test de contenu, 86,5 % des ménages répondant par
QE et 29,9 % des ménages répondants par QP ont fourni une adresse valide. Il y a deux facteurs qui peuvent
avoir eu une influence sur ce résultat. Le premier est le fait que parmi les répondants QP en 2011 (donc ceux
qui ont reçu un QP lors du Test), il y a maintenant un pourcentage plus élevé de ménages qui utilisent Internet.
Le deuxième facteur serait l’effet de recevoir un QP. Même si un ménage utilise le QE, lorsqu’il reçoit un QP, le
ménage est plus porté à répondre en utilisant ce dernier.
Tableau 6
Répartition des réponses selon le mode de réponse, Test de contenu
Total
Non-réponse
Réponses invalides
Réponses valides
Électronique
Nombre
%
4 359
100,0
582
13,3
8
0,2
3 769
86,5
Papier
Nombre
%
8 094
100,0
5 324
65,8
351
4,3
2 419
29,9
Total
Nombre
%
12 453
100,0
5 906
47,4
359
2,9
6 188
49,7
Source : Statistique Canada, Test de contenu de 2014.
Tableau 7
Répartition des réponses selon le mode de réponse, Test du NAS
Auto-réponse
Électronique
Papier
Nombre
%
Nombre
%
Total
10 531 100,0
13 167 100,0
Non-réponse
1 529
14,5
6 785
51,5
Réponses invalides
11
0,1
457
3,5
Réponses valides
8 991
85,3
5 925
45,0
Par interview
Papier
Nombre
%
2 436 100,0
1 436
58,9
125
5,1
875
35,9
Total
Nombre
%
26 134 100,0
9 750
37,4
593
2,3
15 791
60,4
Source : Statistique Canada, Test de contenu de 2014.
16
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Les taux de réponses valides parmi les ménages auto-répondants qui ont choisi le questionnaire électronique
sont très similaires dans les tests de contenu (86,5 %) et du NAS (85,3 %). Ces taux sont également très
similaires à la proportion de ménages qui possède une connexion à l’Internet et qui est de 83 %, telle que
rapportée par l’Enquête canadienne sur l’utilisation d’Internet de 20123.
Les taux de réponses invalides incluent également les cas où le répondant a inscrit des réponses du type « ne
possède pas de courrier électronique ». Ces cas représentent 65 % des réponses classées comme invalides.
Si l’on considérait ces réponses comme non applicables, le taux réel de réponses invalides correspondrait à
0,9 % de l’ensemble des réponses. Parmi les principales raisons de ces réponses invalides, on note que 58 %
des répondants ont inscrit leur adresse postale et 5 % leur nom. Ces résultats reflètent surtout le comportement
des répondants par questionnaire papier, vu le très petit nombre de réponses invalides reçues par questionnaire
électronique.
Le contenu final du Programme du Recensement de 2016 a été diffusé sur le site Web de Statistique Canada.
Ce contenu est disponible à partir des liens suivants : http://www12.statcan.gc.ca/census-recensement/2016/ref/
questionnaires/questions-fra.cfm et http://www12.statcan.gc.ca/census-recensement/2016/ref/questionnaires/
questions-fra.cfm. Comme spécifiée dans ces liens, la question portant sur l’adresse électronique incluse dans le
Test de contenu a été retenue pour le Programme du Recensement de 2016.
3.1.2 Étape B – Dénombrement
L’étape B permet au répondant d’inscrire le nombre de personnes qui vivent habituellement à l’adresse indiquée
sur le questionnaire (B1) et de dresser la liste de ces personnes (B2).
B1 – Nombre de personnes à cette adresse
Dans la version électronique comme dans la version papier du questionnaire, la question sur le nombre de
personnes à cette adresse a été modifiée de façon à diminuer le nombre de cas où le répondant oublie de se
compter dans le total déclaré (figures 3 et 4). Dans le questionnaire électronique, les répondants ne peuvent pas
laisser la question en blanc, contrairement à la version papier, car le nombre déclaré sert à générer l’étape B2 –
Liste des membres du ménage.
En ce qui concerne les questionnaires papier, puisqu’il n’y a pas eu d’étape d’intégration et de vérification des
réponses comme c’est le cas lors du traitement des questionnaires papier en contexte de recensement habituel, il
n’est pas possible de contre-vérifier si des personnes ont omis de s’inclure lors du Test.
3. Voir : www.statcan.gc.ca/daily-quotidien/131126/dq131126d-fra.htm.
Statistique Canada – No 92-140-X2016001 au catalogue
17
Test du contenu du programme du recensement de 2016 :
design et résultats
Figure 3
Question sur le nombre de personnes à cette adresse (QE)
Test
Source : Statistique Canada, Test de contenu de 2014, questionnaire 2A.
Contrôle
Source : Statistique Canada, Test de contenu de 2014, questionnaire 2A.
Figure 4
Question sur le nombre de personnes à cette adresse (QP)
Test
Source : Statistique Canada, Test de contenu de 2014, questionnaire 2A.
Contrôle
Source : Statistique Canada, Test de contenu de 2014, questionnaire N1.1.
Résultats
Puisque cette question est obligatoire dans la version électronique, les taux de non-réponse ne concernent que
les questionnaires papier. Tout panel confondu, 10,2 % des questionnaires papier ont cette question en blanc.
Tel qu’indiqué dans le tableau 8, ces taux ne se différencient pas de façon significative entre les panels de test et
de contrôle, ce qui indique qu’en 2014, les répondants au questionnaire papier ont réagi à l’égard de la question
de la même manière qu’en 2011. Les ménages qui étaient ciblés pour le questionnaire électronique (panels no 3
et no 5), mais qui ont choisi de répondre à l’aide du questionnaire papier, ont un taux de non-réponse plus faible
pour le panel no 3 (nouveau contenu) comparé au panel no 5 (contenu de 2011). Les tests qualitatifs menés
précédemment avaient montré que la non-réponse à cette question était générée soit parce que les répondants
ne voyaient pas la case de réponse, soit parce que les pages 2 et 3 du questionnaire papier étaient collées. Dans
le cadre du Test, presque 20 % des répondants au questionnaire papier qui ont laissé la question en blanc n’ont
pas répondu aux autres questions des pages 2 et 3.
18
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 8
Taux de non-réponse à la question concernant le nombre de personnes à cette adresse, selon le panel, mode de
réponse papier, Test de contenu
Panels
Test de contenu
Panel de test (1)
Panel de test (2)
Panel de contrôle (4)
Panel de test (3)*
Panel de contrôle (5)*
Total des
ménages
Total de
non-réponse
%
12 253
3 744
3 780
3 686
570
473
1 246
377
396
369
49
55
10,2
10,1
10,5
10,0
8,6
11,6
* Ménages ciblés pour le QE, mais qui ont choisi le mode de réponse papier.
Source : Statistique Canada, Test de contenu de 2014.
Le libellé de la question testée a été retenu pour le Programme du Recensement de 2016.
B2 – Liste des membres du ménage
Après avoir déclaré le nombre de personnes du ménage, le répondant doit inscrire le nom de famille et le prénom
de chacune de ces personnes. Dans la version papier, les changements apportés sont mineurs et concernent
plus particulièrement la boîte de texte du prénom qui est passé de 12 à 14 caractères possibles. Dans la version
électronique, les changements apportés sont également mineurs et concernent l’agrandissement de la boîte
de texte de 60 caractères en 2011 à 80 en 2014, l’amélioration du contenu de l’aide et l’ajout d’un message
de validation lorsque le répondant n’inscrit que le nom ou le prénom. Finalement, le format de l’instruction a
également été modifié dans les deux versions.
Résultats
En ce qui a trait aux questionnaires électronique, la totalité des noms inscrits doit être cohérente avec le nombre
de personnes déclarées à l’étape B1. D’après l’analyse des paradonnées, le message de validation quant à
l’absence du nom/prénom a été vu par moins de 1 % des répondants et pour 98 % d’entre eux, une correction a
été apportée. Dans l’ensemble, il est donc possible de conclure que les changements ont contribué à améliorer la
qualité des données déclarées à cette question.
En version papier, 2,7 % du total de 25 420 ménages répondants (n=681) n’ont pas rempli l’étape B2. Pour 450
de ces questionnaires, les pages 2 et 3 ont complètement été omises par le répondant. Du total des 51 851
personnes inscrites dans le questionnaire papier, le taux de non-réponse des champs « nom » et « prénom »
s’élève à 2,7 %. Il n’y a pas de différence significative selon les panels, ni dans le Test de contenu, ni dans celui
du NAS.
Le tableau 9 présente le taux de personnes inscrites sur des questionnaires papier pour lesquelles les champs
« nom » et « prénom » sont sans réponse. Pour l’ensemble des questionnaires du Test de contenu, ce taux
s’élève à 3,1 %.
Statistique Canada – No 92-140-X2016001 au catalogue
19
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 9
Taux de non-réponse concernant la liste des membres du ménage, selon le panel, mode de réponse papier,
Test de contenu
Panels
Test de contenu
Panel de test (1)
Panel de test (2)*
Panel de contrôle (4)*
Total des
personnes
Total de nonréponse
%
22 513
6 770
8 119
7 624
697
187
263
247
3,1
2,8
3,2
3,2
* Incluant les ménages ciblés pour le QE, mais qui ont choisi le mode de réponse papier.
Source : Statistique Canada, Test de contenu de 2014.
Dans les questionnaires papier, l’augmentation du nombre de cases disponibles pour le champ « prénom »
permet d’améliorer la qualité des informations déclarées. Environ 2 % des noms déclarés utilisent la totalité des
14 cases disponibles alors que la proportion était de 3,7 % pour ceux déclarés dans la version de 2011 (qui ne
contenait que 12 cases).
La qualité des réponses aux étapes de couverture des questionnaires papier peut également être évaluée
en comparant le nombre de personnes déclarées à B1 et le nombre de noms inscrits à B24. Parmi les 25 827
questionnaires qui avaient moins de 10 personnes inscrites aux étapes B1 et B2, 439 d’entre eux (soit 1,9 %)
montrent une incohérence entre ces deux étapes. La différence calculée entre B1 et B2 varie entre +1 pour 51 %
des cas et -1 pour 29 %. Ces différences peuvent être dues à des erreurs de saisie des questionnaires, mais
elles indiquent également que les répondants éprouvent une certaine difficulté à répondre à ces questions. Plus
précisément, ces résultats tendent à confirmer ce que des études précédentes avaient démontré, à savoir que le
répondant lui-même ne s’inclut pas dans l’une ou l’autre des étapes de B. Les personnes seules tendent aussi
à ignorer cette question parce qu’elles pensent qu’elle ne s’applique pas à leur situation. Dans le cadre du Test,
16 % des questionnaires présentant une incohérence était celui d’une personne seule.
3.1.3 Étape C – Personnes non inscrites
Dans la version papier du questionnaire, l’étape C n’a pas été modifiée de façon importante. Quelques exemples
de personnes, qui souvent ne sont pas dénombrées, ont été ajoutés. Dans la version électronique, par contre,
cette étape a été complètement restructurée. Comme pour le papier, la liste des exemples de personnes les
plus souvent omises du recensement a été améliorée. De plus, les répondants peuvent indiquer le nombre de
personnes qu’ils n’étaient pas certains de devoir inclure et choisir la situation la plus appropriée pour chacune
d’elles. Par la suite, une série de questions est offerte pour déterminer si ces personnes devaient effectivement
être exclues ou non. Le cas échéant, la personne est ajoutée à la liste des membres du ménage (figure 5).
4. À l’étape B2, le nombre maximal de noms pouvant être inscrits est 10. Si un ménage veut déclarer plus de 10 personnes à l’étape B2,
ce ménage devrait remplir des questionnaires supplémentaires. Par contre, lors du Test de contenu, aucun questionnaire supplémentaire
n’était fourni. Pour ces raisons, l’analyse est restreinte à la comparaison entre le nombre déclaré à B1 et le nombre de nom/prénom inscrit
à B2 pour les ménages d’une taille déclarée de moins de 10 personnes.
20
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Figure 5
Étape C dans le questionnaire électronique, panel de test
C1
C2
C3
Statistique Canada – No 92-140-X2016001 au catalogue
21
Test du contenu du programme du recensement de 2016 :
design et résultats
C4
Source : Statistique Canada, Test de contenu de 2014, questionnaire 2A.
Ainsi, l’étape C du questionnaire électronique est subdivisée en quatre sections :
C1 – permet de déclarer s’il y a des personnes qui n’ont pas été inscrites dans le questionnaire parce que le
répondant n’était pas certain s’il devait les inclure
C2 – permet d’identifier ces personnes exclues (nom et prénom)
C3 – permet de spécifier la situation de chacune des personnes
C4 – permet de voir le résultat et ainsi d’ajouter ou d’exclure des personnes.
Résultats
Selon le tableau 10, une plus grande proportion de personnes a coché « oui » à la première question de l’étape C
parmi les questionnaires de test en version électronique (2,4 %) comparativement aux questionnaires de contrôle
(1,5 %). Les questionnaires de test en version papier montrent aussi un plus grand nombre de personnes ayant
inscrit une personne dans le champ prévu à cet effet (1,7 %) par rapport aux questionnaires de contrôle (1,5 %).
Ces résultats indiquent donc que les modifications à la liste des exemples semblent fonctionner.
Tableau 10
Proportion (%) de ménages qui ont déclaré une personne à l’étape C, selon le panel et le mode de collecte,
Tests de contenu et du NAS
Test de contenu
Panel de test (2A)
Panel de test (N1)
Panel de contrôle (N1.1)
Test du NAS
Panels avec le NAS (N1s)
Panels sans le NAS (N1)
Électronique
Papier
s.o.
2,4
1,5
1,7
1,7
1,5
2,9
2,3
2,3
2,0
Source : Statistique Canada, Test de contenu de 2014.
22
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
On a porté une attention particulière aux analyses des questionnaires électroniques puisque l’étape y a été
entièrement restructurée. Environ 3 % des questionnaires électroniques qui intégraient la nouvelle section C
contenaient un « oui » à la question « Y-a-t-il des personnes que vous n’avez pas inscrites parce que vous n’étiez
pas certain qu’il fallait les inclure? ». Cette étape a permis de lister 561 personnes supplémentaires dont 177
d’entre elles ont été ajoutées au ménage (tableau 11).
Les 107 personnes qui ont été listées avec la raison « autre situation » font partie de 77 logements. Parmi les
autres réponses écrites qui ne sont pas couvertes dans les choix de réponses à l’étape C3a, mentionnons qu’il y
a deux situations plus fréquentes que toutes les autres. La première, et de loin, est celle des personnes qui vivent
dans la même maison (27 cas, p. ex., tenants, lives in the basement suite, downstair residence, renter, etc.).
Pour ces cas, on ne sait pas s’il agit de logement séparé ou si les « locataires » en question ont reçu leur propre
questionnaire. Ces situations devront être clarifiées lors des suivis des questionnaires rejetés au contrôle (SQRC)
et, le cas échéant, un questionnaire devrait être envoyé à ces logements. Le deuxième cas le plus fréquent est
celui des personnes à l’extérieur du Canada (neuf cas)5.
Tableau 11
Personnes listées et ajoutées à l’étape C, selon les raisons mentionnées, questionnaire électronique,
Test de contenu
Personnes
listées
Total
Étudiant
Enfant en garde partagée
Conjoint temporairement absent du domicile
Personne vivant actuellement dans une institution
Personne qui a une autre résidence ou qui a plusieurs résidences
Nouveau-né, personne récemment emménagée
Personne récemment déménagée ou décédée
Personne temporairement absente du domicile
Personne qui vit/habite temporairement à cette adresse
Personne d’un autre pays ayant un permis de travail ou d’études
ou demandant le statut de réfugié
Résident permanent (immigrant reçu)
Personne qui habite à la même adresse
Autre situation
Personnes
ajoutées
Nombre
%
Nombre
%
561
58
178
14
18
26
4
21
34
51
100,0
10,3
31,7
2,5
3,2
4,6
0,7
3,7
6,1
9,1
177
38
50
8
3
4
3
3
5
26
31,5
65,5
28,1
57,1
16,7
15,4
75,0
14,3
14,7
51,0
16
14
20
107
2,8
2,5
3,6
19,1
16
10
11
0
100,0
71,4
55,0
0,0
Source : Statistique Canada, Test de contenu de 2014.
Pour ces 107 réponses écrites comme « autre situation », l’application ne peut déterminer si les personnes
devraient être ajoutées au ménage. En période normale de collecte, les 77 logements qui les ont déclarées
feraient partie de l’opération du suivi des questionnaires rejetés au contrôle (SQRC). La nouvelle question
représente une réduction de la charge de travail pour le SQRC en 2016. En effet, en 2011, tous les ménages
avec une réponse à l’étape C faisaient partie du SQRC alors qu’avec la nouvelle version de l’étape C (QE),
5. Parmi les autres exemples de réponses écrites non offertes dans les choix de réponse à l’étape C3a, mentionnons les cas
suivants : awaiting permanent resident status, girlfriend, home stay working, tourist, homeshare, my wife her sponsor application in
process, travelling for work no permanent address at this time, visiting on super visa from India, etc.
Statistique Canada – No 92-140-X2016001 au catalogue
23
Test du contenu du programme du recensement de 2016 :
design et résultats
seulement les 107 personnes (19 % des personnes identifiées à l’étape C [QE]) en feraient partie (en plus
de celles identifiées dans le QP). Pour les 454 personnes restantes, la question 3 a pu départager celles qui
devaient être incluses de celles qui ne le devaient pas. Ainsi, 39 % de ces personnes ont été ajoutées comme
membre du ménage.
Lorsqu’on compare les personnes listées à l’étape C à celles énumérées au début du questionnaire (dans la
liste des personnes de l’étape B), on remarque qu’il existe un risque de surcouverture puisque des personnes
apparaissent dans les deux listes. Or, même si elles sont considérées comme ne faisant pas partie du ménage
à l’étape C, elles seront quand même incluses puisqu’elles auront été enregistrées à l’étape B. Dans le cadre du
Test, cela concernait six logements pour un total de 10 personnes présentant un double-listage.
3.2
Format du questionnaire papier
En 2011, le questionnaire du recensement – communément appelé 2A – était présentée sous la forme d’un
dépliant6. En 2016, le format adopté sera celui d’un « cahier » de huit pages, 8 ½ po x 11 po, agrafé dans
le milieu. Ce format cahier a été utilisé lors du Test de contenu de 2014. La disposition des questions y est
la même qu’en 2011 : les pages 1 à 3 servent à la couverture; les pages 4 et 5 sont consacrées au contenu
démographique et la première question posée est celle du sexe de la personne; les pages 6 et 7 couvrent les
questions linguistiques, la première question étant celle de la connaissance des langues officielles; la dernière
question est celle de la divulgation 92 ans après la collecte. La page 8 permet aux répondants de faire part de
tout commentaire.
En 2011, le répondant devait déplier le questionnaire à la page 4 afin de répondre aux questions d’ordre
démographique pour les Personnes 3 à 6 et aux questions de langue pour les Personnes 1 et 2. Les analyses
menées à la suite de la collecte avaient confirmé ce que les tests qualitatifs avaient aussi suggéré, à savoir que
certains répondants ne dépliaient pas le questionnaire Le format cahier adopté pour 2016 devrait donc diminuer
les taux de non-réponse.
6. Ce dépliant consistait en une page de 34 po x 11 po, imprimée recto verso et pliée de façon à obtenir huit pages d’information en format
8 ½ po x 11 po.
24
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Résultats
Le tableau 12 présente les taux de non-réponse selon la position de la personne dans les petits, moyens ou
grands ménages.
Tableau 12
Taux de non-réponse aux questions du recensement, selon la taille du ménage et la position de la personne,
questionnaires papier, Recensement de 2011 et Test de contenu
Petits ménages
(1 ou 2 personnes)
Moyens ou grands ménages
(3 personnes ou plus)
Positions 1 et 2
2011
2014
Total
2 824 818
Sexe
1,7
État
matrimonial
2,6
Union libre
10,9
Lien avec la
Personne
repère
5,7
Langues
officielles
6,1
Langue parlée
à la maison –
Souvent
7,2
Langue parlée
à la maison –
Régulièrement
7,9
6 034 422
Langue
maternelle
Divulgation
2,3
Positions 1 et 2
Diff.
2011
2014
1 221 243
4 118 653
0,7
0,6
Position 3 à 6
Diff.
2011
1 081 780
2014
3 865 183
Diff.
1,0
0,3
2,6
2,9
0,3
1,4
-1,2
2,6
1,7
-0,9
15,7
2,0
-13,7
9,7
-1,2
7,3
11,6
4,3
17,5
7,5
-10,0
5,7
0,0
1,1
1,5
0,4
2,4
2,5
0,1
4,2
-1,9
1,8
4,0
2,1
2,7
6,4
3,7
4,7
-2,5
1,9
4,4
2,5
3,3
7,5
4,2
6,2
-1,7
2,8
7,2
4,4
4,4
10,3
5,9
7,4
5,1
-2,3
2,3
4,5
2,2
4,3
7,2
2,9
17,7
7,4
-10,3
8,5
6,0
-2,5
9,4
8,6
-0,8
Source : Statistique Canada, Test de contenu de 2014.
Les résultats indiquent :
•
un effet bénéfique du format cahier par rapport au format dépliant, pour les ménages d’une ou deux
personnes. En 2011, les personnes qui remplissaient le questionnaire n’avaient pas tendance à déplier
les pages pour répondre aux questions de langues. Les taux de nonréponse pour celles-ci étaient
anormalement élevés pour les personnes en position 1 et 2. En 2014, on remarque que les taux de nonréponse ont diminué pour les ménages de cette taille.
•
une augmentation des taux de non-réponse aux questions de langue en 2014, quelle que soit la position
de la personne ou la taille du ménage, pour les ménages de trois personnes ou plus. Ce résultat semble
indiquer que les personnes qui remplissent le questionnaire papier ont tendance à ne pas ouvrir le cahier
aux pages 6 et 7 où se trouvent les questions de langue.
Un indicateur de complétion du questionnaire du recensement a également été calculé en tenant compte de
la dernière question répondue (tableau 13). Selon les résultats obtenus, 92,7 % des personnes ont rempli leur
questionnaire en totalité et ainsi répondu à toutes les questions en 2014, y compris celle sur la divulgation. Par
comparaison, le taux de complétion était de 91,1 % en 2011.
Statistique Canada – No 92-140-X2016001 au catalogue
25
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 13
Taux de complétion du recensement, questionnaire papier, Recensement de 2011, Test de contenu
Total
Sexe
Âge
État matrimonial
Union libre
Lien avec la Personne repère (R2P1)
Langues officielles
Langue parlée à la maison – souvent
Langue parlée à la maison – régulièrement
Langue maternelle
Divulgation
2011
2014
5 127 841
14 018 258
0,0
0,0
0,0
0,0
0,7
0,2
0,2
0,3
7,4
91,1
0,0
0,0
0,0
0,0
3,7
0,2
0,3
0,3
2,9
92,7
Différence
0,0
0,0
0,0
0,0
3,0
0,0
0,1
0,0
-4,5
1,6
Source : Statistique Canada, Test de contenu de 2014.
Les résultats indiquent que la question sur le lien avec la Personne repère (R2P1) semble montrer un
comportement différent en 2014 puisque 3,7 % des personnes ont cessé de répondre à ce moment, contre
seulement 0,7 % en 2011.
Le recensement collecte l’information par personne intermédiaire (proxy). Il se peut donc que le taux de
complétion varie en fonction de la position de la personne dans le ménage. Toutefois, d’après les résultats
obtenus, le risque d’arrêter le questionnaire à la question R2P1 varie de façon non significative en 2014, quelle
que soit la taille du ménage ou la position des personnes dans le ménage.
Les résultats tendent donc à confirmer qu’en 2014, il y a parmi les répondants au questionnaire du recensement
en version cahier, un nombre plus élevé de personnes qui ne tournent pas les pages adéquatement. Ainsi, à la
page 5, lorsqu’elles ont répondu à la question sur la relation avec la Personne repère qui est la dernière question
de la page, elles saisissaient les pages 5 et 7 ensembles et fermaient le questionnaire, omettant de répondre aux
questions concernant la langue.
Le format cahier pour le recensement est recommandé pour la collecte de 2016, même s’il existe un petit risque
que certains ménages ne répondent pas aux questions de langue sur la version papier. D’autres éléments ont été
considérés pour le choix de ce format. Le risque est minime si l’on tient compte des paramètres de collecte de
2016 : ce risque ne concerne que les auto-réponses de questionnaire papier et le principal mode de réponse est
le questionnaire électronique.
3.3
Questions démographiques
3.3.1 Le mode interrogatif
Dans le cadre de la normalisation des outils de collecte, il était nécessaire de convertir les questions
démographiques au mode interrogatif. Cette conversion s’est appliquée aux questions sur le SEXE, la DATE DE
NAISSANCE et l’ÂGE, l’ÉTAT MATRIMONIAL ainsi que le LIEN AVEC LA PERSONNE REPÈRE.
Les analyses des questions concernées par ces changements ont montré que le mode interrogatif n’avait pas
d’impact sur la qualité des réponses obtenues, qu’il s’agisse du questionnaire électronique ou du questionnaire
papier.
26
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
3.3.2 État matrimonial et union libre
Dans la version de 2014, la question sur l’état matrimonial et celle de l’union libre ont été ramenées à une seule
question en deux volets (figure 6). L’univers de la question a été restreint aux personnes de 15 ans et plus et
par conséquent, les répondants du questionnaire électronique ne voyaient pas la question pour les personnes
de moins de 15 ans. La définition de l’état matrimonial légal a été ajoutée comme indication supplémentaire à
l’intention du répondant, de même que celle concernant l’union libre. Enfin, les choix de réponses à cette dernière
ont été inversés, le « non » étant proposé en premier plutôt que le « oui » comme c’était le cas en 2011.
Figure 6
Questions sur l’état matrimonial et l’union libre
Questionnaire de test
Questionnaire de contrôle
Source : Statistique Canada, Test de contenu de 2014,
questionnaire 2A.
Source : Statistique Canada, Test de contenu de 2014,
questionnaire N1.1.
Ces changements ont été proposés afin d’atténuer la confusion des répondants qui vivent en union libre à
l’égard de la question sur l’état matrimonial, et de réduire les réponses incohérentes qui suggèrent que les deux
questions ne sont pas nécessairement comprises adéquatement.
Résultats
Les différences de répartition des réponses à la question sur l’état matrimonial et à celle de l’union libre, entre
les panels de test et les panels de contrôle, ne sont pas significatives d’un point de vue statistique. Il faut tenir
compte de la langue du questionnaire pour voir des différences apparaître à la question sur l’union libre (tableau
14). Ainsi, on constate un accroissement de près de trois points de pourcentage du choix de réponse « oui »
parmi les répondants qui utilisent le questionnaire en français, quel que soit le mode de collecte, alors que parmi
les répondants qui utilisent le questionnaire en anglais, il se produit une légère diminution. Dans le cas des
répondants qui utilisent le questionnaire en français, l’augmentation de la réponse « oui » est de 30 % pour le
mode électronique et de 10 % pour le mode papier. De plus, les répondants qui ont répondu en français avec le
questionnaire papier, avaient une propension plus grande à ne pas répondre à la question sur l’état matrimonial,
mais à celle de l’union libre seulement. Chez les répondants qui ont répondu avec le questionnaire en anglais, on
a constaté que lorsqu’ils se déclaraient « mariés », ils ne répondaient pas à la question sur l’union libre.
Statistique Canada – No 92-140-X2016001 au catalogue
27
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 14
Répartition des réponses à l’union libre, selon le panel et la langue du questionnaire, personnes âgées de 15 ans
et plus ayant une réponse valide, Test de contenu
QUESTIONNAIRES EN FRANÇAIS
QUESTIONNAIRES EN ANGLAIS
Panels de contrôle
Panels de test
Panels de contrôle
Panels de test
Nombre
%
Nombre
%
Nombre
%
Nombre
%
Électronique
Total
Non
Oui
Papier
Total
Non
Oui
448 804
382 011
66 792
100,0
85,1
14,9
507 985
419 763
88 222
100,0
82,6
17,4
1 114 099
1 017 313
96 786
100,0
91,3
8,7
1 050 988
965 483
85 506
100,0
91,9
8,1
2 419 654
1 780 056
639 599
100,0
73,7
26,4
2 352 511
1 654 449
698 062
100,0
70,3
29,7
9 790 281
8 785 715
1 004 566
100,0
89,7
10,3
9 492 749
8 562 384
930 364
100,0
90,2
9,8
Source : Statistique Canada, Test de contenu de 2014.
Le format d’une question à deux volets permet de diminuer le niveau d’incohérence entre les réponses quel que
soit le mode de collecte. Le tableau 15 présente le nombre de personnes qui ont déclaré être à la fois mariées et
en union libre. On observe une diminution significative des résultats obtenus dans les panels de test par rapport
aux panels de contrôle, aussi bien parmi les questionnaires en français que ceux en anglais, et cela, même
indépendamment du mode de collecte.
Tableau 15
Répartition des réponses à l’état matrimonial parmi les personnes qui ont déclaré être en union libre,
selon le panel et la langue du questionnaire, personnes âgées de 15 ans et plus ayant une réponse valide,
Test de contenu
QUESTIONNAIRES EN FRANÇAIS
Panels de contrôle
Électronique
Total
Marié
Autre statut
Papier
Total
Marié
Autre statut
QUESTIONNAIRES EN ANGLAIS
Panels de test
Panels de contrôle
Panels de test
Nombre
%
Nombre
%
Nombre
%
Nombre
%
639 599
11 446
628 153
100,0
1,8
98,2
698 062
4 639
693 422
100,0
0,7
99,3
1 004 566
193 028
811 538
100,0
19,2
80,8
930 364
80 275
850 089
100,0
8,6
91,4
66 552
3 993
62 559
100,0
6,0
94,0
84 155
1 388
82 768
100,0
1,6
98,4
95 902
18 915
76 987
100,0
19,7
80,3
80 620
4 110
76 510
100,0
5,1
94,9
Source : Statistique Canada, Test de contenu de 2014.
Selon les résultats, les répondants démontrent une meilleure compréhension de ces questions. Qu’il s’agisse
du questionnaire électronique ou du questionnaire papier, la proportion de répondants mariés qui se déclarent
également en union libre est systématiquement plus faible dans les panels de test, comparés aux panels de
contrôle.
Même si le contenu testé semble démontrer une diminution des réponses incohérentes aux questions de l’état
matrimonial et du statut d’union libre, il risque également de compromettre la comparabilité. Tel que spécifié sur la
page qui présente le contenu du Programme du Recensement de 2016, les questions de l’état matrimonial et de
l’union libre conservent le format de 2011 et apparaîtront comme deux questions séparées.
28
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
3.3.3 Lien avec la personne repère (Personne 1)
La question sur le lien de chacun des membres du ménage avec la personne repère (Personne 1) a fait l’objet
de deux changements mineurs pour le Test de contenu en plus du passage au mode interrogatif (figure 7). Ces
changements sont :
•
d’une part, la suppression de la plupart des notes qui accompagnaient la question en 2011 pour ne
conserver que l’instruction suivante : « Si aucune des réponses de la liste ne décrit le lien entre cette
personne et la Personne 1, alors précisez une réponse à « Autre lien ».»
•
d’autre part, la modification de l’ordre de deux boîtes à cocher. Il est proposé de placer « Petitfils ou
petite-fille de la Personne 1 » avant « Gendre ou bru de la Personne 1 ».
Figure 7
Question sur le lien avec la Personne repère
Questionnaire de test
Source : Statistique Canada, Test de contenu de 2014, questionnaire 2A.
Statistique Canada – No 92-140-X2016001 au catalogue
29
Test du contenu du programme du recensement de 2016 :
design et résultats
Figure 7
Question sur le lien avec la Personne repère
Questionnaire de contrôle
Source : Statistique Canada, Test de contenu de 2014, questionnaire N1.1.
Résultats
La répartition des réponses entre les panels de contrôle et les panels de test selon le mode de collecte montre
quelques différences, mais celles-ci ne sont pas statistiquement significatives.
Tableau 16
Répartition de la catégorie « autre lien » à la question sur le lien avec la Personne repère selon le mode de collecte, Test de contenu
Électronique
Total
Autre
Papier
Total
Autre
Panels de contrôle
Nombre
%
Panels de test
Nombre
%
14 690 173
269 036
100,0
1,8
14 261 546
327 461
100,0
2,3
1 783 118
9 692
100,0
0,5
1 783 630
12 249
100,0
0,7
Source : Statistique Canada, Test de contenu de 2014.
La question invite les répondants à écrire le lien avec la personne repère (Personne 1) dans la catégorie « autre
lien » si aucun des choix proposés ne satisfait. Selon le tableau 16, l’analyse de cette catégorie montre que dans
les panels de test, les répondants se sont plus souvent prémunis de cette possibilité comparativement aux panels
de contrôle, aussi bien en mode de collecte électronique que papier. Cette différence s’explique certainement par
30
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
le fait que la liste des exemples proposés en 2011 a été supprimée en 2016 et que seule l’instruction suivante
apparaît : Si aucune des réponses de la liste ne décrit le lien entre cette personne et la Personne 1, alors
précisez une réponse à « Autre lien ».
Tableau 17
Répartition et taux de non-réponse à la question sur le lien avec la Personne repère, selon l’âge des répondants
et le mode de collecte, Test de contenu
Panels de contrôle
Panels de test
Nombre
%
Nombre
%
Électronique
Total < 15 ans
2 444 671
100,0
2 391 017
100,0
Non-réponse
1 285
0,1
2 015
0,1
Total ≥ 15 ans
12 263 822
100,0
11 888 606
100,0
Non-réponse
17 034
0,1
16 061
0,1
Papier
Total < 15 ans
121 840
100,0
116 608
100,0
Non-réponse
3 081
2,5
795
0,7
Total ≥ 15 ans
1 689 438
100,0
1 710 205
100,0
Non-réponse
28 609
1,7
39 632
2,3
Source : Statistique Canada, Test de contenu de 2014.
La question sur le lien avec la Personne 1 apparaît immédiatement après les questions de l’état matrimonial et
de l’union libre. En 2014, ces dernières sont restreintes aux personnes âgées de 15 ans et plus alors que celle
du lien avec la Personne 1 s’applique à tous les membres du ménage, peu importe leur âge. Le questionnaire
électronique prend en charge les questions à montrer aux répondants selon l’âge déclaré. Cela n’est pas le cas
dans le questionnaire papier. Il est donc possible que le taux de non-réponse pour les personnes âgées de moins
de 15 ans soit plus élevé parmi les questionnaires papier. Les analyses réalisées (tableau 17) ne permettent
toutefois pas de confirmer cette hypothèse.
Tel que spécifié sur la page Web qui présente le contenu du Programme du Recensement de 2016, pour la
question sur le Lien avec la Personne 1, les instructions ont été modifiées et l’ordre de deux boîtes à cocher a été
modifié.
3.4
Questions sur les langues
Quatre questions sur les langues sont posées dans le questionnaire du recensement. Ces questions portent
sur la connaissance des langues officielles, les langues parlées le plus souvent et régulièrement à la maison
et la langue maternelle. Les données déclarées sont utilisées pour établir le profil de la diversité linguistique de
la population du Canada et pour répondre aux obligations du gouvernement en vertu de la Loi sur les langues
officielles.
La question sur la connaissance des langues officielles n’a pas été modifiée. Les questions sur la langue parlée à
la maison et sur la langue maternelle ont fait l’objet de modifications mineures.
3.4.1 La langue parlée à la maison
La question sur la langue parlée à la maison consiste en deux sous-questions, soit a) qui demande la langue le
plus souvent parlée à la maison et b) celle parlée régulièrement à la maison. Deux instructions ont été ajoutées à
chacune de ces sous-questions (figure 8). La première invite les répondants à ne déclarer qu’une seule langue
Statistique Canada – No 92-140-X2016001 au catalogue
31
Test du contenu du programme du recensement de 2016 :
design et résultats
afin de réduire le nombre de réponses multiples et la seconde, demande aux répondants d’exclure de leurs
réponses les langues déclarées à la sousquestion a). Cette instruction visait à réduire le nombre de réponses
redondantes entre a) et b).
Figure 8
Questions sur la langue parlée le plus souvent à la maison, la langue parlée régulièrement à la maison et la
langue maternelle
Questionnaire de test
Questionnaire de contrôle
Source : Statistique Canada, Test de contenu de 2014,
questionnaire 2A.
Source : Statistique Canada, Test de contenu de 2014,
questionnaire N1.1.
De plus, dans le questionnaire électronique, deux fonctionnalités ont été mises en œuvre dans la version testée
du questionnaire, soit :
•
•
32
pour la boîte de texte des sous-questions a) et b),
un message de validation demandant aux répondants
d’être plus précis lorsqu’ils déclaraient des langues
telles que « Chinois », « Cri », « Esclave »,
« Tutchone », « Amérindien », « Autochtone » (voir
encadré 1). S’ils déclaraient que la personne était un
« bébé », le message demandait d’indiquer la langue
utilisée le plus souvent à la maison pour communiquer
avec cet enfant. L’objectif de cette fonction était d’avoir
des réponses plus précises et ainsi faciliter le codage
des réponses.
Encadré 1 :
Exemple d’un message de validation
pour les langues parlées
Veuillez être plus précis à la question 7a)
pour #{PRÉNOM} #{NOM}. Par exemple,
au lieu de Chinois, inscrire : Cantonais,
Mandarin, Chaochow (teochow), Fou-kien,
Hakka, Shanghaïen, Taïwanais, etc.
pour la sous-question b), une fonction de « texte
dynamique » rappelait à la personne la langue déclarée à la sous-question a). Cette fonction avait pour
but de réduire le nombre de réponses redondantes.
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Résultats
L’ajout de l’instruction demandant de ne déclarer qu’une seule langue n’a pas permis de réduire le nombre de
langues multiples. Dans les panels de test, quel que soit le mode de collecte et la langue du questionnaire, la
proportion de réponses multiples est plus élevée par rapport au panel de contrôle où l’instruction n’apparaît pas.
Cela est le cas pour la langue parlée le plus souvent à la maison (tableau 18) comme pour celle régulièrement
parlée (données non montrées).
Tableau 18
Répartition des réponses à la question sur la langue parlée le plus souvent à la maison, selon le panel, le mode
de réponse et la langue du questionnaire, Test de contenu
QUESTIONNAIRES EN FRANÇAIS
QUESTIONNAIRES EN ANGLAIS
Panel de
test
Panel de
test 1
Panel de
contrôle
Panel de
test
Panel de
test 1
Panel de
contrôle
Électronique
Français
Anglais
Langue non officielle
Multiples
91,8
1,9
4,0
2,2
s.o
s.o
s.o
s.o
91,4
2,1
4,8
1,7
1,3
80,7
12,2
5,7
s.o
s.o
s.o
s.o
1,6
79,7
14,3
4,4
Papier
Français
Anglais
Langue non officielle
89,3
0,6
4,9
91,8
1,4
3,6
94,8
0,9
2,8
1,4
80,5
10,0
1,3
80,2
11,0
1,4
83,7
11,4
5,1
3,2
1,5
8,1
7,5
3,5
Multiples
1. En raison de l’intégration des questions du recensement et de l’ENM en un seul questionnaire, les ménages qui reçoivent le questionnaire
papier et qui sont ciblés pour répondre à l’ENM doivent répondre aux questions du recensement qui se trouvent dans le questionnaire de
l’ENM (N1). Les ménages EQ répondent d’abord au questionnaire du recensement et ensuite transitent vers le questionnaire de l’ENM.
Source : Statistique Canada, Test de contenu de 2014.
Les comptes obtenus lors de la collecte sont trop petits pour permettre de produire une analyse robuste de
l’impact de l’instruction de ne pas déclarer la même langue qu’à la sous-question a) ou de la fonction de texte
dynamique.
Enfin, le message de validation qui demande aux répondants à l’aide du questionnaire électronique de préciser
leur réponse a fonctionné tel qu’attendu. Les paradonnées montrent que le message de validation a été présenté
98 fois en raison de réponses vagues inscrites dans la boîte de texte et qu’à chaque fois, le message a mené le
répondant à déclarer une langue spécifique parlée en Chine (telle que Mandarin ou Cantonnais).
3.4.2 La langue maternelle
Tout comme pour la question sur la langue parlée le plus souvent à la maison, la question sur la langue
maternelle s’est vu ajouter une instruction pour réduire le nombre de réponses multiples (figure 8). Pour les
questionnaires électroniques, le message de validation des réponses trop vagues a également été mis en œuvre
dans la boîte de texte.
Statistique Canada – No 92-140-X2016001 au catalogue
33
Test du contenu du programme du recensement de 2016 :
design et résultats
Résultats
Tout comme ce fut le cas à la question sur la langue parlée à la maison, les résultats obtenus n’ont pas été
concluants en ce qui concerne la réduction potentielle du nombre de réponses multiples. L’instruction ne semble
pas avoir fonctionné tel que souhaité (tableau 19). On observe en effet que dans les panels de test, la proportion
de réponses multiples est systématiquement plus élevée comparativement à celle des panels de contrôle.
Tableau 19
Répartition des réponses à la question sur la langue maternelle, selon le panel, le mode de réponse et la langue
du questionnaire, Test de contenu
QUESTIONNAIRES EN FRANÇAIS
QUESTIONNAIRES EN ANGLAIS
Panel de
test
Panel de
test1
Panel de
contrôle
Panel de
test
Panel de
test1
Panel de
contrôle
Électronique
Français
Anglais
Langue non officielle
Multiples
88,8
1,5
7,4
2,3
s.o
s.o
s.o
s.o
88,9
2,0
8,2
0,9
2,5
69,2
26,1
2,2
s.o
s.o
s.o
s.o
3,0
68,9
26,1
1,9
Papier
Français
Anglais
Langue non officielle
Multiples
89,2
0,7
7,2
3,0
90,9
1,4
5,8
1,8
92,6
1,2
4,7
1,4
3,0
71,6
21,9
3,5
3,2
70,0
23,5
3,4
3,7
71,5
22,0
2,8
1. En raison de l’intégration des questions du recensement et de l’ENM en un seul questionnaire, les ménages qui reçoivent le questionnaire
papier et qui sont ciblés pour répondre à l’ENM doivent répondre aux questions du recensement qui se trouvent dans le questionnaire de
l’ENM (N1). Les ménages EQ répondent d’abord au questionnaire du recensement et ensuite transitent vers le questionnaire de l’ENM
Source : Statistique Canada, Test de contenu de 2014..
De façon similaire à la question sur les langues parlées le plus souvent à la maison, les analyses ont démontré
que le message de validation inclus dans les questionnaires électroniques contribuait à réduire le nombre de
réponses vagues. Sur un total de 133 réponses vagues telles que « chinois » et à la suite desquelles le message
de validation a été montré au répondant, 128 d’entre-elles (soit 98 %) ont été modifiées en vue de spécifier une
des langues parlées en Chine (telles que Mandarin ou Cantonnais).
3.5
Question sur le numéro d’assurance sociale (NAS)
Lors du test de mai 2014, la question sur le numéro d’assurance sociale a été posée pour la première fois.
Statistique Canada souhaitait profiter de cette occasion pour évaluer l’impact de cette question, réputée être
sensible, sur les taux de réponses, la qualité des réponses fournies et valider si une telle information permettait
d’améliorer à plus long terme, le couplage des données d’enquêtes et des données administratives.
La question faisait partie du questionnaire du recensement et, par conséquent, de la section obligatoire.
Elle était l’avant-dernière question, posée immédiatement après celle de la langue maternelle et avant celle de la
divulgation.
34
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Comme illustré à la figure 9, le répondant pouvait soit donner son numéro en neuf chiffres, soit cocher la
réponse « N’a pas de NAS ». Il devait répondre pour lui-même et pour tous les membres du ménage qui résident
habituellement à cette adresse. Dans la version électronique du questionnaire, le numéro déclaré était validé
par un algorithme et un message était lancé lorsque le répondant entrait un numéro incorrecte (un numéro avec
moins de neuf chiffres) ou invalide (invalide selon l’algorithme pour identifier les numéros valides et invalides) ou
qu’il omettait de répondre à la question. Un bouton de « sauvegarde » du questionnaire en cours était également
mis à la disposition des répondants à partir de cette question, ceci afin de leur permettre d’aller chercher leur
numéro et celui des membres du ménage au besoin et répondre plus tard.
Figure 9
Question sur le numéro d’assurance sociale
Questionnaires de test
Source : Statistique Canada, Test du NAS de 2014, questionnaire
2A.s.
Source : Statistique Canada, Test du NAS de 2014, questionnaire
N1.s.
La question sur le NAS avait été testée lors d’interviews qualitatives en janvier 2014, et des groupes de
discussion avaient également été organisés dans le même temps pour recueillir divers points de vue vis-à-vis de
cette question. Les résultats avaient montré des opinions mitigées.
D’une part, les répondants se montraient enclins à fournir leur NAS à Statistique Canada dans la mesure où
l’organisme fait partie du gouvernement et est réputé pour ses politiques et pratiques en matière de protection
des renseignements personnels. Toutefois, le niveau de scolarité et le mode de collecte semblaient être des
facteurs importants dans la décision. Les personnes très instruites, ou professionnelles, étaient réticentes à
partager cette information. De plus, par questionnaire électronique, les personnes étaient confiantes que les
mesures de sécurité nécessaires seraient prises pour protéger les renseignements personnels. Par contre, au
niveau des questionnaires papier, les personnes n’étaient pas prêtes à donner leur NAS ni par écrit ni à une tierce
personne par téléphone ou en personne, même si cette personne se présentait comme un agent recenseur de
l’organisme dûment identifiée.
D’autre part, si les répondants acceptaient de donner leur propre numéro, ce n’était pas automatiquement le
cas en ce qui concerne celui des autres membres du ménage. D’abord, parce que souvent ils ne connaissaient
pas le NAS du conjoint par exemple, encore moins celui d’un autre parent ou d’un colocataire; ensuite, même
s’ils pouvaient accéder à cette information, ils se sentaient obligés de demander la permission à la personne de
fournir cette information.
Tel qu’expliqué à la section 2, six panels ont été utilisés pour tester la question sur le NAS. Les résultats de la
présente section sont donc tirés des analyses des données de ces panels.
3.5.1 Taux de réponse
La question sur le numéro d’assurance sociale n’a pas eu d’effet significatif sur les taux de retour des
questionnaires du recensement. Ainsi, 88,8 % des questionnaires du recensement qui comportaient la question
sur le NAS ont été retournés. Ce taux était de 88,9 % pour le panel de contrôle qui n’avait pas la question.
En ce qui concerne les questionnaires de l’ENM, 75,1 % de ceux avec la question ont été retournés, contre
73,7 % de ceux sans la question7.
7. Les données présentées proviennent des panels qui ont reçu une lettre d’invitation à la vague 1.
Statistique Canada – No 92-140-X2016001 au catalogue
35
Test du contenu du programme du recensement de 2016 :
design et résultats
La question n’a pas eu d’effet particulier sur la transition vers l’ENM parmi les ménages qui ont répondu par
questionnaire papier, qu’il s’agisse de ménages auto-répondants ou participant à l’opération de suivi de la nonréponse. La différence la plus grande est observée sur le taux de transition du recensement à l’ENM pour les
répondants QE : 78 % ont fait la transition pour le panel de test et 80 % ont fait la transition pour le panel de
contrôle.
Tableau 20
Taux de transition vers l’ENM, selon le panel et le mode de collecte, Test du NAS
Auto-réponse
Électronique (%)
Papier (%)
Suivi de la non-réponse
Panels de
test
Panels de
contrôle
Diff.
Panels de
test
Panels de
contrôle
Diff.
78,0
95,3
80,0
95,4
-2,0
-0,1
s.o
91,7
s.o
92,0
s.o
-0,3
Source : Statistique Canada, Test de contenu de 2014.
3.5.2 Qualité des réponses fournies
Globalement, 78,6 % des répondants des panels de Test du NAS ont fourni un numéro d’assurance social valide,
contre 2 % un numéro invalide. Toutefois, la déclaration du NAS varie selon le mode de réponse (tableau 21).
Tableau 21
Répartition des réponses à la question sur le numéro d’assurance sociale, selon le mode de collecte,
Test du NAS
Auto-réponse
Total
Non-réponse
NAS invalide
N’a pas de NAS
NAS valide
Électronique
%
28 084
1,9
0,0
9,3
88,8
Papier
%
29 120
17,4
2,4
4,6
75,5
Interview
Électronique
(ATR)
%
356
19,3
0,0
35,6
45,0
Papier
(SCNR)
%
6 174
34,7
3,8
10,4
51,2
Source : Statistique Canada, Test de contenu de 2014.
Les ménages autorépondants à l’aide de l’application électronique ont été plus portés à donner leur NAS.
On a ainsi obtenu 88,8 % de NAS en auto-réponse par questionnaire électronique. En raison de l’algorithme
de validation, les numéros déclarés sont des numéros valides. Il faut noter qu’un NAS valide rapporté pour
une personne ne signifie pas nécessairement qu’il s’agisse du véritable NAS de la personne. Par contre, on
observe une proportion beaucoup plus importante de personnes qui déclarent ne pas avoir de NAS, ce qui peut
correspondre à une forme de refus atténué (soft refusal).
36
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
En matière de collecte papier, 75,5 % des ménages auto-répondants ont fourni un NAS valide. Toutefois, les
taux de non-réponse à la question sont plus élevés pour ce mode de réponse. Un peu moins du quart des autorépondants (soit 17,4 %) ont laissé la question en blanc. Il y a également un taux plus élevé de numéros invalides
en mode papier puisque le numéro inscrit n’est pas vérifié.
En ce qui concerne les ménages qui ont répondu par l’intermédiaire d’une personne, on constate que les taux de
NAS valides sont plus faibles par rapport à l’auto-réponse, alors que les taux de non-réponse sont, quant à eux,
nettement plus élevés. Cela tend à corroborer ce que les tests qualitatifs avaient suggéré, à savoir la réticence
des personnes à donner leur NAS à l’aide d’une tierce personne.
Le NAS est plus souvent fourni pour la Personne repère que pour les autres membres du ménage, quel que
soit le mode de collecte (tableau 22). On remarque que c’est le cas pour environ 12 % de plus en autoréponse
électronique ou papier.
Tableau 22
Répartition des réponses à la question sur le NAS selon la position de la personne dans le ménage, selon le
mode de collecte pour les ménages auto-répondants, Test du NAS
Personne repère
Non-réponse ou réponse invalide
N’a pas de NAS
NAS valide
Électronique
%
1,4
2,1
96,5
Papier
%
17,5
0,4
82,1
Autres personnes
Électronique
%
2,3
13,9
83,8
Papier
%
21,7
8,2
70,1
Source : Statistique Canada, Test de contenu de 2014.
Les effets de l’âge sont observables quel que soit le mode de collecte. La proportion de jeunes de moins de
20 ans qui donne un NAS est plus faible comparativement aux autres groupes d’âge et ils sont plus nombreux à
déclarer ne pas avoir de NAS. Ce résultat est attendu compte tenu de l’âge. Les répondants âgés de 40 à 59 ans
sont les plus susceptibles de donner leur NAS, mais la différence avec les autres groupes d’âge demeure faible.
3.5.3 Impacts de la question
En matière de collecte électronique et de collecte papier, les résultats obtenus montrent que les ménages qui ont
eu à répondre à la question ont réagi différemment comparés à ceux qui n’avaient pas la question.
Résultats des questionnaires électroniques
Dans la version électronique, un bouton de « SAUVEGARDE » apparaissait sur la page posant la question sur
le NAS pour permettre au répondant de consulter les membres du ménage, d’obtenir leur consentement et le
cas échéant, leur numéro ou de trouver leur propre NAS. Par conséquent, un questionnaire pouvait être soumis
en plus d’une session. Les analyses ont montré que 20 % des ménages ayant eu à fournir le NAS ont soumis
leur questionnaire au terme de plusieurs sessions, alors que cela n’a été le cas que pour 3 % des ménages du
panel de contrôle sans NAS. Le nombre de session est fortement corrélé à la taille du ménage puisqu’un tiers des
ménages de quatre personnes et plus ont eu besoin de plus d’une session pour soumettre leur questionnaire.
Quatre-vingt-dix pour cent des répondants qui ont sauvegardé leur session sont revenus à leur questionnaire
ultérieurement et ont donné un NAS.
La question sur le NAS a également eu un impact sur la durée des sessions. Les ménages ayant eu la question
affichent des sessions qui durent en moyenne onze minutes pour la portion recensement, soit deux minutes de
plus comparativement aux ménages qui n’ont pas eu à répondre à la question sur le NAS.
Statistique Canada – No 92-140-X2016001 au catalogue
37
Test du contenu du programme du recensement de 2016 :
design et résultats
Le fichier d’aide accessible sur la page du NAS est celui qui a été le plus consulté d’après l’étude des
paradonnées, de même que le message de validation celui le plus fréquemment lancé.
L’ajout de la question a eu des impacts sur les délais de retour des questionnaires, et par conséquent, a contribué
à accroître les volumes de matériel envoyé aux ménages durant les vagues de rappel successives qui visaient
à assurer des taux de retour de qualité (vague 2 et vague 3) et les opérations de suivi de la non-réponse. Le
tableau 23 présente les estimations de ces impacts, compte tenu des hypothèses de planification de la collecte
de 2016.
Tableau 23
Impacts estimés de la présence de la question sur le NAS sur les activités de rappel et de suivi de 2016 (QE et QP)
Croissance estimée
Lettre de rappel (vague 2)
Envoi de questionnaires (vague 3)
Nombre de non-répondants au *début* de la période du SCNR
%
Volumes
+ 2,0
+ 3,0
+ 6,0
+ 172 000
+ 135 000
+ 210 000
Source : Statistique Canada, Test de contenu de 2014.
Résultats du SCNR
Le Test du NAS a inclus une opération de suivi pour les cas de non-réponse (SCNR). Par conséquent, les
intervieweurs se sont rendus au domicile des ménages qui n’avaient pas retourné leur questionnaire en date
du 30 mai afin de recueillir leurs réponses. Le mode de collecte se faisait sur questionnaire papier par interview
téléphonique ou au domicile.
Les interviews des ménages qui devaient répondre à la question sur le NAS ont duré en moyenne cinq minutes
de plus que celle des ménages qui n’avaient pas à répondre à la question, selon les observations qualitatives
des intervieweurs. Les intervieweurs ont rapporté avoir eu des difficultés avec la question, les répondants les
interrogeant sur les raisons de cette question et se montrant réticents à fournir leur numéro. Dans 70 % des cas
où la question est laissée en blanc, indiquant un refus, les intervieweurs n’ayant pas réussi à faire changer la
décision de ceux qui refusaient de donner cette information en dépit de la formation qu’ils avaient reçue et des
manuels d’instruction dont ils disposaient. Au téléphone, les répondants étaient plus hésitants à livrer leur NAS.
Résultats de l’appariement
Les répondants des ménages participant au Test du NAS ont été appariés dans un premier temps aux fichiers
administratifs de déclarations de revenus et de gains de l’année 2012, et dans un deuxième temps, avec le fichier
cumulatif de données administratives de déclarations de revenus. Les membres des ménages des panels de
test et des panels de contrôle ont été appariés selon la méthode habituellement utilisée à Statistique Canada.
Cette méthode consiste à lier les enregistrements en tenant compte des coordonnées (nom, prénom, adresse) et
informations démographiques (date de naissance, sexe). Pour les besoins de l’analyse, dans un premier temps,
les résultats des appariements des panels de test et de contrôle ont été comparés. Les principaux objectifs de
l’analyse étaient de voir si le NAS permettait d’une part, de trouver des appariements supplémentaires pour les
panels de test et d’autre part, de détecter des appariements en erreur (appariement fait avec nom, adresse, date
de naissance, etc.).
Les résultats n’ont pas permis de démontrer une valeur ajoutée à l’utilisation du NAS dans les appariements.
Tel que spécifié dans la liste des questions du Programme du Recensement de 2016, la question sur le NAS n’est
pas incluse.
38
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
3.6
Revenu et gains
Les données sur le revenu et les gains faisaient habituellement partie du questionnaire détaillé du recensement
(2B). À partir du cycle de 2006, l’organisme a introduit la question sur le « consentement informé » (figure 10).
En répondant « oui », les répondants autorisaient l’organisme à imputer leurs données de revenu à partir de
leur déclaration d’impôts. Cette proposition allégeait le fardeau de la réponse tout en améliorant la précision
des montants déclarés. La question sur le consentement informé fut également posée en 2011 dans l’Enquête
nationale auprès des ménages.
Figure 10
Question sur le consentement informé en 2011
Source : Statistique Canada, Test de contenu de 2014, questionnaire N1.1.
À compter de 2016, deux changements importants seront en vigueur en matière de données sur le revenu :
•
Les répondants n’auront plus à donner leur consentement quant à l’utilisation de leurs déclarations
d’impôts; ils seront simplement informés de l’utilisation de celles-ci dans le message du statisticien en
chef qui se trouve sur la page couverture du questionnaire (figure 11). On parle alors d’ « information
communiquée au répondant ».
•
Les données seront obtenues pour l’ensemble de la population canadienne feront partie des diffusions du
recensement.
Figure 11
Message du statisticien en chef du Canada pour 2016
Source : Statistique Canada, Test de contenu de 2014, questionnaires 2A et N1.
Statistique Canada – No 92-140-X2016001 au catalogue
39
Test du contenu du programme du recensement de 2016 :
design et résultats
Ces changements s’appliqueront également aux outils de la collecte sur les réserves.
Les données sur le revenu n’ont pas fait partie du Test de contenu. Les questionnaires qui étaient testés ne
contenaient pas de section sur le revenu, ni dans leur version papier ni dans leur version électronique. Le
questionnaire de contrôle du Test de contenu reproduisait celui de l’ENM de 2011. Le format papier contenait
la section sur le revenu dans son intégralité cependant, dans le format électronique, seule la question sur
le consentement était posée. Les données sur le revenu recueillies durant le test n’ont pas été analysées.
Statistique Canada continue par contre d’évaluer l’impact que les changements envisagés pour 2016 pourraient
avoir sur la qualité des estimations produites et diffusées.
Pendant la collecte du Test de contenu, Statistique Canada n’a pas reçu de commentaires négatifs de la part des
répondants par l’entremise de l’Assistance téléphonique du recensement, lors des suivis des cas de non-réponse
ou à l’aide d’un autre mode de communication, à propos du fait que Statistique Canada allait obtenir l’information
sur le revenu à partir des dossiers de déclaration d’impôt sur le revenu des particuliers et de prestations. Tel que
spécifié dans la liste des questions du Programme du Recensement de 2016, Statistique Canada planifie informer
les répondants à propos de l’utilisation des données de dossiers de déclaration d’impôt et d’enlever les questions
sur le revenu des questionnaires.
3.7
Questionnaires intégrés Recensement / ENM
Dans la version électronique du Test de contenu, lorsque le répondant terminait la portion recensement, il
soumettait son questionnaire en cliquant sur le bouton « SOUMETTRE ». Cela enregistrait donc le questionnaire
comme une réponse dans le système central de collecte des données. Si le ménage était sélectionné pour
l’ENM, le répondant voyait aussitôt apparaître un message dit « de transition » qui l’en informait et lui rappelait
l’importance de participer à cette enquête. Le répondant pouvait alors « POURSUIVRE », ce qui l’amenait à la
question sur les activités de la vie quotidienne qui débute le questionnaire de l’ENM.
Les ménages sélectionnés pour participer à l’ENM recevaient un questionnaire composé :
•
des questions de couverture
•
des questions du recensement
•
d’un message de transition (figure 12)
•
des questions de l’ENM.
Figure 12
Message de transition vers l’ENM
Source : Statistique Canada, Test de contenu de 2014, questionnaire N1.
40
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
En intégrant le recensement et l’ENM dans un même questionnaire, le but était de réduire le fardeau des
répondants sélectionnés pour l’ENM en leur demandant de répondre à un seul questionnaire. L’approche de 2011
faisait en sorte que les ménages choisis pour l’ENM devaient remplir deux questionnaires séparés (recensement
et ENM) ce qui impliquait une répétition de certaines questions. L’intégration devrait également permettre de
réduire les coûts opérationnels et faciliter les activités de suivi des cas de non-réponse si nécessaire.
Résultats
Le Test de contenu ainsi que le Test du NAS ont permis d’évaluer dans quelle mesure les ménages transitaient
vers l’ENM à partir du recensement. Dans le questionnaire électronique, lorsque les répondants cliquaient sur le
bouton « POURSUIVRE » de la page de transition, une paradonnée indiquant que la transition avait eu lieu était
créée et transmise au Système de gestion de la collecte. Cependant, cela n’était pas comptabilisé pour autant
comme une réponse à l’ENM puisqu’aucun fichier XML contenant les réponses à l’ENM n’était créé à ce moment.
Il fallait soit que le répondant soumette son questionnaire ENM et pour cela se rende à la fin, soit qu’il sauvegarde
son questionnaire, ou encore que ce dernier soit sauvegardé automatiquement par le système pour qu’un fichier
XML soit généré et, par conséquent, qu’une réponse soit associée au ménage.
Pour qu’une réponse soit considérée dans le calcul du taux de réponse, et par conséquent de la transition, le
questionnaire de l’ENM doit contenir au minimum une réponse à partir de la question sur les activités de la vie
quotidienne. C’est également cette règle qui s’applique aux questionnaires de l’ENM en format papier.
Tableau 24
Taux de transition à l’ENM, selon le test et le mode de réponse
Test de contenu
Test du NAS
Panels
de test
Panels de
contrôle
Panels
de test
Panels de
contrôle
Électronique
Ménages qui ont répondu au recensement
Ménages qui ont répondu à l’ENM
Taux de transition (%)
3 552
2 843
80,0
3 589
2 935
81,8
2 751
2 124
77,2
2 810
2 220
79,0
Papier
Ménages qui ont répondu au recensement
Ménages qui ont répondu à l’ENM
Taux de transition (%)
3 780
3 651
96,6
3 686
3 490
94,7
2 830
2 693
95,2
2 767
2 620
94,7
Source : Statistique Canada, Test de contenu de 2014.
Le taux de transition vers l’ENM est le rapport entre le nombre de questionnaires de l’ENM considérés comme
étant répondus, sur le nombre de questionnaires répondus du recensement dans le bassin des ménages
ciblés pour l’ENM. Si tous les ménages ciblés pour l’ENM qui ont répondu au recensement répondent aussi
à l’ENM, le taux de transition serait de 100 %. Ce n’est le cas dans aucun des panels d’après les données du
tableau 24. Toutefois, les taux de transition sont élevés dans l’ensemble et indiquent qu’une approche volontaire
avec un questionnaire unique permettrait d’obtenir des taux de réponse plus élevés à l’ENM. Ces résultats sont
particulièrement encourageants en ce qui concerne les questionnaires papier. Cependant, les taux de transition
parmi les questionnaires électroniques sont plus faibles comparativement au mode de collecte papier. De même,
les taux de transition étaient plus faibles pour les questionnaires électroniques lors du Test en comparaison à
2011. Il n’est pas possible de vérifier si cette tendance entre les taux de transition électronique et papier existait
en 2011 car à cette époque, il n’y avait pas de questionnaire papier recensement / ENM avec transition.
Statistique Canada – No 92-140-X2016001 au catalogue
41
Test du contenu du programme du recensement de 2016 :
design et résultats
3.8
Activités de la vie quotidienne
L’Enquête nationale auprès des ménages est utilisée comme base de sondage pour des enquêtes postcensitaires
ou de santé qui recueillent de l’information sur les personnes ayant une incapacité. À ce titre, les questions
sur les activités de la vie quotidienne agissent comme questions filtres afin d’identifier les personnes les plus
susceptibles d’avoir une incapacité. Ainsi, toute personne qui répond affirmativement à l’une de ces questions
filtres dans le questionnaire de l’ENM est susceptible d’être incluse dans la base de sondage de ces enquêtes
spéciales. Le défi est toutefois important car il s’agit de proposer une série de questions qui soient bien comprises
par les répondants, tout en étant suffisamment précises afin d’une part, de diminuer le nombre de personnes qui
déclarent une réponse positive aux questions filtres de l’ENM, mais qui n’ont pas d’incapacité lors des enquêtes
spéciales (faux positifs) et d’autre part, de dénombrer une étendue plus large et plus réaliste des incapacités et
en particulier, des incapacités dites « moins visibles » telles que les incapacités cognitives ou celles liées à la
santé mentale ou psychologique.
Dans le contexte du Test de contenu, une nouvelle question a été testée (figure 13). Des analyses internes
réalisées par l’organisme ont montré que les questions filtres utilisées dans l’ENM de 2011 permettaient
d’identifier adéquatement les personnes souffrant d’une incapacité physique, mais étaient beaucoup plus limitées
en ce qui concerne les personnes avec des incapacités cognitives ou liées à la santé mentale ou psychologique.
La nouvelle question est formulée de façon à mieux couvrir l’ensemble des incapacités. Cette question est
également précédée d’un préambule.
Puisque cette question était posée pour la première fois, l’analyse visait plusieurs objectifs, et en particulier :
42
•
Évaluer l’impact sur le nombre de réponses positives des nouvelles questions filtres proposées
comparativement à celles utilisées en 2011, avec une attention particulière portée au nombre de
personnes déclarant des difficultés cognitives (Q. 10d) ou d’ordre émotionnel, psychologique ou de santé
mentale (Q. 10e).
•
Assurer que les taux de non-réponse associés aux nouvelles questions filtres ne soient pas plus élevés
que ceux des questions filtres de 2011, particulièrement en ce qui concerne les sous-questions sur les
difficultés cognitives (Q. 10d) et les difficultés émotionnelles, psychologiques ou de santé mentale
(Q. 10e).
•
Considérer les répondants qui ont déclaré au moins une réponse positive lors du Test de contenu de
2014 et comparer les réponses aux questions filtres qu’ils avaient fournies en 2011.
•
Enfin, comparer les taux de filtrage obtenus à la nouvelle question aux taux attendus calculés d’après
d’autres sources de données qui ont également utilisé cette question notamment, l’Enquête sur la
population active et l’Enquête canadienne sur la santé des communautés.
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Figure 13
Questions sur les activités de la vie quotidienne
Questionnaire de test
Questionnaire de contrôle
Source : Statistique Canada, Test de contenu de 2014,
questionnaire N1.
Source : Statistique Canada, Test de contenu de 2014,
questionnaire N1.1.
Statistique Canada – No 92-140-X2016001 au catalogue
43
Test du contenu du programme du recensement de 2016 :
design et résultats
Résultats
Le premier résultat de cette analyse démontre que la nouvelle question contribue à identifier davantage de
personnes susceptibles d’avoir une incapacité. L’accroissement correspond à environ +16 % parmi les ménages
qui ont répondu à l’aide du questionnaire papier (panel no 2) et +89 % parmi ceux qui ont répondu à l’aide du
questionnaire électronique (panel no 3). Pour bien comprendre ces différences, il faut savoir que les ménages
du panel no 2 ont répondu sur papier en 2011 et étaient aussi plus âgés comparativement à ceux du panel
no 3 qui eux, ont répondu à l’aide du questionnaire électronique en 2011. Les taux de filtrage des ménages plus
âgés étaient déjà passablement élevés avec les anciennes questions, d’où la plus faible augmentation de ces
taux avec la nouvelle version. À l’opposé, les ménages du panel no 3, qui ont répondu à l’aide du questionnaire
électronique en 2011, étaient plus jeunes et avaient des taux de filtrage assez bas avec les anciennes questions.
Les nouvelles questions ont donc un plus gros impact sur ces ménages. Ces nouvelles questions permettent
aussi de filtrer un plus grand nombre d’enfants âgés de moins de 15 ans par rapport aux anciennes questions.
Enfin, on remarque qu’une proportion non négligeable de personnes sont filtrées uniquement parce qu’elles
ont répondu positivement soit à la question Q.10d) (difficultés cognitives) ou à la question Q.10e) (difficultés
émotionnelles, psychologiques ou de santé mentale). Ce sont vraisemblablement des personnes qui auraient été
omises avec les anciennes questions puisque celles-ci n’arrivaient pas à bien couvrir ces types d’incapacité.
Les taux de non-réponse sont très similaires entre les nouvelles et les anciennes questions. La question sur
une condition d’ordre émotionnel, psychologique ou de santé mentale, qui pourrait être plus sensible pour
les répondants, présente un taux de non-réponse légèrement plus élevé par rapport aux autres questions.
Cependant, selon l’analyse, la valeur ajoutée de cette question, qui permet de mieux couvrir les personnes ayant
ce type d’incapacité, compense largement la non-réponse (tableau 25).
Tableau 25
Taux de non-réponse à la question sur l’incapacité, selon le mode de collecte, panel de test seulement,
Test de contenu
Total de personnes
a) Visuelle
b) Auditive
c) Mobilité
d) Cognitive
e) Santé mentale/psychologique
f) Autre
Électronique
Papier
7 434
3,61
1,9
1,8
1,8
1,9
2,0
6 587
1,6
2,0
2,1
2,1
2,6
3,9
1. Un défaut dans l’application QE pendant les premiers jours de la collecte a empêché que la question ne s’affiche pour la Personne 2 du
ménage, ce qui explique ces taux élevés de non-réponse.
Source : Statistique Canada, Test de contenu de 2014.
Les données du test ont été analysées également en tenant compte du fichier de couplage qui lie les répondants
du test à leur déclaration en 2011. Bien que l’état de santé d’une personne évolue au fil du temps, on voulait
comparer les taux de filtrage de 2011 (anciennes questions filtres) à ceux du test de 2014 selon les anciennes
et les nouvelles questions. Les résultats ont démontré que les taux de filtrage des nouvelles questions sont
similaires à ceux des anciennes questions chez les personnes ayant répondu positivement en 2011. Par contre,
les taux de filtrage des nouvelles questions sont bien supérieurs à ceux des anciennes questions chez les
personnes ayant répondu négativement en 2011.
44
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Enfin, on a pu constater que les taux de filtrages de la nouvelle question au test de 2014 sont similaires à ceux
observés dans deux autres enquêtes ayant utilisé ces taux de filtrage, soit l’Enquête sur la population active et
l’Enquête sur la santé dans les collectivités canadiennes.
Tel que spécifié dans la liste des questions du Programme du Recensement de 2016, les questions sur les
activités de la vie quotidienne du Test de contenu ont été retenues pour 2016.
3.9
Renseignements socioculturels
La section sur les renseignements socioculturels permet de recueillir de l’information sur la diversité ethnique
et culturelle de la population canadienne, sur les déplacements des personnes au Canada et en provenance
d’autres pays vers le Canada, sur l’immigration ainsi que sur les personnes d’ascendance autochtone ou faisant
partie d’une minorité visible. Ces données servent à l’élaboration des politiques, de programmes ou de services
destinés à la population en matière d’accueil des personnes immigrantes ou d’intégration au marché du travail.
3.9.1 La question sur le lieu de naissance du répondant
La question sur le lieu de naissance de la version papier
n’a pas été modifiée. Par contre, plusieurs changements
ont été apportés à celle du questionnaire électronique, de
façon à réduire, d’une part, le nombre de personnes qui
déclarent leur province de résidence comme étant celle où
elles sont nées et d’autre part, le nombre d’immigrants qui
déclarent être nés au Canada.
Encadré 2 :
Exemple d’un message de validation pour
le pays de naissance des personnes nées
à l’extérieur du Canada
Veuillez préciser le pays selon les frontières
actuelles à la question 11 pour #{PRÉNOM}
#{NOM}. Par exemple, au lieu d’Afrique,
veuillez inscrire : Maroc, République d’Afrique
du Sud, Nigéria, Kenya, La république
démocratique du Congo, etc.
Dans la version contrôle (similaire à celle de 2011) du
questionnaire électronique, la question présentait le choix
entre 13 boutons radios correspondant aux provinces/
territoires de naissance pour les répondants nés au
Canada ou une zone de texte dans laquelle les personnes
nées à l’extérieur du Canada devaient inscrire leur pays
de naissance (figure 14). Dans la version Test du questionnaire électronique, la question demande d’abord à
la personne de choisir une des deux cases à cocher : « Née au Canada » ou « Née à l’extérieur du Canada ».
Ensuite, le répondant doit sélectionner la province ou le territoire de naissance s’il a indiqué être né au Canada
ou spécifier le pays s’il a indiqué être né à l’extérieur du Canada. Au lieu des boutons radios pour sélectionner la
province ou le territoire, la version testée présente un menu déroulant où les provinces et territoires sont classés
par ordre alphabétique.
Statistique Canada – No 92-140-X2016001 au catalogue
45
Test du contenu du programme du recensement de 2016 :
design et résultats
Figure 14
Question sur le lieu de naissance du questionnaire électronique
Questionnaire de test
Questionnaire de contrôle
Source : Statistique Canada, Test de contenu de 2014, questionnaire N1.
De plus, dans la version testée du questionnaire électronique, un message de validation est associé à la zone
de texte du pays de naissance afin de réduire le nombre de réponses vagues et d’anticiper une amélioration
des opérations de codage en 2016. Les réponses considérées comme vagues étaient : Irlande, Congo, Corée,
Soudan, URSS, Tchécoslovaquie, Antilles ou Caraïbes, Afrique.
46
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Résultats
En comparant les données des panels de test et de contrôle (tableau 26), on remarque que la proportion de
personnes nées au Canada, qui avaient indiqué une province ou un territoire de naissance différent de leur
lieu de résidence, était plus élevée dans le panel de test (15,2 %) que dans le panel de contrôle (13,1 %).
De la même façon, on observe une plus grande proportion de personnes ayant indiqué un lieu de naissance
à l’extérieur du Canada dans le panel de test (23,6 %) comparativement au panel de contrôle (22,2 %), et ce,
en dépit du taux de non-réponse plus élevé pour le panel de test.
Tableau 26
Répartition des réponses sur le lieu de naissance du répondant, selon le panel, questionnaire électronique,
Test de contenu
Électronique
Total
Né(e) au Canada
- Dans la province de résidence
- Hors de la province de résidence
Né(e) à l’extérieur du Canada
Non-réponse ou réponse invalide
Panels
de test
Panels
de contrôle
Différence
(%)
13 693 199
72,7
14 104 071
76,3
-2,9
-3,6
84,8
15,2
23,6
3,2
86,9
13,1
22,2
1,6
-4,0
-1,2
-3,8
17,8
Source : Statistique Canada, Test de contenu de 2014.
Ces résultats vont dans le sens souhaité, même si les différences observées ne sont pas statistiquement
significatives. La taille relativement petite des échantillons permet difficilement, en effet, d’étudier de petites
populations. Comme seulement environ 11 % de la population de l’échantillon était née au Canada, dans une
province ou un territoire autre que leur lieu de résidence, il aurait fallu observer une différence plus importante
pour qu’elle puisse s’avérer statistiquement significative.
On observe également une certaine volatilité dans la répartition des provinces et territoires de naissance, mais
aucune tendance claire ne semble ressortir. L’Ontario, qui se trouve au centre dans les menus déroulant en
français et en anglais, affiche une diminution non statistiquement significative de -1,1 % entre le panel de test
(35,8 %) et le panel de contrôle (36,9 %). Les provinces qui obtiennent la plus forte croissance de réponse
(+0,8 %) entre le panel de test et le panel de contrôle sont l’Alberta et la Colombie-Britannique qui se retrouvent
en haut du menu déroulant pour les deux langues. Pour ce qui est de la réponse « Yukon », qui avait été
problématique en 2006, le nombre de réponses est trop faible pour pouvoir tirer des conclusions sur la qualité
de ces données. Il faut noter que la population des territoires était exclue du test, ce qui limite la capacité
d’analyse pour ce changement en particulier.
Le nombre de réponses vagues est moins élevé pour le panel de test comparé au panel de contrôle.
Les réponses vagues du panel de contrôle comptaient pour 3,1 % de l’ensemble des réponses écrites.
Cette proportion diminuait à 0,4 % pour le panel de test. Bien qu’en raison de la petite taille de l’échantillon de
réponses vagues, il soit impossible de produire des statistiques de robustesse des différences observées, la
diminution importante de ce type de réponses semble indiquer une amélioration de la qualité des données.8
8.Ces résultats s’appliquent également au pays de naissance du père et de la mère puisque dans la version électronique du questionnaire
de test, la même fonctionnalité a été mise en œuvre. On observe là aussi, une diminution de 2.9 % à 0.5 % en ce qui concerne le pays de
naissance du père et de 3.2 % à 0.5 % en ce qui concerne celui de la mère.
Statistique Canada – No 92-140-X2016001 au catalogue
47
Test du contenu du programme du recensement de 2016 :
design et résultats
3.9.2 La question sur la citoyenneté
La version test du questionnaire ne contient pas de question sur la citoyenneté. À l’ENM 2011, cette question
était posée immédiatement après la question sur le lieu de naissance et suivie de celle sur le statut d’immigrant
reçu.
L’absence de cette question peut avoir deux impacts:
•
d’une part, contribuer à sous-estimer la population immigrante et en particulier les immigrants de longue
date ou ceux ayant acquis la citoyenneté canadienne par naturalisation et qui n’ont pas tendance à se
déclarer comme étant immigrants. En 2011, cela fut le cas de 114 000 répondants pour lesquels on a
rétabli leur statut grâce à leur déclaration à la question sur la citoyenneté ; cela a permis de majorer les
estimés de la population immigrante finale de 1,6 %.
•
d’autre part, prévenir l’estimation des résidents non-permanents car la distinction entre citoyens de
naissance, par naturalisation ou d’un autre pays, combinée au statut d’immigration, permet de dériver
cette population. Par conséquent, la variable sur le statut d’immigrant ne présenterait plus que deux
catégories en 2016, à savoir la population non-immigrante (incluant les résidents non-permanents) et la
population immigrante.
Résultats
Le tableau 27 présente la répartition de la population immigrante dérivée avec la citoyenneté (panels de
contrôle) et sans la citoyenneté (panels de test). D’après les résultats obtenus, les panels de test produisent des
estimations de population immigrante qui sont inférieures à celles obtenues dans les panels de contrôle, et cela,
quel que soit le mode de collecte.
Tableau 27
Population immigrante dérivée, selon le panel et le mode de collecte, Test de contenu
Panels
de tests
Panels
de contrôle
Différence
(%)
Électronique
Total
Non-immigrant
Immigrant
Non-réponse/Invalide
13 693 199
75,7
20,7
3,6
14 104 071
75,3
21,7
3,0
-2,9
-2,5
-7,3
17,7
Papier
Total
Non-immigrant
Immigrant
Non-réponse/Invalide
2 126 506
77,7
20,3
2,0
2 088 398
78,1
20,6
1,3
1,8
1,4
0,4
50,7
Source : Statistique Canada, Test de contenu de 2014.
Par ailleurs, la question sur le statut d’immigrant a des scores combinés de non-réponses/réponses invalides plus
élevés dans les panels de test que dans ceux de contrôle (3,6 % pour le test électronique et 2,0 % pour le panel
de test papier). Dans l’éventualité où la question sur la citoyenneté était omise, ces valeurs invalides au statut
d’immigrant ne pourraient pas être corrigées à l’aide de l’information auxiliaire relative à la citoyenneté.
48
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
En l’absence de la question sur la citoyenneté, la sous-estimation de la population immigrante serait
potentiellement plus grande, mais il est risqué d’estimer cette sous-estimation étant donné la faible taille
d’échantillon du test.
Tel que spécifié dans la liste des questions du Programme du Recensement de 2016, la question sur la
citoyenneté est incluse pour 2016.
3.9.3 La question sur l’année d’immigration
Deux changements mineurs ont été apportés à la question portant sur l’année d’immigration : le premier est
l’ajout de l’exemple « 1974 » aussi bien dans les questionnaires papier qu’électroniques (figure 15). Cet ajout est
dicté par les normes relatives aux questionnaires électroniques et ne devrait pas avoir d’impact significatif sur les
valeurs fournies par les répondants.
Figure 15
La question sur l’année d’immigration
Questionnaire de test
Questionnaire de contrôle
Source : Statistique Canada, Test de contenu de 2014,
questionnaire N1.
Source : Statistique Canada, Test de contenu de 2014,
questionnaire N1.1.
Le deuxième changement, applicable à la version électronique uniquement, est l’ajout d’un message de validation
pour les répondants ayant indiqué une année d’immigration antérieure à l’année de naissance. Étant donné
la faible occurrence de cas ayant déclaré une année d’immigration précédant l’année de naissance en 2011
(environ 0,1 % des répondants ayant indiqué « oui » à la question sur le statut d’immigrant) et étant donné
les tailles d’échantillons relativement petites, ce changement ne devrait pas avoir un impact significatif sur les
données du Test de contenu.
Statistique Canada – No 92-140-X2016001 au catalogue
49
Test du contenu du programme du recensement de 2016 :
design et résultats
Résultats
Les changements apportés à la question portant sur l’année d’immigration ne semblent pas affecter la répartition
des réponses fournies à l’année d’immigration (figure 16). L’exemple « 1974 » est proposé pour indiquer au
répondant que la réponse doit comporter quatre chiffres. Or, le nombre de répondants n’ayant pas fourni un
nombre entre 1893 et 2014 est trop petit, quel que soit le panel, pour permettre de tirer une conclusion. Sur le
questionnaire papier, 12 répondants avaient donné une réponse à l’extérieur des limites acceptables pour le
questionnaire test et un répondant pour le questionnaire contrôle. Pour les versions électroniques, ces chiffres
étaient respectivement de 0 et 1.
Figure 16
Répartition de l’année d’immigration, selon le panel et le mode de collecte
Source : Statistique Canada, Test de contenu de 2014.
L’ajout de l’exemple aurait pu inciter les répondants à répondre une année d’immigration autour de 1974, mais
là encore, le changement à la question ne semble pas avoir eu d’impact sur la répartition des réponses. Les
panels de test et de contrôle démontrent des répartitions de l’année d’immigration similaires autant pour les
questionnaires papier qu’électroniques.
En ce qui concerne l’ajout du message de validation lorsque l’année d’immigration précède l’année de naissance,
il n’a jamais été généré. Ceci est vrai autant pour le panel de test s’appliquant aux analyses que pour les deux
échantillons NAS qui contenaient le message. Étant donné la rareté de ce genre d’erreur, l’ajout d’un message de
validation n’a donc pas d’impact significatif sur la qualité des données.
3.9.4 La question sur l’origine ethnique
Lors du Test de contenu de 2014, la question proposée était formulée dans les mêmes termes qu’en 2011.
Les seuls changements notables concernaient la liste d’exemples proposés et dans laquelle les diverses origines
apparaissaient dans un ordre différent de celui de 2011 (figure 17). Cet ordre est déterminé par les répartitions
des réponses uniques à la question, obtenues au niveau national, lors du cycle précédent. Par conséquent,
en raison de cette méthodologie, l’origine « chinoise » est passée en 3e position, devant l’origine « française ».
Les exemples « Juif » et « Salvadorien » ont été supprimés de la liste et remplacés par « Mexicain » et
« Iranien ».
50
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Figure 17
Question sur l’origine ethnique (QP)
Questionnaire de test
Questionnaire de contrôle
Source : Statistique Canada, Test de contenu de 2014,
questionnaire N1.
Source : Statistique Canada, Test de contenu de 2014,
questionnaire N1.1.
Un autre changement concerne le questionnaire électronique (figure 18) où chaque boîte de texte servant à
écrire les origines est précédée d’une légende qui indique « Origine 1 », « Origine 2 (s’il y a lieu) », et ainsi de
suite jusqu’à un maximum de quatre origines. Cette légende est nécessaire pour que l’application respecte les
conditions d’accessibilité.
Figure 18
Question sur l’origine ethnique (QE)
Source : Statistique Canada, Test de contenu de 2014, questionnaire N1.
Statistique Canada – No 92-140-X2016001 au catalogue
51
Test du contenu du programme du recensement de 2016 :
design et résultats
Résultats
Dans le contexte du test, les réponses n’ont pas été codées. L’analyse a donc porté sur les réponses déclarées
par les répondants sans tenir compte, par exemple, des variations qui apparaissent dans l’orthographe.
Les changements apportés à l’ordre des exemples d’origine proposés ont un impact minime sur les taux de
réponses à la question, quel que soit le mode de collecte. Les données montrent de petites différences dans la
répartition des origines « chinoise » et « française » (tableau 28). Le nombre de réponses « origine française »
obtenu dans le panel de test par questionnaire électronique est moins élevé que celui du panel de contrôle,
mais c’est l’inverse en ce qui concerne le mode de collecte papier. Aucun changement n’est constaté en ce qui
concerne les réponses « origine chinoise » entre les deux panels du questionnaire électronique, alors qu’en
mode de collecte papier, le panel de test indique une proportion plus grande de personnes déclarant une origine
chinoise. Les changements à la liste des exemples proposés ont également peu d’impacts sur les répartitions
obtenues. Tel qu’attendu, il y a moins de réponses « origine juive » dans les panels tests et cela peut être relié à
l’absence de cette origine dans la liste des exemples.
Tableau 28
Répartition des origines ethniques uniques, selon le panel et le mode de collecte, Test de contenu
Panels de test
Électronique
Total
Canadien
Français
Chinois
Autochtone (toute origine)
Mexicain (nouveau en 2014)
Iranien (nouveau en 2014)
Salvadorien (supprimé en 2014)
Juif (supprimé en 2014)
Papier
Total
Canadien
Français
Chinois
Autochtone (toute origine)
Mexicain (nouveau en 2014)
Iranien (nouveau en 2014)
Salvadorien (supprimé en 2014)
Juif (supprimé en 2014)
Panels de contrôle
Diff.
Nombre
%
Nombre
%
8 453 781
2 556 604
495 778
702 600
47 028
21 125
82 054
7 961
24 553
100,0
30,2
5,9
8,3
0,6
0,2
1,0
0,1
0,3
7 634 098
1 152 559
487 553
635 242
31 336
32 527
39 470
1 059
49 150
100,0
15,1
6,4
8,3
0,4
0,4
0,5
0,0
0,6
0,0
15,1
-0,5
0,0
0,1
-0,2
0,5
0,1
-0,4
1 176 911
406 792
88 971
50 872
5 950
148
844
970
100,0
34,6
7,6
4,3
0,5
0,0
0,1
0,1
1 135 250
395 546
77 648
33 075
4 557
151
4 754
1 327
100,0
34,8
6,8
2,9
0,4
0,0
0,4
0,1
0,0
-0,3
0,7
1,4
0,1
0,0
-0,3
0,0
2 826
0,2
14 838
1,3
-1,1
Source : Statistique Canada, Test de contenu de 2014.
Les résultats du Test de contenu indiquent que l’ajout du texte « Origine 1 », « Origine 2 (s’il y a lieu) »,
« Origine 3 (s’il y a lieu) », « Origines supplémentaires (S’il y a lieu) » au-dessus des boîtes de texte pour les
répondants au questionnaire électronique réduit le nombre déclaré d’origines multiples. Le texte « s’il y a lieu »
peut avoir découragé les répondants de déclarer l’origine, comme si ces boîtes étaient optionnelles.
52
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 29
Réponses uniques et réponses multiples à la question sur l’origine ethnique, selon le panel et le mode de collecte, Test de contenu
Panels de test
Panels de contrôle
Diff.
Nombre
%
Nombre
%
Réponses uniques
Réponses multiples
Non-réponses
13 693 199
8 453 781
4 478 187
761 231
100,0
61,7
32,7
5,6
14 104 071
7 634 098
5 492 667
977 306
100,0
54,1
38,9
6,9
0,0
7,6
-6,2
-1,4
Papier
Total
Réponses uniques
Réponses multiples
Non-réponses
2 126 506
1 176 911
649 684
299 911
100,0
55,3
30,6
14,1
2 088 398
1 135 250
708 532
244 616
100,0
54,4
33,9
11,7
0,0
1,0
-3,4
2,4
Électronique
Total
Source : Statistique Canada, Test de contenu de 2014.
Le panel de test du questionnaire électronique affiche un taux de réponses multiples 6,2 % inférieur à celui du
panel de contrôle et la différence est statistiquement significative. En ce qui concerne les questionnaires papier,
le panel de test avait un nombre de réponse multiple inférieur, mais cette différence n’était pas statistiquement
significative (tableau 29).
Les résultats indiquent que les instructions ont influencé les réponses uniques. Les résultats du panel test des
questionnaires électroniques indiquent une croissance d’environ 15,1 % d’origine « Canadienne » comme
réponse unique. Si l’on étudie ces réponses à partir du fichier de couplage avec les données de l’ENM de 2011,
on observe que 29,7 % des personnes des panels tests du questionnaire électronique qui ont donné une origine
unique avaient déclaré plus d’une origine en 2011.
Tel que spécifié dans la liste des questions du Programme du Recensement de 2016, les exemples de la question
sur l’origine ethnique du Test de contenu sont gardées pour 2016. De plus, les légendes qui apparaissent audessus des boîtes de texte dans le questionnaire électronique sont supprimées.
Statistique Canada – No 92-140-X2016001 au catalogue
53
Test du contenu du programme du recensement de 2016 :
design et résultats
3.9.5 Les questions sur l’identification autochtone L’identification autochtone s’appuie sur les informations déclarées à quatre questions.
•
Cette personne est-elle un autochtone, c’est-à-dire Première Nation (Indien de l’Amérique du Nord),
Métis ou Inuk (Inuit)?
•
Cette personne est-elle un Indien avec statut (Indien inscrit ou des traités aux termes de la Loi sur les
Indiens du Canada)?
•
Quelles étaient les origines ethniques ou culturelles des ancêtres de cette personne? (source de données
sur les ancêtres autochtones)
•
Cette personne est-elle membre d’une Première Nation/bande indienne?
Les changements apportés à ces questions en 2014 concernent d’une part, la question sur l’identité autodéclarée (figure 19) dont les instructions ont été modifiées ainsi que le format des flèches du format papier
permettant de diriger les répondants vers les questions suivantes selon les réponses fournies à celle-ci. D’autre
part, la question sur l’appartenance à une Première Nation/bande indienne a été supprimée pour le test.
Figure 19
Question sur l’identité autochtone
Questionnaire de test
Questionnaire de contrôle
Source : Statistique Canada, Test de contenu de 2014,
questionnaire N1.
Source : Statistique Canada, Test de contenu de 2014,
questionnaire N1.1.
54
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Résultats
Les tableaux 30 et 31 présentent respectivement les répartitions des réponses à la question sur l’identité
autochtone auto-déclarée et à celle des Indiens inscrits. Les différences entre les répartitions des panels de
test et de contrôle montrent de petites différences, aussi bien en mode de collecte électronique que papier.
Cependant, aucune de ces différences ne s’est avérée statistiquement significative en raison de la taille des
échantillons.
Tableau 30
Répartition des réponses à la question sur l’identité autochtone auto-déclarée, selon le panel et le mode de
collecte, Test de contenu
Panels de
Test
Panels de
contrôle
%
%
Électronique
Total
Première Nation (Indien de l’Amérique du Nord)
Métis
Inuk (Inuit)
Non-Autochtone
Réponses multiples
Réponse invalide/non-réponse
13 693 199
1,3
1,1
0,0
92,1
0,0
5,6
14 104 071
0,9
1,7
0,0
90,8
0,0
6,6
0,4
-0,6
0,0
1,3
0,0
-1,0
Papier
Total
Première Nation (Indien de l’Amérique du Nord)
Métis
Inuk (Inuit)
Non-Autochtone
Réponses multiples
Réponse invalide/non-réponse
2 126 506
0,8
1,3
0,0
90,1
0,1
7,7
2 088 398
1,1
0,9
0,0
89,1
0,2
8,8
-0,3
0,4
0,0
1,0
-0,1
-1,1
Diff.
Source : Statistique Canada, Test de contenu de 2014.
Les données du test ne permettent pas de produire des résultats d’analyse concluant étant donné les règles de
sélection des ménages participant au test. En excluant les secteurs de dénombrement par interview, incluant les
territoires, les populations autochtones étaient davantage difficiles à cibler lors du Test de contenu. Statistique Canada – No 92-140-X2016001 au catalogue
55
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 31
Répartition des réponses à la question sur le statut d’Indien, selon le panel et le mode de collecte,
Test de contenu
Panels de
test
Panel de
contrôle
%
%
Électronique
Total
Non
Oui, Indien avec statut
Réponse invalide/non-réponse
13 693 199
93,6
1,1
5,4
14 104 071
94,3
0,5
5,2
-0,7
0,6
0,2
Papier
Total
Non
Oui, Indien avec statut
Réponse invalide/non-réponse
2 126 506
91,5
0,8
7,7
2 088 398
88,4
0,8
10,8
3,1
0,0
-3,1
Diff.
Source : Statistique Canada, Test de contenu de 2014.
Par ailleurs, si l’on considère les résultats obtenus à la question sur l’origine ethnique, lesquels ont également
été utilisés pour dériver les estimations de la population autochtone, la diminution du nombre de réponses
multiples parmi les questionnaires électroniques indique que les répondants ont eu tendance à interpréter la
boîte de texte comme étant optionnelle en raison du texte « s’il y a lieu » qui apparaissait au-dessus. Cela peut
avoir des conséquences importantes sur les estimations de population autochtone en 2016. En 2011, 46,5 %
des répondants qui ont déclaré avoir une origine autochtone l’ont inscrit comme étant leurs 2e à 6e origines.
Le nouveau format de la question dans la version électronique risquerait ainsi de réduire les estimations de la
population ayant une ascendance autochtone.
Tel que spécifié dans la liste des questions du Programme du Recensement de 2016, la question sur
l’appartenance à une Première Nation ou à une bande indienne est incluse pour 2016. Les instructions pour la
question sur l’identité autochtone de 2016 seront les mêmes qu’en 2011.
3.9.6 La question sur le groupe de population
Cette question permet de dériver l’appartenance à une minorité visible. Elle est posée principalement pour
appuyer la Loi sur l’équité en matière d’emploi.
56
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Les principaux changements apportés à la question concernent d’une part, la liste des exemples illustrant la
catégorie « Asiatique du Sud-Est », dans laquelle l’exemple « Malaisien » proposé en 2011 a été remplacé par
« Thaïlandais » en 2014. Ce changement s’appuie sur la même méthodologie que celle qui détermine l’ordre des
principales origines ethniques énoncée précédemment. De plus, dans la version papier du questionnaire, le texte
qui explique pourquoi cette question est posée a été légèrement modifié et placé en préambule de la question
(figure 20).
Figure 20
La question sur le groupe de population
Questionnaire de test
Questionnaire de contrôle
Source : Statistique Canada, Test de contenu de 2014
questionnaire N1.
Source: Statistique Canada, Test de contenu de 2014,
questionnaire N1.1.
Résultats
L’analyse des données des panels de test et de contrôle a montré que les modifications apportées n’affectaient
pas les estimations produites.
Tel que spécifié dans la liste des questions du Programme du Recensement de 2016, les exemples de la question
sur le groupe de population du Test de contenu sont conservées en 2016.
3.10Scolarité
Les données sur la scolarité fournissent de l’information sur le niveau de scolarité atteint et la fréquentation
scolaire des résidents du Canada. Ce thème est considéré comme un résultat socioéconomique clé, pouvant
avoir une incidence sur l’emploi et la qualité de vie. Les données sur la scolarité sont utilisées pour appuyer
des engagements législatifs et réglementaires du gouvernement fédéral et la mise en œuvre de plusieurs
programmes.
Statistique Canada – No 92-140-X2016001 au catalogue
57
Test du contenu du programme du recensement de 2016 :
design et résultats
3.10.1 Les questions relatives aux diplômes obtenus
Pour être en mesure de dériver le plus haut niveau de scolarité atteint, la section sur la scolarité commence avec
une série de questions s’adressant à chaque personne du ménage âgée de 15 ans ou plus si elle détient :
•
un diplôme d’études secondaires ou l’équivalent
•
un certificat ou diplôme d’apprenti inscrit, d’une école de métiers ou d’un centre de formation
professionnelle
•
un diplôme d’études collégiales, d’un cégep ou d’un autre établissement non universitaire
•
un certificat, un diplôme ou un grade universitaire.
En 2014, quel que soit le mode de collecte, la question sur la détention d’un diplôme d’études secondaires a le
même format, dans les questionnaires en français, qu’en 2011. Dans les questionnaires en anglais, la question
est posée dans des termes légèrement différents. En 2014, on demande : « Has this person completed a high
school (secondary school) diploma or equivalency certificate? » plutôt que « Has this person completed a
secondary (high) school diploma or equivalent? ». Les catégories de réponses à cette question en 2014 reflètent
les modifications.
Le libellé des questions sur la scolarité postsecondaire est presque le même qu’en 2011. De légers changements
du libellé sont apportés aux catégories de réponses. Par exemple, on a ajouté entre parenthèses, à certaines
catégories de diplômes universitaires, les acronymes spécifiques qui caractérisent le dit-diplôme (par ex., B.A.,
B.Sc., B.Ed., LL.B. pour le baccalauréat; M.A., M.Sc., M.Ed., M.B.A. pour la maîtrise).
Le plus important changement apporté à ces questions sur la scolarité postsecondaire concerne surtout leur
format. Dans la version papier, les trois questions originales (Q. 29, Q. 30, Q. 31) sont regroupées en une seule
question (Q. 22) subdivisée en trois sous-questions a), b) et c). Ce format a été adopté pour assurer que la
question du questionnaire papier soit cohérente avec celle du questionnaire électronique qui, elle aussi, a fait
l’objet d’une refonte importante en ce qui a trait à la manière dont elle est présentée aux répondants. Dans la
version électronique, la question est structurée en séquences (figure 21). Cela signifie que le répondant voit
les trois sous-questions apparaître sur son écran avec le choix de répondre par oui ou par non (séquence 1) ;
s’il répond « oui », alors une liste de choix à cocher est proposée (séquence 2). Ce format a été développé
pour plusieurs raisons : indiquer au répondant qu’il ne doit déclarer que les qualifications obtenues; l’aviser
que ces questions réfèrent à des types de diplômes différents. Aussi, ce nouveau format devrait permettre de
corriger la surdéclaration des niveaux postsecondaires (notamment le niveau « certificat universitaire inférieur
au baccalauréat ») et leur chevauchement (métier/collège, collège/université), deux résultats constatés lors de la
certification des données de l’éducation de 2006 et de 2011 et observés également lors des tests qualitatifs qui
ont précédé le test de 2014.
Résultats
La nouvelle question électronique de 2014 a contribué à modifier la répartition des niveaux de scolarité
postsecondaire de façon importante ainsi que l’indiquent les données du tableau 32. La diminution la plus
importante s’observe surtout parmi les répondants qui déclarent détenir un diplôme universitaire inférieur
au baccalauréat, avec une diminution de 1,9 % parmi les questionnaires en français et de 3 % parmi les
questionnaires en anglais. Ce résultat correspond à ce qui était souhaité.
58
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Figure 21
Question sur la scolarité postsecondaire proposée dans le questionnaire de test, version électronique
Séquence 1
Séquence 2, lorsque
la réponse « oui »
est sélectionnée
Source : Statistique Canada, Test de contenu de 2014, questionnaire N1.
Statistique Canada – No 92-140-X2016001 au catalogue
59
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 32
Répartition du plus haut niveau de scolarité acquise, selon le panel, QE uniquement, Test de contenu
QUESTIONNAIRES EN FRANÇAIS
Panels
de test
Panels de
contrôle
QUESTIONNAIRES EN ANGLAIS
Diff.
Panels
de test
Panels de
contrôle
Diff.
39,4
6,7
20,6
2,5
30,7
35,7
8,0
18,9
5,5
31,8
3,7
-1,3
1,7
-3,0
-1,1
%
Études secondaires ou moins
École de métier / apprenti
Collège ou cégep
Universitaire inférieur au bac.
Universitaire
34,0
17,7
18,7
3,6
26,0
33,5
16,8
19,2
5,5
25,0
0,5
0,9
-0,5
-1,9
-1,0
Source : Statistique Canada, Test de contenu de 2014.
Les résultats de 2014 sont encourageants et tendent à démontrer que ce nouveau format, qui met plus
d’emphase sur les qualifications acquises, permet aux répondants de déclarer de façon plus précise leurs titres
acquis. Cette amélioration s’opère également pour les autres niveaux de scolarité. Ces résultats s’observent plus
particulièrement parmi les questionnaires en anglais.
Le chevauchement entre les niveaux a également diminué. La proportion de personnes qui déclarent posséder
un diplôme d’une école de métier et un diplôme du collégial a diminué de façon significative parmi les panels de
test. Ainsi, 5,5 % des répondants ont déclaré posséder les deux types de diplômes dans le panel de test, contre
12,2 % dans le panel de contrôle, ce qui représente une diminution de moitié (tableau 33).
Tableau 33
Répartition des réponses aux diplômes de métier et de collège, selon le panel, QE, Test de contenu
Panels de test
Électronique
Total
Métier ou collège seulement
Métier et collège
Ni métier, ni collège
Réponses partielles
Non-réponses
Panels de contrôle
Nombre
%
Nombre
%
6 115
2 293
282
3 159
11
370
100,0
33,7
5,5
54,4
0,1
6,2
6 308
2 265
660
2 974
13
396
100,0
31,4
12,2
47,3
0,2
9,0
Source : Statistique Canada, Test de contenu de 2014.
Les taux de non-réponse à la question sont plus faibles dans le panel test du questionnaire électronique
comparés à ceux du panel de contrôle. D’après l’analyse des paradonnées du questionnaire électronique,
les répondants du panel de test ont été trois fois plus nombreux que ceux du panel de contrôle à laisser une
des sous-questions a) b) ou c) en blanc et ainsi, à voir un message de validation les invitant à répondre. Par
conséquent, même si le nouveau format semble accroître le nombre de validations, ces derniers permettent de
rectifier les réponses puisque d’une part, 97 % de ceux qui ont reçu un tel message ont fourni une réponse et
que d’autre part, les taux de non-réponse après l’application des messages de validation sont plus faibles dans
le panel test. Par ailleurs, dans la vaste majorité des cas, les non-réponses semblent correspondre à des « non »
par omission. En effet, les taux de « non » déclarés après qu’un message d’édit a été lancé sont de : 93 % pour le
niveau métier/apprenti ; 83 % pour le niveau collégial ; 93 % pour le niveau universitaire.
60
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 34
Taux de non-réponse aux questions sur la scolarité, selon le panel et le mode de collecte, Test de contenu
Panels
de test
Panels
de contrôle
%
Électronique
Études secondaires
École de métier / apprentissage
Collège / cégep
Université
Principal domaine d’études
6,3
6,2
6,3
6,3
0,41
7,4
7,5
7,7
7,8
7,9
Papier
Études secondaires
École de métier / apprentissage
Collège / cégep
Université
Principal domaine d’études
4,1
10,0
9,5
8,9
10,6
4,5
7,4
6,8
6,5
11,5
1. Dans la version test du questionnaire, les personnes qui ont indiqué ne pas avoir de diplôme postsecondaire ne voient pas cette question.
Par conséquent, l’univers de la question pour calculer le taux de non-réponse est différent de celui du panel de contrôle. Pour cette raison,
les taux pour cette question au format électronique ne devraient pas être comparés entre les panels.
Source : Statistique Canada, Test de contenu de 2014.
Les taux de non-réponse des questionnaires papier sont plus élevés de 2,4 à 2,8 points de pourcentage en
moyenne dans le panel de test, comparés à ceux du panel de contrôle. Ces taux sont plus élevés surtout
pour les questions de l’éducation postsecondaire, qui sont aussi celles ayant eu le plus de changements de
façon à assurer leur cohérence avec celles du questionnaire électronique. La question sur le diplôme d’études
secondaires montre des taux de non-réponse similaires entre les deux panels.
L’analyse des non-répondants parmi les questionnaires papier a été approfondie pour déterminer si la nouvelle
numérotation des trois sous-questions était une cause possible à ces taux de non-réponse plus élevés
(tableau 35). Les non-répondants ont été considérés selon les sous-groupes suivants :
•
Les abandons, soit ceux qui n’ont répondu ni à aucune des questions de scolarité, ni à aucune des
questions suivantes.
•
Les non-répondants par omission, qui répondent à une seule des trois sous-questions et généralement,
à celle qui décrit le mieux leur situation.
•
Les non-répondants, à cette question seulement, à savoir ceux qui ont répondu à la question précédente
de l’éducation secondaire et à la question suivante du principal domaine d’études, mais qui n’ont répondu
à aucune des trois sous-questions.
Statistique Canada – No 92-140-X2016001 au catalogue
61
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 35
Répartition des non-répondants à la question sur la scolarité postsecondaire, selon le panel, questionnaire papier,
Test de contenu
Métier
Total de non-réponses
% d’abandons
% d’omissions
% de non-réponses
à ces trois sous-questions
% qui ont répondu à la
question sur le diplôme
d’études secondaires1
Collège
Université
Panels
de test
Panels
de contrôle
Panels
de test
Panels
de contrôle
Panels
de test
Panels
de contrôle
635
27
51
447
34
47
602
29
48
423
36
44
549
31
43
373
40
37
22
19
23
20
26
23
15
6
16
6
18
7
1. Cette catégorie est un sous-ensemble de la catégorie précédente. Elle montre la proportion de répondants qui ont répondu à la question
sur la scolarité secondaire, mais à aucune de la scolarité postsecondaire.
Source : Statistique Canada, Test de contenu de 2014.
Selon les données compilées, la majorité de la non-réponse à la nouvelle question serait le fait d’une nonréponse par omission. Cela signifie que les répondants auraient tendance à donner une réponse sur trois, et
donc à choisir seulement la réponse qui correspond à leur situation. Les répondants tendent aussi à considérer
cette question subdivisée en trois sous-questions comme étant une seule question dans laquelle les choix de
réponses sont des cases à cocher seulement si nécessaire. On observe que la proportion de répondants qui ont
répondu à la question concernant l’école secondaire mais n’ont répondu à aucune des questions sur la scolarité
postsecondaire est plus importante dans les panels de test comparativement aux panels de contrôle. Il se
pourrait donc que les répondants papier ne lisent que la première sous-question, a), concernant la détention d’un
diplôme d’une école métier et si celle-ci ne s’applique pas à eux, ils passent à la question suivante et non pas à la
sousquestion suivante.
62
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 36
Synthèse des modifications du libellé apportées aux sous-questions sur la scolarité postsecondaire,
Test de contenu
Questionnaire de test
Diplôme d’apprenti ou d’une école de métiers
Catégorie
Version
Un certificat d’apprenti inscrit ou certificat
de
française de qualification professionnelle (un titre
réponses
de compagnon)
Version
Un autre certificat ou diplôme d’une
française école de métiers ou d’un centre de
formation professionnelle
(p. ex., DEP)
Version
Certificate of Apprenticeship or Certificate
anglaise of Qualification (Journeyperson’s
designation)
Questionnaire de contrôle
Un certificat d’apprenti inscrit (y compris un
certificat de qualification professionnelle, un
titre de compagnon)
Un autre certificat ou diplôme d’une école
de métiers ou d’un centre de formation
professionnelle
Registered Apprenticeship certificate
(including Certificate of Qualification,
Journeyperson’s designation)
Certificat ou diplôme d’un collège, cégep ou autre établissement non universitaire
Question
Version
Cette personne a-t-elle obtenu un
Cette personne a-t-elle obtenu un certificat
française certificat ou un diplôme d’études
ou un diplôme d’études collégiales, d’un
collégiales, d’un cégep ou d’un autre
cégep ou d’un autre établissement non
établissement non universitaire?
universitaire? (Autres que les certificats ou
Exclure : tous les certificats ou diplômes diplômes déclarés à la question 29.)
déclarés à la question 23 a)
Has this person completed a college,
Version
Has this person completed a college,
anglaise CEGEP or other nonuniversity certificate CEGEP or other nonuniversity certificate
of diploma?
of diploma? (Other than certificates or
Exclude: any certificates or diplomas
diplomas reported in Question 29.)
reported in Question 23 a)
Exemples
Versions Liste de trois exemples
Liste de cinq exemples
française
et
anglaise
Certificat, diplôme ou grade universitaire
Catégories Versions Ajout d’acronymes associés à certain
Pas de distinction entre les différents types
de
française diplômes pour différencier les différents
de diplômes de même niveau
réponses
et
types existants :
« Maîtrise » apparaît comme choix de
anglaise Baccalauréat (p. ex., B.A., B.Sc., B.Ed.,
réponse avant « Diplôme de médecine »
LL.B.)
Diplôme en médecine, en médecine
dentaire, en médecine vétérinaire ou
en optométrie (M.D., D.D.S., D.M.D.,
D.M.V., O.D.)
Maîtrise (p. ex., M.A., M.Sc., M.Ed.,
M.B.A.)
Doctorat acquis (p. ex., Ph. D.)
« Diplôme en médecine » apparaît
comme choix de réponse avant
« Maîtrise »
Source : Statistique Canada, Test de contenu de 2014.
Statistique Canada – No 92-140-X2016001 au catalogue
63
Test du contenu du programme du recensement de 2016 :
design et résultats
3.10.2 Le principal domaine d’études
Les principaux changements apportés à la question sur le principal domaine d’études ont touché la version
électronique de la question. Parmi ces changements, on note :
•
L’ajout d’un message de validation lorsque les réponses
déclarées dans la boîte de texte étaient trop vagues.
Par exemple, un répondant qui inscrivait comme
domaine « sciences » voyait le message de l’encadré 3
apparaître. Au total, 16 types de réponses vagues ont
été consignés dans le but de faciliter les opérations de
codage des réponses.
Encadré 3 :
Exemple d’un message de validation
pour le principal domaine d’études
Veuillez être plus précis à la question 23
pour #{PRÉNOM} #{NOM}(si possible).
Par exemple : biologie, chimie, physique,
sciences de l’environnement, etc.
•
Une fonction de texte dynamique qui tient compte des
réponses déclarées à la question précédente et indique
au répondant à quel plus haut niveau de qualification
doit se rapporter le principal domaine d’études.
Par exemple, s’il avait déclaré un baccalauréat, le texte dynamique lui demandait le principal domaine
d’études de son baccalauréat.
•
L’ajout d’un saut de la question pour les personnes qui ont déclaré n’avoir aucun diplôme postsecondaire.
•
La suppression de la boîte à cocher « Aucun certificat, diplôme ou grade plus élevé qu’un diplôme
d’études secondaires » lorsque les répondants ont déclarés détenir au moins une qualification à la
question précédente.
Dans les versions papier et électronique de la question, « l’éducation à la petite enfance » a été supprimée de la
liste des exemples de domaines proposée pour guider le répondant.
Résultats
Le message de validation a été présenté 495 fois. Dans la grande majorité des cas, le message a été vu une
seule fois par les répondants, ce qui indique que ceux-ci ont donné un niveau d’information suffisamment détaillé
à la suite du message. De plus, le champ est resté en blanc dans seulement quatre cas, et le message a été
présenté plus d’une fois dans seulement 26 cas. Sur l’ensemble des 17 catégories de réponses considérées
comme vagues, les sujets se rapportant à « ingénieur », « baccalauréat en arts », « enseignement » et
« commerce » ont été les plus fréquents.
La fonction de texte dynamique, qui rappelle au répondant le plus haut niveau de scolarité déclaré
précédemment, semble générer des résultats allant dans le sens souhaité, bien que les chiffres sur lesquels
s’appuie l’analyse soient petits. Ainsi, la fonction semble diminuer le nombre de domaines d’étude et de
niveau de scolarité qui sont incohérents : dans le panel de test, 1,2 % des domaines d’études déclarés sont
incohérents avec le niveau de scolarité le plus élevé; cette proportion est de 1,9 % dans le panel de contrôle où la
fonctionnalité n’est pas incluse.
Le saut de la question pour ceux qui ont déclaré n’avoir aucun diplôme postsecondaire permet de réduire le
fardeau de la réponse et il n’y a pas de raison de penser que le niveau de déclaration du domaine « éducation à
la petite enfance » soit affecté par la suppression de ce domaine de la liste des exemples.
Enfin, la suppression de la boîte à cocher « Aucun certificat, diplôme ou grade plus élevé qu’un diplôme
d’études secondaires » pour les répondants qui ont déclaré avoir au moins une qualification de ce niveau dans
les questions précédentes, permet d’améliorer les réponses inscrites dans le champ du principal domaine
d’études. Dans le panel de contrôle, où la boîte à cocher est offerte, 7,5 % des répondants avec une qualification
postsecondaire ont fait ce choix de réponse et 92,3 % ont déclaré un domaine d’études. Dans le panel de test,
99,4 % des répondants avec une qualification postsecondaire ont déclaré un principal domaine d’étude.
64
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
3.10.3 La question sur la fréquentation scolaire
La question sur la fréquentation scolaire est souvent mal interprétée par les répondants. Le Recensement 2006
et l’ENM 2011 ont démontré des taux de fréquentation scolaire plus élevés que d’autres enquêtes pour les
personnes âgées de 45 ans et plus. Selon les résultats de tests qualitatifs, certains répondants ont tendance
à inclure les cours de cuisine ou d’œnologie dans la fréquentation scolaire.
Afin d’en simplifier la compréhension et diminuer les erreurs de réponse, la question posée en 2014 a été
modifiée de plusieurs façons. D’abord, la question originale était divisée en deux sous-questions : a) on
demandait si la personne fréquentait un établissement scolaire durant l’année et b) dans le cas d’une réponse
affirmative, on demandait de préciser le diplôme visé. Dans la version électronique, la question était présentée en
séquences puisque le répondant voyait les choix de réponses de la sous-question b) seulement s’il avait répondu
oui à la sous-question a).
Ensuite, le choix des réponses de la sous-question b), se rapportait au diplôme visé par la fréquentation scolaire.
Ce changement a été apporté pour que l’ENM soit compatible avec le Programme d’Indicateurs pancanadiens
de l’éducation (PIPCE), dont les normes ciblent le programme auquel participent les personnes plutôt que le type
d’établissement qu’elles ont fréquenté.
Enfin, une nouvelle catégorie de réponse a été ajoutée pour distinguer les titres d’apprenti ou d’une école de
métier de ceux issus d’un collège, d’un cégep ou d’un autre établissement non universitaire. Selon le PIPCE
et la Classification internationale type de l’éducation, ce sont des types distincts de programmes et de niveaux
de scolarité. Ce changement a été effectué pour que les données de l’ENM soient compatibles avec les
classifications internationales.
Figure 22
Question sur la fréquentation scolaire, questionnaire de test, version électronique
Séquence 1
Séquence 2
Source : Statistique Canada, Test de contenu de 2014, questionnaire N1.
Statistique Canada – No 92-140-X2016001 au catalogue
65
Test du contenu du programme du recensement de 2016 :
design et résultats
Résultats
Le principal résultat, bien que basé sur un petit nombre de personnes âgées de 15 à 17 ans, démontre que le
nouveau format de la question a mené à une diminution significative des taux de fréquentation scolaire parmi
les jeunes, la population qui devrait vraisemblablement faire partie du système scolaire. Selon les données du
tableau 37, les taux de fréquentation des personnes âgées de moins de 18 ans sont inférieurs dans les panels
de test comparativement à ceux des panels de contrôle. À l’opposé, la nouvelle question a permis de diminuer le
nombre d’adultes déclarant fréquenter un établissement. Par questionnaire électronique, seulement 2,2 % des
personnes âgées de 45 ans et plus ont déclaré fréquenter un établissement en 2014 selon la nouvelle question
des panels test, comparativement à 4,3 % pour les personnes du même groupe d’âge des panels de contrôle.
Parmi les répondants aux questionnaires papier, une diminution importante est également observable.
À titre d’information et de comparaison avec le Test de contenu, les taux de fréquentation scolaire de l’ENM 2011
et de l’Enquête sur la population active (EPA) 2011 sont aussi présentés dans le tableau 37.
Tableau 37
Répartition de la fréquentation scolaire, selon l’âge des répondants, le panel, et le mode de collecte, Test de
contenu 2014, ENM 2011 et EPA 2011
Panels de test
Panels de contrôle
ENM 20111
EPA 20112
Nombre
%
Nombre
%
%
%
Électronique
15 ans
16 ans
17 ans
18 ans
19 ans
20 à 24 ans
25 à 29 ans
30 à 34 ans
35 à 39 ans
40 à 44 ans
45 ans et plus
45 à 64 ans
77
83
91
83
84
418
380
394
476
459
3 160
2 331
78,7
86,5
77,7
91,0
76,5
55,6
18,7
9,3
8,2
5,4
2,2
3,1
89
74
95
92
84
396
355
418
512
480
3 260
2 294
93,3
91,1
93,9
91,8
68,7
61,0
25,0
16,4
10,5
7,9
4,3
5,0
89,4
89,8
88,7
81,0
73,1
53,8
23,4
14,0
10,7
8,6
3,5
4,5
97,5
95,5
91,5
72,1
63,8
40,6
13,8
8,0
5,9
4,4
s.o.
1,9
Papier
15 ans
16 ans
17 ans
18 ans
19 ans
20 à 24 ans
25 à 29 ans
30 à 34 ans
35 à 39 ans
40 à 44 ans
45 ans et plus
45 à 64 ans
36
38
37
37
38
185
183
194
174
202
4 392
1 756
81,6
79,3
88,5
80,6
64,2
58,0
27,1
14,4
11,4
1,8
1,0
2,0
28
36
29
47
40
187
153
178
173
200
4 307
1 700
86,5
62,0
94,4
87,8
69,6
57,0
23,0
11,5
6,4
7,7
1,8
2,4
89,4
89,8
88,7
81,0
73,1
53,8
23,4
14,0
10,7
8,6
3,5
4,5
97,5
95,5
91,5
72,1
63,8
40,6
13,8
8,0
5,9
4,4
s.o.
1,9
1. Données des provinces uniquement, incluant les données papier et électronique.
2. Données du mois de février 2011.
Source : Statistique Canada, Test de contenu de 2014.
66
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Tel que spécifié dans la liste des questions du Programme du Recensement de 2016, la question sur la
fréquentation scolaire de 2016 sera similaire à celle de 2011. De plus, le nouveau format des questions
d’éducation du QE du Test de contenu sera utilisé pour 2016.
3.11 Travail (activité sur le marché du travail)
3.11.1 La restructuration de la section sur le travail
La section sur le travail a été remodelée dans la version du questionnaire testée en 2014. Les changements
apportés sont les suivants :
•
Les questions sur les catégories de travailleurs (Q. 44), la forme juridique des travailleurs autonomes
(Q. 45), le lieu de travail (Q. 46), les déplacements de la maison au travail (Q. 47a) à Q. 48b)), le nombre
de semaines travaillées l’année précédente (Q. 50) et selon un régime à temps plein ou à temps partiel
(Q. 51) ont été supprimées.
•
La question 40 qui demandait quand était la dernière fois où la personne avait travaillé à un emploi
salarié ou à son compte a été supprimée. Cette question se trouve initialement à la fin du bloc sur
l’activité sur le marché du travail, avant les questions sur l’industrie et la profession (Q. 41 à Q. 44). Dans
la version électronique, les répondants sont dirigés en fonction des réponses déclarées à l’une et l’autre
des questions. Dans la version papier, ils sont guidés par des instructions et des flèches. Celles-ci ont été
modifiées pour refléter la suppression de la question 40. En raison de l’espace alloué sur le papier, ces
flèches n’ont pas le même format que celles utilisées dans le questionnaire de 2011.
Résultats
La suppression de la question 40 a eu un impact important dans la mesure où un plus grand nombre de
personnes « employées » n’ont pas répondu aux questions sur l’industrie et sur la profession comme elles se
devaient de le faire. Ce résultat est observable parmi les questionnaires papier, lesquels affichent des taux de
non-réponse aux questions de l’industrie et de la profession de 20,9 % à 26,7 % pour le panel test et de 8,7 %
à 12,9 % pour le panel contrôle.
Parmi les questionnaires papier, on observe une majorité de répondants qui n’empruntent pas le bon chemin
de réponses. Un total de 64 % de ceux du panel de test et 73 % de ceux du panel de contrôle ayant fourni des
heures de travail valides à la question 35 ont répondu aux questions 36 à 39 alors qu’ils n’auraient pas dû.
Cependant, 18 % de ceux du panel de test qui empruntent le mauvais chemin de réponse ne répondent pas
aux questions sur l’industrie et sur la profession (contre seulement 7,8 % pour ceux du panel de contrôle). Cet
effet est attribuable au fait que dans le panel de contrôle, la question sur la dernière fois travaillée permet de
« récupérer » ceux qui ont pris le mauvais chemin de réponse à partir de la question sur le nombre d’heures
travaillées. Puisque la question sur la dernière fois travaillée est absente du panel de test, on observe des taux de
non-réponse deux fois plus élevés pour les questions sur l’industrie et la profession dans ce panel.
Statistique Canada – No 92-140-X2016001 au catalogue
67
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 38
Répartition des taux de non-réponse aux questions de la section sur le travail, selon le panel et le mode de
collecte, Test de contenu
Questionnaires électronique
Questionnaires papier
Panels de
test
Panels de
contrôle
Panels de
test
Panels de
contrôle
Q. 35 Heures travaillées
Q. 36 Absence temporaire
Q. 37 Arrangements
Q. 38 Recherche d’emploi
Q. 39 Disponibilité à l’emploi
7,6
0,6
0,1
0,2
0,0
9,7
0,6
0,0
0,0
0,5
8,5
8,5
4,2
4,9
3,6
7,4
7,2
0,9
2,2
0,4
Q. 41 Employeur
Q. 42 Industrie
Q. 43 Profession
Q. 44 Principale activité
1,7
1,7
1,7
1,7
4,7
4,8
4,9
5,0
20,9
23,3
22,9
26,7
8,7
9,1
10,1
12,9
Source : Statistique Canada, Test de contenu de 2014.
Tel que spécifié dans la liste des questions du Programme du Recensement de 2016, la question concernant la
dernière fois où la personne a travaillé est incluse pour 2016.
3 11.2 L’industrie et la profession
Dans le questionnaire électronique, une fonctionnalité qui avait déjà été incluse en 2011 pour les questions sur
l’industrie, à savoir « Quelle était la nature de l’entreprise, de l’industrie ou du service? », et de la profession « Quelle était le travail ou l’occupation de cette personne? », a été maintenue dans la version testée, mais la liste
des réponses vagues a été élargie.
Ainsi, la liste des réponses vagues en matière d’industrie compte cinq éléments dans la version testée:
« Construction » et « Vente » qui existaient déjà, auxquels se sont ajoutés « Gouvernement », « Finance »
et « Santé ». La liste pour la profession ajoute « Enseignant » à « Ingénieur » et « Étudiant » qui étaient déjà
considérés comme des réponses vagues en 2011.
Résultats
Le message indiquant au répondant de donner plus de détails a été affiché à 298 répondants en ce qui concerne
la question sur l’industrie et à 156 répondants en ce qui concerne la profession. Dans respectivement 98,3 % et
99,4 % des cas, le message a permis d’obtenir une réponse plus précise. L’ajout d’exemples dans le message
affiché n’a pas influencé les réponses déclarées, dans la mesure où les répartitions indiquent une variation
assez large.
68
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
3.11.3 La question sur la langue de travail
La question sur la langue de travail a été modifiée de la même manière que celle sur les langues parlées à la
maison (figure 23). Deux nouvelles instructions ont été ajoutées : l’une à la sous-question sur la langue utilisée le
plus souvent au travail, pour modérer la déclaration de réponses multiples, et l’autre, à la sous-question sur les
autres langues utilisées régulièrement pour éviter que les réponses déclarées ne soient redondantes. De plus, les
fonctionnalités de l’application électronique qui s’appliquent aux langues parlées à la maison ont également été
mises en œuvre pour cette question.
Figure 23
Impacts estimés de la présence de la question sur le NAS sur les activités de rappel et de suivi de 2016 (QE et QP)
Questionnaire de test
Source : Statistique Canada, Test de contenu de 2014, questionnaire N1.
Questionnaire de contrôle
Source : Statistique Canada, Test de contenu de 2014, questionnaire N1.1.
Statistique Canada – No 92-140-X2016001 au catalogue
69
Test du contenu du programme du recensement de 2016 :
design et résultats
Résultats
Comme cela fut observé précédemment, les instructions n’ont pas permis de réduire le nombre de réponses
multiples, contrairement à ce qui était souhaité (tableau 39). Sur un ensemble de quatre combinaisons entre la
langue du questionnaire (français et anglais) et le mode de collecte (papier et électronique), trois d’entre elles
montrent des taux de réponses multiples plus élevés à la question avec l’instruction, comparativement à la
question sans l’instruction. Celle-ci semble avoir l’effet inverse à celui escompté et contribuer, par conséquent,
à accroître le nombre de réponses multiples.
Tableau 39
Répartition des réponses à la question sur la langue utilisée le plus souvent au travail, selon le panel, le mode de
réponse et la langue du questionnaire, Test de contenu
QUESTIONNAIRES EN
FRANÇAIS
Panels de
test
QUESTIONNAIRES EN
ANGLAIS
Panels de
contrôle
Panels de
test
Panels de
contrôle
%
Électronique
Français
Anglais
Langue non-officielles
Multiples
84,7
8,7
0,1
6,5
88,5
6,9
0,1
4,5
1,7
95,0
0,6
2,7
2,4
94,0
1,4
2,2
Papier
Français
Anglais
Langue non-officielles
Multiples
91,6
4,6
0,3
3,5
90,7
3,4
0,2
5,8
1,6
94,7
0,9
2,8
2,1
95,0
1,1
1,8
Source : Statistique Canada, Test de contenu de 2014.
De la même manière que pour la question sur les langues parlées à la maison, les données concernant la
non-répétition d’une même langue entre les sous-questions a) et b) n’ont pas permis d’aboutir à des résultats
concluants.
Un résultat inattendu a également été observé pour cette question. Il s’agit de la réduction de l’univers des
personnes auquel elle s’adresse. Cette réduction est causée par la suppression de la question 40 à la section
précédente sur le travail dans la version testée du questionnaire. Une étude a été réalisée à partir des données
de l’ENM de 2011 pour quantifier la réduction de l’univers (tableau 40). Selon les données, 13,3 % des personnes
qui faisaient partie de l’univers de la question sur la langue de travail en 2011 seraient exclues en 2016 si l’on
tenait compte des nouvelles conditions qui déterminent qui doit répondre à la question sur la langue de travail.
Cette exclusion toucherait surtout les personnes qui déclarent une langue unique et non-officielle puisque
22,1 % d’entre elles seraient exclues (comparativement, 13,4 % des personnes anglophones et 12,3 % des
francophones seraient exclues).
70
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Tableau 40
Répartition estimée des personnes qui seraient incluses et exclues de l’univers de la question sur les langues
parlées en milieu de travail en 2016 selon l’ENM 2011
Inclus
en 2016
Exclus
en 2016
Total
%
Inclus
%
Exclus
Total
16 595 033
2 538 275
19 133 308
86,7
13,3 Anglais seulement
12 665 487
1 957 417
14 622 904
86,6
13,4
Français seulement
3 361 222
470 311
3 831 533
87,7
12,3
Langue non-officielle
195 494
55 522
251 016
77,9
22,1
Anglais et français
277 959
39 178
317 137
87,6
12,4
Anglais et langue non-officielle
80 725
13 374
94 099
85,8
14,2
Français et langue non-officielle
4 199
979
5 178
81,1
18,9
Anglais, français et langue non-officielle
9 946
1 495
11 441
86,9
13,1
Source : Statistique Canada, Test de contenu de 2014.
La suppression de la question 40 des panels de contrôle du Test de contenu modifie l’univers des personnes
relativement aux langues parlées en milieu de travail et modifie les répartitions des réponses à cette question.
Le groupe des personnes potentiellement exclues de l’univers de la question sur les langues parlées en milieu de
travail pour 2016 est différent de celui des personnes potentiellement incluses puisqu’on remarque que 2,2 % des
potentiellement exclues ont déclaré une langue non-officielle en 2011 et que 1,2 % des potentiellement incluses
ont déclaré une langue nonofficielle.
Tel que spécifié dans la liste des questions du Programme du Recensement de 2016, les instructions pour les
questions sur la langue de travail du Test de contenu ne sont pas incluses pour 2016. La question 40 sur la
dernière fois où la personne a travaillé est incluse pour 2016.
3.12 Permission de rendre accessibles les renseignements personnels tirés du recensement après
une période de 92 ans
En 2014, la question sur la divulgation est formulée dans les mêmes termes qu’en 2011. Toutefois, des
changements ont été apportés aux instructions et au design. En 2011, les instructions mentionnaient différentes
façons dont les données de la personne pourraient être utilisées lors de leur divulgation et insistaient sur la
richesse généalogique de la question en faisant référence à « l’histoire de votre famille » et au fait que les
« membres de votre famille » pourraient accéder à cette information. Cette référence personnalisée a été
remplacée par un libellé plus générique (« futures générations » et « chercheurs »).
De plus, dans le questionnaire qui combine le Recensement et l’ENM (N1), la question apparaît deux fois :
à la fin de la section obligatoire pour la collecte des données du Recensement et à la fin de la section suivante
pour la collecte des données de l’ENM.
Statistique Canada – No 92-140-X2016001 au catalogue
71
Test du contenu du programme du recensement de 2016 :
design et résultats
Résultats
Les données n’ont pas permis de confirmer que les ménages qui répondront à l’aide du questionnaire
électronique en 2016 auront tendance à ne pas donner leur accord. Les changements apportés aux instructions
ne semblent pas avoir eu d’effet sur la répartition des réponses (tableau 41). Parmi les questionnaires papier,
la répartition des réponses est plus diversifiée selon les panels. Les taux de non-réponse y sont plus élevés, et
peuvent certainement être considérés comme un « non par omission » compte tenue de l’indication « Seulement
si vous répondez « OUI », vos réponses seront accessibles aux futures générations », auxquelles en 2011
on ajoutait également qu’en cas de non ou de non-réponse les données ne seraient pas transmises. Il y a
certainement un effet lié à l’âge des répondants dans la collecte par papier, puisque 41 % des répondants sont
âgés de 65 ans et plus.
Tableau 41
Répartition de la réponse à la question, selon le mode de collecte et le panel, Recensement (2A) et ENM (N1),
Test de contenu
Recensement
Électronique
Total
Non-réponse
Oui
Non
Papier
Total
Non-réponse
Réponse invalide
Oui
Non
ENM
Panel de
contrôle
Panel de
test
Panel de
test1
Panel de
contrôle
Panel de
test
14 727 763
1,4
85,5
13,1
14 286 192
0,6
86,0
13,4
s.o
s.o
s.o
s.o
14 104 071
21,4
62,0
16,6
13 693 199
10,7
76,1
13,2
2 042 978
20,2
0,1
64,9
14,9
2 062 894
9,3
0,1
76,2
14,4
2 062 894
9,3
0,1
76,2
14,4
2 088 398
15,5
0,0
65,3
19,2
2 126 506
14,9
0,1
67,6
17,4
1. En raison de l’intégration des questions du recensement et de l’ENM en un seul questionnaire, les ménages qui reçoivent le questionnaire
papier et qui sont ciblés pour répondre à l’ENM doivent répondre aux questions du recensement qui se trouvent dans le questionnaire de
l’ENM (N1). Les ménages EQ répondent d’abord au questionnaire du recensement et ensuite transitent vers le questionnaire de l’ENM.
Source : Statistique Canada, Test de contenu de 2014.
Dans le cas de la deuxième question, laquelle apparaît à la fin du questionnaire de l’ENM, les taux de nonréponse indiquent par contre un transfert du « oui » vers la non-réponse parmi les répondants au questionnaire
électronique notamment. Comme pour la question sur la divulgation des données du Recensement, les
répondants ont tendance à donner un « non par omission » en ne répondant pas à la question. Cela est
observable également parmi les questionnaires papier.
La section ENM testée étant volontaire, les taux de non-réponse à la 2e question devraient être aussi élevés
dans les panels de test que dans les panels de contrôle. Toutefois, il devrait avoir un effet lié à l’âge dans les
panels de test comparativement aux panels de contrôle car dans le questionnaire N1, la question est placée
immédiatement après la langue de travail. Or, cette question ne s’adresse qu’aux personnes âgées de 15 ans
et plus, (instruction en caractères gras mentionnée dans une large bannière au haut de la page où se trouve la
question sur la divulgation). Même s’il est rappelé aux répondants dans les instructions pour la question sur la
divulgation que celle-ci s’adresse à tous les membres du ménage, on peut présumer qu’elle n’aura pas été lue
et que par conséquent, les taux de non-réponse à cette question seront plus élevés pour les moins de 15 ans.
Et ce, plus particulièrement dans les panels papier.
72
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Les données ont permis de vérifier cette hypothèse, en particulier pour les répondants papier (tableau 42). Les
taux de non-réponse pour les personnes âgées de moins de 15 ans sont largement supérieurs dans le panel de
test comparativement au panel de contrôle. En concentrant l’analyse sur les seuls ménages ayant au moins un
enfant âgé de moins de15 ans, l’analyse a révélé que le taux de non-réponse à la question sur la divulgation du
questionnaire N1 était 1,5 fois plus élevé dans ce groupe de ménage.
Tableau 42
Répartition de la réponse à la question, selon le mode de collecte et le panel, ENM (N1), personnes âgées de
moins de 15 ans, Test de contenu
Tous
Électronique
Total
Non-réponse
Oui
Non
Papier
Total
Non-réponse
Réponse invalide
Oui
Non
Moins de 15 ans
Panels de
test
Panels de
contrôle
Panels de
test
Panels de
contrôle
13 693 199
10,7
76,1
13,2
14 104 071
21,4
62,0
16,6
2 333 501
15,7
68,9
15,3
2 382 110
26,8
57,5
15,7
2 126 506
14,9
0,1
67, 6
17,4
2 088 398
15,5
0,0
65,3
19,2
166 437
43,0
0,2
49,0
7,8
156 359
15,0
0,0 61,2
23,8
Source : Statistique Canada, Test de contenu de 2014.
4.Conclusion
Avant chacun des Recensements de la population, Statistique Canada entreprend un processus d’une durée
de trois à quatre ans pour passer en revue le contenu des questionnaires du programme du recensement en
consultant les utilisateurs des données, en faisant des essais et en élaborant le contenu des questionnaires pour
veiller à ce qu’il tienne compte de l’évolution de la société canadienne. Parmi les facteurs pris en compte pour
élaborer le contenu, mentionnons les exigences législatives en ce qui concerne les besoins d’information, de
programmes et de politiques, le fardeau imposé aux répondants pour répondre aux questions, les préoccupations
relatives à la protection des renseignements personnels, les commentaires ressortis des consultations et des
essais, la qualité des données, les coûts et les facteurs opérationnels, la comparabilité des données avec les
données antérieures et la disponibilité de sources de données de rechange.
Le Test de contenu qui s’est déroulé de mai à juin 2014 a été l’occasion pour Statistique Canada de tester
plusieurs propositions de contenu : un modèle de questionnaire combinant le Recensement et l’ENM, une version
abrégée du questionnaire de l’ENM ramenée à 35 questions, l’ajout de la question sur le numéro d’assurance
sociale, et la modification de certaines questions. Le test a aussi été un moment important car pour la première
fois, l’agence a pu tester le fonctionnement de la nouvelle application de questionnaire électronique à l’intention
des enquêtes ménages qui s’inscrit dans le cadre de la normalisation des outils de la collecte.
Les analyses effectuées sur les données recueillies ont montré que plusieurs de ces changements devraient être
adoptés lors de la collecte de 2016 alors que d’autres ne devraient pas être envisagés. À cet égard, l’annexe A
propose une synthèse des principaux changements qui seront apportés au contenu de 2016.
Statistique Canada – No 92-140-X2016001 au catalogue
73
Test du contenu du programme du recensement de 2016 :
design et résultats
Annexes
Annexe A – Liste des principaux changements apportés au contenu du Programme du Recensement
de 2016
Questionnaire
•
Combinaison des questions du recensement et de l’ENM dans un questionnaire unique pour les ménages
sélectionnés pour participer à l’ENM.
•
Message de transition invitant les répondants à participer à l’ENM. Le caractère volontaire de l’enquête
n’est pas mentionné dans le questionnaire papier. Les ménages qui reçoivent des questionnaires papier
en sont informés dans la lettre qui accompagne la trousse du questionnaire.
Couverture
•
Ajout de la question sur l’adresse électronique (étape A).
•
Amélioration du libellé de la question sur le nombre de personnes à cette adresse (étape B).
•
Nouvelles étapes dans la version électronique qui permettent de déterminer si une personne du ménage
devrait être incluse ou non comme résidente habituelle (étape C).
Revenu
•
Les répondants au recensement seront appariés aux données de déclarations de revenus.
•
Les questions de revenu sont retirées de l’ENM.
Démographie
•
Questions sur le sexe, l’âge, l’état matrimonial et le lien à la Personne 1 sont présentées sous la forme
interrogative.
Activité de la vie quotidienne
•
Nouvelle question sur les activités de la vie quotidienne.
Informations ethnoculturelles
•
Les questions sur le lieu de naissance du répondant et de ses parents présentées en séquences dans
le questionnaire électronique. Ajout également d’un message de validation pour aider à la déclaration de
pays de naissance précis.
•
Ordre des exemples d’origines ethniques modifié, l’origine française apparaissant en troisième position
après les origines canadiennes et chinoises.
Scolarité
•
Questions sur la scolarité post-secondaire présentées en séquences dans le questionnaire électronique.
•
Modification aux choix de réponse de la question sur l’apprentissage.
Langues
•
74
Ajout d’un message de validation aux questions sur les langues dans le questionnaire électronique pour
faciliter la déclaration de réponses précises.
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Annexe B – Liste des questions des questionnaires de tests et de contrôle (Test de contenu)
Questionnaire de test
Questionnaire de contrôle
RECENSEMENT
Q. 2 Quel est le sexe de cette personne?
Q. 2 SEXE
Q. 3 Quels sont la date de naissance et l’âge
de cette personne
Q. 3 DATE DE NAISSANCE ET ÂGE
Q. 4 a) Quel est l’état matrimonial légal de
cette personne?
Q. 4 ÉTAT MATRIMONIAL
b) Cette personne vite-elle avec un partenaire
en union libre?
Q. 5 Cette personne vite-elle avec un
partenaire en union libre?
Q. 5 Quel est le lien entre cette personne et la
Personne 1?
Q. 6 LIEN AVEC LA PERSONNE 1
Q. 6
Cette personne connaît-elle assez bien
le français ou l’anglais pour soutenir une
conversation?
Q. 7 Cette personne connaît-elle assez bien
le français ou l’anglais pour soutenir une
conversation?
Q. 7
a) Quelle langue cette personne parle-t-elle
le plus souvent à la maison?
Q. 8
a) Quelle langue cette personne parle-t-elle
le plus souvent à la maison?
b) Cette personne parle-t-elle régulièrement
d’autres langues à la maison?
b) Cette personne parle-t-elle régulièrement
d’autres langues à la maison?
Q. 8
Quelle est la langue que cette personne
a apprise en premier lieu à la maison dans
son enfance et qu’elle comprend encore?
Q. 9 Quelle est la langue que cette personne
a apprise en premier lieu à la maison dans
son enfance et qu’elle comprend encore?
Q. 9
Cette personne accepte-t-elle que les
renseignements du Recensement de 2016
soient accessibles en 2108 (92 ans après le
recensement)?
Q. 10
Cette personne accepte-t-elle que les
renseignements issus du Recensement
de 2016 soient accessibles en 2108 (92
ans après le recensement)?
ENQUÊTE NATIONALE AUPRÈS DES MÉNAGES
Q. 10
Cette personne a-t-elle :
Q. 11
a) une quelconque difficulté à voir (même
en portant des lunettes ou des verres de
contact)?
b) une quelconque difficulté à entendre
(même en utilisant un appareil auditif)?
Q. 12
c) une quelconque difficulté à marcher, à
utiliser des escaliers, à se servir de ses mains
ou de ses doigts ou à faire d’autres activités
physiques?
d) une quelconque difficulté à apprendre, à
retenir de l’information ou à se concentrer?
e) une quelconque condition d’ordre
émotionnel, psychologique ou de santé
mentale (anxiété, dépression, trouble
bipolaire, toxicomanie, anorexie, etc.)?
f) d’autres problèmes de santé, ou conditions
à long terme, qui durent depuis six mois ou
qui pourraient durer six mois ou plus?
Statistique Canada – No 92-140-X2016001 au catalogue
Cette personne a-t-elle une quelconque
difficulté à entendre, à voir, à communiquer,
à marcher, à monter un escalier, à se
pencher, à apprendre ou à faire d’autres
activités semblables?
Est-ce qu’un état physique ou un état mental
ou un problème de santé réduit la quantité
ou le genre d’activités que cette personne
peut faire :
a) à la maison?
b) au travail ou à l’école?
c) dans d’autres activités, par exemple, dans
les déplacements ou les loisirs?
75
Test du contenu du programme du recensement de 2016 :
design et résultats
Questionnaire de test
Questionnaire de contrôle
Q. 11
Q. 13 Où cette personne est-elle née?
Q. 14
De quel pays cette personne est-elle un
citoyen?
Où cette personne est-elle née?
Q. 12
Cette personne est-elle, ou a-t-elle déjà été,
un immigrant reçu?
Q. 15
Cette personne est-elle, ou a-t-elle déjà été,
un immigrant reçu?
Q. 13
En quelle année cette personne est-elle
devenue un immigrant reçu pour la première
fois?
Q. 16
En quelle année cette personne est-elle
devenue un immigrant reçu pour la première
fois?
Q. 17
Quelles(s) langues(s), autres que le
français ou l’anglais, cette personne
connaît-elle assez bien pour soutenir une
conversation?
Q. 14
Quelles étaient les origines ethniques ou
culturelles des ancêtres de cette personne?
Q. 18
Quelles étaient les origines ethniques ou
culturelles des ancêtres de cette personne?
Q. 15
Cette personne est-elle un Autochtone, c’està-dire Première Nation (Indien de l’Amérique
du Nord), Métis ou Inuk (Inuit)?
Q. 19
Cette personne est-elle un Autochtone, c’està-dire Première Nation (Indien de l’Amérique
du Nord), Métis ou Inuk (Inuit)?
Q. 16
Cette personne est-elle un : [liste à cocher de
groupes de minorités visibles]
Q. 20
Cette personne est-elle un : [liste à cocher
de groupes de minorités visibles]
Q. 17
Cette personne est-elle un Indien avec statut
(Indien inscrit ou des traités aux termes de la
Loi sur les Indiens du Canada)?
Q. 21
Cette personne est-elle un Indien avec statut
(Indien inscrit ou des traités aux termes de la
Loi sur les Indiens du Canada)?
Q. 22
Cette personne est-elle membre d’une
Première Nation/bande indienne?
Q. 23
Quelle est la religion de cette personne?
Q. 18
Où cette personne habitait-elle il y a 1 an,
c’est-à-dire le 13 mai 2013?
Q. 24
Où cette personne habitait-elle il y a 1 an,
c’estàdire le 13 mai 2013?
Q. 19
Où cette personne habitait-elle il y a 5 ans,
c’estàdire le 13 mai 2009?
Q. 25
Où cette personne habitait-elle il y a 5 ans,
c’estàdire le 13 mai 2009?
Q. 20
Où est né chacun des parents de cette
personne?
a) Père
b) Mère
Q. 26
Où est né chacun des parents de cette
personne?
a) Père
b) Mère
Q. 21
Cette personne a-t-elle obtenu un diplôme
d’études secondaires ou l’équivalent?
Q. 28
Cette personne a-t-elle obtenu un diplôme
d’études secondaires ou l’équivalent?
76
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Questionnaire de test
Questionnaire de contrôle
Q. 22
Q. 29
Cette personne a-t-elle obtenu un certificat
ou un diplôme d’apprenti inscrit, d’une
école de métiers ou d’un centre de
formation professionnelle?
Q. 30
Cette personne a-t-elle obtenu un certificat
ou un diplôme d’études collégiales, d’un
cégep ou d’un autre établissement non
universitaire?
Q. 31
Cette personne a-t-elle obtenu un certificat,
un diplôme ou un grade universitaire?
Q. 32
Quel était le principal domaine d’études du
certificat, du diplôme ou du grade le plus
élevé obtenu par cette personne?
Q. 33
Dans quelle province, quel territoire ou quel
pays cette personne a-t-elle obtenu son
certificat, diplôme ou grade le plus élevé?
Q. 23
a) Cette personne a-t-elle obtenu un certificat
ou un diplôme d’apprenti inscrit, d’une école
de métiers ou d’un centre de formation
professionnelle?
b) Cette personne a-t-elle obtenu un certificat
ou un diplôme d’études collégiales, d’un
cégep ou d’un autre établissement non
universitaire?
c) Cette personne a-t-elle obtenu un certificat,
un diplôme ou un grade universitaire?
Quel était le principal domaine d’études du
certificat, du diplôme ou du grade le plus
élevé obtenu par cette personne?
Q. 24
a) Entre septembre 2013 et mai 2014, cette
Q. 34
personne a-t-elle fréquenté une école (par
exemple une école secondaire, un collège, un
cégep ou une université) à un moment ou à
un autre?
b) Pour quel type de certificat, diplôme ou
grade cette personne a-t-elle fréquenté une
école (entre septembre 2013 et mai 2014 à
un moment ou à un autre)?
Depuis septembre 2013, cette personne
a-t-elle fréquenté une école, un collège, un
cégep ou une université à un moment ou à
un autre?
Q. 25
Pendant la semaine du dimanche 4 mai au
samedi 10 mai 2014, combien d’heures cette
personne atelle travaillé à un emploi salarié
ou à son compte?
Q. 35 Pendant la semaine du dimanche 4 mai
au samedi 10 mai 2014, combien d’heures
cette personne a-t-elle travaillé à un emploi
salarié ou à son compte?
Q. 26
Pendant la semaine du 4 mai au 10 mai
2014, cette personne était-elle mise à pied
temporairement ou absente de son emploi ou
de son entreprise?
Q. 36
Pendant la semaine du 4 mai au 10 mai
2014, cette personne était-elle mise à pied
temporairement ou absente de son emploi
ou de son entreprise?
Q. 27
Pendant la semaine du 4 mai au 10 mai
2014, existait-il des arrangements définis
en vertu desquels cette personne devait se
présenter à un nouvel emploi au cours des
quatre prochaines semaines?
Q. 37
Pendant la semaine du 4 mai au 10 mai
2014, existait-il des arrangements définis
en vertu desquels cette personne devait se
présenter à un nouvel emploi au cours des
quatre prochaines semaines?
Q. 28
Cette personne a-t-elle cherché un emploi
salarié au cours des quatre semaines du
13 avril au 10 mai 2014?
Q. 38
Cette personne a-t-elle cherché un emploi
salarié au cours des quatre semaines du
13 avril au 10 mai 2014?
Q. 29
Cette personne aurait-elle pu commencer à
travailler pendant la semaine du dimanche
4 mai au samedi 10 mai 2014 si un emploi
avait été disponible?
Q. 39
Cette personne aurait-elle pu commencer à
travailler pendant la semaine du dimanche
4 mai au samedi 10 mai 2014 si un emploi
avait été disponible?
Statistique Canada – No 92-140-X2016001 au catalogue
77
Test du contenu du programme du recensement de 2016 :
design et résultats
Questionnaire de test
Questionnaire de contrôle
Q. 40
Quand cette personne a-t-elle travaillé la
dernière fois à un emploi salarié ou à son
compte, ne serait-ce que quelques jours?
Q. 30
Pour qui cette personne a-t-elle travaillé?
Q. 41
Pour qui cette personne a-t-elle travaillé?
Q. 31
Quelle était la nature de l’entreprise, de
l’industrie ou du service?
Q. 42
Quelle était la nature de l’entreprise, de
l’industrie ou du service?
Q. 32
Quel était le travail ou l’occupation de cette
personne?
Q. 43
Quel était le travail ou l’occupation de cette
personne?
Q. 33
Dans ce travail, quelles étaient les activités
principales de cette personne?
Q. 44
Dans ce travail, quelles étaient les activités
principales de cette personne?
Q. 45
Dans cet emploi ou cette entreprise, cette
personne travaillait-elle principalement :
[condition de l’emploi].
Q. 46
Si cette personne travaillait à son compte, sa
ferme ou son entreprise, était-elle constituée
en société?
Q. 47
À quelle adresse cette personne travaillaitelle habituellement la plupart du temps?
Q. 48
a) Comment cette personne se rendait-elle
habituellement au travail?
b) Combien d’individus, incluant cette
personne, se déplaçaient habituellement
vers le travail dans cette automobile, ce
camion ou cette fourgonnette?
Q. 49
a) À quelle heure cette personne quittait-elle
habituellement la maison pour se rendre au
travail?
b) Combien de minutes durait
habituellement le déplacement de la maison
au travail?
Q. 50
a) Dans cet emploi, quelle langue cette
personne utilisait-elle le plus souvent?
b) Cette personne utilisait-elle régulièrement
d’autres langues dans cet emploi?
Q. 51
Pendant combien de semaines cette
personne atelle travaillé en 2013?
Q. 52
Pendant la plupart de ces semaines, cette
personne a-t-elle travaillé à temps plein ou à
temps partiel?
Q. 53
En 2013, cette personne a-t-elle payé pour
des services de garde d’enfants afin de lui
permettre d’occuper son ou ses emploi(s)
rémunéré(s)?
Q. 34
78
a) Dans cet emploi, quelle langue cette
personne utilisait-elle le plus souvent?
b) Cette personne utilisait-elle régulièrement
d’autres langues dans cet emploi?
Statistique Canada – No 92-140-X2016001 au catalogue
Test du contenu du programme du recensement de 2016 :
design et résultats
Questionnaire de test
Q. 35
Cette personne accepte-t-elle que les
renseignements de l’Enquête nationale
auprès des ménages de 2016 soient
accessibles en 2108 (92 ans après
l’Enquête nationale auprès des ménages)?
Statistique Canada – No 92-140-X2016001 au catalogue
Questionnaire de contrôle
Q. 54
en 2013, cette personne a-t-elle payé une
pension alimentaire à un(e) ancien(ne)
conjoint(e), partenaire ou pour ses enfants?
Q. 55
Cette personne permet-elle à Statistique
Canada d’utiliser les renseignements
disponibles dans ses dossiers de déclaration
de revenus pour l’année se terminant le
31 décembre 2013?
Cette personne accepte-t-elle que les
renseignements issus de l’Enquête
nationale auprès des ménages de 2016
soient accessibles en 2108 (92 ans
après l’Enquête nationale auprès des
ménages)?
79
Was this manual useful for you? yes no
Thank you for your participation!

* Your assessment is very important for improving the work of artificial intelligence, which forms the content of this project

Download PDF

advertising