Évaluation du Programme de contributions pour le Fonds des nouvelles initiatives

Évaluation du Programme de contributions
pour le Fonds des nouvelles initiatives
de recherche et de sauvetage
Janvier 2015
1258-216 (CS Ex)
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Table des matières
Acronymes et abréviations ................................................................................. i
Sommaire ........................................................................................................... iii
1.0 Introduction ................................................................................................... 1
1.1 Profil du Programme de contributions au FNI SAR .......................................... 1
1.1.1 Contexte .........................................................................................................1
1.1.2 Description du Programme .............................................................................1
1.1.3 Objectifs du Programme .................................................................................2
1.1.4 Intervenants ....................................................................................................3
1.2 Étendue de l’évaluation ...................................................................................... 3
1.2.1 Portée et responsabilités ................................................................................3
1.2.2 Ressources.....................................................................................................3
1.2.3 Enjeux et questions ........................................................................................4
2.0 Constatations et recommandations ............................................................ 5
2.1 Besoin continu .................................................................................................... 5
2.2 Harmonisation aux rôles et aux responsabilités du gouvernement fédéral.... 6
2.3 Harmonisation aux priorités du gouvernement ................................................ 6
2.4 Atteinte des résultats escomptés (Efficacité).................................................... 8
2.5 Démonstration d’efficience et d’économie ...................................................... 17
2.6 Conclusion......................................................................................................... 21
Annexe A – Plan d’action de la direction ...................................................... A-1
Annexe B – Méthodologie et limites de l’évaluation .................................... B-1
Chef – Service d’examen
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Acronymes et abréviations
AAP
Architecture d’alignement des programmes
ACRSA
Association civile de recherche et de sauvetage aériens
ACVRS
Association canadienne des volontaires en recherche et sauvetage
AF
Année financière
APC
Agence Parcs Canada
ARC
Aviation royale canadienne
BPR
Bureau de première responsabilité
C.-B.
Colombie-Britannique
BCSARA
British Columbia Search and Rescue Association (Association de
recherche et de sauvetage de la Colombie-Britannique)
CIGR
Comité d’investissement et de gestion des ressources
CIRS
Comité interministériel de recherche et de sauvetage
CS Ex
Chef – Service d’examen
EC
Environnement Canada
EQARS
Examen quadriennal des activités de recherche et de sauvetage
ETP
Équivalent temps plein
F&E
Fonctionnement et entretien
FAC
Forces armées canadiennes
FNI
Fonds des nouvelles initiatives
GC
Gouvernement du Canada
GCC
Garde côtière canadienne
GRC
Gendarmerie royale du Canada
Î.-P.-É.
Île-Prince-Édouard
M$
Million de dollars
MB
Manitoba
MDN
Ministère de la Défense nationale
MEOSAR
Recherche et sauvetage en orbite moyenne
MPO
Ministère des Pêches et des Océans
MPRS
Ministre principal de la recherche et du sauvetage
Chef – Service d’examen
i/vi
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
NLSARA
Rapport final – Janvier 2015
Newfoundland and Labrador Search and Rescue Association
(Association de recherche et de sauvetage de Terre-Neuve-et-Labrador)
OMG
Organisme ministériel gestionnaire
OSARVA
Ontario Search and Rescue Volunteer Association (Association de
volontaires en recherche et en sauvetage de l’Ontario)
PE
Protocole d’entente
PNRS
Programme national de recherche et de sauvetage
R&D
Recherche et développement
RSS
Recherche et sauvetage au sol
SAR
Recherche et sauvetage
SARMAN
Recherche et sauvetage du Manitoba
SCT
Secrétariat du Conseil du Trésor
SDCD
Stratégie de défense Le Canada d’abord
SNRS
Secrétariat national de recherche et de sauvetage
TC
Transport Canada
YK
Yukon
Chef – Service d’examen
ii/vi
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Sommaire
Le Chef – Service d’examen (CS Ex) a réalisé une évaluation du Programme de
contributions à l’appui du Fonds des nouvelles initiatives de recherche et de sauvetage
(c.-à-d. le Programme de contributions pour le FNI SAR). La pertinence et le rendement du
FNI SAR 1 lors des années financières (AF) de 2008-2009 à 2012-2013 ont fait l’objet d’un
examen dans le cadre d’une évaluation pour le renouvellement du financement. Les
modalités de l’accord du FNI SAR actuel sont en vigueur jusqu’au 31 mars 2015.
Description du Programme
Le FNI SAR a été établi afin de fournir aux
partenaires de SAR admissibles 2 une source de
fonds indépendante afin d’élaborer et de faire
progresser des initiatives qui appuient les priorités
du Programme national de SAR (PNS). Le FNI
SAR fournit jusqu’à 8,1 millions de dollars (M$)
par an (c.-à-d. 40,5 M$ en cinq ans) par le biais
d’accords de contribution ou de transferts de crédits
pour soutenir les initiatives qui respectent les
priorités en matière de SAR. L’admissibilité des
projets est évaluée par un comité de mérite nommé
chaque année, puis approuvé par le Comité
interministériel de recherche et de sauvetage
(CIRS).
Pertinence
Évaluation globale
• Le Programme de contributions
pour le FNI SAR est pertinent et
approprié pour le ministère de la
Défense nationale (MDN).
• Des changements sont nécessaires
pour régler les questions
d’efficacité et d’efficience du FNI
SAR, principalement pour garantir
que les résultats des projets sont
avantageux pour le Programme de
SAR et pour établir les modalités
de la mesure du rendement et des
communications.
Le FNI SAR offre aux partenaires fédéraux de SAR une occasion unique de collaborer, audelà des limites de compétences et de secteurs, dans le cadre d’initiatives qui font progresser
leurs mandats réciproques de SAR, mais qui ne seraient pas faisables en demeurant isolés. Le
soutien du FNI SAR permet aux services de SAR provinciaux et territoriaux, aux organismes
de SAR volontaires et à but non lucratif de financer leurs progrès en SAR, de tirer parti de
fonds provenant d’autres sources et d’officialiser des partenariats qui n’auraient pas pu être
établis autrement. Le FNI SAR soutient une capacité nationale de SAR, laquelle est une
responsabilité fédérale (soit la SAR aéronautique) en vertu de conventions internationales et
d’un rôle du MDN. La SAR est l’une des grandes priorités opérationnelles du Ministère; elle
contribue aux résultats stratégiques du MDN et à la Stratégie de défense Le Canada d’abord
(SDCD). De plus, le FNI SAR a appuyé des projets qui sont liés aux priorités fédérales et
1
Sauf indication contraire, l’abréviation FNI SAR fait référence au Programme de contributions pour le
FNI SAR.
2
Les partenaires de SAR admissibles sont le MDN, le ministère des Pêches et des Océans (MPO),
Environnement Canada (EC), l’Agence Parcs Canada (APC), la Gendarmerie royale du Canada (GRC),
Transport Canada (TC), les gouvernements provinciaux et territoriaux ainsi que les organisations volontaires en
SAR reconnues.
Chef – Service d’examen
iii/vi
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
ministérielles énoncées. À ce titre, le FNI SAR s’harmonise aux priorités et responsabilités
du MDN.
Rendement
Le Programme de contributions pour le FNI SAR a financé divers projets qui montrent des
indications d’améliorations individuelles en matière d’intervention en SAR et de prévention
ainsi que de percées en recherche et en développement connexes, et qui favorisent les
partenariats entre les intervenants. Toutefois, les résultats du projet ne sont pas validés afin
d’évaluer l’incidence du FNI SAR, ni de promouvoir et de communiquer les pratiques
exemplaires pour le PNRS. Cette préoccupation est ressortie lors d’évaluations antérieures.
Qui plus est, le FNI SAR ne satisfait pas aux exigences en matière d’évaluation du
rendement et de communication des objectifs conformément aux modalités. Cela crée des
préoccupations à l’égard de l’efficacité et de l’efficience du FNI SAR lorsqu’il s’agit
d’atteindre les résultats escomptés. En outre, le mécanisme de transfert fédéral actuellement
employé dans le cadre du Programme de contributions ne soutient pas la production de
rapports sur le rendement du projet ni le transfert des connaissances.
Principales constatations et recommandations
Principale constatation no 1 : Le FNI SAR est un mécanisme unique permettant de soutenir
des initiatives intersectorielles liées à l’intervention en SAR et en prévention qui répondent
aux besoins du PNRS et de ses partenaires.
Principale constatation no 2 : Le FNI SAR est harmonisé au rôle du MDN et du
gouvernement fédéral, de même que les partenaires et les intervenants, afin de soutenir le
PNRS.
Principale constatation no 3 : Le FNI SAR a financé des projets qui prennent directement
en compte les priorités énoncées de la Défense et des projets qui s’harmonisent aux secteurs
prioritaires mentionnés dans les récents discours du Trône et les annonces du budget fédéral.
Principale constatation no 4 : Le FNI SAR a financé des projets liés à la SAR ayant
diverses autorités de gestion, différents bénéficiaires et portées. En cinq ans, le financement a
soutenu de façon équilibrée des projets d’intervention et de prévention.
Principale constatation no 5 : Les priorités annuelles et les critères de mérite des projets
établis pour le FNI SAR sont très vastes. Les priorités du FNI SAR sont demeurées statiques
au cours de la période de l’évaluation, et elles n’ont pas fait l’objet d’une validation récente
par rapport aux besoins actuels du PNRS.
Recommandation no 1 : Exécuter un processus officiel de validation pour garantir que les
priorités du FNI SAR sont harmonisées aux besoins du PNRS en matière d’intervention
fondée sur des preuves et de prévention (c.-à-d. évaluation officielle des besoins).
Recommandation no 2 : Préciser les priorités du FNI SAR afin qu’elles soient davantage
axées sur les besoins cernés durant la validation. Modifier les critères de mérite pour
favoriser les projets qui ne portent que sur des besoins précis et désignés ayant des liens
distincts avec les résultats escomptés et la portée du FNI SAR.
Chef – Service d’examen
iv/vi
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Principale constatation no 6 : Des projets individuels montrent des preuves d’amélioration
des capacités d’intervention en SAR et des démarches de prévention à divers degrés d’effet.
Toutefois, le niveau de détails exigé dans les rapports de projet est insuffisant pour évaluer
de façon fiable les résultats du projet.
Principale constatation no 7 : Les renseignements des projets financés ne sont pas utilisés
afin d’éclairer le FNI SAR ou de valider l’incidence globale du Programme. La question a
déjà été soulevée dans d’autres rapports. Le FNI SAR ne respecte pas les dispositions liées à
la mesure du rendement définies dans les modalités.
Principale constatation no 8 : Le FNI SAR favorise de façon inhérente la coopération dans
le cadre d’un projet entre les bénéficiaires et les autorités de gestion du projet en question.
Nombre de projets étaient axés sur l’officialisation des partenariats et l’établissement de
partenariats pour l’entraînement et les activités de prévention. Toutefois, sans attentes
clairement définies pour les partenariats à tous les échelons du PNRS, l’incidence du FNI
SAR sur la promotion faite par les partenaires et sur la l’amélioration ne peut pas être
validée.
Recommandation no 3 : Élaborer et mettre en œuvre une stratégie officielle de mesure et de
surveillance du rendement pour le FNI SAR. Celle-ci peut comprendre :
•
des mesures du rendement qui sont spécifiques et liées aux attentes et aux priorités du
Programme;
•
des révisions aux modèles actuels de demande de projet et de rapport (c.-à-d. les
sections « Mesure du rendement » et « Plan de communications » du modèle) pour
établir des liens étroits avec la stratégie officielle du FNI SAR. Des révisions au
modèle de demande de projet devraient être effectuées avant l’approbation d’un
nouveau financement du projet;
•
une évaluation exhaustive de l’incidence et de la valeur (c.-à-d. le rendement) de
toutes les données de projet dont on dispose actuellement avant d’entreprendre de
nouveaux projets. Présenter les résultats de l’évaluation au CIRS et les utiliser pour
valider l’efficacité de l’utilisation des fonds pour appuyer les directives stratégiques
précises et les priorités révisées du PNRS.
Principale constatation no 9 : Les ateliers sur le FNI SAR ont été perçus positivement par
tous les participants. Toutefois, ces ateliers autonomes n’ont pas été donnés à partir de 2010.
Depuis, la promotion s’est poursuivie par le biais de la conférence SARscene annuelle et des
consultations ponctuelles avec certains partenaires de SAR.
Principale constatation no 10 : Le FNI SAR n’a pas atteint ses objectifs en matière de
communication et de relations externes tels qu’ils sont définis dans l’accord du Programme.
Recommandation no 4 : S’attaquer aux composantes incomplètes de la stratégie de
communication du FNI SAR pour qu’il s’acquitte de ses obligations de promouvoir et de
partager les connaissances sur le FNI SAR avec les partenaires.
Principale constatation no 11 : On ne fait aucune sollicitation officielle de rétroaction
auprès des bénéficiaires du projet ou des partenaires de SAR. Les pratiques exemplaires
Chef – Service d’examen
v/vi
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
découlant des résultats du Programme n’ont pas été examinées afin de tirer des gains
d’efficience aux niveaux de la conception et de la prestation du Programme. Les
renseignements sur les projets de prévention et d’intervention réussis n’ont pas été bien
promus ni rendus facilement accessibles.
Recommandation no 5 : Élaborer et intégrer au cadre du FNI SAR un mécanisme officiel
permettant de solliciter de la rétroaction. Les suggestions d’améliorations devraient être
mises en œuvre pour garantir que l’efficience du FNI SAR est maximisée.
Principale constatation no 12 : Les priorités annuelles du FNI SAR sont demeurées
statiques au cours des cinq dernières années. On ne tire pas parti du Programme pour
soutenir l’orientation stratégique du PNRS.
Principale constatation no 13 : Les transferts de crédits n’exigent pas que les projets
rendent des comptes au FNI SAR. En l’absence d’exigences en matière de rapports, le FNI
SAR est incapable de mesurer, de partager ou de promouvoir activement le rendement des
projets financés par le mécanisme de transfert de crédits.
Chef – Service d’examen
vi/vi
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
1.0 Introduction
1.1 Profil du Programme de contributions pour le FNI SAR
1.1.1 Contexte
Ce rapport présente les constatations et les recommandations de l’évaluation du Programme
de contributions à l’appui du Fonds des nouvelles initiatives de recherche et de sauvetage
(c.-à-d. le Programme de contributions pour le FNI SAR), couvrant la période de l’AF 20082009 à l’AF 2012-2013. Le CS Ex a effectué cette évaluation conformément aux politiques 3
du Secrétariat du Conseil du Trésor du Canada (SCT) et à l’autorité approbatrice 4. Plus
précisément, l’équipe de l’évaluation a cherché à évaluer la pertinence et le rendement du
FNI SAR par rapport aux résultats escomptés (c.-à-d. l’efficacité au niveau du rendement,
l’efficience de l’utilisation des ressources). Une évaluation des risques réalisée à l’appui du
renouvellement de 2010 a conclu que le risque global du FNI SAR était faible.
1.1.2 Description du Programme
En 1986, le gouvernement fédéral a établi le Programme de contributions pour le FNI SAR
comme source de fonds indépendante afin d’élaborer et de faire avancer des initiatives du
PNRS et des politiques. Les projets admissibles du FNI SAR doivent refléter les priorités
annuelles du PNRS, lesquelles sont déterminées par le CIRS. Ces priorités annuelles
découlent des six priorités stratégiques de la SAR nationale suivantes :
•
Partenariats. Développer et renforcer les partenariats pour faciliter et améliorer les
activités de prévention et d’intervention en SAR.
•
Exercices multi-instances. Participer à un programme d’exercices multi-instances
dont l’accent est mis sur des problèmes traditionnels ou des sources de préoccupation
futures, ou pour confirmer des plans et des procédures pour les activités
d’intervention en SAR.
•
Volontaires. Faire participer des volontaires et maximiser le recours à ces derniers
lorsqu’il y a lieu.
•
Technologie et innovation. Favoriser l’identification et le développement de
pratiques exemplaires, d’innovations et/ou de nouvelles technologies pour soutenir
les activités de prévention et d’intervention en SAR.
•
Interopérabilité. Identifier les types et les caractéristiques de l’équipement de SAR
qui devrait être compatible et/ou interopérable.
•
Données et renseignements. Promouvoir la collecte et l’échange libre de
renseignements et de données applicables à la prévention et à l’intervention en SAR.
3
Politique sur l’évaluation du SCT (2009), voir : http://www.tbs-sct.gc.ca/pol/docfra.aspx?id=15024&section=text (Dernière consultation le 31 décembre 2014) et Politique sur les paiements de
transfert (2012), voir : http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=13525&section=text (Dernière
consultation le 31 décembre 2014).
4
Chef – Service d’examen (février 2013) Plan quinquennal pour l’évaluation du MDN et des FAC de 20132014 à 2017-2018, dossier 1000-10-4 (CS Ex).
Chef – Service d’examen
1/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Les projets doivent être transmis au Secrétariat national de recherche et de sauvetage
(SNRS), par l’entremise d’un partenaire du FNI SAR. Ces partenaires comprennent les six
ministères fédéraux chargés de la SAR (MDN, MPO, EC, APC, GRC et TC) ou n’importe
quel des ministères provinciaux ou territoriaux. Les associations de volontaires en SAR
reconnues sont autorisées à présenter une demande directement au SNRS, avec l’aval de leur
organisme gouvernemental provincial ou territorial. Les demandeurs doivent aussi faire la
preuve de contributions en nature ou en espèces provenant d’une source autre que le SNRS
et comptant pour au moins 5 p. 100 du coût total du projet.
Un appel de proposition est envoyé en avril, et ce, chaque année financière. Les propositions
font l’objet d’un examen et d’une évaluation faits par un comité de mérite indépendant 5 en
fonction d’un protocole de notation établi 6. Un comité d’examen technique se charge de
l’évaluation de la recherche et du développement des propositions de nature technique. La
liste de mérite des projets approuvés est produite en hiver et transmise au CIRS, aux fins
d’acceptation, et l’approbation finale est accordée par le ministre principal de la recherche et
du sauvetage (MPRS). Les projets admissibles figurant sur la liste de mérite sont financés en
fonction de leur classement et compte tenu des fonds disponibles pour l’année financière en
question.
Le FNI SAR est constitué de deux éléments – des transferts de crédits et un programme de
contribution. Les projets du FNI SAR qui sont enclenchés par un ministère fédéral chargé de
la SAR ou un organisme ministériel gestionnaire (OMG) recevront les fonds grâce à un
transfert de fonds direct du SNRS à l’OMG (c.-à-d. un transfert de crédits par le biais du
processus du Budget supplémentaire des dépenses). L’OMG est le gestionnaire principal des
dépenses opérationnelles et en capital liées par une lettre d’accord (p. ex., un protocole
d’entente) signée annuellement par le SNRS. Tous les autres projets, dont ceux entrepris par
des demandeurs des gouvernements provinciaux et territoriaux et des associations de
volontaires en SAR, sont financés grâce à un accord de contribution (AC) entre le SNRS et
le bénéficiaire. Les initiatives proposées qui appuient le mandat du ministère ou de
l’organisme fédéral et les sphères de compétences sont admissibles au financement par le
biais d’un AC 7. L’AC dicte les responsabilités du SNRS et celles du bénéficiaire, y compris
les exigences en matière de production de rapports et de surveillance 8. Les projets du FNI
SAR sont généralement financés entre un et trois ans 9.
1.1.3 Objectifs du Programme
L’objectif global du FNI SAR est de soutenir les efforts du PNRS pour produire des activités
de SAR harmonisées grâce à des partenariats améliorés, à une interopérabilité et à une
5
Le comité de mérite du FNI SAR est constitué de représentants de chacun des six ministères fédéraux chargés
de la SAR et d’un représentant du Conseil national de recherche et sauvetage au sol du Canada. Référence :
Manuel des partenaires du FNI SAR, août 2007.
6
Système de notation du FNI SAR, Manuel des partenaires du FNI SAR, annexe E.
7
Conformément à la Politique sur les paiements de transfert du Conseil du Trésor (2012), ces initiatives ne
doivent pas bénéficier directement au ministère/à l’agence gestionnaire du fédéral.
8
Secrétariat national de recherche et de sauvetage, Guide du demandeur 2013. http://www.nsssnrs.gc.ca/fr/fond-nouvelles-initiatives/demande-guide.page (Dernière consultation le 31 décembre 2014).
9
Dans des cas exceptionnels, les projets peuvent être autorisés à recevoir une quatrième et dernière année de
soutien.
Chef – Service d’examen
2/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
coopération accrues 10. Cet objectif est renforcé par les objectifs opérationnels suivant du FNI
SAR :
• améliorer la capacité d’intervention en SAR à l’intérieur des compétences fédérales,
provinciales et territoriales;
• promouvoir et appuyer des projets conçus pour améliorer la prévention en matière de
SAR;
• partager les pratiques exemplaires de prévention et d’intervention en SAR à l’échelle
de la collectivité de la SAR.
1.1.4 Intervenants
Le FNI SAR est géré par le SNRS, une organisation autonome au sein du MDN qui doit
rendre des comptes au MPRS. Le financement du SNRS découle du budget du Vice-chef
d’état-major de la Défense. Les autres intervenants comprennent le CIRS et les bénéficiaires
admissibles du FNI SAR. Au nombre des bénéficiaires admissibles figurent :
•
les six ministères fédéraux chargés de la SAR;
•
les ministères provinciaux et territoriaux chargés de la SAR;
•
les organisations de volontaires 11 de SAR;
•
les groupes universitaires ou du secteur privé et les personnes qui ont des
responsabilités au titre du PNRS.
1.2 Étendue de l’évaluation
1.2.1 Portée et responsabilités
Le FNI SAR est intégré dans l’Architecture d’alignement des programmes (AAP) du MDN,
à la section 2.2, Services de la Défense et contributions au gouvernement, à la
sous-sous-activité 2.2.3, Programme national de recherche et de sauvetage 12. Conformément
à l’entente de programme actuelle, le directeur exécutif du SNRS ou le Directeur – Politique
et programme du SNRS est responsable du FNI SAR.
1.2.2 Ressources
Le total des dépenses approuvées du FNI SAR est de 8,1 M$ par année, pour un maximum
de 40,5 M$ 13 en cinq ans. Un résumé du financement annuel est présenté dans le tableau 1
qui suit.
10
Entente de programme du Conseil du Trésor, 16 avril 2010.
Les volontaires comprennent les organisations de volontaires en SAR provinciales ou territoriales reconnues,
l’Association canadienne des volontaires en recherche et sauvetage (ACVRS), la Garde côtière auxiliaire
canadienne et l’Association civile de recherche et de sauvetage aériens (ACRSA).
12
Architecture d’alignement de programme du MDN, juillet 2013.
13
Subhas Roy Consultants Inc. Evaluation of the Search and Rescue New Initiatives Fund (SAR NIF)
Contribution Program, 2009.
11
Chef – Service d’examen
3/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
AF
2008-2009
2009-2010
2010-2011
2011-2012
2012-2013
Total
Rapport final – Janvier 2015
Financement approuvé (en M$)
8,1
8,1
8,1
8,1
8,1
40,5
Tableau 1. Autorisation de dépenser pour le Programme de contributions pour le FNI SAR. Le tableau
donne un résumé des dépenses approuvées, en M$, pour le Programme de contributions pour le FNI SAR, de
l’AF 2008-2009 à l’AF 2012-2013 et le total sur cinq ans.
1.2.3 Enjeux et questions
Pour évaluer la pertinence et le rendement du Programme de contributions pour le FNI SAR,
l’équipe de l’évaluation a pris en compte les enjeux fondamentaux de l’évaluation ci-après
indiqués.
Pertinence : La mesure dans laquelle FNI SAR est encore pertinent par rapport aux besoins
et aux priorités du gouvernement fédéral et de ses partenaires, et la mesure dans laquelle il
est harmonisé aux rôles et aux responsabilités du gouvernement fédéral.
•
Besoin continu. Le FNI SAR continue-t-il à combler un besoin démontrable et est-il
adaptable aux besoins des Canadiens?
•
Harmonisation aux rôles et aux responsabilités du gouvernement fédéral. Le FNI
SAR s’harmonise-t-il aux rôles et responsabilités actuels du gouvernement fédéral?
•
Harmonisation aux priorités du gouvernement. Le FNI SAR s’harmonise-t-il aux
priorités du gouvernement fédéral et aux résultats stratégiques du MDN et des Forces
armées canadiennes (FAC)?
Rendement (Efficacité, efficience et économie) : la mesure dans laquelle le Programme du
FNI SAR a réussi à atteindre les résultats escomptés et a fait preuve d’efficience et
d’économie.
•
•
Atteinte des résultats escomptés. Les questions suivantes ont servi à évaluer le
rendement du FNI SAR :

Dans quelle mesure les projets du FNI SAR ont-ils donné lieu à l’amélioration de
l’intervention et de la prévention en SAR?

Dans quelle mesure les projets du FNI SAR favorisent-ils et améliorent-ils les
partenariats entre tous les échelons du PNRS?
Démonstration d’efficience et d’économie. Les moyens les plus efficaces et
économiques ont-ils été utilisés pour atteindre les résultats escomptés du FNI SAR?
Chef – Service d’examen
4/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
2.0 Constatations et recommandations
Les constatations et les recommandations de l’évaluation sont décrites de la section 2.1 à la
section 2.5.
2.1 Besoin continu
Pour examiner dans quelle mesure le Programme de contributions pour le FNI SAR continue
à combler un besoin manifeste, on a évalué les indicateurs suivants :
•
preuve qu’une lacune spécifique est comblée par le FNI SAR;
•
évaluation de la faisabilité des nouvelles initiatives de SAR en l’absence du FNI
SAR.
Les constatations reposent sur les preuves issues des examens des documents.
Principale constatation no 1 : Le FNI SAR est un mécanisme unique permettant de
soutenir des initiatives intersectorielles liées à l’intervention en SAR et en prévention
qui répondent aux besoins du PNRS et de ses partenaires.
Le système national de SAR reçoit 15 000 appels 14 par année. Cela témoigne du besoin
continu d’une intervention en SAR coordonnée et d’un investissement constant dans la
prévention axée sur l’atténuation des facteurs contribuant aux incidents de SAR. Le FNI
SAR a été établi pour fournir des ressources en vue du développement des capacités
d’intervention et de prévention 15 et de l’établissement de partenariats entre tous les
échelons 16 du PNRS.
Le FNI SAR est un mécanisme qui peut soutenir la collaboration multi-instances et
intersectorielle (gouvernementale, volontaire, universitaire) dans le cadre de projets
nationaux de SAR. Les partenaires fédéraux de SAR se fient aux contributions du FNI SAR
(p. ex., transfert de crédits) pour élaborer des projets qui s’inscrivent dans leur mandat de
SAR respectif, mais qui ne seraient pas faisables si l’un ou l’autre des partenaires l’élaborait
seul. Cela est particulièrement important lorsqu’on promeut des projets d’interopérabilité,
comme en recherche et développement, ou lorsqu’on adopte des procédures, processus et
principes communs entre les partenaires de SAR.
Pour les autres organisations bénéficiaires (p. ex., groupes de volontaires), le FNI SAR offre
un accès financier et des occasions de tirer parti de fonds provenant d’autres sources (p. ex.,
soutien en nature, soutien financier des provinces, des territoires, du secteur privé). Sans le
FNI SAR, nombre des percées et des partenariats officialisés qui ont été financés n’auraient
pas été possibles, particulièrement pour les organisations de volontaires et à but non lucratif
14
Examen quadriennal des activités de recherche et de sauvetage, décembre 2013, page 5.
Le développement en matière d’intervention et de prévention comprend la recherche et le développement
(R & D), l’entraînement, l’achat de ressources et l’éducation en matière de sécurité.
16
Les échelons du PNRS comprennent les compétences fédérales, provinciales, territoriales et municipales.
15
Chef – Service d’examen
5/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
de la collectivité canadienne de SAR. Le FNI SAR favorise le partenariat et les efforts
d’organisations individuelles de SAR, lesquelles contribuent à nos capacités nationales.
2.2 Harmonisation aux rôles et aux responsabilités du gouvernement fédéral
Pour examiner dans quelle mesure le Programme de contributions pour le FNI SAR
s’harmonise aux rôles et aux responsabilités du gouvernement fédéral, on a évalué les
indicateurs suivants :
•
l’harmonisation du FNI SAR aux rôles et aux responsabilités du gouvernement
fédéral (c.-à-d. aux lois à signataires et aux traités/accords internationaux);
•
l’harmonisation du FNI SAR aux rôles et aux responsabilités des FAC et du MDN
(c.-à-d. à la Loi sur la défense nationale).
Les constatations de la présente section reposent sur les preuves issues des examens des
documents.
Principale constatation no 2 : Le FNI SAR est harmonisé au rôle du MDN et du
gouvernement fédéral, de même que les partenaires et les intervenants, afin de soutenir
le PNRS.
Bien que la SAR ne soit pas directement mentionnée dans la Loi sur la défense nationale
(1985), le MDN et les FAC ont des responsabilités à l’égard du PNRS par le biais des
activités que le Cabinet exige du MPRS, du SNRS et du CIRS. Le gouvernement du Canada
(GC) a des responsabilités fédérales liées à la SAR en vertu de son statut de signataire de
conventions internationales 17 pour la SAR et de protocoles d’entente (PE) passés avec des
partenaires nationaux et internationaux en matière de responsabilités opérationnelles et
administratives ainsi que de coordination en SAR. Pour s’acquitter de ces responsabilités, il
faut une bonne capacité d’intervention en SAR, un PNRS coordonné marqué par des
partenariats solides et une bonne coopération. Les projets du FNI SAR y contribuent en
favorisant les partenariats et la coopération ainsi qu’en finançant les améliorations des
capacités grâce à la R & D et aux projets d’entraînement à tous les échelons du PNRS.
Les projets du FNI SAR et les partenariats vont au-delà des rôles et des responsabilités du
gouvernement fédéral pour soutenir d’autres ordres de gouvernement et des organisations
locales, lesquels renforcent davantage le PNRS.
2.3 Harmonisation aux priorités du gouvernement
Pour examiner dans quelle mesure le FNI SAR s’harmonise aux priorités du gouvernement
fédéral et aux résultats stratégiques du MDN/des FAC, on a évalué les indicateurs suivants :
17
Les conventions comprennent : la Convention relative à l’aviation civile internationale (1944), la Convention
internationale pour la sauvegarde de la vie humaine en mer (SOLAS) (1974), la Convention internationale de
1979 sur la recherche et le sauvetage maritimes (entrée en vigueur au Canada en 1985).
Chef – Service d’examen
6/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
•
l’harmonisation du mandat du FNI SAR aux résultats stratégiques et aux objectifs
énoncés de la Défense;
•
l’harmonisation du mandat du FNI SAR avec les priorités énoncées du gouvernement
fédéral.
Les constatations de la présente section reposent sur les preuves issues des examens des
documents.
Principale constatation no 3 : Le FNI SAR a financé des projets qui prennent
directement en compte les priorités énoncées de la Défense et des projets qui
s’harmonisent aux secteurs prioritaires mentionnés dans les récents discours du Trône
et les annonces du budget fédéral.
Les opérations liées à la SAR sont une grande priorité 18 du MDN et des FAC. La SAR et les
programmes qui y sont associés, comme le FNI SAR, contribuent au résultat stratégique de
la Défense lié à la priorité « Assurer l’excellence opérationnelle durable au pays et à
l’étranger pour assurer la défense du Canada et la protection de la population canadienne 19 ».
L’AAP du MDN comprend la sous-section 3.2.4.0, Recherche et sauvetage 20, et la SAR est
également incluse dans les priorités ministérielles énoncées dans la SDCD, sous « Défendre
le Canada – Servir avec excellence au pays 21 ».
Outre la priorité consistant à assurer la sûreté et la sécurité des Canadiens, les rapports sur le
rendement ministériel comprennent les priorités suivantes :
•
aider les agences partenaires en ce qui a trait aux pratiques d’intervention d’urgence;
•
consolider les partenariats avec des universités et des organismes communautaires;
•
soutenir la recherche et le développement au sein de la collectivité de la sécurité
publique (p. ex., collaborer avec des partenaires nationaux et internationaux dans le
cadre de programmes géospatiaux météorologiques);
•
collaborer avec succès avec un vaste éventail de partenaires.
Les projets du FNI SAR soutiennent ces priorités en fournissant le financement direct aux
intervenants et aux partenaires qui développent ces capacités et ces améliorations du PNRS.
De plus, le FNI SAR a contribué à des projets liés au développement de nouvelles
technologies, ainsi qu’à l’élargissement des capacités dans l’Arctique et dans les régions
nordiques, tous deux désignés comme des priorités dans les récents discours du Trône 22.
Le soutien à la distribution, par une petite entreprise canadienne, d’un simulateur
d’entraînement maritime devant servir à l’entraînement pour la SAR, a été inclus aux récents
18
Aviation royale canadienne (ARC), Vecteurs de la Force aérienne, 2014.
Priorité no 1, Priorités de la Défense 2013-2017.
20
AAP 2010.
21
SDCD, page 7.
22
Discours du Trône, 2013.
19
Chef – Service d’examen
7/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
budgets fédéraux 23, tout comme le crédit d’impôts récemment annoncé pour les volontaires
en SAR 24. Ces références témoignent de l’engagement du GC à l’égard d’une priorité
fédérale accordée à la SAR et à son Programme de contributions comme le FNI SAR.
2.4 Atteinte des résultats escomptés (Efficacité)
Pour évaluer l’efficacité du FNI SAR pour ce qui est d’atteindre les résultats escomptés, on a
évalué les aspects suivants :
•
le fait que les projets financiers s’harmonisent aux priorités désignées et représentent
une variété de catégories, d’organisations demandeuses et de portées géographiques;
•
l’incidence des projets financés (intervention, prévention, R & D);
•
la diversité des partenariats à tous les échelons du PNRS;
•
les exemples de promotion et d’amélioration des partenariats;
•
la communication avec les partenaires de SAR à tous les échelons du PNRS.
Les constatations de la présente section reposent sur un examen des données du Programme,
des analyses documentaires et des entrevues avec le personnel du Programme.
Harmonisation aux priorités désignées et diversité des projets
Principale constatation no 4 : Le FNI SAR a financé des projets liés à la SAR ayant
diverses autorités de gestion, différents bénéficiaires et portées. En cinq ans, le
financement a soutenu de façon équilibrée des projets d’intervention et de prévention.
Entre 2008-2009 et 2012-2013, le SNRS a financé 69 projets du FNI SAR d’une valeur
approximative de 37,8 M$ (tableau 2). Les projets financés ont été reçus par le biais de
divers demandeurs, y compris tous les six ministères fédéraux chargés de la SAR (n=41), un
gouvernement provincial et neuf gouvernements provinciaux (n=24) et quatre associations de
volontaires 25 (nationales et provinciales/territoriales; n=4). Les associations de volontaires
étaient désignées comme les bénéficiaires directs d’au moins 6 des 24 projets gérés à
l’échelle provinciale ou territoriale. Nombre de projets gérés à l’échelle fédérale indiquaient
la participation d’organisations non-gouvernementales nationales ou fédérales 26. Sur le total
de fonds du FNI SAR dépensés en cinq ans, 8,08 M$ ont financé des projets de R & D
financés par le fédéral 27; 14,6 M$ des projets de prévention; 15,1 M$ des projets liés à
l’intervention.
23
Budget fédéral et Plan d’action économique, 2012.
Budget fédéral et Plan d’action économique, 2014.
25
Les demandes de projets venant directement d’associations de volontaires n’ont été acceptées qu’à partir de
2010.
26
P. ex., le Conseil canadien de la sécurité nautique, l’ACVRS, le Conseil national de recherche et sauvetage au
sol du Canada (CNRSSC), le Conseil canadien des pêcheurs professionnels, le Centre interservices des feux de
forêt du Canada, l’Association des pilotes maritimes du Canada.
27
Les projets de R & D comprenaient des ministères non chargés de la SAR, le Conseil national de recherches
du Canada et Industrie Canada (Centre de recherches sur les communications).
24
Chef – Service d’examen
8/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Selon les descriptions des projets et des activités, il semble que la portée des projets était
également équilibrée : 30 projets (43 p. 100) étaient de portée nationale 28; 35 projets étaient
de portée provinciale ou territoriale; les 4 autres projets visaient de multiples municipalités
(p. ex., le Nord de l’Ontario) ou des frontières interprovinciales ou interterritoriales (p. ex.,
le Nord du Canada, le Canada atlantique).
Autorité de gestion
MPO
MDN
EC
APC
GRC
TC
Total en 5 ans – Fédéral
Colombie-Britannique
(C.-B.)
Manitoba (MB)
Nouveau-Brunswick
Terre-Neuve
Nouvelle-Écosse
Ontario
Île-du-Prince-Édouard
(I.P.E)
Québec
Saskatchewan
Yukon (YK)
Total en 5 ans —
Provincial/territorial
Association de
volontaires
Total en 5 ans
Nbre de
projets
12
6
8
3
5
7
41
Prévention Intervention
(M$)
(M$)
0,925
3,25
2,27
3,77
0,02
0,88
5,5
2,27
0,63
12,05
7,05
R&D
(M$)
3,94
2,54
0,94
1,49
8,08
Total
(M$)
4,18
6,22
6,31
1
5,05
4,4
27,6
7
4
1
2
3
1
0,69
-
1,38
0,77
0,51
0,79
1,88
0,51
-
2,07
0,77
0,51
0,79
1,88
0,51
3
1
1
2
0,66
0,39
0,45
0,24
0,49
-
0,39
0,45
0,24
1,15
24
1,35
7,19
-
8,54
4
69
1,21
14,6
0,71
14,95
8,08
1,91
37,63*
Tableau 2. Répartition du financement des projets du FNI SAR attribué entre 2008 et 2013, par autorité
de gestion et par catégorie (c.-à-d. Prévention, Intervention, R & D). Le tableau présente un résumé du
nombre et des types de projets du FNI SAR, avec les valeurs monétaires correspondantes, en M$ pour les
années de 2008 à 2013.
*Nota : Au moment de l’évaluation, tout le financement accordé n’avait pas encore été dépensé pour les projets
se poursuivant au-delà de 2013.
28
Les projets ayant une portée nationale comprennent ceux dont les extrants se veulent accessibles à l’échelle
nationale à tout le moins (p. ex., données satellites, modèles théoriques, documents accessibles sur le Web) ou
qui contribuent à une capacité de niveau fédéral (p. ex., l’entraînement de la Garde côtière canadienne (GCC),
les capteurs pour les ressources en SAR de l’ARC).
Chef – Service d’examen
9/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Principale constatation no 5 : Les priorités annuelles et les critères de mérite des projets
établis pour le FNI SAR sont très vastes. Les priorités du FNI SAR sont demeurées
statiques au cours de la période de l’évaluation, et elles n’ont pas fait l’objet d’une
validation récente par rapport aux besoins actuels du PNRS.
Selon un examen d’un échantillon de dossiers des projets, les activités décrites dans ceux-ci
semblent s’harmoniser aux priorités annuelles, comme on l’exige de tous les projets
admissibles au financement. Les priorités annuelles du FNI SAR sont vastes et permettent à
un large éventail de projets d’être considérés comme admissibles compte tenu de
l’harmonisation aux critères de mérite 29. À l’inverse, l’imprécision des détails des priorités
annuelles et des critères de mérite font en sorte qu’il est difficile de valider l’harmonisation.
Bien que les dossiers des projets examinés indiquent un certain degré d’application à un
contexte de SAR, il n’était pas toujours clair que la priorité des projets financés était la SAR.
Dans le cas de certains projets fédéraux financés, la distinction n’était pas claire entre les
aspects du projet axés sur les activités exigées à titre des responsabilités ministérielles par
rapport à des aspects nouveaux ou améliorés qui sont propres à l’intervention ou à la
prévention en SAR.
Les priorités annuelles du FNI SAR sont demeurées largement inchangées, tant en nombre
qu’en classement, au cours de la période de l’évaluation, et les entrevues donnent à penser
que ces priorités n’ont pas été évaluées durant cette période. Le personnel du SNRS a aussi
indiqué qu’on n’avait tenu aucune activité officielle pour valider les priorités liées aux
lacunes ou aux besoins en matière d’intervention ou de prévention en SAR cernés à l’aide de
données 30. Compte tenu du temps écoulé, on devrait valider officiellement et empiriquement
les priorités du FNI SAR par rapport aux besoins du PNRS en matière d’intervention et de
prévention.
Recommandations
1.
Exécuter un processus officiel de validation pour garantir que les priorités du FNI
SAR sont harmonisées aux besoins du PNRS en matière d’intervention fondée sur
des preuves et de prévention (c.-à-d. évaluation officielle des besoins).
2.
Préciser les priorités du FNI SAR afin qu’elles soient davantage axées sur les
besoins cernés durant la validation. Modifier les critères de mérite pour favoriser les
projets qui ne portent que sur des besoins précis et désignés ayant des liens distincts avec
les résultats escomptés et la portée du FNI SAR.
BPR : SNRS
29
Selon le système de notation du FNI SAR, Manuel des partenaires du FNI SAR, août 2007, annexe E.
Le BVG a souligné que le FNI SAR n’était pas lié à un fondement stratégique, dû à l’absence d’une stratégie
fédérale de prévention en SAR. Référence : Rapport du BVG, printemps 2013.
30
Chef – Service d’examen
10/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Incidence des projets financés
Principale constatation no 6 : Des projets individuels montrent des preuves
d’amélioration des capacités d’intervention en SAR et des démarches de prévention à
divers degrés d’effet. Toutefois, le niveau de détails exigés dans les rapports de projet est
insuffisant pour évaluer de façon fiable les résultats du projet.
Selon les renseignements qu’on a pu examiner dans les dossiers, certains des projets
individuels montrent des preuves d’améliorations des capacités liées à l’intervention et à la
prévention en SAR. Ces améliorations vont du rehaussement des capacités locales à des
progrès dans les capacités systémiques en SAR d’envergure nationale. Parmi les exemples
d’amélioration des capacités indiquées dans des rapports de projet précis, citons :
•
la modernisation des télécommunications des volontaires spécifiques en SAR;
•
l’entraînement visant les compétences en sauvetage avec des volontaires locaux;
•
des ateliers de prévention/sécurité en SAR ciblées localement;
•
la validation de la modélisation météorologique;
•
la modernisation et les essais des satellites;
•
le matériel didactique pour divers publics portant sur les précautions liées à la
sécurité et à la prévention.
Les renseignements inclus dans les rapports des projets se limitent largement à la relation des
jalons et au rapprochement des activités des projets et des réalisations attendues. Les détails
relatifs à l’incidence des activités des projets (p. ex., la rétroaction des participants, les
résultats de l’entraînement, les changements de comportement) n’étaient souvent pas inclus
ou ils n’étaient pas suffisants pour évaluer l’effet complet du projet terminé. À cela
s’ajoutent des sections « Mesure du rendement » et « Plan de communication » incomplètes
dans les demandes des projets, lesquelles devraient indiquer la façon d’évaluer les résultats
du projet. Le personnel du Programme devrait confirmer que ces sections sont dûment
remplies dans la demande avant le lancement d’un projet du FNI SAR. Les rapports sur les
jalons du projet et le résumé final devraient prendre en compte directement chaque critère
de rendement et de communication énoncé dans la demande correspondante du projet.
Principale constatation no 7 : Les renseignements des projets financés ne sont pas
utilisés afin d’éclairer le FNI SAR ou de valider l’incidence globale du Programme. La
question a déjà été soulevée dans d’autres rapports. Le FNI SAR ne respecte pas les
dispositions liées à la mesure du rendement définies dans les modalités.
Les renseignements sur les résultats des projets financés ne sont ni compilés, ni contrôlés ni
examinés de façon exhaustive. Des vérifications antérieures 31 et des rapports du vérificateur
général 32 ont fait écho à cette constatation. Les entrevues avec le personnel du SNRS ont fait
ressortir une idée fausse, à savoir que les modalités d’un programme de contributions
31
32
Évaluation quinquennale du Programme de contributions pour le FNI SAR (2005 et 2010).
Rapport du BVG, printemps 2013, chapitre 7.
Chef – Service d’examen
11/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
empêchent la collecte de renseignements sur le rendement des bénéficiaires du financement.
Toutefois, les données des rapports des projets déjà transmis au SNRS n’ont pas été
exploitées. Au moment de l’évaluation, le personnel du SNRS venait tout juste de terminer
l’entrée des données tirées des dossiers des projets et des rapports dans une base de
données 33 Microsoft Access pour le FNI SAR. On n’avait réalisé aucun rapport ni analyse
des projets terminés dans cette base de données et le plan visant son utilisation courante
n’avait pas été officialisé. Des problèmes logiciels nuisant à son utilité ont été notés 34. La
base de données du FNI SAR devrait faire partie d’une stratégie exhaustive de contrôle du
rendement, dont l’absence a aussi été soulignée lors d’évaluations antérieures. Mise à part
cette base de données, l’évaluation n’a trouvé aucune preuve qui témoigne de progrès
réalisés pour ce qui est de combler les lacunes aux niveaux du contrôle ou de la mesure du
rendement du FNI SAR.
Promotion et amélioration des partenariats
Principale constatation no 8 : Le FNI SAR favorise de façon inhérente la coopération
dans le cadre d’un projet entre les bénéficiaires et les autorités de gestion du projet en
question. Nombre de projets étaient axés sur l’officialisation des partenariats et
l’établissement de partenariats pour la formation et les activités de prévention.
Toutefois, sans attentes clairement définies pour les partenariats à tous les échelons du
PNRS, l’incidence du FNI SAR sur la promotion faite par les partenaires et
l’amélioration ne peut pas être validée.
La plupart des projets du FNI SAR qui existent sont gérés par une organisation fédérale ou
provinciale/territoriale. Tel que mentionné précédemment, les associations de volontaires en
SAR et les organismes non gouvernementaux sont souvent bénéficiaires de nombreux projets
gérés aux niveaux fédéral et provincial ou territorial. Le FNI SAR est conçu pour favoriser
de façon intrinsèque la coopération dans le cadre d’un projet entre ces partenaires de SAR.
Selon l’échantillon des dossiers des projets examinés, les projets financés ont entraîné la
coopération d’au moins 38 partenariats différents, qui reflètent la diversité des échelons du
PNRS. Ces partenariats comprennent sept ministères fédéraux, cinq provinces ou territoires
et sept associations de volontaires. La répartition des relations des partenaires est présentée
au tableau 3. On exige aussi de chaque projet financé qu’il comprenne au moins 5 p. 100 de
soutien financier (y compris en nature) provenant d’autres organisations, ce qui favorise
aussi la coopération dans le cadre d’un projet.
33
La base de données Microsoft Access a été mise en œuvre à la place du Système d’information du FNI
(SIFNI) mentionné dans des réponses antérieures sur les mesures prises par la direction. Le personnel a indiqué
que la base de données était plus simple et que c’était un outil plus facile à mettre en ligne que le SIFNI qui
était prévu à l’origine pour le FNI SAR.
34
Le personnel du SNRS a indiqué que les rapports financiers produits par la base de données ne sont pas
rapprochés avec les données financières figurant dans le système, ce qui mine la validité des rapports produits.
Chef – Service d’examen
12/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Autorité
de gestion
Partenaires
•
GRC
•
Conseil canadien de la sécurité
nautique
Kent Harrison Search and Rescue
•
RSS de l’Î-.-É.
YK
•
Yukon Avalanche Association
C.-B.
•
Snowmobile Community
•
MB
•
•
MDN
•
•
Ontario
•
British Columbia Search and Rescue
Association (BCSARA)
GRC
Manitoba Office of the Fire
Commissioner
SAR Manitoba (SARMAN)
Centre de recherches sur les
télécommunications (Industrie Canada)
OSARVA
TC
•
•
TC (Bureau de la sécurité nautique)
Société royale de sauvetage
MPO
APC
•
•
•
Administration régionale Kativik
Volontaires en SAR du Nunavik
Parc marin du Saguenay-Saint-Laurent
EC
•
•
•
•
•
GRC
Association de RSS de l’Î-P.-É.
Tourisme de l’Î-.P.-É.
GCC
Laboratoire national de la
météorologie maritime et côtière
Î-P.-É.
•
•
•
•
Police provinciale de l’Ontario
Escadrilles canadiennes de plaisance
GCC
Bureau de la sécurité publique
de l’Î-.P.-É.
RSS Î-P.-É.
•
Rapport final – Janvier 2015
Projet
Éducation vidéo portant sur la
navigation en eau froide
Modernisation des
communications
Développement d’une série de
cartes
Prévisions des avalanches et
éducation
Éducation en matière
d’avalanches pour les
motoneigistes en montagne
Développement des volontaires
en SAR
Développement de l’association
des volontaires du Manitoba
MEOSAR, phase 2
Développement de volontaires en
RSS
Programme d’éducation et de prêt
en matière de vêtements de
flottaison individuels
Éducation en SAR maritime
Mesure et production de rapports
sur les conditions
océanographiques liées à la
plongée
Vidéo éducative sur les courants
de retour
Système de prévisions
environnementales (Arctique,
Labrador)
Guide de météorologie en ligne
pour les navigateurs
Planification stratégique des
capacités de RSS
Tableau 3. Exemples de partenaires du FNI SAR et de projets entre 2008 et 2013. Le tableau donne des
exemples de partenaires du FNI SAR et des projets réalisés entre 2008 et 2013.
Chef – Service d’examen
13/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Le fait de favoriser des partenariats entre les partenaires de SAR nouveaux et existants est
une composante principale de certains projets financiers. Bien que des documents aient
indiqué que la plupart des partenariats étaient informels (c.-à-d. qu’il n’y avait aucune preuve
de modalités spécifiques ou d’ententes officielles), le FNI SAR a financé huit projets dont
l’objectif est précisément d’élaborer ou de mettre à jour une entente officielle (p. ex.,
attributions, PE) entre les partenaires. Selon l’échantillon des dossiers des projets examinés,
d’autres exemples de partenariats de projet entre au moins deux organisations indépendante
comprennent :
•
la mise en commun de ressources (p. ex., les installations, l’équipement, l’expertise,
les ressources humaines);
•
la prestation de l’instruction visant l’acquisition de compétences;
•
la prestation d’ateliers éducatifs sur la sécurité;
•
le partage des connaissances (p. ex., conférences, salons de sensibilisation) et les
consultations (p. ex., planification stratégique, arpentage);
•
les événements promotionnels;
•
le développement et la distribution de matériel de relations externes (p. ex., articles
pour les médias, promotion radiophonique, bulletins).
L’évaluation des partenariats du FNI SAR s’est limitée aux exemples anecdotiques recueillis
dans les dossiers des projets. Il n’y avait aucune preuve indiquant qu’on avait défini les
attentes liées à la promotion et à l’amélioration des partenariats de SAR financés par le FNI
SAR. Par conséquent, les résultats des démarches de partenariat ne peuvent pas être évalués
objectivement au-delà des exemples anecdotiques fournis. Les attentes en matière de
promotion et d’amélioration des partenariats devraient aussi être prises en considération
lorsqu’on élabore la stratégie de mesure du rendement et de contrôle du FNI SAR
recommandée dans la présente évaluation. Pour les partenariats de la SAR, on devrait définir
des critères ciblés et mesurables qui reflètent directement l’orientation stratégique du PNRS.
L’ancien Cadre de responsabilisation axé sur les résultats du FNI SAR peut fournir une
certaine structure de départ.
Recommandation
3.
Élaborer et mettre en œuvre une stratégie officielle de mesure et de surveillance du
rendement pour le FNI SAR. Celle-ci peut comprendre :
•
des mesures du rendement qui sont spécifiques et liées aux attentes et aux priorités du
Programme;
•
des révisions aux modèles actuels de demande de projet et de rapport (c.-à-d. les
sections « Mesure du rendement » et « Plan de communications » du modèle) pour
établir des liens étroits avec la stratégie officielle du FNI SAR. Des révisions au
modèle de demande de projet devraient être effectuées avant l’approbation d’un
nouveau financement du projet;
Chef – Service d’examen
14/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
•
Rapport final – Janvier 2015
une évaluation exhaustive de l’incidence et de la valeur (c.-à-d. le rendement) de
toutes les données de projet dont on dispose actuellement avant d’entreprendre de
nouveaux projets. Présenter les résultats de l’évaluation au CIRS et les utiliser pour
valider l’efficacité de l’utilisation des fonds pour appuyer les directives stratégiques
précises et les priorités révisées du PNRS.
BPR : SNRS
Communication avec les partenaires
Principale constatation no 9 : Les ateliers sur le FNI SAR ont été perçus positivement
par tous les participants. Toutefois, ces ateliers autonomes n’ont pas été donnés à partir
de 2010. Depuis, la promotion s’est poursuivie par le biais de la conférence SARscene
annuelle et des consultations ponctuelles avec certains partenaires de SAR.
On a donné annuellement des ateliers aux partenaires de SAR afin de permettre à ceux-ci
d’échanger des pratiques exemplaires et les expériences liées aux activités de SAR 35. Entre
2008 et 2010, cela comprenait un atelier annuel du FNI SAR, qui portait précisément sur :
• des directives sur les demandes de projet;
• des discussions sur les difficultés des partenaires liées aux projets;
• la promotion des projets réussis 36.
Les ateliers ont connu un bon nombre de participants provenant de divers partenaires
provinciaux et territoriaux, mais ils ont eu moins de popularité auprès des ministères
fédéraux chargés de la SAR et des associations de volontaires. La représentation des
partenaires de SAR assistant aux ateliers figure au tableau 4 qui suit.
Partenaires
Fédéraux
Provinciaux/
territoriaux*
Associations
de volontaires
2008-2009
1
(APC)
2009-2010
1
(GRC)
2010-2011
Total
-
2
16
21
10
43
1
(NLSARA)
2
(NL + ACVRS)
2
(NL + OSARVA)
4
Tableau 4. Représentation des partenaires de SAR fédéraux, provinciaux, territoriaux et des associations
de volontaires aux ateliers annuels du FNI SAR. Le tableau donne le nombre et le résumé des participants
aux ateliers annuels du FNI SAR de l’AF 2008-2009 à l’AF 2010-2011.
*Nota : Aucun représentant du Yukon n’a assisté à l’atelier de 2008-2009; l’Ontario n’a été représentée qu’en
2008-2009; les Territoires du Nord-Ouest et Terre-Neuve-et-Labrador n’ont été représentés qu’en 2009-2010.
35
Accord de programme du Conseil du Trésor, 16 avril 2010.
D’autres ateliers du FNI SAR ont été donnés sous forme condensée durant les conférences annuelles
SARscene de Winnipeg (2011), Toronto (2012) et Chilliwack (2013). On ne disposait pas du nombre officiel de
participants et de la rétroaction aux fins d’examen.
36
Chef – Service d’examen
15/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Selon les sondages des participants, 100 p. 100 des répondants ont indiqué que l’atelier avait
été une expérience positive qui avait répondu à leurs attentes. La majorité des répondants aux
sondages ont mentionné que les ateliers avaient créé de précieuses occasions de créer des
réseaux. On a cité à maintes reprises les exemples de projets réussis ou le partage des
pratiques exemplaires et des difficultés communes comme étant des composantes très utiles,
de même que le fait de recevoir des directives sur le processus de demande de projet.
On n’a pas poursuivi la tenue d’ateliers indépendants après 2010. Le personnel du SNRS a
mentionné des difficultés à obtenir l’approbation pour les voyages comme étant la principale
raison de ne pas avoir donné d’ateliers. On a tenu trois journées de consultations en 2013,
mais celles-ci se limitaient aux représentants de la BCSARA, de la SAR Alberta, du bureau
du commissaire aux incendies de l’Alberta, du bureau du commissaire aux incendies du
Manitoba et de la SARMAN. Toutefois, la promotion du FNI SAR a été faite lors de la
conférence annuelle SARscene dont le SNRS est l’hôte. La promotion du FNI SAR lors de
ces conférences a compris un atelier modifié, des documents offerts à un kiosque
promotionnel et des exposés donnés par des bénéficiaires du financement.
Principale constatation no 10 : Le FNI SAR n’a pas atteint ses objectifs en matière de
communication et de relations externes tels qu’ils sont définis dans l’entente du Programme.
Les activités de promotion du FNI SAR n’ont pas respecté les dispositions de l’accord du
Programme. Les rapports sommaires finaux n’ont pas été publiés sur le site Web du SNRS.
Le magazine SARscene, le mécanisme mentionné comme servant à faire connaître les
pratiques exemplaires et les résultats des projets, n’a pas été publié depuis 2010.
En 2013, il a fallu un deuxième appel de propositions pour dépenser le financement annuel
désigné pour le FNI SAR. Le personnel du SNRS a suggéré des coupures budgétaires
fédérales. Les contraintes financières qui en ont découlé ont donné lieu à un nombre moindre
de propositions des partenaires fédéraux durant le premier appel de propositions de 2013,
bien que les circonstances n’aient pas été examinées officiellement par le SNRS. Pour
accroître la disponibilité des sommes du FNI SAR, on a fait un second appel de proposition.
Le personnel du Programme a aussi indiqué qu’il y avait eu moins de nouveaux participants
aux ateliers (c.-à-d. mêmes participants, année après année).
Pour mieux faire connaître les sommes disponibles du FNI SAR, ainsi que les pratiques
exemplaires en matière d’intervention et de prévention tirées des projets réussis, les lacunes
de la stratégie de communication du FNI SAR doivent être comblées. Les résultats des
projets complétés, de même que le rendement global et l’incidence du FNI SAR, devraient
être rendus largement accessibles grâce aux mécanismes Web et imprimés existants. Les
ressources spécialisées en technologie de l’information devraient être renouvelées au besoin
pour rester actuelles par rapport à Internet. Des activités de relations externes devraient être
intégrées aux initiatives de communication pour garantir que les nouveaux demandeurs sont
encouragés à participer au FNI SAR.
Chef – Service d’examen
16/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Recommandation
4.
S’attaquer aux composantes incomplètes de la stratégie de communication du FNI
SAR pour qu’il s’acquitte de ses obligations de promouvoir et de partager les connaissances
sur le FNI SAR avec les partenaires.
BPR : SNRS
2.5 Démonstration d’efficience et d’économie
Pour évaluer l’efficience et l’économie du FNI SAR, l’équipe de l’évaluation a pris en
considération les critères suivants :
•
les pratiques exemplaires et les preuves de démarches visant à améliorer le
Programme (demande de rétroaction/consultation, mesures fondées sur les résultats);
•
les coûts opérationnels et l’attribution des ressources du financement;
•
le coût du Programme.
Les constatations de cette section reposent sur les examens des données du Programme,
l’analyse des renseignements financiers et les entrevues avec le personnel du Programme.
Pratiques exemplaires et démarches visant à améliorer le Programme
Principale constatation no 11 : On ne fait aucune sollicitation officielle de rétroaction
auprès des bénéficiaires du projet ou des partenaires de SAR. Les pratiques exemplaires
découlant des résultats du Programme n’ont pas été examinées afin de tirer des gains
d’efficience aux niveaux de la conception et de la prestation du Programme. Les
renseignements sur les projets de prévention et d’intervention réussis n’ont pas été bien
promus ni rendus facilement accessibles.
Au cours des cinq années de la période de l’évaluation, on n’a pas exploité les occasions de
faire des gains d’efficience au niveau du FNI SAR. On n’a pas demandé officiellement de
rétroaction des bénéficiaires du financement des projets terminés afin qu’ils suggèrent des
améliorations au Programme de contributions en fonction de l’expérience qu’ils ont eue. On
n’effectue pas régulièrement un examen systématique de l’élaboration ou de la prestation du
Programme au-delà des activités de renouvellement du Programme. On tient des
consultations ponctuelles avec des partenaires de SAR concernant le FNI SAR en l’absence
d’ateliers, et les consultations en question n’incluent pas les partenaires de tous les échelons
du PNRS. Jusqu’ici, les consultations n’ont pas cherché à obtenir de la rétroaction des
partenaires concernant des améliorations au Programme de contributions pour le FNI SAR.
Les analyses statistiques du portefeuille des projets financiers n’ont pas été compilées de
façon exhaustive ni analysées afin de cerner les lacunes aux niveaux des secteurs de
financement, de la représentation des partenaires ou de la diversité des projets. L’équipe de
l’évaluation a déjà indiqué que les résultats des sommaires des projets n’étaient pas utilisés
pour tirer des pratiques exemplaires des projets en matière de prévention et d’intervention.
Tel que mentionné plus haut dans le présent rapport, la promotion déficiente des réussites
Chef – Service d’examen
17/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
des projets et l’accès insuffisant aux rapports sommaires des projets aux fins de transmission
des connaissances, laissent présumer qu’il y a un risque accru que les connaissances soient
dédoublées et utilisées inefficacement.
Le système SharePoint de la SAR du PNRS offre un mécanisme de communication qui n’a
pas été pleinement utilisé. Le portail SharePoint est opérationnel, et il peut être mis à la
disposition de tous les partenaires de SAR. Cet outil pourrait être optimisé pour transmettre
de l’information sur le Programme, donner des directives concernant les demandes dans le
cadre du Programme, publier des résumés de projets et partager les connaissances et les
pratiques exemplaires liées aux activités de prévention et d’intervention en SAR. La
démarche initiale pour rendre le système SharePoint à jour pourrait exiger des ressources
provisoires supplémentaires, ce dont il faudrait tenir compte.
Recommandation
5.
Élaborer et intégrer au cadre du FNI SAR un mécanisme officiel permettant de
solliciter de la rétroaction. Les suggestions d’améliorations devraient être mises en œuvre
pour garantir que l’efficience du FNI SAR est maximisée.
BPR : SNRS
Principale constatation no 12 : Les priorités annuelles du FNI SAR sont demeurées
statiques au cours des cinq dernières années. On ne tire pas parti du Programme pour
soutenir l’orientation stratégique du PNRS.
L’équipe de l’évaluation a souligné que des projets financés par le FNI SAR semblent
s’harmoniser aux priorités annuelles établies par le CIRS. Toutefois, les priorités annuelles
du FNI SAR sont demeurées constantes au cours des cinq années de la période de
l’évaluation. Les cinq priorités ont pu faire l’objet de financement, et ces secteurs prioritaires
sont vastes. Cela permet d’avoir une grande diversité de projets admissibles, mais on risque
grandement de diluer l’efficacité des projets lorsqu’on l’applique à un tel éventail de sujets.
La stagnation des priorités du FNI SAR donne à penser que l’on n’utilise pas le FNI SAR
pour régler certains problèmes spécifiques du PNRS.
Des discussions avec les gens du SNRS indiquent qu’il n’y a eu aucun examen officiel des
priorités annuelles au cours des dernières années. À la suite de la suspension des réunions du
CIRS, les priorités annuelles du FNI SAR ont été approuvées par échange de correspondance
sans qu’il y ait de discussions importantes. Les activités permettant d’évaluer la validité des
priorités actuelles en SAR n’ont pas eu lieu. Ces activités comprendraient des analyses de la
conjoncture des pratiques actuelles de recherches et de SAR, des analyses des lacunes du
PNRS, ainsi qu’une consultation à grand échelle des partenaires de SAR au sujet des secteurs
prioritaires. Avant le très récent examen quadriennal des activités de recherche et de
sauvetage (EQARS), la dernière consultation officielle portant sur la planification stratégique
du PNRS avait eu lieu en octobre 2009. L’absence d’une politique nationale de SAR et d’un
cadre stratégique approuvé vient encore compromettre ces travaux. D’ici à ce que d’autres
Chef – Service d’examen
18/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
travaux soient effectués pour valider et cibler les priorités stratégiques du cadre actuel du
PNRS, il est peu probable que l’on puisse tirer pleinement parti du FNI SAR.
Coûts opérationnels et attribution des ressources du financement
Les coûts liés aux opérations du FNI SAR ont été en moyenne de 274 590,77 $ par an. Le
tableau 5 qui suit, montre les coûts annuels des opérations (salaires; fonctionnement et
entretien), ce qui équivaut à environ 3 p. 100 de la valeur moyenne consacrée annuellement
aux contributions. Les coûts opérationnels sont faibles pour le FNI SAR. Ces coûts ont
augmenté durant la période de l’évaluation en raison d’un accroissement du nombre des
équivalents temps plein (ETP) associés au FNI SAR.
Coûts opérationnels (M$)
Enveloppe des traitements et
salaires
Fonctionnement et entretien
Total des opérations
ETP
20082009
20092010
20102011
20112012
20122013
0,2 $
0,26 $
0,24 $
0,18 $
0,22 $
S/O
0,21 $
3,16
0,16 $
0,42 $
4,3
0,03 $
0,27 $
3,45
0,04 $
0,22 $
3,59
0,04 $
0,25 $
3,14
Tableau 5. Coûts opérationnels et ETP du Programme de contributions pour le FNI SAR. Le tableau
présente les coûts opérationnels, en M$, et les ETP associés au Programme des AF 2008-2009 à 2012-2013.
Les ressources de financement ont été réparties à peu près également entre les contributions
(crédit 10) et les transferts de crédits (crédit 1 et crédit 5) aux ministères fédéraux. En
moyenne, les transferts au MDN représentent environ 31 p. 100 des transferts ministériels
annuels. Le financement annuel total sous forme de contributions a fluctué légèrement par
année. Pour les années où le montant entier de 8,1 M$ n’avait pas été dépensé, les
consultations avec le personnel du SNRS ont indiqué que les fonds restants n’étaient pas
suffisants pour financer le projet suivant dans la liste de mérite. En 2008-2009, 1,2 million de
dollars n’a pas été utilisé par les bénéficiaires des projets, et il a été reporté à l’année
financière suivante. Compte tenu des écarts, 39,6 M$, sur un total de 40,5 M$, avaient été
dépensés durant la période de cinq ans.
Chef – Service d’examen
19/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Affectation des fonds (M$)
Transferts de crédits au MDN
Transferts de crédits à
d’autres ministères
Total des transferts de crédits
Total des contributions
Total du financement
Rapport final – Janvier 2015
20082009
20092010
20102011
20112012
20122013
1,08
0,52
1
1,26
0,59
2,05
3,14
3,04
1,04
1,3
3,13
3,72
6,85
3,67
5,68
9,35*
4,04
4,03
8,07
2,63
5,7
8,33
1,89
5,65
7,53
Tableau 6. Répartition de l’allocation de financement du FNI SAR dépensé 37 par transferts de crédits et
contribution. Le tableau présente les affectations de fonds, en M$, dépensés pour le Programme de
contributions pour le FNI SAR, par année financière. (Données fournies par le SNRS et tirées des estimations
des dépenses.)
*Nota : Les dépenses ont dépassé les 8,1 M$ en 2009-2010 en raison d’un report budgétaire de fonds qui n’ont
pas été utilisés par les bénéficiaires lors des années financières précédentes. 38
La répartition sur cinq ans du financement du FNI SAR, présentée dans le tableau 6, laisse
voir que jusqu’à la moitié des fonds du FNI SAR ont été transférés aux budgets des
ministères fédéraux pour des projets liés à la SAR. Cette proportion est importante puisque la
raison d’être d’un programme de contributions fédéral est habituellement de soutenir le
développement non fédéral 39.
Principale constatation no 13 : Les transferts de crédits n’exigent pas que les projets
rendent des comptes au FNI SAR. En l’absence d’exigences en matière de rapports, le
FNI SAR est incapable de mesurer, de partager ou de promouvoir activement le
rendement des projets financés par le mécanisme de transfert de crédits.
Le mécanisme de dispersion auquel on recourt pour le FNI SAR n’est pas commun. Bien que
le financement donné à d’autres ministères soit accordé à l’appui de projets jugés comme
servant les intérêts du PNRS, les transferts ministériels ne sont pas liés par les mêmes
conditions de production de rapports que la partie contribution du FNI SAR 40. La promotion
des projets et le partage des pratiques exemplaires constituent un objectif central du FNI
SAR. Sans exigence équivalente concernant la production de rapports sur les résultats des
projets financés par des transferts de crédits, les connaissances obtenues grâce à ces projets
pourraient ne pas être aussi largement accessibles. Étant donné que près de la moitié des
fonds du FNI SAR ont été transférés à des ministères fédéraux sans que le FNI SAR reçoive
les résultats officiels des projets ou de la rétroaction, cela représente une perte importante de
37
Comprend uniquement la partie du financement de projet accordé qui a été dépensée durant le cycle de
cinq ans de l’évaluation (c.-à-d. les fonds alloués pour des projets au-delà de 2013 ne sont pas pris en compte).
38
Consultation avec le contrôleur du SNRS.
39
Le développement non fédéral comprend les entreprises et l’industrie; les secteurs communautaires à but non
lucratif (bénévoles); les établissements d’enseignement et de recherche; d’autres paliers de gouvernement
(administrations municipales, gouvernements provinciaux et territoriaux); des populations cibles précises
(p. ex., organisations des Premières nations, inuites, métisses et autochtones). Des lourdeurs administratives à
des résultats clairs : Rapport du Groupe d’experts indépendant sur les programmes de subventions et de
contributions du gouvernement fédéral (décembre 2006), SCT.
40
Comme les crédits sont transférés directement dans les budgets des crédits du ministère bénéficiaire, la
surveillance financière subséquente ou la production de rapports sur le rendement à l’intention du ministère
cessionnaire ne sont pas exigées.
Chef – Service d’examen
20/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
transferts et de partage des connaissances liées aux initiatives du FNI SAR. Par conséquent,
l’équipe de l’évaluation recommande de vérifier si le mécanisme de transfert est le moyen le
plus approprié pour fournir du financement de façon à ce que les objectifs de surveillance du
rendement et de partage du FNI SAR puissent être atteints.
Coûts du Programme de contributions pour le FNI SAR
Les coûts annuels réels moyens du Programme de contributions pour le FNI SAR sont
d’environ 8,19 M$ lorsqu’on tient compte des coûts opérationnels et du financement des
projets, comme l’indique le tableau 7. Au cours des cinq années de 2008-2009 et 2012-2013,
le coût cumulatif total du FNI SAR était de 40,5 M$. Tous les projets financés doivent faire
la démonstration d’un partage des coûts d’au moins 5 p. 100. Le partage des coûts durant la
période de l’évaluation est évalué à quelque 2 M$.
Coûts du Programme
(M$)
Coûts opérationnels
Coûts de financement
Total des coûts du
Programme
20082009
0,21
6,85
20092010
0,42
9,35*
20102011
0,27
8,07
20112012
0,22
7,99
20122013
0,25
7,32
7,05
9,77
8,34
8,22
7,57
Tableau 7. Coûts globaux du Programme de contributions pour le FNI SAR. Le tableau donne un résumé
des coûts globaux, en M$, qui sont associés au Programme de l’AF 2008-2009 à l’AF 2012-2013.
*Nota : Les dépenses ont dépassé 8,1 M$ en 2009-2010 en raison d’un report budgétaire de fonds qui n’avaient
pas été utilisés par les bénéficiaires lors d’années financières antérieures 41.
2.6 Conclusion
Les résultats de la présente évaluation indiquent que le Programme de contributions pour le
FNI SAR est un investissement pertinent pour le MDN et les FAC. Il s’agit d’un mécanisme
unique permettant de soutenir les initiatives de SAR et les partenariats à tous les échelons du
PNRS. Le Programme contribue aux rôles et responsabilités ainsi qu’aux priorités du
gouvernement fédéral et du Ministère liés à la SAR de même qu’au PNRS. Toutefois,
certains aspects préoccupants ont été remarqués en ce qui concerne le rendement du FNI
SAR. Bien que des projets individuels montrent de l’amélioration en ce qui concerne
l’intervention, la prévention et la constitution de partenariats, les résultats n’étaient pas
utilisés pour éclairer les directives du FNI SAR ou du PNRS. Les activités de
communication ont été réduites au cours de la période de l’évaluation et on ne partage pas
officiellement les pratiques exemplaires et on n’en fait pas la promotion. Le FNI SAR n’a en
outre pas respecté les exigences de ses attributions.
41
Consultation avec le contrôleur du SNRS.
Chef – Service d’examen
21/21
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Annexe A – Plan d’action de la direction
Validation des priorités
Recommandation du CS Ex
1.
Exécuter un processus officiel de validation pour garantir que les priorités du FNI
SAR sont harmonisées aux besoins du PNRS en matière d’intervention fondée sur des
preuves et de prévention (c.-à-d. évaluation officielle des besoins).
2.
Préciser les priorités du FNI SAR afin qu’elles soient davantage axées sur les
besoins cernés durant la validation. Modifier les critères de mérite pour favoriser les
projets qui ne portent que sur des besoins précis et désignés ayant des liens distincts avec
les résultats escomptés et la portée du FNI SAR.
Mesure de la direction
Le SNRS est d’accord avec ces recommandations.
On a procédé à une validation par le biais de l’EQARS de 2013, qui a produit quatre
recommandations principales. Par conséquent, les priorités du FNI SAR de 2015–2016,
qui font partie de l’appel de propositions actuel, ont été revues. Ces priorités révisées
combleront les besoins du PNRS, comme le décrit le rapport de l’EQARS et le rapport du
printemps 2013 du vérificateur général du Canada, au chapitre 7. Ces priorités sont
définies davantage grâce aux objectifs spécifiques qui constitueront le fondement des
critères de mérite du comité.
Les priorités du FNI SAR continueront de faire l’objet d’un examen annuel afin de
déterminer si celles-ci (ou une partie de celles-ci) demeurent pertinentes.
BPR : SNRS
Date cible : Déjà mise en œuvre et aura un effet sur les propositions de l’AF 2015-2016.
Mise en œuvre de la stratégie de mesure du rendement
Recommandation du CS Ex
3.
Élaborer et mettre en œuvre une stratégie officielle de mesure et de surveillance
du rendement pour le FNI SAR. Celle-ci peut comprendre :
•
des mesures du rendement qui sont spécifiques et liées aux attentes et aux
priorités du Programme;
•
des révisions aux modèles actuels de demande de projet et de rapport (c.-à-d. les
sections « Mesure du rendement » et « Plan de communications » du modèle)
pour établir des liens étroits avec la stratégie officielle du FNI SAR. Des révisions
au modèle de demande de projet devraient être effectuées avant l’approbation
d’un nouveau financement du projet;
Chef – Service d’examen
A-1/3
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
•
Rapport final – Janvier 2015
une évaluation exhaustive de l’incidence et de la valeur (c.-à-d. le rendement) de
toutes les données de projet dont on dispose actuellement avant d’entreprendre de
nouveaux projets. Présenter les résultats de l’évaluation au CIRS et les utiliser
pour valider l’efficacité de l’utilisation des fonds pour appuyer les directives
stratégiques précises et les priorités révisées du PNRS.
Mesure de la direction
Le SNRS est d’accord avec cette recommandation.
•
Le SNRS élaborera et mettra en œuvre une stratégie et un cadre de mesure du
rendement qui serviront à évaluer les résultats les extrants du FNI SAR et à en
faire rapport. L’élaboration commencera en 2015-2016, tandis que la mise en
œuvre aura lieu en 2016-2017.
•
Les modèles de demande de projet du FNI SAR et les documents d’évaluation
seront évalués pour refléter la stratégie de mesure du rendement.
•
Une évaluation de l’incidence et de la valeur sera faite pour tous les projets du
FNI SAR des cinq dernières années. Les résultats seront présentés au CIRS, au
plus tard en 2016-2017, après les mises à jour de la base de données du FNI SAR.
Le SNRS a désigné l’élaboration d’une stratégie de mesure du rendement et la mise à
jour de la base de données du FNI SAR comme étant des pressions dans le Plan
d’activités de 2015-2016. Bien que nous tirions parti au maximum de l’expertise du GC,
on estime qu’il y aura un léger besoin de financement du crédit 1er qui apportera un
rendement de l’investissement positif dans les années à venir. Le cas sera présenté au
Comité d’investissement et de gestion des ressources.
BPR : SNRS
Date cible : 31 mars 2017
Rétroaction des bénéficiaires
Recommandation du CS Ex
4.
S’attaquer aux composantes incomplètes de la stratégie de communication du FNI
SAR pour qu’il s’acquitte de ses obligations de promouvoir et de partager les
connaissances sur le FNI SAR avec les partenaires.
Mesure de la direction
Le SNRS est d’accord avec la recommandation, et il examinera et validera la stratégie de
communication actuelle.
Le SNRS a compilé tous les rapports sommaires des projets, et il décidera du meilleur
moyen de les rendre accessibles à ses partenaires de SAR et aux intervenants. Par
exemple, par le biais du site Web du SNRS ou grâce à l’accès à la base de données du
FNI SAR lorsqu’elle aura été mise à jour.
Chef – Service d’examen
A-2/3
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Le SNRS présentera un échantillon de projets réussis du FNI SAR, et il consultera les
partenaires et les intervenants en tenant des ateliers et des séances de consultation lors de
la conférence SARscene annuelle. Le SNRS proposera en outre des ateliers régionaux
pour nos partenaires et les intervenants, au besoin et sous réserve des ressources
disponibles. On créera des produits promotionnels du FNI SAR, et on les distribuera à
grande échelle dans la collectivité de la SAR, par l’entremise de nos partenaires et des
intervenants.
Le SNRS a désigné des ateliers supplémentaires comme étant une pression dans le Plan
d’activités de 2015-2016. On estime qu’il y aura un léger besoin de financement du
crédit 1 associé à cette activité et qu’il apportera un rendement de l’investissement
positif. Le cas sera présenté au CIGR.
BPR : SNRS
Date cible : Mars 2017
Rétroaction des bénéficiaires
Recommandation du CS Ex
5.
Élaborer et intégrer au cadre du FNI SAR un mécanisme officiel permettant de
solliciter de la rétroaction. Les suggestions d’améliorations devraient être mises en œuvre
pour garantir que l’efficience du FNI SAR est maximisée.
Mesure de la direction
Le SNRS est d’accord avec cette recommandation.
Le SNRS élaborera des outils et des mécanismes pour recueillir et faire connaître la
rétroaction de nos partenaires, des intervenants et des bénéficiaires. L’information sera
recueillie de façon annuelle, à l’automne, afin de laisser du temps pour apporter les
modifications nécessaires au Programme et à ses processus avant le début de chaque
année financière. En outre, le SNRS intégrera une composante de rétroaction à tous ses
ateliers du FNI SAR.
On peut donner suite à cette recommandation à l’aide des ressources existantes.
BPR : SNRS
Date cible : Mars 2016
Chef – Service d’examen
A-3/3
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
Annexe B – Méthodologie et limites de l’évaluation
1.0 Méthodologie
1.1. Aperçu des méthodes de collecte des données
L’évaluation du Programme de contributions pour le FNI SAR a eu recours à de
multiples éléments de preuve afin d’évaluer la pertinence et le rendement du Programme.
La méthodologie adopte une démarche uniforme lors de la collecte et de l’analyse des
données afin d’aider à garantir la fiabilité des constatations, des conclusions et des
recommandations de l’évaluation. On a eu recours à des méthodes de collectes de
données quantitatives et qualitatives qui comprenaient des examens des documents de
programme et des renseignements financiers, des entrevues d’informateurs clés et un
examen des dossiers des projets. On a utilisé des informations qualitatives pour établir le
profil et le contexte du Programme et pour interpréter l’importance des données
numériques évaluées. Une comparaison des deux méthodes a servi à valider l’analyse
globale et à formuler les constatations et les recommandations de l’évaluation.
1.1.1. Examen des documents du Programme et des renseignements financiers
Lors de la phase initiale de l’évaluation, on a effectué un examen des documents du
Programme afin d’avoir une compréhension des antécédents et du contexte du FNI SAR.
Voici les documents en question :
•
les modalités et attributions du Programme;
•
les présentations au Conseil du Trésor;
•
les documents des ateliers et de SARscene;
•
le contenu des sites Web;
•
les documents des directives sur les demandes de projet et les manuels des
partenaires;
•
les modalités et attributions des projets et des comités de mérite;
•
les documents de directives et de planification stratégiques;
•
les rapports d’évaluations antérieures.
Les renseignements financiers fournis par le contrôleur du SNRS et ceux des systèmes
financiers du Ministère ont fait l’objet d’un examen afin de cerner les tendances en
matière d’affectation des ressources et de dépenses des fonds.
1.1.2. Entrevues des informateurs clés
On a réalisé des entrevues avec le personnel du SNRS responsable de l’administration et
de la gestion du FNI SAR, de la politique et des conseils stratégiques liés au PNRS et
avec le personnel chargé de l’administration financière du Ministère. Les consultations
ont permis de discuter des problèmes cernés quant à l’administration, à la gestion et à
Chef – Service d’examen
B-1/2
Évaluation du Programme de contributions pour le Fonds
des nouvelles initiatives de recherche et de sauvetage
Rapport final – Janvier 2015
l’orientation stratégique du Programme. Les entrevues ont aussi fourni un contexte et
permis de cerner les tendances observées aux niveaux du Programme et des données
financières.
1.1.3. Examen des dossiers des projets
On a examiné les dossiers de projets actuels et terminés afin d’évaluer les résultats des
projets pris individuellement. Un échantillon de 18 dossiers de projets sur papier a été
examiné, ce qui représente une diversité de catégories de projets, de bénéficiaires,
d’années de financement et de durée des projets. La base de données électronique (c.-à-d.
Microsoft Access) dans laquelle on avait récemment versé des informations sur les
projets, a également été évaluée lors de l’étude de la présente évaluation. Les dossiers des
projets ont servi à établir les détails des plans des projets, les bénéficiaires et les
organisations partenaires, la nature et la fréquence des rapports, ainsi que les résultats
signalés dans les sommaires de projet disponibles.
2.0 Limites
Le tableau suivant indique les limites liées aux sources de données ayant servi à évaluer
le Programme et les stratégies d’atténuation qui leur ont été appliquées.
Limite
Stratégie d’atténuation
La difficulté d’attribuer les activités et
les extrants du FNI SAR aux résultats
escomptés en raison du manque de
données.
L’accent a été mis sur la collecte d’exemples
anecdotiques d’améliorations des capacités
d’intervention, des activités de prévention et
d’évolution des partenariats. On a aussi
analysé des preuves de partenariats signalés
et d’activités de collaboration (p. ex.,
ateliers, conférences). On a tiré des
déductions de ces constatations pour évaluer
l’atteinte des objectifs du Programme.
La possibilité que les personnes
interviewées donnent de l’information
partiale.
On a fait une comparaison entre les données
des entrevues de tous les groupes et d’autres
sources d’information (p. ex., documents et
dossiers).
La hiérarchie des objectifs, des résultats
et des extrants énoncés dans l’accord du
Programme n’est pas claire et elle ne
s’harmonise pas bien à la structure de
programme actuellement mise en
pratique.
L’équipe de l’évaluation s’est concentrée sur
les résultats escomptés énoncés (c.-à-d. les
extrants) complétés par des composantes
clés des objectifs énoncés (c.-à-d. les
résultats) qui n’étaient pas inclus autrement
dans les résultats escomptés.
Tableau B-1. Limites de l’évaluation et stratégies d’atténuation. Le tableau indique les limites de
l’évaluation ainsi que chaque stratégie d’atténuation qui y correspond.
Chef – Service d’examen
B-2/2