ÉVALUATION IMMÉDIATE DU CONGRÈS DU CFP, INTÉRÊT ET LIMITES
JM. CHARRIÈRE(1), AF. HALLIER LE GUEN(2)
1 - Département d’Anesthésie-Réanimation
2 - Service de chirurgie cardio-thoracique - CHU La Milétrie 86021 Poitiers
INTRODUCTION
L’évaluation immédiate tend à se généraliser lors des congrès médicaux. Elle
a trois objectifs
• Pour les orateurs, elle doit permettre d’évaluer la qualité de leur
intervention et l’intérêt qui y a été porté.
• Pour le comité d’organisation, elle permet d’évaluer l’adaptation de l’action
de formation aux besoins de l’assistance ainsi que la qualité des prestations
fournies.
• Pour les organismes d’accréditation, elle fait partie des critères lui
permettant de juger de la qualité d’une action de formation.
La mise en œuvre de ces évaluations pose plusieurs problèmes pratiques et
théoriques. Dans le cadre du congrès du CFP 2002 nous avons analysé les fiches
d’évaluation immédiate remplies par les participants. Le but de cette
présentation est de dégager les conclusions qui peuvent être tirées de ce type
d’analyse ainsi que les problèmes d’interprétation soulevés.
MATÉRIEL ET MÉTHODES
Les participants au congrès du CFP 2002 étaient invités à remplir une fiche
d’évaluation immédiate à l’issue de chacune des 9 sessions proposées. Quatre de
ces sessions se déroulaient dans une salle pouvant accueillir 300 personnes et
les 5 autres se déroulaient simultanément dans une salle pouvant accueillir 150
personnes. Chaque intervention était évaluée individuellement avec une
appréciation globale pour l’ensemble de la session. Chaque fiche d’évaluation
comportait des renseignements concernant la profession de l’auditeur (médecin,
infirmier, autre) ainsi que des appréciations notées de 1 à 6 portant sur la
connaissance du sujet, sur la qualité de la présentation, son niveau d’intérêt
ainsi que sur l’acquisition ou non d’éléments nouveaux pour la pratique et leur
niveau d’intérêt. Une évaluation sur l’organisation de l’ensemble de chaque
session était également associée. Les comparaisons entre les valeurs moyennes
des appréciations ont été réalisées par un test t de Student, les liaisons entre
les variables qualitatives à l’aide d’un test du Chi 2, une corrélation a été
recherchée entre les différentes appréciations de chaque intervention.
RÉSULTATS
502 fiches d’évaluation ont été récupérées, soit une moyenne de 56 fiches
par session (max 91, mini 33). Pour la grande salle 274 fiches (moyenne par
session 69, max 91, mini 51) ont été récupérées et 228 fiches (moyenne par
session 46, max 71, mini 33) pour la petite salle. L’ensemble de ces fiches
permet de totaliser 1 767 évaluations d’intervention.
39 % des fiches ont été remplies par des médecins,
53 % par des infirmiers de perfusion et 8 % par des professionnels « autres »
(laboratoires essentiellement).
La répartition entre médecins et infirmiers de perfusion dans les différentes
séances a été homogène, excepté pour une séance consacrée à l’hémostase en CEC
qui a eu une participation de médecins significativement plus importante
(médecins 55 %, infirmiers 37 %, p > 0,05).
La note moyenne de l’ensemble des évaluations concernant la connaissance du
sujet traité était de 3,38 (écart type 0,54), concernant la qualité des
présentations elle était de 4,60 (écart type 0,42), concernant leur niveau
d’intérêt elle était de 4,67 (ma écart type 0,46). Globalement 68 % de
l’assistance en moyenne (maxi 91 %, mini 33 %) avait acquis des éléments
nouveaux pour la pratique et le niveau moyen de ces éléments nouveaux était coté
à 4,29 (écart type 0,32).
Si l’on compare les évaluations complétées par les médecins et celles remplies
par les infirmiers de perfusion (entre 1 551 et 1 568 évaluations selon les
questions), on constate une différence significative (p < 0,01) concernant la
connaissance des sujets traités (3,51 pour les médecins et 3,16 pour les
infirmiers) et l’acquisition d’éléments nouveaux pour la pratique (74 % des
médecins contre 66 % des infirmiers, p > 0,05). Il n’y a par contre pas de
différence concernant l’appréciation de la qualité des présentations (4,54 pour
les médecins, 4,60 pour les infirmiers), le niveau d’intérêt des sujets (4,72
pour les médecins, 4,60 pour les infirmiers), l’importance des éléments nouveaux
acquis pour la pratique (4,31 pour les médecins, 4,37 pour les infirmiers) ainsi
que l’évaluation globale de l’organisation (4,93 pour les médecins, 4,82 pour
les infirmiers).
Sur l’analyse de l’ensemble des séances, la note portant sur la qualité de la
présentation est faiblement corrélée (r = 0,43, p < 0,05, figure 1) avec le
pourcentage de personnes ayant recueilli des éléments nouveaux pour leur
pratique, et fortement corrélée avec le niveau d’intérêt du sujet (r = 0,83, p <
0,01, figure 2). Aucune corrélation n’est retrouvée entre les différentes autres
notes.
DISCUSSION
Différents commentaires peuvent être faits concernant ces résultats.
• La plus forte présence de médecin dans une séance consacrée à l’hémostase pose
le problème de l’équilibre d’un programme se déroulant sur deux salles. En
parallèle se déroulait une autre séance consacrée à l’information au patient
susceptible de concerner plus spécifiquement les médecins (73 % et 89 % d’entre
eux ont acquis des éléments nouveaux pour la pratique pour les 2 interventions
évaluées) que les infirmiers (respectivement 65 % et 55 % d’acquisition
d’éléments nouveaux). Il aurait donc été préférable de programmer en parallèle
une autre séance plus attractive pour les infirmiers.
• Excepté ce problème de programmation, l’association médecins infirmiers au
sein d’un même congrès ne pose pas de problèmes particuliers puisque les
appréciations portées par ces deux groupes professionnels ne diffèrent pas quant
à la qualité des présentations et le niveau d’intérêt des sujets. La différence
concernant la connaissance des sujets traités est attendue et compréhensible. La
différence concernant l’acquisition d’éléments nouveaux pour la pratique peut
s’expliquer par la fonction de décision plus importante dévolue au médecin.
• La corrélation forte entre les notes portant sur
la qualité de la présentation et le niveau
d’intérêt du sujet pose le problème de la formulation des questionnaires. Il est
possible
qu’il y ait eu une confusion entre qualité et intérêt des présentations. La
formulation
spécifiant que la question porte sur la qualité des moyens pédagogiques comme
dans
le questionnaire proposé par le Collège français d’anesthésie réanimation semble
mieux adaptée [1]
• On aurait pu s’attendre à retrouver une corrélation inverse entre connaissance
du sujet
et acquisition d’éléments nouveaux pour la pratique. Cette corrélation n’est pas
retrouvée car trois interventions n’ont pas entraîné l’acquisition d’éléments
nouveaux
pour une forte proportion de l’assistance bien que la connaissance du sujet
traité soit
médiocre. Si l’on retire ces trois communications une corrélation significative
apparaît
et l’on peut penser que ces trois communications ne s’imposaient pas. La même
réflexion pourrait s’appliquer aux 2 communications pour lesquelles la
connaissance
du sujet est la plus importante et l’acquisition d’éléments nouveaux pour la
pratique
est faible. Il est cependant paradoxal de constater qu’une de ces deux
communications
n’a permis qu’à 33 % de l’assistance d’acquérir des éléments nouveaux pour leur
pratique (le plus mauvais score) mais qu’elle possède le meilleur score
concernant le
niveau d’intérêt (5,20).
Une telle évaluation immédiate comporte plusieurs limites qu’il convient de
souligner :
• Limite liée à l’exhaustivité du recueil des questionnaires, d’autant que la
proportion de
l’assistance n’ayant pas rempli le questionnaire ne peut être évaluée dans ce
type de
manifestation.
• Limites liées à l’association de présentations de différents types
(communications
libres, séances à thème, débat contradictoire, actualités, débat interactif) au
sein du
congrès. L’utilisation de questionnaires adaptés à chaque type de séance est
possible
mais cela empêche la comparaison des réponses entre les différentes séances ce
qui
rend leur interprétation difficile. A l’inverse un questionnaire « standard »
pour toutes
les séances peut ne pas être adapté aux particularités de chaque communication.
• Limites liées à la fiabilité des réponses comme cela a été signalé à
l’occasion d’une
session de formation, la communication d’un orateur absent a bénéficié d’une
excellente appréciation [2]. Une limite de ce type, pouvant être liée à la
formulation du
questionnaire, apparaît dans la corrélation retrouvée entre qualité de
présentation et
niveau d’intérêt du sujet.
• Limites liées à l’absence d’échelle de référence pour juger de la qualité
d’une action de
formation. L’appréciation de chaque intervention ne peut se faire qu’en
comparaison
avec les autres interventions de la même séance de formation. Leur signification
en
valeur absolue ne peut avoir de sens que par rapport à des échelles de référence
qui
actuellement n’existent pas. Leur création ne peut passer que par une
uniformisation
de la méthodologie et une mise en commun des résultats. Il serait alors possible
de
définir des niveaux moyens de réponses permettant un étalonnage des résultats.
CONCLUSION
Une action de formation efficace est théoriquement celle qui se traduit par un
bénéfice
clinique pour les patients. Une telle relation est impossible à mettre en
évidence en
pratique. Une enquête réalisée à distance de l’action de formation cherchant à
mettre en
évidence des modifications de la pratique des participants se rapproche de cet
objectif. Malheureusement ce type d’enquête est délicat à
mettre en œuvre et bénéficie d’un faible
taux de retour. Une enquête réalisée au décours des conférences est plus aisée à
réaliser
mais se heurte aux limites évoquées ci-dessus. De plus l’évaluation de la
qualité d’une
action de formation ne doit pas se limiter à la seule appréciation de
l’assistance, ce qui
pourrait aboutir à des attitudes démagogiques. Ce type d’enquête est cependant
un
requis minimal pour évaluer une action de formation. Son exploitation optimale
passe
cependant par une uniformisation des pratiques de questionnaire et une mise en
commun des résultats des évaluations des différentes actions de formation.
RÉFÉRENCES
1. Fiche d’évaluation immédiate du CFAR. Collège Français des Anesthésistes
Réanimateurs ; http://www.cfar.org.
2. Christian TF, Bonow RO. Evaluating CME speakers. N Engl J Med 1998;
338(16):1163.
