Introduction. La formation de troisième cycle menant au diplôme d’études spécialisées de médecine générale (DES-MG) vise le développement des compétences du référentiel de médecine générale par les étudiants. Le récit de situation complexe et authentique (RSCA), outil d’écriture réflexive utilisé dans les départements de médecine générale, semble renseigner sur le développement des compétences des étudiants de troisième cycle. L’objectif de cette étude était de comparer les résultats d’une évaluation des compétences à partir d’un RSCA à celle réalisée en stage.
Méthode. Une étude observationnelle analytique a été menée dans quatre subdivisions dans le cadre de la cohorte NICOMNIREAC. Les étudiants volontaires parmi ceux en premier stage chez le praticien au 1er novembre 2021 ont été recrutés. Après recueil du consentement, leur premier RSCA a été évalué par les 5 investigateurs à l’aide du référentiel niveaux de compétences (RNDC). Une comparaison des niveaux de compétences à partir des évaluations de stage et du RSCA a été réalisée en utilisant le test exact de Fisher.
Résultats. Cinquante RSCA de trois subdivisions ont été évalués. La compétence « prévention, éducation » n’a pas pu être évaluée dans 36 RSCA. Les autres compétences ont pu être évaluées dans chaque RSCA, avec une concordance inter-évaluateurs minime, et sans association entre les niveaux de compétences évalués dans les RSCA et en stage.
Conclusion. Le faible accord inter-évaluateurs interroge le RNDC et ses modalités d’utilisation. Le suivi de la cohorte NICOMNIREAC sur trois ans participera à documenter l’utilisation du RNDC par les différents évaluateurs et sa fiabilité. Il est légitime de questionner l’utilisation du RSCA pour l’évaluation des niveaux de compétences alors qu’il est d’abord un outil d’apprentissage au service de la pratique réflexive.

Background. In the post-graduate program of residents in general practice, the competency- based approach aims to enable each resident to develop his competencies. The Complex and Authentic Situation Report (CASR) is the preferred reflective writing tool. Reading a CASR seems to provide information on the development of residents’ competencies. The main objective of our study was to compare the results of a competency assessment based on a CASR with one based on performance during the internship.
Method. An analytical observational study was conducted in four different medical faculty departments. Volunteer residents in their first internship with the practitioner as of November 1st 2021 were recruited. After consent was obtained, their first CASR was assessed by the five investigators using the “competency level framework” (CLF). A comparison of competency levels aggregated from the internship assessments and the CASR was performed using Fisher’s exact test.
Results. Fifty residents from three faculties were included (one faculty excluded). The competency “Prevention, education” could not be assessed in 36 CASR. The other competencies could be assessed in each CASR, with minimal inter-rater agreement, and no significant association between competency levels assessed in CASRs and in internships.
Conclusion. The low level of inter-rater agreement raises questions about the CLF and the way it is used. The 3-year follow-up of the NICOMNIREAC cohort will help to document the use of the CLF by the various assessors and its reliability. It is legitimate to question the use of the CASR to assess competencies’ levels, when it is first and foremost a learning tool to foster reflective practice.