L’évaluation est-elle soluble dans l’éducatif ?

Rendue obligatoire par le législateur, l’évaluation peut-elle être une chance pour l’action des professionnels ou est-elle une menace ?  Tous ne partagent pas la même appréhension. Reportage dans l’association Marie Moreau qui a fait le choix de prendre le problème à bras le corps.
 
La loi du 2 janvier 2002 rénovant l’action sociale et médico-sociale fait obligation aux  établissements et services de ce secteur de procéder, au moins tous les cinq ans, à une évaluation interne, et à faire procéder, au moins tous les sept ans et deux ans avant la date de renouvellement de l’autorisation, à une évaluation externe. L’année 2007 s’est achevée, sans que tous les établissements aient rempli cette première obligation d’évaluation interne, loin de là. Certains ont procédé à un travail très formaliste. D’autres se sont enferrés dans une démarche dont ils ne savent plus trop comment sortir. D’autres encore, ont su mettre à profit cette contrainte, pour créer une véritable dynamique d’ouverture, en réussissant à interpeller les pratiques et à questionner les modes de fonctionnement. Cette diversité est en grande partie liée aux résistances et aux réticences d’un milieu professionnel non seulement peu préparé à la logique de l’évaluation, mais souvent hostile à sa logique.
 
 

Une pratique non mesurable

La démarche d’évaluation a effectivement bien mauvaise presse dans notre secteur. Elle se heurte à la conviction qu’un rapport d’accompagnement ou une relation clinique est à chaque fois unique, car s’adressant à un sujet singulier. Aucun modèle reproductible, ni généralisable ne peut être appliqué qui ferait l’objet d’une mesure précise, ou d’une prévision de résultats. « Dans la pratique du travail social, l’acte relève beaucoup plus du talent des praticiens, de leur art, de leur subjectivité, que de l’application d’une méthodologie efficace qui en réduit la complexité » affirme Romuald Arvet (1) A vouloir jauger l’efficience et l’efficacité de l’action engagée, « on en oublierait presque la complexité intrinsèque de tout rapport pédagogique ou tout simplement clinique, sa singularité, ses opacités, ses impondérables, tout cela au profit d’un système de preuves de plus en plus sophistiqué, impliquant la méfiance et la peur du risque, au seul service de la nouvelle rationalité gestionnaire, au demeurant assez boutiquière » (2) lui répond en écho Michel Chauvière. La messe semble donc être dite. Peut-on imaginer entrer peu ou prou dans de telles pratiques, sans perdre son âme ? Et puis … et puis, il y a des praticiens de terrain qui, confrontés à l’obligation que leur fait la loi, ont tenté de rendre les pratiques d’évaluation et la démarche qualité compatible avec la logique du travail social et éducatif. Ils ont décidé de s’approprier la méthodologie pour en tirer ce qui pouvait être utilisable, sans pour autant tomber dans les dérives perverses qu’on aurait pu craindre.
 
 

Une dynamique de changement

En avril 2005, Didier Mahé est nommé Directeur général de l’association Marie Moreau située à Saint Nazaire. L’homme qui arrive alors à ce poste a déjà derrière lui 26 années d’expérience de direction, dans le secteur sanitaire et médico-social, ainsi qu’une pratique de 5 ans, comme expert en accréditation de santé. Ses premiers mois d’exercice lui permettent d’évaluer un besoin de réactivation de la dynamique sociale au sein de l’institution. En collaboration étroite avec son président, il initie alors une procédure originale qu’il refuse, d’emblée, de limiter à une approche experte qui serait monopolisée par quelques cadres ou consultants. La démarche projet qu’il propose s’inscrit dans une logique qui, tournant le dos à toute subordination, veut privilégier la coordination, la délégation, la responsabilisation et la communication des différents acteurs. Cette large implication concerne le Conseil d’administration (qui va être amené à réécrire son projet associatif), l’équipe de direction (appelée à lancer et soutenir la démarche) et l’ensemble du personnel (invité à s’approprier la logique à l’œuvre et à construire), sans oublier les usagers (le Conseil de Vie Sociale sera consulté à chaque étape) et les instances de contrôle (informées de l’évolution du processus). Le choix est fait, toutefois, de recruter un consultant susceptible de jouer un rôle de tiers extérieur. Celui qui est finalement sélectionné le sera, non à partir de sa connaissance du secteur (auquel il est totalement étranger), mais pour sa capacité de médiation, d’écoute et son aptitude à être garant de la méthodologie. Il saura, au final, de sa place de candide, poser les bonnes questions.
 
 

L’élaboration des projets

Les différentes instances de l’association se mettent au travail, soutenues et accompagnées par le consultant qui interviendra sur vingt journées éparpillées tout au long de l’année 2006. C’est le Conseil d’administration qui commence par réécrire son projet d’association, l’articulant autour de trois axes (les valeurs, la vision et les missions) et des objectifs qu’il se fixe. Puis, vient l’étape de l’élaboration du projet de chacun des établissements et services. Didier Mahé se pose d’emblée comme pilote de l’opération et garant de l’articulation opérationnelle des objectifs du projet associatif, tout au long de son déroulement. Il participe aux comités de pilotage respectifs et définit une trame transversale qu’il veut voir transcender tous les projets individuels des personnes accueillies dans l’association : l’accueil, l’admission, l’accompagnement, l’évaluation, l’orientation vers la sortie. Chaque structure doit décliner son projet à partir des spécificités techniques de soins, de formation, de pédagogie, d’accompagnement social, de production etc… qui lui sont propres. Il laisse toute latitude à chaque responsable de structure de concevoir, avec son équipe, le contenu et la forme de la démarche. A la fin de 2006, la démarche est bien engagée : le projet associatif et les projets d’établissement sont construits et validés. L’enjeu de l’année suivante va être d’utiliser la même démarche participative et la même méthodologie, mais cette fois-ci pour élaborer les critères et indicateurs d’évaluation, à partir des objectifs énoncés dans les différents projets, puis de réaliser la collecte de l’information par les différents acteurs afin qu’une première autoévaluation puisse être réalisée ( bilan, régulation). Pour mieux comprendre ce qui a été imaginé et conçu, nous allons donner un coup de projecteur sur l’un des établissements de l’association : l’ITEP.
 
 

La réalisation des protocoles

L’année 2007 y est l’occasion d’un nouveau travail dont l’objectif final est de finaliser un outil d’amélioration continue. La première étape va consister à formaliser un certain nombre de procédures, protocoles et instructions portant sur toutes les actions potentiellement menées au sein de l’établissement, en pertinence au projet d’établissement élaboré et mis en œuvre en 2006. Des fiches sont alors réalisées, en collaboration avec les personnes directement concernées. Elles sont avant tout un outil. A ce titre, elles peuvent être corrigées ou complétées à tout moment, pour leur permettre  de coller le mieux possible à la réalité. Le document final est réparti en trois domaines : la prise en charge des usagers (admission, et accueil, organisation des sorties, tenue des dossiers, des traitements médicaux, gestion d’une situation de maltraitance, gestion d’une agression externe …), la qualité-securité-prévention (gestion d’une panne de chauffage, d’un dégât des eaux, d’une alerte incendie, de l’hygiène alimentaire …) et enfin, le management (gestion des ressources humaines, gestion administrative logistique et financière). L’objectif de ces fiches est bien de proposer un bon ordonnancement des actes quotidiens. Certaines préconisations semblent tomber sous le sens. Prenons l’exemple des instructions en cas de crise d’un enfant à l’ITEP. La première consigne consiste à isoler l’intéressé, afin de le sécuriser. Puis, on préconise de tenter de calmer la situation. Ce n’est que si la difficulté perdure qu’un responsable sera appelé.
 
 

Cadrer les procédures

On s’interroge sur la nécessité de créer une fiche pour affirmer ce qui peut apparaître comme des banalités. Pour autant, il arrive que dans l’affolement, on prenne les choses à l’envers. La hiérarchisation ainsi proposée constitue plus un filet de sécurité et une réassurance, qu’un mode d’emploi rigide et contraint. « Ce qu’on attend d’un professionnel, c’est non le respect strict et à la lettre d’une règle qui s’imposerait, sans discuter, mais une réaction d’abord guidé par un réflexe de bon sens, la fiche étant là, plus pour l’aider que pour l’asservir », explique Jacques Lambert, Directeur de l’ITEP. Si ces fameuses fiches décrivent des procédures assez simples, elles interviennent aussi pour ce qui est plus complexe. Ainsi, de la fugue. Premier réflexe demandé : vérifier que l’enfant est bien parti et n’est pas dans un coin de l’établissement. Ensuite, il est recommandé de lui laisser un temps raisonnable afin de lui permettre de revenir de lui-même. Ce n’est qu’ensuite qu’il faut appeler le cadre d’astreinte. Celui-ci a alors pour mission de vérifier que l’éducateur a bien rempli les points 1 et 2. Puis, il téléphone dans la famille de l’enfant pour savoir si celui- ci n’est pas rentré chez lui. Enfin, il téléphone à la police pour signaler cette disparition. Chaque professionnel est destinataire des fiches qui le concernent directement. Ainsi, chaque éducateur sait ce qu’on lui demande d’accomplir, quand il est confronté à une situation de maltraitance, à un début d’incendie ou quand il a à rédiger le projet personnalisé d’un usager.
 
 

Vers l’amélioration continue

Même si ces procédures peuvent toujours être amendées, elles restent malgré tout assez statiques. Leur élaboration a permis d’entrer dans une dynamique de réflexion qui va se poursuivre d’une manière bien plus réactive au travers de la dernière étape de la démarche engagée : l’amélioration continue des pratiques, la fameuse « démarche qualité ». Jacques Lambert rejette l’idée d’un guide de bonnes pratiques : « ce que nous avons cherché, ce n’est pas de décrire comment il faut faire, mais comment l’on fait. Ensuite, on vérifie si cela fonctionne bien. Si ce n’est pas le cas, on essaie de voir comment on peut améliorer. » L’ensemble du personnel est là aussi associé pour déterminer les critères de réalisation des objectifs énoncés dans le projet d ‘établissement. Tous les aspects de la vie de l’enfant au sein de l’établissement ont été passés en revue. A chaque item identifié, correspond toute une série de questions : existe-t-il une procédure ? Quels sont les moyens mis en œuvre ? Quels critères d’évaluation existent ? Quels indicateurs ont été choisis ? Comment se fait la collecte des informations permettant la vérification de la réussite de l‘objectif ? Et enfin, quel est le résultat ? A la fin de l’année, il est aisé de mesurer la réalisation ou non des moyens ainsi listés. Et c’est là que tout peut se gâter. Prenons l’exemple du degré de socialisation atteint par les enfants. On peut le mesurer au travers du niveau d’intégration scolaire ou d’inscription dans les activités extérieures. Il suffit pour cela, de comptabiliser le nombre d’enfants qui fréquentent respectivement des établissements scolaires ou des clubs sportifs ou culturels en dehors de l’établissement.
 
 

Mesurer l’efficience

Ainsi, dans le cas de l’ITEP, au cours de l’année 2007/2008, ils sont respectivement 9 et 18 enfants à bénéficier de ces services. Mais, que signifient ces chiffres ? Mesurent-ils l’efficacité du travail de l’équipe ou le degré de difficulté que présente à un moment donné le groupe d’enfants ? Le risque serait de vouloir « faire du chiffre », de chercher à atteindre les objectifs prévus, voire de les dépasser, en ne tenant plus compte ni du rythme des enfants, ni de leur capacité à progresser. On n’ose imaginer la pression des financeurs, réclamant toujours plus de résultats. Mais, d’une part, l’utilisation de tels chiffres est infime au regard de la nature des critères proposés et ce chiffrage a été proposé par les personnels. En outre, c’est sans compter sur la capacité à expliciter un travail, à donner du sens aux chiffres, à élaborer un bilan qui ne soit pas strictement comptable. Cette méthodologie amène à visibiliser tout ce qui est mis en œuvre et à interroger les pratiques. Mais, ce n’est qu’un outil. Et comme tout outil, il peut être utilisé à bon ou à mauvais escient. Il peut tout autant servir à faire remonter des besoins et justifier de moyens supplémentaires. On retrouve dans l’approche mise en œuvre par l’association Marie Moreau tout ce qui peut à la fois inquiéter, mais aussi séduire les professionnels. Rendre enfin lisible ce qui fonctionne et ce qui manifestement ne fonctionne pas est une ambition qui peut être fort intéressante : plutôt que de travailler à l’aveuglette ou à l’instinct, n’y a-t-il pas des moyens de vérifier l’impact respectif de nos différentes pratiques ?
 
 

Vers une appropriation ?

Mais n’est-ce pas une utopie de croire que l’on puisse objectiver ce qui relève le plus souvent de l’indicible ? Cela ne va-t-il pas se transformer en cauchemar, quand on nous demandera peut-être demain de fournir des résultats chiffrés de nos actions ? De toute façon, nous n’avons plus le choix. Il nous reste soit la voie d’une résistance passive, en refusant tout en bloc, soit celle qui consiste à investir ces démarches d’amélioration continue pour y instiller du sens et du contenu éducatif, d’agir pour relativiser les chiffres et s’opposer à la seule logique de la rationalisation des choix budgétaires. Si nous sommes tenus à l’obligation de moyens et non à l’obligation de résultats, peut-être peut-on commencer à évaluer les moyens que nous mettons en œuvre ? Au sein de l’association Marie Moreau, les services et établissements ont terminé en 2007 leur première autoévaluation. Ceux qui s’adressent aux adultes ont choisi un rythme calendaire (de janvier à décembre), ceux accueillant des enfants fonctionnent sur l’année scolaire (de septembre à juin). Chacun procède ainsi à son autoévaluation annuelle, dans une dynamique qui répond à la fois aux exigences externes et aux besoins de l’équipe, la conséquence étant une dynamique d’amélioration continue. On mesure l’écart entre ce qui avait été prévu et ce qui a été réalisé afin d’ajuster la pratique. On valorise ce qui a bien fonctionné (critères de réussite) et  l’innovation trouve sa place au profit de la personne accueillie. 
 
(1)   « Le travail social mis à mal. Le risque totalitaire » Romuald Avet, EFEdition, 2007, p. 48 (cf. rubrique Lire  n°873)
(2)   « Trop de gestion tue le social. Essai sur une discrète chalandisation » Michel Chauvière, la Découverte, 2007, p. 68 (cf. rubrique Lire  n°873)
 

L’association Marie Moreau
L’association Marie Moreau, a été créée en 1959, pour gérer un IME. Depuis, elle n’a cessé d’évoluer. Elle est aujourd’hui constituée de six établissements et services. D’abord, un secteur enfance : un IME (Institut Médico Educatif), un ITEP (Institut thérapeutique, Educatif et Pédagogique) et un SESSAD (Service d’Education Spéciale et de Soins à Domicile). Elle comporte ensuite un secteur adulte : un ESAT (Etablissement et Service d’Aide par le Travail), un SAVS (Service d’Accompagnement à la Vie Sociale) et une résidence services (logements accompagnés). L’association prend en compte 170 personnes, l’âge des usagers s’étalant de 6 ans à 55 ans. Elle emploie 85 salariés.
 
 

Pourquoi ça marche ?

Au final, quels ont les ingrédients de la recette ? Didier Mahé le Directeur général de l’association nous livre son secret !
 
Quels sont, de votre point de vue, les critères de réussite de la démarche que vous avez initiée ?
Didier Mahé : j’en vois plusieurs. Il y a d’abord le sens qu’on y donne. Par sens, j’entends la direction et la signification impulsées. Il faut que chaque acteur de l’association sente qu’on réfléchit à ce qu’on fait ensemble et pourquoi on le fait. Il faut ensuite, que l’instance de gouvernance de l’association, le Conseil d’administration et son président, valide le projet et donne l’exemple. Il faut encore un pilote qui soit garant de l’opérationnalité de la démarche et  de son articulation : c’est mon rôle de dirigeant. Mais il est tout autant nécessaire de faire intervenir un tiers médiateur chargé à la fois de décristaliser les problèmes de pouvoir et de faire accoucher l’opération, ce que ne peut faire directement un directeur trop impliqué dans sa fonction de direction : c’est la fonction du consultant. Le premier relais à mobiliser est celui des fonctions d’encadrement : responsables de sites, cadres intermédiaires, cadres fonctionnels. Mais rien ne pourra se faire sans entraîner les personnels dans une dynamique d’appropriation, ce qui sous entend des processus d’assimilation et de transformation par les différents acteurs. En outre, on ne peut engager une telle démarche sans prendre le temps nécessaire, ni garantir la continuité de son déroulement. Enfin, la valorisation des critères de
 réussite conditionne la régulation des différents acteurs.

Quels sont les effets positifs que vous identifiez, à terme ?
Didier Mahé : Le premier effet positif est certainement l’esprit de changement et d’innovation qui règne dans l’association. J’en veux pour preuve les modifications qui ont été effectuées au secrétariat concernant la confidentialité des dossiers des usagers, avant même que la démarche n’arrive à son terme. Le protocole mis au point garantit dorénavant leur confidentialité, comme l’atteste la dernière inspection de la DDASS.  L’autre conséquence positive importante est l’effet miroir entre les différents cadres de direction. Chacun s’inspire des avancées de son voisin et s’en trouve stimulé. Il y a aussi un résultat non négligeable : celui de la transparence des actions entreprises. Tous les acteurs possèdent les mêmes informations. Dernière dimension, mais pas la moindre : l’effet sur les instances de contrôle qui, parce que nous sommes visibles et lisibles, nous font une grande confiance. Quand nous leur présentons un dossier, nous sommes d’autant plus crédibles.
 
… et les effets négatifs ?
Didier Mahé : nous nous sommes heurtés à une certaine résistance au sein du personnel. Ce n’est pas simple de se remettre en cause, ni de rendre visible sa pratique, encore moins de partager son référentiel. Mais la démarche de projet ne peut fonctionner que si les différents acteurs (personnel, usagers, administrateurs) acceptent de l’investir ensemble. J’évoquais à l’instant parmi les facteurs de réussite, l’appropriation. Cela  implique d’un côté la compréhension et l’assimilation de ce qui se met en place et de l’autre l’acceptation du changement et la mise en œuvre de la transformation. Il faut prendre en compte les résistances, afin d’essayer de les dépasser. Car sans la participation active des acteurs, la démarche d’amélioration continue ne peut vivre. A constater le résultat obtenu, je pense que l’on réussit à convaincre et à cheminer ensemble sans laisser trop de monde sur le bord du chemin.

 

De la méfiance à l’appropriation : itinéraire d’un éducateur

Nicolas Auvray est éducateur spécialisé dans l’un des établissements de l’association Marie Moreau. Son témoignage montre l’évolution qu’ont pu suivre certains salariés, depuis leurs réticences initiales jusqu’à  leurs convictions finales.
 
Comment l’équipe éducative a-t-elle accueillie le projet mis en œuvre par la direction de l’association ?
Nicolas Auvray : La démarche d'évaluation, à son début, a été assez mal perçue par l'ensemble de l'équipe pluridisciplinaire de l'ITEP. Le terme même d'évaluation était vécu un peu de manière inquisitrice et faisait ressortir certaines craintes : qui va-t-on évaluer ? Est-il possible d'évaluer notre travail avec la multitude de réalités auquel il renvoie ? Comment faire rentrer notre pratique dans des cases ? Que va-t-il se passer pour nous si l'évaluation est négative ? Quelle est la philosophie qui se cache derrière ce projet ? A quoi, à qui vont servir ces données ? Le champ social va-t-il être managé à la manière du monde commercial ? Est-ce que nous serons bientôt soumis à une obligation de résultat ? Les premiers temps de réunions ont fait ressurgir de vieux réflexes protectionnistes où les idéaux humanistes étaient en jeu. D'un point de vue économique, la démarche d'évaluation était mieux perçue car tout le monde ou presque s'entendait pour dire qu'il fallait de la transparence dans la gestion financière des établissements sociaux et médicaux sociaux. Utilisons-nous l'argent qui nous ait confié à bon escient ? Où vont les deniers publics ?

Ce questionnement s’est-il transformé en résistance active ou passive, ou bien a-t-il évolué ?
Nicolas Auvray : Le travail de réflexion se poursuivant, les points de vue ont évolué. Même si l'équipe a toujours gardé à l'esprit de ne pas vouloir faire le jeu des approches ciblées, prédictives et normatives chères à l'idéologie politique sécuritaire du moment (dépistage, fichage, pointage, comptage...), chacun a commencé à percevoir l'intérêt d'une telle démarche. L'évaluation permet de prendre du recul par rapport au quotidien, à l'opérationnel de tous les jours et oblige à réfléchir sur le projet institutionnel et à se rappeler nos intentions pour la personne accueillie. En outre, l’idée n’est pas d’évaluer l’usager, le professionnel ou le résultat, mais la démarche : quels moyens l'institution met en oeuvre pour réaliser ce qu'elle a annoncé ? C'est une évaluation qui porte sur les moyens, sur la manière d’agir. Paradoxalement, pendant les temps d’échanges sur le projet, c’est l’équipe qui tendait à dévier sa réflexion sur l’évaluation du résultat alors que c’est ce qu’elle craignait. La culture du résultat est finalement bien ancrée dans l’inconscient des équipes éducatives et pédagogiques et le consultant extérieur n’a eu de cesse de recentrer notre réflexion autour des moyens. Ce fut un véritable travail de déconstruction et de reconstruction-coconstruction autour du projet d’établissement et de nos pratiques, pour finalement aboutir à notre propre création.
 
Au final quel regard portez-vous sur cette démarche ?
Nicolas Auvray : C’est lors de la première évaluation interne que l’équipe a mis tout son sens aux nombreuses heures de réunions passées autour du projet ORION. En effet, au terme de cette première boucle, nous avons pu dégager nos points faibles sans attendre que notre action éducative et pédagogique butte dessus dans le quotidien. Car ce n’est pas seulement une démarche d’évaluation, c’est aussi un travail d’amélioration continue. Nous avons pu cerner les points à améliorer et envisager des actions concrètes pour les corriger, à différents niveaux. Le projet n’est pas figé et est amener à évoluer régulièrement.
Enfin, au cours de cette autoévaluation, nous avons pu faire ressortir les points forts de notre action. Par conséquent, ce projet est extrêmement valorisant à l’extérieur de l’institution, auprès de nos partenaires. Nous sommes en capacités de dire concrètement ce que nous faisons pour arriver à ce vers quoi on tend. Notre travail de réflexion plait manifestement auprès des instances de tutelle et cette reconnaissance fort appréciable quand elle fait cruellement défaut au quotidien.
 

Propos recueillis par Jacques Trémintin - mars 2008