Évaluer est un acte quotidien que chacun d’entre nous réalise sans même savoir que c’est de l’évaluation : il suffit pour cela que nous goûtions un plat que nous préparons, pour savoir s’il faut rajouter tel ou tel ingrédient. Mais, cette démarche ne se limite pas à la cuisine. On la retrouve tout aussi bien dans le processus de production, que dans les relations salariales, dans les politiques publiques, l’apprentissage scolaire ou la méthodologie de projet au cœur du monde de l’animation. Si sa raison d’être est bien de mesurer la qualité du résultat escompté, les enjeux de cette procédure vont au-delà de la simple comparaison de l’avant et de l’après. Ils interrogent l’articulation entre le secteur commercial et industriel et celui du social. C’est ce que va aborder le dossier de ce mois.

L’évaluation : de l’acte banal à l’acte sophistiqué

Pour bien comprendre les mécanismes de l’évaluation, il faut décliner, au préalable, la multiplicité de ses domaines d’application. Ce qui permet de constater combien cette démarche joue un rôle essentiel, à certains des moments de notre existence.

La démarche d’évaluation est présente chez chacun d’entre nous, à chaque instant. Quand nous dialoguons avec un interlocuteur, nous mesurons l’impact de nos paroles. Quand nous engageons une action, nous sommes attentifs au résultat que nous allons obtenir. Quand nous dormons, notre forme au petit matin permet d’établir la qualité de notre sommeil. Pour nous adapter tant à notre réalité intérieure, qu’au monde qui nous entoure, notre conscience cherche à vérifier les effets et les conséquences des actes que nous posons et des interactions que nous tissons en permanence. Mais bien d’autres formes d’évaluation ont été élevées au rang de véritables méthodologies.

De l’école … à l’animation socioculturelle

Évaluer est l’un des moyens principaux utilisés par les enseignants pour mesurer la progression de leurs élèves. Ils l’utilisent sous trois formes. L’évaluation sommative, d’abord, qui leur permet d’identifier le niveau de formation atteint. L’évaluation formative ensuite, qui n’a pas pour objectif de classer, de mettre des notes, de blâmer ou de récompenser, mais de mieux comprendre les intérêts et acquis, afin d’aider à apprendre. Quant à l’évaluation pronostique, elle est utilisée lors des orientations et se veut prédictive sur les chances de réussite d’un élève dans une voie de formation ou une discipline. A son tour, le monde de l’animation s’est très vite emparé de cette démarche. Il n’est pas de projet qui soit monté, sans que son évaluation ne soit aussitôt prévue afin de vérifier si on a atteint les objectifs que l’on s’était fixé. Cette mesure peut se pratique, à l’issue de l’action engagée. Mais elle peut aussi l’être à un stade intermédiaire, afin de pouvoir redresser les orientations prises, si celles-ci semblent ne pas répondre aux ambitions initiales. Cette évaluation permet aux bénéficiaires d’exprimer leur degré de satisfaction, de donner aux financeurs une lisibilité sur l’utilisation de l’argent investi, de fournir aux professionnels un retour sur leur prestation et de proposer à tout le monde une lisibilité sur le fonctionnement de l’activité et les résultats tant quantitatifs que qualitatifs des structures socioculturelles.

Des entreprises … aux politiques publiques

C’est dans l’industrie qu’a émergée la notion de « démarche qualité », plaçant l’adéquation à une référence préalablement fixée au cœur de la production de biens et de services. Le concept est appliqué massivement par le Japon, dans le cadre de sa reconstruction après la seconde guerre mondiale. Les États-unis l’utilisent, à leur tour dans les années 1980, pour répondre aux risques environnementaux dans l’industrie. La France l’introduit à la décennie suivante, mettant en oeuvre des normes dites ISO destinées à atteindre un niveau de qualité totale : il s’agit de réduire au maximum les gaspillages et d’améliorer en permanence ce qui est mis sur le marché. L’évaluation est alors l’un des outils principaux de cette procédure. Cette culture va rapidement se généraliser à l’ensemble des techniques de gestion des entreprises, au point de s’étendre aux services publics. La double volonté de demander des comptes à toute structure financée par la collectivité et de rationaliser les politiques publiques dans une période de tension budgétaire aboutit, en 1997, au lancement de la révision générale des politiques publiques (RGPP) qui  vient substituer l’obligation de résultats à l’obligation de moyens. A l’image de ce qui se passe dans le privé, la mesure d’efficacité des services publics n’est plus calculée par rapport à sa raison d’être (fournir des services disponibles pour tous afin de satisfaire les besoins sociaux ) mais bien en regard d’exigences de rentabilité financière. L’évaluation est là aussi convoquée comme moyen d’établir le degré d’efficacité obtenu.

Quelle évaluation veut-on mener ?

L’évaluation se fait en fonction d’un objectif. Ce qui a été réalisé était-il justifié et bien-fondé ? C’est la mesure de la pertinence. Les résultats escomptés ont-ils été atteints ? C’est la recherche de l’efficacité. Les actions envisagées ont-elles été menées à bien ? C’est la quête de l’effectivité. Y a-t-il une rentabilité opérationnelle au regard du rapport coût/avantages ? C’est le calcul de l’efficience. L’action peut-elle se perpétuer ? C’est l’estimation de la viabilité. Les moyens étaient-ils adaptés entre eux et avec ce qui était visé ? C’est l’appréciation de la cohérence. Quelles influences globales peut-on mesurer ? C’est la recherche d’impact.

 

Les risques de l’évaluation

Les critiques n’ont pas tardé à se multiplier quant à l’utilisation d’une évaluation qui chercherait à imposer un objectif de rentabilisation financière à un secteur social qui, par essence, n’a pas vocation à être rentable- et ne doit pas l’avoir.

Commençons par la parabole imaginée par Jean-Louis Lemoigne(1) et adaptée par un mélomane. Il était une fois le manager d'un opéra réputé qui, dès sa nomination, mandata un cabinet d’audit pour évaluer l'efficacité de l'orchestre symphonique et pour lui faire des recommandations d'organisation et de bonne gestion. Voilà son rapport : « On observe que les quatre joueurs de hautbois sont pratiquement inoccupés pendant les neuf dixièmes du temps. Il importe donc de réduire leur nombre et de mieux répartir leurs interventions, plus régulièrement sur la durée du concert. Ou alors, placer leurs interventions en début de concert, de sorte qu'ils puissent ensuite aller s'employer ailleurs. Leur coût en serait réduit.
De même les douze violons jouent strictement les mêmes notes au même moment. Il y a là une duplication insupportable, en termes de bonne gestion. L'effectif de cette section doit être réduit de manière drastique et si un grand volume sonore est nécessaire, il sera plus économique d'acheter, à un prix raisonnable, un amplificateur puissant. (…) De même, est-il utile de faire répéter par les cuivres ce qu'on vient d'entendre joué par les cordes ? On pourrait réduire de deux heures à une trentaine de minutes la durée d'un concert en éliminant ces répétitions. On pourrait ainsi supprimer l'entracte onéreux, compte tenu de l'éclairage du foyer, même si l'on prend en compte les bénéfices du bar. D'autre part, il semble anormal de demander par moments aux musiciens d'instruments à vents des efforts qui paraissent excessifs. La médecine du travail pourrait s'en émouvoir et l'on ne peut prendre le risque d'avoir à verser des indemnités à ces musiciens. Ne serait-il pas plus judicieux d'en réduire le nombre et de doter l'orchestre d'un compresseur piloté par un technicien distribuant l'air sous la pression adéquate aux instruments concernés ?(…) ».(2)

Sous le feu de la critique

Si le resserrement des budgets et la recherche d’une gestion plus rigoureuse s’imposent de plus en plus dans le secteur social, il n’est par pour autant acceptable de prendre en exemple le secteur concurrentiel. Pour mieux se positionner face à la compétition du marché, ce dernier cherche à diminuer ses coûts financiers et à accroître la rentabilité de sa production. La quête de la qualité n’a d’autre ambition, au final, que d’augmenter les profits réalisés. Grand bien lui fasse ! Mais, il serait totalement aberrant d’employer cette méthodologie dans le monde de l’animation socioculturelle. Parce que cette activité n’a pas, au même titre que l’enseignement, la santé, la sécurité, la justice, la culture, le sport etc... à être rentable. Les professionnels y travaillant ne peuvent se référer à une norme reproductible et généralisable(3). Ils agissent selon un cheminement qui intègre une part incontournable d’inattendu et de non programmable qui rend illusoire la connaissance à l’avance des bonnes solutions. Les réalités fugaces, déconcertantes et ambiguës rencontrées au quotidien ne se prêtent ni à une mesure précise, ni à un calcul exact, ni à un raisonnement rigoureux. Les outils ont peu à voir avec un quelconque catalogue de recettes prêtes à l’emploi, un manuel de savoir-faire garanti ou une méthodologie de l’action propre à contenir la chimère d’une réussite certaine. Une pratique trop encadrée et règlementée signerait la fin de l’expérience inventive, l’effacement de la part d’arbitraire inhérente à toute créativité. Ce dont ont besoin les professionnels, ce n’est pas de normes pré-établies, mais d’aide dans l’élaboration de leur savoir faire. Et cela ne passe par leur contrôle, mais par une analyse de leurs pratiques qui questionne, dans l’épreuve partagée, les difficultés quotidiennes, laissant la place au doute, au temps subjectif de chacun et au débat permanent.

   

(1) "La modélisation des systèmes complexes" Jean-Louis Le Moigne, Dunod, 1999, 192 p.

(2) http://bistrotaccordion.blogspot.com /2008/06/jeudi-3-juillet-efficacit-efficience.html
(3) « Le travail social mis à mal. Le risque totalitaire » Romuald Avet, EFédition, 2007.

 

Les stratégies absurdes de l’évaluation quantitative
La nouvelle doctrine de l’évaluation des politiques publiques privilégiant la culture du chiffre, les forces de police et de gendarmerie se sont vues imposer des obligations de résultats. Primes, progression dans la carrière, nomination aux postes souhaités... ont commencé à dépendre de l’efficacité de chacun dans l’identification des infractions. Le nombre de gardes à vue a explosé. Mais la répression qui s’est le plus accrue concerne les transgressions les plus faciles à appréhender : simples consommateurs de cannabis, étrangers en situation irrégulière, dépassements de vitesse. L’efficacité a augmenté certes, la sécurité sans doute pas !

 

S’approprier la démarche d’évaluation

Nous avons commencé par décrire le vaste champ d’action de l’évaluation ; nous avons continué en dénonçant les risques de simplification qu’elle faisait courir aux pratiques professionnelles. Dès lors, comment réussir à l’appliquer avec pertinence? 

Il n’est pas possible de rejeter en bloc l’évaluation. D’abord parce qu’elle s’impose à nous, comme mode d’acquisition de connaissances sur ce que nous réalisons au quotidien. Ensuite, parce qu’elle intervient de plus en plus souvent dans le secteur de l’animation, comme dispositif institutionnel, devenant même l’outil dont l’utilisation est exigée par de plus en plus de financeurs. La loi 2002-2, qui a réformé le secteur social et médico-social, a fait obligation aux établissements et services qui en dépendent, de procéder à une évaluation interne tous les cinq ans et à une évaluation externe tous les sept ans, conditionnant leur renouvellement d’agrément à la réalisation de ces procédures. Même si des organismes telle la CAF l’exige déjà pour continuer à verser ses subventions, l’animation socioculturelle n’est pas encore soumise structurellement à ce type de contraintes. Cela pourrait bien ne pas durer. Dès lors, les professionnels ont tout intérêt à ne pas attendre de se les voir imposer. Mieux vaudrait qu’ils les investissent avant, afin de tenter de les apprivoiser et de les adapter  à leur réalité. Pour y arriver, leur vigilance devra porter sur quelques points essentiels.

Quelles précautions ?

Le premier d’entre eux doit mettre l’accent sur la qualité et non sur la conformité, sur le pourquoi avant le comment. Ce qui importe ce n’est pas tant le nombre d’activités proposées, mais de quelle manière elles participent à l’éducation de l’enfant. L’adéquation du projet d’animation avec le projet éducatif doit servir d’axe central à toute évaluation. Il peut arriver qu’une multitude d’activités se fassent dans une logique occupationnelle de consommation passive alors que l’abstention volontaire de toute proposition soit plus porteuse pour l’autonomisation de l’enfant. C’est difficile à justifier et surtout à expliquer à des financeurs qui n’ont pas forcément la culture de terrain. Il faut néanmoins tenter de le faire plutôt que d’avoir recours à des statistiques d’autant plus tentantes qu’elles sont bien plus visibles. Second point : une évaluation ne peut se faire dans la précipitation. Si l’on veut éviter qu’elle ne se transforme en une simple démarche formelle et routinière, il faut se donner les moyens d’en faire un outil souple, adapté et en prise directe avec ce que les professionnels et les publics vivent. Cela demande du temps. Mais c’est là le seul moyen d’élaborer des critères dynamiques. Troisième point : l’évaluation doit coller le plus possible à la réalité de chaque structure socioculturelle. Son lieu d’implantation, son histoire, la population qui la fréquente, le contexte dans lequel elle évolue, le travail de partenariat dans lequel elle est engagée etc… sont autant de circonstances qui doivent jouer un rôle actif dans l’élaboration de la procédure.

Un outil au service des pratiques

L'évaluation peut appauvrir les pratiques professionnelles, comme elle peut être un moyen de prendre du recul par rapport au quotidien et à l'opérationnalité de tous les jours. Elle peut devenir une aide à la réflexion sur le projet institutionnel. L’idée n’est alors pas d’évaluer le public, le professionnel ou le résultat, mais la démarche : quels moyens prend l'institution pour réaliser ce qu'elle a annoncé ? Si cette évaluation porte sur les moyens, sur la manière d’agir, elle peut dès lors devenir un travail d’amélioration continue : cerner les points à améliorer et envisager des actions concrètes pour les corriger, à différents niveaux, dire concrètement ce que l’on fait pour arriver à ce vers quoi l’on tend. Le projet n’étant pas figé, l’évaluation peut lui permettre d’évoluer régulièrement. Tout va dépendre de la façon dont les personnes directement concernées s’en emparent, se l’approprient et le transforment en outil singulier.

Une évaluation réussie

« La démarche d'évaluation, à son début, a été assez mal perçue par l'ensemble de l'équipe. Même si nous avons  toujours gardé à l'esprit de ne pas vouloir faire le jeu des approches ciblées, prédictives et normatives chères à l'idéologie politique sécuritaire, chacun a commencé à percevoir l'intérêt d'une telle démarche. Nous avons pu cerner les points à améliorer et envisager des actions concrètes pour les corriger. Au cours de cette autoévaluation, nous avons pu faire ressortir les points forts de notre action. Par conséquent, ce projet est extrêmement valorisant à l’extérieur de l’institution, auprès de nos partenaires. »
Nicolas Auvray, éducateur spécialisé en ITEP. 

Lire interview Rousseau Dominique - Evaluation

Bibliographie

« Le travail social mis à mal. Le risque totalitaire »
Romuald Avet, EFédition, 2007
  Le travail social est critiqué sur ses méthodes et son manque d’objectivité, son absence de transparence et son déficit de résultats. Pour y remédier, on veut lui imposer des procédures d’évaluation quantitatives et qualitatives. Quel qu’il soit, aucun protocole ne permettra jamais de rendre compte de la complexité des processus à l’œuvre. Le savoir des intervenants est toujours fragmentaire et provisoire. Il n’obéit ni à la logique de la preuve, ni au raisonnement causaliste et explicatif, pas plus qu’au principe d’objectivité pure. La recherche de résultats tangibles, voire immédiats, ne s’accorde guère avec le souci d’une action en profondeur et dans la durée, soucieuse de construire avec les usagers, au cas par cas, des solutions toujours particulières .
 
« L’évaluation des pratiques dans le champ de la protection de l’enfance »
Michel Boutanquoi& al, L’Harmattan, 2008
Croire que les effets de la protection de l’enfance ne peuvent se mesurer qu’à l’aune des bonnes intentions initiales n’est que pure illusion. Mais, penser que l’amélioration des pratiques pourrait être obtenue grâce au contrôle de conformité de l’action engagée au regard d’un cahier des charges initial, d’une norme, d’un gabarit ou d’un modèle pré-établi est tout aussi chimérique. L’importation sans précaution, dans le monde du social, des outils de l’entreprise et des idéologies managériales a largement contribué à obscurcir la question de l’évaluation. Référentiels, démarches qualité, positionnement consumériste de l’usager conviennent sans doute à la logique gestionnaire qui cherche à rationaliser et à objectiver la réalité. Elles ne sont guère appropriées à une démarche de relations humaines qui échappe largement à toute tentative de transparence.
 
« L’évaluation des pratiques dans le champ de la protection de l’enfance »
Michel Boutanquoi & al, L’Harmattan, 2008
Croire que les effets de la protection de l’enfance ne peuvent se mesurer qu’à l’aune des bonnes intentions initiales n’est que pure illusion. Mais, penser que l’amélioration des pratiques pourrait être obtenue grâce au contrôle de conformité de l’action engagée au regard d’un cahier des charges initial, d’une norme, d’un gabarit ou d’un modèle pré-établi est tout aussi chimérique. L’importation sans précaution, dans le monde du social, des outils de l’entreprise et des idéologies managériales a largement contribué à obscurcir la question de l’évaluation. Référentiels, démarches qualité, positionnement consumériste de l’usager conviennent sans doute à la logique gestionnaire qui cherche à rationaliser et à objectiver la réalité. Elles ne sont guère appropriées à une démarche de relations humaines qui échappe largement à toute tentative de transparence.
 
« La gouvernance des associations. Economie, sociologie, gestion »
Christian Hoarau et Jean-Louis Laville, érès, 2008
Les associations qui avaient rêvé de bénévolat, de gratuité, de générosité et de travail en commun harmonieux, vivent parfois des enjeux de pouvoir, des conflits violents, des identités non reconnues, un sentiment de perte de projet et donc de sens. La dirigeance associative, qui est passée successivement des mains des figures religieuses et paternalistes à des personnalités contestataires et charismatiques, est de plus en plus investie par une technocratie managériale qui s’inspire des techniques de gestion scientifiques des marchés. Certes, le contexte de restriction financière ambiant peut expliquer l’adaptation aux exigences de transparence financière et d’adéquation entre les recettes et les dépenses posées par les financeurs. Pour autant, le non respect des spécificités associatives présente le risque de compromettre durablement leur efficacité et leur efficience.
 
« Le travail social à l’épreuve du néo-libéralisme. Entre résignation et résistance » 
Raymond Curie, L’Harmattan, 2010 
La vague néo-libérale qui ravage nos sociétés depuis quelques décennies, n’a pas épargné l’action sociale, venant menacer progressivement son fondement et son éthique. L’ouvrage de Raymond Curie en fait un descriptif implacable, reprenant étape après étape, la chronologie d’une catastrophe annoncée : celle de l’alignement du secteur social sur la logique commerciale et industrielle. Le travail social s’est construit historiquement sur toute une série de valeurs fortes privilégiant l’action sur un long terme, la relation d’aide tant aux personnes qu’aux groupes, la recherche des causes, l’accompagnement approfondi. Un autre paradigme est en train d’imposer l’intervention transitoire, menée sur un court terme, axée sur les symptômes et s’appuyant sur une approche individualisée et segmentée. Ce morcellement répond à la volonté de réduire le rôle de l’État, en remplaçant la culture de moyens par la culture de résultats. 
 

 

 Jacques Trémintin -  Journal De l’Animation  ■ n°113 ■ novembre 2010