Le terrain

Une méthode se juge à ce qu'elle a permis d'écarter.

Ce cadre n'a pas été écrit pour être publié. Il s'est constitué en évaluant des technologies très différentes, dans une direction des systèmes d'information de 1 500 personnes, avec les équipes métier concernées. Voici quatre de ces évaluations, et ce que chacune a appris à la méthode.

Quatre évaluations

Des sujets sans rapport entre eux, un même protocole.

C'est précisément ce qui rend la méthode transposable : elle ne repose sur aucune connaissance particulière d'un domaine, elle repose sur la façon de poser la question.

Phase 1, étapes 3 et 4

Grands modèles de langage pour l'aide à l'indemnisation

Cinq campagnes successives, conduites sur un même jeu de 129 questions construit avec les experts métier. Le jeu est resté stable d'une campagne à l'autre, ce sont les versions des modèles qui ont changé.

Ce que le dispositif a montré

Sur une technologie qui évolue à ce rythme, l'écart entre deux campagnes espacées de quelques mois dépasse souvent l'écart entre deux concurrents à un instant donné. Décider sur une seule campagne revient à décider sur une photo prise au hasard.

Phase 1, étape 3

Neuf solutions de reconnaissance vocale

Neuf candidats mis en concurrence sur un protocole identique : mêmes enregistrements, mêmes critères, même nombre de passages, notation rapportée à une transcription de référence établie au préalable.

Ce que le dispositif a montré

La hiérarchie annoncée par les démonstrations commerciales et celle observée sur des enregistrements réels ne se recouvrent pas. Les conditions dégradées, accent, bruit, débit, chevauchement de voix, sont ce qui sépare vraiment les solutions.

Phase 1, étape 1

Une technologie de langue des signes

Qualification à l'échelle TRL avant toute mise en concurrence, pour situer ce qui relevait du produit disponible et ce qui relevait encore du sujet de recherche.

Ce que le dispositif a montré

Le cas d'école de l'étape 1. L'enjeu d'usage était fort et l'envie d'y aller aussi, mais la maturité ne permettait pas encore un engagement. Le dire tôt, et le dire avec une échelle partagée plutôt qu'avec une intuition, évite un projet mené trop tôt puis abandonné.

Phase 1, étapes 3 et 5

Quatre plateformes low code

Comparaison avant engagement, sur des cas de développement représentatifs plutôt que sur les exemples de démonstration des éditeurs.

Ce que le dispositif a montré

Sur ce type d'outil, l'engagement dure des années et le critère décisif n'est pas la facilité du premier écran : c'est ce qu'il en coûte de sortir. C'est cette évaluation qui a fait entrer la réversibilité dans la grille.

Le résultat

Écarter, puis sécuriser.

Ces travaux ont surtout servi à écarter des solutions séduisantes en démonstration, et à sécuriser celles qui sont effectivement passées en production. Les deux valent, et la première vaut souvent plus cher que la seconde.

Le rapport de coût est le seul argument qui compte ici. Une évaluation conduite sérieusement représente quelques semaines de travail. Un déploiement engagé sur la mauvaise solution représente des années de contrat, une reprise de données, une conduite du changement à refaire, et une équipe qui n'a plus envie d'entendre parler du sujet.

36

expérimentations d'innovation pilotées, dont cinq industrialisées

1 500

personnes dans la direction des systèmes d'information où ces évaluations ont été conduites

Qui porte cette méthode

Yann Daudin

Fondateur de Solicare. Consultant depuis 2007, d'abord en cabinet puis à mon compte : conseil en stratégie et en organisation, transformation des systèmes d'information, innovation.

De 2020 à 2026, responsable du département Innovation de la direction des systèmes d'information de France Travail. C'est là que cette méthode s'est construite, à force d'avoir à répondre à la même question sous des formes différentes : cette technologie tient-elle ce qu'elle promet, sur nos cas à nous, et à quel prix.

Aujourd'hui, j'interviens en indépendant sur ces évaluations, seul et nommément. Vous ne verrez pas arriver une équipe que vous n'avez pas rencontrée.

Repères vérifiables

  • Rapport CIGREF 2025

    Co-pilote du groupe de travail « Innovations technologiques et valeur pour les SI », rédacteur du rapport publié en janvier 2025, avec quarante experts de vingt-neuf organisations. Voir sur cigref.fr

  • TradEmploi

    Traduction instantanée en cent trente langues pour l'accueil des demandeurs d'emploi non francophones, projet piloté de bout en bout, déployé dans l'ensemble des agences. Primé au Grand Prix Syntec Conseil 2023, Or et Coup de cœur du jury, catégorie Innovation et Insights. Code ouvert sous licence AGPL v3. Voir le dépôt

  • Open Source Program Office

    Fondation et animation de l'OSPO : doctrine de publication, licences, processus de revue. Une quarantaine de dépôts publics et plus de quinze produits reversés. Voir l'organisation

Démonstrateurs publics

Solicare publie ses propres outils, ce qui permet de juger sur pièces plutôt que sur promesses.

Votre cas ne ressemble à aucun de ceux-là. C'est normal.

La méthode ne suppose aucune connaissance préalable de votre domaine, elle suppose l'accès à vos experts et à vos cas réels. Trente minutes suffisent à vérifier que les conditions sont réunies.