Deux phases, cinq étapes chacune, un livrable par étape.

J'utilise l'échelle TRL, les neuf niveaux de maturité technologique, pour situer une technologie et éviter de traiter un sujet de recherche comme un produit disponible. Beaucoup de projets échouent parce qu'ils étaient prématurés, pas parce qu'ils étaient mal conduits.

Trois maturités se confondent en permanence dans les dossiers d'achat, et il faut les séparer : celle de la technologie sous-jacente, celle du produit qui l'emballe, et celle de votre propre organisation face à cet usage. Une technologie mûre dans un produit jeune vendu à une organisation qui n'a ni les données ni les rôles pour l'exploiter, cela ne fait pas un projet mûr.

Cette étape est courte. Elle est surtout là pour écarter, tôt, ce qui n'a rien à faire dans la comparaison, et pour aligner tout le monde sur la nature de ce qu'on regarde.

Le jeu se constitue avec vos experts, à partir de cas réels et notamment des cas difficiles et ambigus, jamais à partir des exemples fournis par l'éditeur. C'est l'étape qui décide de la valeur de tout le reste : qui construit le jeu décide de qui gagne.

Un jeu utile mélange quatre natures de cas. Les cas courants, dans la proportion où ils arrivent réellement chez vous, parce qu'une solution excellente sur l'exotique et médiocre sur l'ordinaire est une mauvaise solution. Les cas limites, ceux qui sont à la frontière de deux règles. Les cas pièges, ceux qui ressemblent à un cas courant et n'en sont pas. Et les cas hors périmètre, où la bonne réponse est de dire qu'on ne sait pas : une solution qui ne sait jamais s'abstenir est un risque, pas une aide.

La vérité de référence est établie par vos experts avant qu'ils aient vu la moindre réponse de la moindre solution. C'est une contrainte pénible et elle n'est pas négociable : une référence écrite après coup s'aligne toujours, inconsciemment, sur la réponse qui semblait la plus convaincante.

Mêmes entrées, mêmes critères, plusieurs passages. Les critères couvrent la qualité de la réponse, la couverture fonctionnelle, la robustesse aux cas limites, le coût à l'usage et la conformité, auxquels j'ajoute la réversibilité quand l'engagement est long.

Plusieurs passages, parce qu'un système génératif n'est pas déterministe : la même question posée deux fois ne donne pas exactement la même réponse. Un seul passage mesure autant la chance que la qualité. L'écart entre deux passages d'une même solution donne d'ailleurs une information précieuse : si cet écart est du même ordre que l'écart entre deux solutions, alors la comparaison ne dit rien et il faut élargir le jeu.

La notation se fait en aveugle chaque fois que c'est possible, c'est-à-dire sans que l'évaluateur sache quelle solution a produit la réponse qu'il note. C'est une précaution simple, et elle change les résultats plus souvent qu'on ne le croit.

Chaque note renvoie à un cas précis du jeu. Une note qui ne s'appuie sur aucun cas n'est pas une note, c'est un avis.

Une campagne unique mesure un instant, sur un état de version. Plusieurs campagnes mesurent une trajectoire, et c'est la trajectoire qui permet de s'engager sur plusieurs années.

Concrètement, on rejoue le même jeu à intervalle donné, sur les versions successives des solutions retenues. Trois choses apparaissent alors, qu'une campagne unique ne montre jamais. Le sens et la vitesse du progrès : un éditeur qui gagne régulièrement du terrain sur vos cas vaut souvent mieux qu'un éditeur en tête au premier passage et à l'arrêt depuis. Les régressions : une nouvelle version qui améliore la moyenne peut avoir cassé exactement le cas limite qui vous importe. Et la stabilité du fournisseur lui-même, qui se lit dans sa façon de traiter les écarts que vous lui remontez.

Sur les technologies qui évoluent vite, l'écart entre deux campagnes espacées de quelques mois est fréquemment plus grand que l'écart entre deux concurrents à un instant donné. C'est une raison suffisante pour ne jamais décider sur une photo.

Une grille comparée, une recommandation argumentée et les conditions de réussite. Pas un rapport de tests que personne ne lit.

Le test du livrable est simple : un comité doit pouvoir décider sur ce seul document, sans réunion préalable de décryptage. Il énonce donc la recommandation en premier, les conditions auxquelles elle tient ensuite, et les résultats détaillés en annexe pour ceux qui veulent vérifier.

Il dit aussi ce qui n'a pas été mesuré. Une évaluation a des angles morts, toujours. Les nommer vaut mieux que de laisser le lecteur croire que le périmètre était complet.

Trois issues sont possibles à ce stade, et une seule d'entre elles conduit à la phase suivante : retenir une solution et l'éprouver chez vous, élargir la recherche parce qu'aucune ne convainc, ou renoncer parce que le besoin ne justifie pas le coût. Renoncer ici coûte le prix d'une évaluation. Renoncer après un déploiement coûte tout autre chose.

Une note courte qui pose l'enjeu, le périmètre, et les indicateurs de décision fixés dès le départ. On passe quand l'enjeu est formulé de façon vérifiable, pas seulement intéressante.

La différence entre les deux tient en une phrase. « Améliorer le traitement des dossiers grâce à l'IA » est intéressant et ne se vérifie pas. « Réduire le délai de première réponse sur les dossiers de la catégorie B, mesuré sur le mois écoulé, sans dégrader le taux de reprise » se vérifie, et permet de dire à la fin si c'est gagné ou perdu.

Les indicateurs se fixent maintenant, pas à la fin. C'est la seule protection contre le biais qui consiste à découvrir après coup que la vraie valeur du projet était ailleurs, précisément là où les résultats sont bons.

Le cadrage nomme aussi ce qui n'est pas dans le périmètre. Une expérimentation dont les bords ne sont pas dessinés grossit jusqu'à ne plus rien pouvoir démontrer.

Un état des lieux partagé de l'organisation, des données, de la technologie et des contraintes réglementaires, puis les options et leurs compromis. On passe quand les options sont réduites à celles qui méritent un test réel.

Quatre dimensions, et c'est rarement la technologie qui bloque. L'organisation : qui fait quoi aujourd'hui, qui devra faire autrement, et qui a intérêt à ce que rien ne change. Les données : existent-elles, sont-elles accessibles, dans quel état, et à quel prix les rendre exploitables. La technologie : ce que suppose l'intégration au système existant, et ce qu'elle coûte. Les contraintes réglementaires : ce que la nature du traitement impose, et ce que votre secteur ajoute.

Le mot important est « partagé ». Un diagnostic que le métier conteste ne sert à rien, même s'il est juste. Il se construit avec les gens dont on décrit le travail.

À la sortie, les options sont peu nombreuses et chacune porte son compromis explicite. Une option sans inconvénient est une option mal instruite.

Une hypothèse précise, un périmètre limité, un délai borné, un protocole de test explicite. On passe quand des résultats observables existent, favorables ou non.

Ciblée est le mot qui porte tout. Une expérimentation qui cherche à démontrer que « ça marche » ne démontre rien, parce qu'elle n'a pas de condition d'échec. Une expérimentation qui teste une hypothèse formulée à l'avance, sur un périmètre où l'on saura mesurer, produit un résultat dans les deux sens.

Le délai est borné dès le départ, et il est court. Une expérimentation qui dure devient un service de fait : les utilisateurs s'y habituent, l'arrêter devient politiquement coûteux, et la décision se prend alors toute seule, sans avoir été prise.

Le protocole dit qui utilise, sur quoi, pendant combien de temps, ce qui est mesuré et comment. Il dit aussi ce qui se passe en cas d'incident, parce qu'il s'agit ici de vrais utilisateurs sur de vrais dossiers.

La grille est renseignée sur la faisabilité, l'impact métier réel, la maturité, les risques réglementaires et de dépendance, puis confrontée aux critères du cadrage, sans les réécrire après coup.

L'impact métier réel est celui qui se constate, pas celui qui se déduit. Un gain de temps par dossier ne devient un gain qu'à deux conditions : que le temps libéré serve à autre chose d'utile, et que la charge ne se déplace pas ailleurs. Les deux se vérifient auprès de ceux qui font le travail.

C'est aussi ici que se mesure ce que l'expérimentation a coûté en interne, en temps d'équipe et en attention de l'encadrement. Ce coût est réel et il pèse dans la décision d'industrialiser, puisqu'il se reproduira à plus grande échelle.

La confrontation aux critères du cadrage est le moment de vérité de la phase. On reprend la note de cadrage, on la relit telle qu'elle a été écrite, et on répond point par point.

Une note argumentée, qui vaut autant si elle conclut à l'arrêt. L'arrêt documenté est une décision de gestion, pas un échec à dissimuler : c'est ce qui distingue une démarche de conseil d'une vitrine de réussites.

Les trois issues sont de poids égal et énoncées comme telles dès le cadrage. Industrialiser : la note dit alors à quelles conditions, avec quel dispositif de suivi, et ce qui devra être revérifié dans six mois. Ajuster le périmètre : la valeur est là, mais pas où on la cherchait, ou pas encore à cette échelle. Arrêter : la note dit pourquoi, ce que la démarche a appris, et à quelles conditions le sujet mériterait d'être rouvert.

Cette dernière partie est celle que l'on néglige, et c'est la plus utile. Une technologie écartée aujourd'hui pour cause de maturité insuffisante peut devenir pertinente dans dix-huit mois. Écrire les conditions de réouverture évite d'avoir à tout réinstruire, et évite aussi que le sujet revienne trop tôt.

Quelle que soit l'issue, ce qui a été construit vous reste : le jeu d'évaluation, la grille, le protocole d'expérimentation et les indicateurs. C'est le vrai actif de la démarche, celui qui sert à la décision suivante.