La grille
La grille reste chez vous. Autant vous la donner tout de suite.
La grille est l'instrument de la mise en concurrence, en phase 1, puis de l'évaluation mesurée, en phase 2. Elle transforme des impressions en notes portées par des cas. Voici les familles de critères que j'utilise, le principe de notation, et un constructeur qui vous produit votre propre version, pondérée à votre main.
Aucune inscription, aucun courriel demandé. Le fichier se fabrique dans votre navigateur et n'en sort pas.
Trois règles, sans lesquelles la grille ne vaut rien.
-
Chaque note est portée par un cas.
La colonne de justification n'est pas un ornement. Elle contient le numéro du cas du jeu d'évaluation qui a produit cette note. Une note sans cas est un avis, et un avis ne se défend pas en comité.
-
Les poids se fixent avant de voir les résultats.
Pondérer après coup revient à choisir le gagnant puis à écrire les règles. Si un poids doit changer, le changement se date et se justifie.
-
La même grille sert à toutes les solutions, sans exception.
Y compris à la solution que vous avez déjà, et y compris à l'option de ne rien faire. Ce sont souvent les deux candidats les plus instructifs.
Comment noter
Une échelle courte vaut mieux qu'une échelle fine. De 0 à 5, en s'obligeant à décrire ce que valent le 0 et le 5 avant de commencer.
Le score pondéré sert à ordonner, pas à décider. Deux solutions séparées de trois points sur cent sont à égalité : ce sont les critères éliminatoires, les écarts sur les cas critiques et la trajectoire entre campagnes qui tranchent.
Marquez comme éliminatoire tout critère dont l'échec disqualifie, quelle que soit la note globale. La conformité en fait souvent partie.
Cinq familles qui couvrent l'usage, une sixième qui couvre l'après.
| Famille | La question à laquelle elle répond | Ce qui la rend mesurable |
|---|---|---|
| Qualité de la réponse | La solution répond-elle juste sur nos cas, y compris quand ils sont ambigus ? | La vérité de référence établie par vos experts, avant tout test. |
| Couverture fonctionnelle | Traite-t-elle le périmètre entier, ou seulement la partie facile ? | La proportion de cas du jeu que la solution accepte de traiter. |
| Robustesse aux cas limites | Que se passe-t-il aux frontières, sur les pièges, et sous charge ? | Les cas limites et pièges du jeu, et l'écart entre deux passages. |
| Coût à l'usage | Combien coûte le volume réel, une fois le projet en production ? | Le coût unitaire multiplié par votre volume annuel constaté, pas par le volume du pilote. |
| Conformité | Où vont les données, qui peut justifier une décision, et devant qui ? | La documentation contractuelle et technique, vérifiée pièce en main. |
| Réversibilité, dépendance et souveraineté | Que reste-t-il si vous changez d'avis dans trois ans, et de qui dépendez-vous entre-temps ? | La portabilité effective de vos données et de vos paramétrages, l'existence d'alternatives, et la localisation des traitements comme des décisions. |
Les cinq premières familles sont celles du protocole d'évaluation. La sixième s'ajoute dès que l'engagement dépasse l'expérimentation : elle ne mesure pas la solution, elle mesure ce qu'il vous en coûterait d'en sortir. Elle couvre trois choses distinctes qu'on confond souvent : l'enfermement propriétaire, ce que les anglophones appellent le vendor lock-in, c'est-à-dire le coût de sortie construit dans le produit ; la concentration du risque sur un fournisseur unique sans équivalent sur le marché ; et la souveraineté, c'est-à-dire le droit sous lequel tombent vos données et la capacité de votre organisation à continuer si la relation s'interrompt.
Composez votre grille, emportez le fichier.
Décochez ce qui ne vous concerne pas, ajustez les poids, ajoutez vos propres critères, nommez les solutions que vous comparez. Le fichier obtenu s'ouvre dans un tableur et se remplit à la main, cas par cas.
Apparaît en tête du fichier. Exemple : assistance à la rédaction de courriers, transcription d'appels, extraction de pièces justificatives.
Une échelle courte force à trancher. Cinq niveaux suffisent presque toujours.
Le fichier est au format CSV, séparateur point-virgule, encodage UTF-8 avec indicateur d'ordre des octets. Il s'ouvre directement dans un tableur en configuration française.
Une grille sans jeu d'évaluation ne sert à rien.
Ce constructeur vous donne l'instrument de mesure. Il ne vous donne pas ce qui se mesure. Le travail réel de la méthode est à l'étape 2 : constituer avec vos experts les cas sur lesquels les solutions vont être notées, et fixer la bonne réponse avant de voir ce que produisent les candidats.
Une grille remplie à partir de démonstrations commerciales reste une grille remplie à partir de démonstrations commerciales. Elle a simplement l'air plus sérieuse, ce qui est un inconvénient.
Si vous voulez la partie qui ne se télécharge pas, c'est là que j'interviens.
Usage libre
Cette grille vous appartient dès que vous l'avez téléchargée. Utilisez-la, modifiez-la, diffusez-la en interne, sans condition et sans mention à faire figurer.
Si elle vous a servi, dites-le-moi. C'est le seul retour que je demande.