Tutto.Praxis · deck de présentation
Praxis : Parcours avancé · 45 minutes

Ce qu'est une évaluation,
et quand il vous en
faut une.

La théorie avant l'atelier. Ce que sont vraiment ces outils, pourquoi la première évaluation qu'on construit finit presque toujours abandonnée, et comment choisir la bonne pour le travail qui vous attend.

1
Tutto.Où nous allons
Où nous allons

Quatre questions, dans l'ordre

Chacune n'a de sens qu'une fois la précédente résolue.

Quoi

  1. 1Le problème que les évaluations résolvent
  2. 2Où placer la barre

Quel type

  1. 3Une seule bonne réponse, ou plusieurs
  2. 4Les quatre correcteurs

Comment

  1. 5Les quatre éléments
  2. 6À quoi sert le chiffre

Ce qui déraille

  1. 7Trois façons d'échouer
  2. 8Ce que ça coûte
2
Tutto.1 · Quoi
Le problème

Vous avez vérifié une fois, et ça avait l'air bon

Ça, c'est une démo. Ça vous dit que l'outil peut marcher. Ça ne vous dit pas à quelle fréquence il marche.

CE QUE FONT LA PLUPART DES GENS Lire une sortie. Décider que ça a l'air à peu près juste. Ça tient jusqu'au jour où ça s'arrête sans bruit. CE QUE FAIT UNE ÉVAL Passer un jeu fixe. Le noter. Vous donner un taux comparable à la semaine dernière. Même jeu, mêmes règles, à chaque changement. Une éval, c'est une note chiffrée pour ce qu'on ne peut pas tester automatiquement.
3
Tutto.2 · Quoi
Où passe la ligne

Des tests pour les parties mécaniques. Des évaluations pour le jugement.

Deux outils, une ligne entre les deux. La plupart des confusions sur les évaluations viennent de quelqu'un qui se trompe de côté.

DÉTERMINISTE · TESTS Même entrée, même sortie, à chaque fois. Le fichier s'est-il ouvert correctement ? Le total tombe-t-il juste ? Le hash est-il le même qu'hier ? réussite / échec PROBABILISTE · ÉVALUATIONS Même entrée, une bonne réponse qui varie. A-t-il extrait la bonne valeur d'une clause ambiguë ? Le brouillon nous ressemble-t-il ? un taux, dans un barème fixe Même esprit, autre moitié. Aucune des deux ne mesure l'autre.
4
Tutto.3 · Quel type
Le choix qui décide de tout le reste

La question a-t-elle une seule bonne réponse, ou plusieurs ?

Répondez à ça et le type d'eval est déjà décidé. Trompez-vous et vous passerez une semaine à construire le mauvais instrument.

UNE SEULE BONNE RÉPONSE → CORRIGÉ Extraction Sortez le montant du contrat de cet accord. Il y a un chiffre correct. Il est dans le document. Noté contre un corrigé écrit à la main. PLUSIEURS BONNES → GRILLE Jugement Rédigez un point client sur ce retard. Dix bonnes versions existent. Aucune n'est « la » réponse. Noté contre des critères écrits, pas un texte exact. Ensemble, ils mesurent les deux moitiés du travail. Aucun ne mesure l'autre.
5
Tutto.4 · Quel type
Comment la notation se fait vraiment

Quatre façons de noter, de la moins chère à la plus chère

Prenez la moins chère qui exprime ce que vous voulez dire. Commencer par la plus chère est l'erreur la plus courante.

1 · CORRESPONDANCE EXACTE La chaîne est-elle égale à la référence ? Gratuit. Fragile. Une virgule suffit à la casser. 2 · NORMALISÉE On retire la mise en forme des deux côtés, puis on compare. Gratuit. Correct. Là où va l'essentiel du travail. 3 · JUGE MODÈLE Claude note selon des critères écrits. Peu cher. À vérifier. La seule option pour le jugement. 4 · HUMAIN Une personne lit et décide. Cher. Définitif. Calibre tous les autres. Un juge modèle que vous n'avez jamais confronté à un humain, c'est un chiffre sans personne derrière.
6
Tutto.5 · Comment
Anatomie

Toute éval repose sur les quatre mêmes éléments

Quel que soit le type, quel que soit le domaine. S'il en manque un, vous n'avez pas une éval, vous avez un tableur.

1 · LES CAS Un jeu fixe qui vous appartient. Figé, pas des données en direct. 2 · LES CRITÈRES Ce qui compte comme correct, écrit à l'avance. 3 · LE RUNNER Exécute le travail, le note, affiche le résultat. 4 · UN TAUX 11 sur 15 · 73 % Un seul chiffre qui bouge. La partie 2 est la plus difficile, et ce n'est pas un problème technique. Décider ce qui compte comme correct relève du jugement métier. Celui qui détient la norme doit l'écrire, et ce n'est presque jamais celui qui écrit le code.
7
Tutto.6 · Comment
Ce que vous en faites concrètement

Le chiffre n'est pas une note. C'est une direction.

Personne n'a besoin de savoir qu'il est à 73 %. Ce qu'il faut savoir, c'est si la modification d'hier a aidé.

CHANGEZ LA RÈGLE Pas le résultat. Pas la clé. La spécification écrite. RELANCEZ LE JEU DE CAS Mêmes cas. Mêmes critères. Une minute, pas une réunion. LISEZ LE MOUVEMENT En hausse : c'était la règle, le problème. En baisse : vous en apprenez sur votre raisonnement. Cela ne remplace pas la lecture des résultats. Cela vous dit lequel lire en premier.
8
Tutto.7 · Ce qui déraille
Pourquoi la plupart des premières évaluations sont abandonnées

Trois façons de dérailler

On en construit une, on obtient un mauvais chiffre, on conclut que l'outil n'est pas capable, et on arrête. Le chiffre mesurait le plus souvent la mauvaise chose.

NOTER LA PONCTUATION 659 400,00 € vs 659400 Les données concordent. Le format, non. Normalisez les deux côtés. De loin le cas le plus fréquent. DÉPLACER LE CORRIGÉ Le résultat ne concordait pas, alors quelqu'un a modifié le corrigé. Le chiffre ne mesure plus que votre disposition à le déplacer. RÉGRESSION INVISIBLE Vous corrigez un champ et la moyenne monte. Autre chose a cassé, et la moyenne l'a masqué. Les trois produisent un chiffre qui ressemble à une réponse et n'en est pas une.
9
Tutto.8 · Ce qui déraille
Avant de le promettre au bureau

Peu coûteux à faire tourner. Coûteux à démarrer.

Le coût tombe à l'inverse de ce que la plupart des gens imaginent, et c'est en se trompant là-dessus qu'on les enterre au deuxième mois.

LE DÉMARRAGE ~1 jour Une personne expérimentée écrit la grille à la main, en vérifiant chaque valeur contre la source. L'EXÉCUTION ~£0 Relancé à la demande, en une minute environ, aussi longtemps que le travail existe. Construisez-le une fois, pour le travail que vous répétez. Jamais pour une tâche que vous ferez deux fois.
10
Tutto.La suite
Où cela mène

Deux sessions, une pour chaque moitié

Vous avez la carte. Les deux prochaines sessions sont ses deux moitiés, construites à la main.

ENSUITE · 75 MINUTES Mesurer l'extraction Construire un corrigé sur quatre contrats. Une seule bonne réponse par champ. 340 valeurs notées. PLUS TARD · LAB 07 Les grilles Noter la moitié jugement selon des critères écrits. Plusieurs bonnes réponses. Un taux de réussite qui bouge.
11
Tutto.Praxis
Tout tient en une phrase

Un eval ne prouve pas
que vous avez raison. Il vous dit
dans quel sens vous avez bougé.

Écrivez ce qui compte comme correct. Figez un petit jeu de cas. Notez-les de la façon la moins coûteuse qui exprime ce que vous voulez dire. Puis changez une règle et regardez le chiffre.

tutto.one/praxis · daniel@tutto.one

12
← → ou espace · N pour les notes · F11 plein écran
NOTES DE L'INTERVENANT ACTIVÉES · appuyez sur N pour masquer