dimanche 10 février 2013

Comment truquer un tableau de bord !

Pour avoir mis en place un tableau de bord chez un client voici quelques astuces pour mentir à sa direction...
Tout d'abord il est possible de mesurer tout et n'importe quoi, surtout n'importe quoi. La grande question à se poser est "so what?". Que nous apprend cet indicateur ? Le mieux serait qu'il permette de démontrer l'efficacité des moyens de sécurité et pas seulement faire remonter qu'on travaille (dur et même oulalala très dur !).
Je rigole (discrètement) quand je vois mon client demander à plusieurs éditeurs anti-virus quelle est la valeur moyenne de virus éradiqués par mois dans les grandes entreprises françaises. Heureusement personne ne lui répond (étonnant ?).
Ensuite le problème que j'ai rencontré est cette manie de vouloir mettre une note sur tout. Par exemple si on mesure le pourcentage de spam reçu.  Comment dire si 95% c'est bien ou mal ? En fait ni l'un ni l'autre... on n'est pas responsable du spam mondial. Mais il ne faut pas non plus supprimer cet indicateur car un pourcentage vraiment trop faible pourrait impliquer une défaillance de l'équipement. Je classe cet indicateur comme "information" à avoir sous le coude mais pas à utiliser de façon automatique dans des calculs.
Si on continue sur cette lancée, on peut mettre des pourcentages très faibles pour avoir un indicateur au vert.  Cela ne veut pas forcément dire qu'on triche si l'objectif est bas mais que ce n'est pas une priorité. Enfin on évitera quand même d'être satisfait avec 50 patch de sécurité en retard sur les serveurs...
Un des travers à considérer est la réévaluation des objectifs. On va être vert une année avec nos 50 patch mais on va se fixer 20 puis 10. Au final on va à chaque fois repasser à l'orange ou au rouge. Il faut s'attendre à des questions de la direction... et être prêt à y répondre plutôt que de conserver des objectifs de débutants :-)
Pour finir il me semble que la grosse zone d'ombre est la définition du périmètre. On va évidemment pouvoir mesurer ce sur quoi on a travaillé, et donc être pas mauvais, mais on risque d'occulter ce qui reste à faire et qu'on ignore sans doute. L'exemple qui m'a marqué est celui d'un patch management correct pour l'environnement Microsoft et une absence totale d'information sur les serveurs linux... Au final que du vert dans le tableau de bord !

1 commentaire:

  1. Cet article me rappelle des souvenirs.... Fût un temps où je devais remonter des chiffres et y remédier, le problème est le périmètre.... -> je me tapais des serveurs situés dans d'autres pays et n'étant pas propriétés de la boîte.... mdrrrrrr

    RépondreSupprimer