samedi 27 janvier 2018

Les rapports de pentest sont un échec !



A la demande générale de mon lecteur, je vais profiter de mon blog pour faire un constat sur les rapports de pentest.

J'ai 13 ans d'expérience en tests d'intrusion (mais pas que) et depuis 1 an je suis passé du côté obscure de la force, le côté où on peut s'appuyer sur des consultants pour faire notre travail...

Quand j'ai débuté en 2005, les rapports étaient très techniques, on me disait de mettre les rapports nessus et nmap en intégralité en annexe, mes rapports pouvaient faire 250 pages (et on imprimait énormément à cette époque). Première phrase de la synthèse managériale, "Au regard des audits réalisés pour des clients du milieu (bancaire, assurance, militaire, énergie - rayer la mention inutile) sur des plateformes similaires, nous estimons que vous niveau de sécurité est (police taille 30, en gras, rouge, centré - très satisfaisant/satisfaisant/passable/insuffisant)."
Second paragraphe, un baragouin technique. Troisième paragraphe, un tableau de vuln. Chapitre suivant un gros mélange de fiches vulnérabilités/recommandations.

Vers 2008, on a dégagé les annexes et traces d'outil, en synthèse on mettait plein de tableaux de  croisement des criticités, complexité de correction, estimation des priorités. Dans les fiches vulns, la description de la recommandations hyper précise avec le hardening IIS/Apache/Tomcat.

Vers 2013, on présentait des scénarios crédibles avec les différentes vulnérabilités identifiées. Mais quasiment pas de recommandation technique à base de lignes de commandes (au passage, c'est incroyablement plus rapide à rédiger).

Ces différentes époques pour moi correspondent à des sociétés différentes et donc des approches différentes des clients, mais je suis persuadé qu'aucune des approches n'étaient efficaces. En effet en 2017 j'ai fait réaliser un audit et début 2018 je fais le bilan que rien n'a progressé. Je fais le constat que d'une part le rapport a raté sa cible et d'autre part qu'en interne, on ne sait pas utiliser ce type de rapport technique.

Ce que je constate, c'est qu'un rapport d'audit à 2 cibles :
  • La direction qui va devoir débloquer un budget et prioriser les actions de correction par rapport aux besoins business
  • Les admins qui ont besoin de directives claires et des moyens d'estimer les effets de bord.
Je constate également (j'étais également dans ce cas) que les charges sont tout le temps sous-estimées :
  • On considère que la recommandation est appliquée en production sans risque et sans retour arrière.
  • On considère que le client a les ressources compétentes en interne et disponibles pour corriger.
  • On considère que notre recommandation est une façon de corriger la faille, qu'il peut y en avoir d'autres et qu'il faut de toute façon anticiper les effets de bord (pourtant à l'opposé du premier point).
Mes conseils :
  • Il manque vraiment de communication avec le client pour comprendre la façon de travailler des équipes et qui il faut convaincre pour débloquer un budget.
  • La synthèse devrait idéalement faire ressortir des risques métier qui comprennent les dirigeants.
  • Il faut que les dirigeants prennent connaissance des rapports et aient une soutenance spécifique.
  • Il faut intégrer dans les recommandations des conseils pour identifier et éliminer les effets de bord.
Evidemment, là où ça coince :
  • La sécurité/technique est ignorée des dirigeants, ils ne veulent pas savoir que ça ne va pas et ne veulent pas que ça coûte plus cher.
  • Les pentesters ne sont pas formés et par nature n'aiment pas faire des analyses de risques.
  • Les pentesters ont peu de temps pour rédiger les rapports et travailler avec les vieilles technos pour identifier les effets de bord, n'est pas leur priorité.
Ma conviction est que les pentesters sont en vase clos, pas assez ouverts sur les problématiques des admins afin de vraiment les aider, sinon ils restent pétrifiés comme un lapin devant les phares d'une voiture. Le manque d'implication de la direction est un vrai problème interne chez les clients.

PS : Tout commentaire sera le bienvenu.
PS2 : L'illustration symbolise un message mal délivré à son destinataire.

Aucun commentaire:

Enregistrer un commentaire