Perspectives d'avenir

Or donc, si j'étudie le marché, c'est que je réfléchis au coup d'après. Continuer dans la sécurité ? Continuer dans le conseil ? Continuer dans le pentest ?

Le choix n'est pas facile, mais je ne sais que faire de la sécurité et c'est quand même un marché porteur, et accessoirement que j'adore. Rester dans le conseil ? Ca n'est pas pour me déplaire d'aider des clients avec des problématiques et des contextes différents. Rester dans le pentest ? Rien n'est moins sûr. J'en ai fait de façon intensive les 4 dernières années avec la frustration de finalement le faire de loin (supervision) et ne rien toucher d'autre.

Je commence à avoir l'image du pentest qui déteint sur moi et en restant là où je suis, je ne peux que stagner car mon équipe s'effrite. Oui s'effrite car les fondations sont mauvaises et tout le monde part au bout de 3 ans. Je passe mon temps à faire ce que les consultants seniors devraient prendre en charge : gérer les réunions, faire les relectures, former les jeunes. Je n'ai pas de temps pour améliorer et créer de nouvelles offres. Je n'ai pas le temps pour faire moi-même quelques missions sur le terrain. C'est la frustration d'être dans le pentest et ne pas faire de pentest.

Est-ce que ça serait mieux ailleurs ? Qu'est-ce qui me tenterait vraiment ?

Dans le post précédent, je tente d'identifier les sociétés qui sauraient m'accueillir pour autre chose que du pur management. Je n'ai pas assez pratiqué pour aller chez les belles petites sociétés ultra-spécialisées. Je pourrai encore aller chez des pure players. Je n'ai aucune envie d'aller dans des SSII ou chez les Big 4.

J'ai envie de toucher à tout et de prendre du recul. Il me faut un poste dont je maîtrise la base, mais avec beaucoup de choses à découvrir. J'aimerai bien quelque chose de purple team : attaquer et défendre. J'aimerai bien maîtriser un périmètre, améliorer sa sécurité (RSSI technique/opérationnel) et même prouver que ça s'améliore (créer et suivre des indicateurs). J'ai envie de faire de la défense proactive et du hunting (ça me manque de ne plus être admin sur un domaine et de faire du PowerShell). J'ai envie de voir le quotidien d'un SOC et d'aider à résoudre des incidents.

Les postes qui se dessinent pour le moment sont : chef de projet/pilote SOC, RSSI  technique ou adjoint d'un RSSI orga. Sans préférence entre un pure player ou en interne.

Ma vision des sociétés de pentest en France

J'essaie de me faire un panorama des sociétés de pentest suite à de récentes discussions. Cela m'aide à identifier le type de poste que je pourrais rechercher dans un futur proche :)

Il faut bien se rendre à l'évidence qu'il y a plusieurs catégories de sociétés sur un même marché :
- celles qui veulent faire du volume (SSII/ESN, BIG4), donc diversifier l'activité, et se créer une image "technique"
- celles qui veulent qui veulent surtout se donner une belle image et y mettent les moyens (Sogeti ESEC, Wavestone, Digital Security)
- Les pure players sécurité (Advens, Amosys, Oppida, anciennement HSC, Intrinsec, etc.)
- Les pure players sécurité technique (Quarkslab, Lexfo, Synacktiv)
- Les indépendants ?

Étonnamment les meilleurs (et XMCO qui semble maintenir son choix de ne pas y aller) ne sont pas PASSI ? Le coût du PASSI n'est pas négligeable, ils ont déjà une belle réputation qui fait venir des clients qui savent ce qu'ils recherchent. Le PASSI aurait tendance à être requis par les ministères et donc via des marchés-cadres énormes auxquels ne peuvent pas répondre des jeunes pousses. Puis finalement quand on voit tous ceux qui sont PASSI, on doute de la qualité du label. Espérons un renforcement des exigences techniques (c'est déjà prévu par l'ANSSI).

Il y a une réalité économique derrière chaque profil de société. Ceux qui réussissent (à voir sur la durée) le mieux sont les passionnés qui n'ont pas une envie irrésistible de s'enrichir. Ils commencent en se serrant la ceinture pour donner aux bons éléments ce qu'ils méritent et les retenir le plus longtemps possible. Et en plus ils ont su se faire connaître suffisamment pour qu'on leur confie des missions complexes et passionnantes. Les strates de management sont courtes et un consultant ne paie pas 40 personnes au dessus de lui.

Les pure players sécurité ont encore une taille raisonnable, pas beaucoup de strates de management, et un P&L lissé sur les activités. Il vaut mieux en avoir un peu plus, même si ça ne rapporte pas autant que les autres activités. L'investissement est indispensable car c'est le cœur de métier.

Les quelques cabinets de conseil ou SSI qui investissent vraiment ont ainsi réussi à adresser un marché spécifique qui les alimentent correctement. SCADA, reverse-engineering.

Le reste des SSII, ne fait que diversifier les activités, mais sans le moindre investissement (pas de matériel, pas de formation, pas de voyage aux conférences sécu). Ca ne tient qu'à quelques individualités, mais le gros des troupes est des stagiaires qui restent jusqu'à 3 ans et une fois qu'ils sont à l'aise et suffisamment mal payés vont voir ailleurs. L'équipe de pentest est trop différente des autres dans ses sociétés et ne fait pas une marge aussi importante, sauf en sous-payant les juniors et en limitant les profils plus expérimentés. Le P&L est calculé par équipe et la pression est très forte. Pour grossir, il faut des managers, mais comme la progression de salaire est la même que pour le reste de la société, on tourne à 2 ou 3%. Personne ne reste assez longtemps pour être manager. Et impossible de recruter au bon niveau de salaire sur le marché, d'autant plus que la société n'est pas attractive pour les consultants qui connaissent le marché. Ainsi les équipes se montent puis disparaissent régulièrement. Je pense à Devoteam, Deloitte, EY ou encore PwC qui ont des hauts et des bas.

Malheureusement c'est le cas que je connais le mieux :D
Pas question de refaire la même erreur la prochaine fois...

A propos des augmentations ridicules dans les grands groupes (mais pas que)

Je fais l'écho de mon post précédent (qui a 8 mois déjà). Je suis sorti du comité de revue des consultants avec la nausée. Malgré nos résultats, malgré notre discipline sous le feu des projecteurs, malgré la pénurie de pentesters... mon équipe a la même part que toutes les autres. Mon constat est encore plus consternant que celui de l'année précédente. 2,2% à partager dans l'équipe...

OK, pas la peine de chipoter, je n'aurai rien d'autre. Mon meilleur a posé sa dem, c'est bien le seul avantage que j'y vois. Les 3 nouveaux n'auront rien. Il me reste 5 gars et les 2,2% de 9 personnes. J'ai 2 gars au dessus du lot qui mérité qu'on les aligne sur le marché (en gros 10% d'augmentation par an).
Allons-y dans un premier temps pour leur mettre 10, un 3ième m'a demandé 5% sinon il va voir ailleurs. Et les 2 derniers les 2,2%. Mais voilà, ça dépasse. Au final j'en ai 2 à 7%, un à 2% et 2 à 1% alors qu'ils sont bons.

Alors je fais comment moi pour garder mon équipe dans la durée sur un marché hyper tendu et agressif ?

Cette galère de conserver ses consultants

Juste une petite note pour expliquer un des paradoxes du monde de l'entreprise et en particulier du monde de la sécurité. L'argent ne fait pas tout, mais mêmes mes gars les plus motivés finissent par être attirés ailleurs à cause de l'argent.

En gros chaque année le volume des augmentations est décidé de façon légèrement arbitraire (sans doute régi par des calculs, mais on sait bien que les calculs peuvent être faussés comme on veut). On se retrouve avec une enveloppe de 3% de la masse salariale, ce qui, avec ma connaissance naïve du process, donnerait 3% d'augmentation par personne, mais c'est compliqué avec les démissions et recrutements sur cette période.

Les patrons commencent par se servir, souvent à plus de 3% car ils font vivre la société, apportent le business, etc. (ça ne me semble pas injuste, c'est juste l'enveloppe qui est trop petite). Ensuite il y a une répartition relativement équitable entre les différentes branches. On se retrouve donc avec un poil moins de 3% pour notre équipe sans la moindre corrélation avec la marge qu'on peut réaliser.

On se retrouve donc à mettre 0% sans autre choix aux personnes avec la moins bonne progression, mais comme on a bien recruté, on n'a pas beaucoup de mauvais. Donc on se retrouve avec moins de 4% par personne. Pas de quoi les faire rester par rapport à la concurrence qui propose des salaires indécents. Le pire c'est qu'on est quasiment prêt à débaucher des consultants au même prix qu'eux, car on sait qu'on est rentable.

En gros on est bloqué par le système d'augmentation alors qu'on saurait remplir les objectifs de rentabilités même en payant plus nos consultants...

La dernière chose qu'on m'ait proposée est de générer des primes sur mes projets. Mais ce n'est pas si simple que ça. Il faut déjà que mon projet soit rentable à un certain pourcentage et si je dépasse, la société prend encore une grosse partie de mon dépassement de marge et je verse du brut à mon consultant. Il ne reste plus rien (20% de ce que j'avais réussi à grappiller) à lui donner et je risque même de perdre ma crédibilité à donner d'aussi petites primes.

Bref, je fais remonter le plus d'alertes possibles, je demande des formations pour mes gars, je tente de conserver une bonne ambiance et de désamorcer les cas dont j'ai connaissance.  Je pense que ça fait partie du quotidien d'un manager... et je n'en veux pas à ceux qui partent car j'ai été aussi à leur place.

PS : Mêmes les RH semblent se rendre compte qu'il y a un problème : http://www.portailrh.org/impression/default.aspx?f=22647

You only have one job

Je pense vivre actuellement l'audit le plus médiocre de ma carrière. Je réalise actuellement un audit pour le compte d'un responsable risques qui veut qu'on fasse son boulot à sa place.

En gros on a fait l'audit et découvert un certain nombre de vulnérabilités. D'habitude on s'arrête-là. Sauf qu'ici, il faut qu'on aille revoir chaque acteur pour lui demander le niveau de criticité de la faille, si le risque doit être traité, si c'est déjà dans un plan d'action et sinon quelle charge de travail ça représente. C'est intéressant, mais là le périmètre est une énorme infrastructure donc on a une équipe sécurité, une équipe réseau, des développeurs (web, mobile et API), des responsables d'équipe, des MOA, des exploitants, des correspondants sécurité, des RSSI et chacun se renvoie la balle.

Notre cher client nous indique que tant qu'on ne fait pas une boucle on doit suivre les pistes. Après 34 entretiens réalisés sans compter qu'il faut au moins appeler 3 fois pour avoir la personne et qu'en général ce n'est pas la bonne personne, c'est usant.

J'en suis venu à l'idée saugrenue de cacher des vulnérabilités de faible et moyenne importance pour éviter la chasse au responsable. Donc en gros, cher Client, fais ton boulot, je fais le mien et tu auras de meilleurs résultats parce que j'ai autre chose à faire que de passer les 3 quarts de ma charge à tenter de joindre les mauvaises personnes. Et un gros merci au junior qui souffre avec moi :)

L'illusion du score d'un pentest

"If you can not measure it, you can not improve it." Cette citation de Lord Kelvin a beaucoup de sens en sécurité et est la base des tableaux de bord. Pourtant j'ai du mal à trouver comment l'appliquer dans le cadre des tests d'intrusion.

J'imagine qu'il faudrait trouver ce qui est quantitatif et qualitatif dans le résultat de l'audit pour pouvoir réaliser une mesure, mais un audit n'est pas et n'a pas vocation à être exhaustif, ce qui implique que la quantité peut varier, notamment avec l'expérience de l'auditeur et le nombre de jours disponibles. L'objectif  d'un test d'intrusion est d'aller le plus en profondeur possible (p0wner le serveur, le réseau, le contrôleur de domaine), alors quand on trouve une injection SQL on va passer du temps dessus. Puis on a autre chose de plus intéressant à mettre dans le rapport que d'indiquer que la méthode TRACE est acceptée. Et pourtant c'est exactement ça qui va biaiser notre calcul car on n'aura pas une base cohérente entre les audits... Au passage, un camembert de répartition des failles par criticité n'a aucune valeur d'une part parce que la base est incohérente et d'autre part une appli avec 4 vuln critiques et 4 faibles ne devrait pas ressortir de la même façon qu'avec 1 critique et une faible.

Ensuite pour le qualitatif si on revient encore sur notre méthode TRACE, on peut trouver des discussions sur le sujet http://www.securityfocus.com/archive/107/533982/30/30/threaded avec des références à rapid7 (CVE à 6). Du côté de Qualys, c'est très inconsistant :

Toutes les failles n'ont pas non plus un CVE et pour régulièrement qualifier des failles avec un score CVE, c'est très dépendant de la personne qui définit les niveaux. Ça ne prend pas non plus en compte le fait qu'il y est 5 ou 1000 utilisateurs.

Bref, donner une note à un audit autrement qu'au pif semble impossible. Récemment j'ai croisé le projet CCWAPSS (Common Criteria Web Application Security Scoring) qui vise à changer la logique de calcul pour s'appuyer sur la chaine "applicative" :

• Authentication
• Authorization
• User’s Input Sanitization
• Error Handling and Information leakage 
• Password/PIN Complexity 
• User’s data confidentiality 
• Session mechanism 
• Communication security 
• Patch management 
• Administration interfaces 
• Third-Party services exposure 

Pour chaque critère on indique s'il y a une faille, si c'est correct ou si c'est au niveau des "best practices". Ce qui nous refait tomber dans un biais : il n'existe pas de liste exhaustive des bonnes pratiques. Ce qui, une nouvelle fois (ou comme toujours), nous ramène à l'expertise de notre auditeur.

Alors quand un client demande "comment on se positionne par rapport à notre secteur d'activité ?", on va rester flou et faire "à dire d'expert". Puis si tous les autres étaient mauvais, est-ce que ça serait une bonne raison pour être mauvais également ?

Quand la sécurité ne vaut rien.

Petite réflexion passagère sur la valeur de la sécurité.

Il m'est arrivé régulièrement de voir des phases d'avant vente inclure sur les fonds des prestataires candidats des travaux identiques à certaines prestations de sécurité : état des lieux, benchmark, refonte d'architecture...
Ou encore l'équipe de l'intégrateur faisant la recette elle-même sans la moindre impartialité, sans se remettre en cause et surtout sans tester des scénarios non prévus (évidemment).
J'ai entendu un récent retour de FireEye déconseillant de faire des tests indépendants sur leur plateforme car les résultats sont rarement concluants (ce qui est malheureusement fort probable). Ils détectent les APT inconnues, mais à base d'éléments connus (par eux seuls).

Un autre exemple est Google qui partage les recherches et les découvertes de ses chercheurs à tout le monde. Ou encore leur nouveau scanner de vulnérabilités.

La sécurité a un coût, mais peu de valeur...