Code Coverage

La couverture de code (en anglais code coverage) est une mesure utilisée en génie logiciel pour décrire le taux de code source testé d'un programme. Ceci permet de mesurer la qualité des tests effectués.

La mesure de ce taux implique souvent l'utilisation de test unitaire.

Sommaire 1 Méthodes de couverture de code 2 Voir aussi 3 Outils de couverture de code 4 Notes

Méthodes de couverture de code

Il y a de nombreuses méthodes pour mesurer la couverture de code. Les principales sont :

• Couverture des instructions (Statement Coverage) - Chaque ligne du code a-t-elle été exécutée et vérifiée ?
• Couverture des points de tests (Condition Coverage) - Chaque point d'évaluation (tel que le test d'une variable) a-t-il été exécuté et vérifié ? (Le point de test teste-t-il ce qu'il faut ?)
• Couverture des chemins d'exécution (Path Coverage) - Chaque parcours possible (par exemple les 2 cas vrai et faux d'un test) a-t-il été exécuté et vérifié ?

Certaines méthodes sont liées, par exemple :

• La couverture des chemins implique à la fois la couverture des instructions et la couverture des points de tests.
• La couverture des instructions n'implique pas la couverture des points de tests, comme le montre le code ci-dessous (écrit en langage C) :

void foo(int bar)
{
   printf("this is ");
   if (bar < 1)
   {
      printf("not ");
   }
   printf("a positive integer");
}

Si la fonction "foo" est appelée avec l'argument "bar = -1", alors on assure la couverture des instructions (elles sont toutes exécutées) ; par contre, la couverture des points de tests n'est pas assurée.

Une couverture complète des chemins est généralement très difficile à accomplir, voire impossible :

• Tout code contenant une succession de n points de tests contient potentiellement 2ⁿ chemins différents; les boucles peuvent aboutir à un nombre infini de chemins possibles.
• Certains chemins sont parfois infranchissables, dans le sens où il n'existe pas de paramètre d'entrée du programme permettant de suivre ce chemin en particulier (les tests empêchant ce chemin sont souvent placés « par sécurité » au niveau d'une fonction).
• Il n'existe pas d'algorithme général déterminant les chemins infranchissables (sinon un tel algorithme permettrait de résoudre le problème de l'arrêt).

La couverture de chemins consiste plus à regrouper les chemins par ressemblance (par exemple, ne différant que par le nombre de parcours de boucles) et à tester ces chemins « de base ».

Pour faciliter les tests, on instrumente le code source de façon à tracer l'exécution au cours des tests. La « trace » résultante est ensuite analysée pour identifier les chemins et les zones de code qui n'ont pas été vérifiés, puis les tests sont mis à jour (si nécessaire) pour améliorer la couverture. Combinée à d'autres méthodes, il est possible d'aboutir à un ensemble abordable (réaliste) de tests de non-régression.

La couverture de code accomplie est exprimée sous forme de pourcentage du code total. La signification de ce pourcentage dépend des types de couvertures effectuées : tester « 67% des chemins possibles » est plus utile que « 67% des instructions ».

Voir aussi

• Non-régression
• Boîte blanche : à l'inverse de la boîte noire, on s'intéresse au fonctionnement interne d'un système (entrées et sorties) et on ne lui fait pas confiance.
• Méthode MC/DC

Outils de couverture de code

• Cobertura: Code coverage tool for Java
• IBM Rational PureCoverage, fourni avec Rational PurifyPlus
• IBM Rational Application Developer contient un outil de couverture pour Java
• EMMA, pour Java
• Clover, pour Java
• Clover.NET, pour .NET
• CTC++ for Java and C#
• NCover, pour .NET
• gcov, pour GCC
• CoverageMeter, pour C/C++
• Testwell CTC++ pour C, C++, Java et C#
• Pour le langage D
• Devel::Cover ^[1] pour Perl
• trace2html, pour Python
• Une famille d'outils pour de nombreux langages
• En PHP Xdebug permet de faire de la couverture de Code

Notes