GNU parallel

GNU parallel
Développeur	Projet GNU
Dernière version	20111022 (22 octobre 2011) [+/-]
Écrit en	Perl
Environnement	GNU/Linux, FreeBSD, NetBSD, OpenBSD, GNU, UNIX
Type	Interface en ligne de commande
Licence	GNU GPL
Site web	(en) Site officiel
modifier

GNU parallel est un utilitaire en ligne de commande développé et maintenu pour le projet GNU par Ole Tange. C'est un logiciel libre permettant l'exécution de routines shell en parallèle sous différents systèmes compatibles UNIX comme GNU/Linux.

Caractéristiques techniques

• Remplacement d'une boucle en shell , par exemple

   (for x in `cat list` ; do 
       foo $x
   done) | processus_de_sortie

sous la forme simplifiée suivante:

   cat list | parallel foo | processus_de_sortie

où la liste des fichiers contient des arguments pour foo et où le processus de sortie peut être vide.

Les scripts utilisant GNU parallel est souvent plus facile à lire que les scripts utilisant pexec.

GNU parallel comporte également les fonctionnalités suivantes:

• regroupement de la sortie standard stdout et de la erreur standard stderr afin de traiter séparément la sortie des processus traités en parallèle;
• ordre des sorties identiques celui des entrées;
• support des noms de fichiers contenant des caractères spéciaux comme l'espace, les guillemets simples ou doubles, l'esperluette, et des caractères en UTF-8;

GNU parallel peut faire tourner 9 processus en parallèle, mais en utilisant -j+0 il peut être configuré pour détecter le nombre de processeurs et les utiliser tous.

Exemples

 find . -name "*.foo" | parallel grep bar

équivaut à:

 grep bar $(find . -name "*.foo")

Recherche de toutes les occurrences de la chaîne bar dans les fichiers du répertoire courant et ses sous-répertoires finissant par l'extension .foo. La commande parallèle va fonctionner comme prévu à moins que le nom de fichier ne contienne une fin de ligne. Pour contourner cette limitation:

 find . -name "*.foo" -print0 | parallel -0 grep bar

L'exemple ci-dessus rajoute des spécificités GNU à la commande find pour séparer les noms de fichiers en utilisant le caractère nul;

 find . -name "*.foo" | parallel -X mv {} /tmp/trash

La commande ci-dessus utilise {} pour dire à parallel de remplacer {} par la liste des arguments.

 find . -maxdepth 1 -type f -name "*.ogg" | parallel -X -r cp -v -p {} /home/media

L'exemple ci-dessus fait la même chose que:

 cp -v -p *.ogg /home/media

cependant, le 1^er utilisant find/parallel/cp consomme moins de ressource et ne va pas s'arrêter avec une erreur si les arguments à *.ogg sont trop nombreux.

Notes et références

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « GNU parallel » (voir la liste des auteurs)

Lien externe

• (en) GNU parallel sur la plateforme GNU Savannah.

v · Projet GNU
Histoire	Manifeste GNU · Free Software Foundation (FSF) · Histoire du logiciel libre
Licences GNU	GNU General Public License (GPL) · GNU Lesser General Public License (LGPL) · GNU Free Documentation License (GFDL)
Logiciels	Système d'exploitation GNU · Bash · GCC · GDB · Emacs · Glibc · Guile · Coreutils · Autotools · Autres logiciels
Personnalités liées au projet	Robert J. Chassell · Loïc Dachary · Ricardo Galli · Georg C. F. Greve · Federico Heinz · Werner Koch · Bradley M. Kuhn · Eben Moglen · Hal Abelson · Rob Savoye · Richard Stallman · Brian Fox · Roland McGrath · John Gilmore · Len Tower

• Portail des logiciels libres