[Linux commandes] Grep / Awk / Cut / Sed

Introduction

Cette page montre l'utilisation d'outils en ligne de commande qui permettent de travailler avec les chaînes de caractères.

Grep

Permet de trouver un motif dans un fichier.

Voici la syntaxe

Syntaxe globale :

grep [options] motif [fichier...]

Voici les options les plus courantes :

- -i : Ignorer la casse (recherche insensible à la casse).
- -r : Rechercher récursivement dans les répertoires.
-
-l : Afficher uniquement les noms de fichiers contenant des correspondances.
-
-v : Inverser la recherche (afficher les lignes qui ne contiennent pas le motif).
- -n : Afficher le numéro de ligne de chaque correspondance.
- -c : Afficher le nombre total de correspondances trouvées.
-
-A num : Afficher num lignes après chaque correspondance.
- -B num : Afficher num lignes avant chaque correspondance.
-
-C num : Afficher num lignes avant et après chaque correspondance.
- -e motif : Rechercher plusieurs motifs.
-
-f fichier : Lire les motifs à partir d'un fichier.
- --exclude=pattern : Exclure les fichiers correspondant au modèle donné.
-
--include=pattern : Inclure uniquement les fichiers correspondant au modèle donné.
- --color=auto : Surligner les correspondances en couleur (par défaut).
-
--color=never : Désactiver la coloration.

Exemples :

• Rechercher un motif dans un fichier :

  grep "motif" fichier.txt

   

• Rechercher un motif dans plusieurs fichiers récursivement :

  grep -r "motif" répertoire/

• Rechercher un motif en ignorant la casse :

  grep -i "motif" fichier.txt

• Afficher uniquement les noms de fichiers contenant des correspondances :

  grep -l "motif" fichier1.txt fichier2.txt

   

•  Inverser la recherche pour afficher les lignes sans correspondances :

  grep -v "motif" fichier.txt

   

• Afficher le numéro de ligne de chaque correspondance :

  grep -n "motif" fichier.txt

  
  
•  Rechercher plusieurs motifs :

  grep -e "motif1" -e "motif2" fichier.txt

  
  
• Utiliser un fichier contenant des motifs à rechercher :

  grep -f motifs.txt fichier.txt

   

• Exclure certains fichiers de la recherche :

  grep "motif" --exclude=*.log répertoire/

  
  
• Activer/désactiver la coloration des correspondances :

  grep --color=always "motif" fichier.txt
  grep --color=never "motif" fichier.txt

Awk

Il s'agit d'un outil de traitement de texte principalement utilisé pour manipuler et analyser des données tabulaires.

Syntaxe globale

awk 'pattern { action }' fichier

Il existe deux principales utilisation Awk :

Pattern : Condition pour appliquer une action. Action : Commandes à exécuter si le pattern est vrai.

Exemples

Afficher une colonne spécifique d'un fichier CSV :

awk -F ',' '{print $2}' fichier.csv

Calculer la somme d'une colonne :

awk '{sum += $1} END {print sum}' fichier.txt

Filtrer les lignes qui correspondent à un motif :

awk '/motif/ {print}' fichier.txt

 

Afficher les lignes avec plus de 3 champs :

awk 'NF > 3 {print}' fichier.txt

 

Utiliser des opérations mathématiques :

awk '{total += $1 * $2} END {print total}' fichier.txt

 

Remplacer du texte dans une colonne :

awk '{gsub("ancien", "nouveau", $3); print}' fichier.txt

 

Regrouper et compter les occurrences :

awk '{count[$1]++} END {for (item in count) print item, count[item]}' fichier.txt

 

Utiliser des variables avec awk :

awk '{total += $1} END {average = total / NR; print "Moyenne :", average}' fichier.txt

 

Personnaliser le séparateur de champ (-F) :

awk -F ':' '{print $1}' fichier.txt

Appliquer awk à plusieurs fichiers :

awk '{print FILENAME, $0}' fichier1.txt fichier2.txt

Utiliser des conditions multiples :

awk '$1 > 50 && $2 == "A" {print}' fichier.txt

Redirection de la sortie vers un fichier :

awk '{print $1, $2}' fichier.txt > sortie.txt

Cut

Cut st utilisée pour extraire des colonnes ou des champs de texte à partir de fichiers ou de données en entrée. Il est plus rapide et performant que awk et doit être utilisé, dans la mesure du possible, sur des grandes quantités de données.

Syntaxe globale

cut [OPTIONS] [FICHIERS]

Options courantes

-c LISTE : Extraire des caractères (par numéro de colonne).
-f LISTE : Extraire des champs (délimités par un séparateur).
-d CARACTERE : Spécifier le séparateur de champ (par défaut : tabulation).
-s : Ignorer les lignes sans délimiteur, ne pas les afficher.

Liste :
- Une liste de numéros de colonnes (pour l'option -c) ou de numéros de champs (pour l'option -f), séparés par des virgules.
- Les plages de numéros de colonnes ou de champs sont spécifiées avec un tiret (par exemple, 1-3).

Exemples

Extraire une colonne spécifique d'un fichier CSV (séparé par des virgules) :

cut -d ',' -f 2 fichier.csv

 

Extraire une colonne spécifique d'un fichier TSV (séparé par des tabulations) :

cut -f 3 fichier.tsv

Extraire plusieurs colonnes d'un fichier CSV  :

cut -d ',' -f 1,3,5 fichier.csv

 

Extraire une plage de caractères d'une ligne de texte :

echo "ABCDEFG" | cut -c 2-4

 

Ignorer les lignes sans délimiteur :

cut -d ',' -f 2,3 -s fichier.csv

 

Extraire une colonne spécifique d'un fichier avec des espaces comme séparateur :

cut -d ' ' -f 2 fichier.txt

 

Extraire plusieurs plages de caractères d'une ligne de texte :

echo "12345ABC67890" | cut -c 1-5,7-9

 

Extraire tous les champs d'un fichier de configuration (séparés par des espaces ou des tabulations) :

cut -d ' ' -f - fichier.conf

Sed

C'est un outil puissant de traitement de texte en ligne de commande.

Syntaxe globale

sed [OPTIONS] 'commande' [FICHIERS]

Options courantes

-e 'script' : Ajouter un script de commande à exécuter.
-i[SUFFIXE] : Modifier le fichier en place (crée une sauvegarde avec un SUFFIXE si spécifié).
-n : Désactiver la sortie automatique, nécessite l'utilisation de p (impression explicite).
-r : Activer les expressions régulières étendues (compatibles avec les regex modernes).

Commandes courantes

- s/regex/remplacement/g : Remplacer les occurrences de regex par remplacement (g pour global, sinon seulement la première occurrence).
- p : Imprimer la ligne courante.
- d : Supprimer la ligne courante.
- 1,10s/regex/remplacement/g : Appliquer la commande de remplacement uniquement aux lignes 1 à 10.
- /motif/cmd : Appliquer la commande cmd aux lignes contenant le motif.
- !cmd : Appliquer la commande cmd à toutes les lignes sauf celles spécifiées.
- a\ : Ajouter une ligne après la ligne courante.
- i\ : Insérer une ligne avant la ligne courante.
- c\ : Remplacer la ligne courante par une nouvelle ligne.

Exemples

Remplacer toutes les occurrences d'un mot dans un fichier :

sed 's/motif/remplacement/g' fichier.txt

 

Supprimer les lignes vides d'un fichier :

sed '/^$/d' fichier.txt

 

Remplacer une ligne spécifique par du texte dans un fichier :

sed '7c\Nouveau texte' fichier.txt

 

Ajouter du texte à la fin de chaque ligne :

sed 's/$/ Texte à ajouter/' fichier.txt

 

Imprimer uniquement les lignes contenant un motif :

sed -n '/motif/p' fichier.txt

 

Supprimer la dernière ligne d'un fichier :

sed '$d' fichier.txt

 

Modifier un fichier en place avec sauvegarde :

sed -i.bak 's/motif/remplacement/g' fichier.txt

 

Utiliser des expressions régulières étendues avec -r :

sed -r 's/(motif1|motif2)/remplacement/g' fichier.txt

 

Ajouter une ligne avant chaque ligne contenant un motif :

sed '/motif/i\Nouvelle ligne' fichier.txt

Supprimer toutes les lignes sauf celles contenant un motif :

sed -n '/motif/p; /motif2/p' fichier.txt