Linux三剑客（grep,awk,sed）

大家好，欢迎来到IT知识分享网。

        在学习之前，我们要思考一个问题：Linux三剑客有哪些？（其实题目已经给出了答案）

引言：        

        Linux三剑客可以提高文本处理能力，系统管理能力和脚本编辑能力，对于Linux系统的使用和管理都有着重要的作用。

        首先我们知道：在Linux下一切皆为文件，所以在Linux下的操作就是对文件的操作，为了更方便对文件操作，需要用到“三剑客”命令。

学习Linux三剑客（grep,sed,awk）有以下作用：

    1，文本处理能力：grep：常用于在文件中搜索指定的字符串，查找。

                                   sed：常用于对文本进行替换和编辑，修改。

                                   awk：常用于对文本进行分析和处理，分段，处理文本数据。

掌握这三个工具可以提高文本处理的效率和精确度。

        2，系统管理能力：Linux三剑客在系统管理中有着广泛的应用，可以用于日志分析，数据提取，批量处理等任务，提高系统管理效率

        3，脚本编程功能：grep，sed，awk可以通过脚本编程的方式进行批量处理和自动化操作，可以白那些复杂的文本处理程序和数据分析程序

        4，提高工作效率：掌握Linux三剑客可以提高工作效率，特别是对于需要处理大量文本数据的工作，可以节省大量的时间和精力

详细介绍：

一，grep：文本搜索工具，用于过滤、搜索特定的字符。

解释：可以帮助用户快速定位包含特定内容的文件或者行。

常用的grep参数：                           

•         -i：忽略大小写                         
•         -r：递归搜索子目录                  
•         -n：显示匹配行的行号                 
•         -v：显示不包含匹配文本的行   
•         -c：显示匹配的行数                 

下面将会以Linux中的/etc/passwd文件为例！  

可在Linux中使用cat  /etc/passwd查看中的内容，可以看到非常多！

举例1：使用参数 – i ：参数忽略大小写。比如筛选出关于root的内容，不区分大小写

[root@localhost ~]# grep -i "ROOT" /etc/passwd //他会忽略查找内容的大小写 root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin 

举例2：使用参数 – n ：显示匹配行的行号。比如查找关于root的内容并显示内容行号

[root@localhost ~]# grep -n "root" /etc/passwd 1:root:x:0:0:root:/root:/bin/bash 10:operator:x:11:0:operator:/root:/sbin/nologin 

举例3：配合其他一系列命令使用，比如配合管道符筛选出/etc/passwd中带root关键词的内容

• 当然这个时候grep也能配合参数使用，比如显示行号

[root@localhost ~]# cat /etc/passwd | grep -n "root" 1:root:x:0:0:root:/root:/bin/bash 10:operator:x:11:0:operator:/root:/sbin/nologin 

举例4：使用参数 – v：显示不包含匹配文本的行 

回顾：“^word”：表示以word开头

            “word$”：表示与word结尾

             “^$”：表示空行

在阅读Linux文件的时候发现了某些问题，比如以#开头，空行的内容影响阅读，可以筛选

[root@localhost ~]# grep -v "^#" /etc/yum.conf | grep -nv "^$" //参数-v配合-n使用 1:[main] 2:cachedir=/var/cache/yum/$basearch/$releasever 3:keepcache=0 4:debuglevel=2 5:logfile=/var/log/yum.log 6:exactarch=1 7:obsoletes=1 8:gpgcheck=1 9:plugins=1 10:installonly_limit=5 11:bugtracker_url=http://bugs.centos.org/set_project.php?project_id=23&ref=http://bugs.centos.org/bug_report_page.php?category=yum 12:distroverpkg=centos-release 

举例5：匹配以root和hzx开头的行，并显示对应的行号

[root@localhost ~]# cat /etc/passwd | grep -n "^\(root\|hzx\)" 1:root:x:0:0:root:/root:/bin/bash 44:hzx:x:1000:1000:hzx:/home/hzx:/bin/bash 解释：在正则表达式中,\( 和 \) 用来表示分组，\| 用来表示逻辑或。

举例6：多文件匹配。多文件匹配时，第一位会告诉你属于什么文件，也能配合参数使用

[root@localhost ~]# grep -n "root" /etc/passwd /etc/group /etc/passwd:1:root:x:0:0:root:/root:/bin/bash /etc/passwd:10:operator:x:11:0:operator:/root:/sbin/nologin /etc/group:1:root:x:0: 

二，sed：常用于 编辑和替换

        sed是一种用来处理文本的工具，它一次处理一行内容。它会把当前处理的行存储在一个临时的缓冲区中，然后对这个缓冲区中的内容进行处理，处理完成后把结果输出到屏幕上。接着再处理下一行，直到文件结束。使用sed不会改变原始文件的内容，除非你使用重定向来保存输出。

在Linux中，sed命令最常用的参数包括：                                                           

•          -e：允许对输入的文本进行多个编辑操作。                                       
•          -s：替换指定字符                                                                               
•          -d：删除操作                                                                                      
•          -i：直接修改文件内容，而不是仅仅输出到屏幕。                             
•          -n：禁止默认的输出，只输出经过sed处理的内容。                         
•           g：表示行内全面替换
•           p：表示打印行                                                                       

替换操作：s命令

举例1：替换文本中的字符串。

[root@localhost ~]# sed 's/old/new/' file 解释：匹配file文件中每一行的第一个“old”替换为“new”

举例2：加上 – i 选项，将直接修改文件内容，而不是仅仅输出到屏幕。

[root@localhost ~]# sed -i 's/old/new/' file 解释：-i直接编辑文件，匹配file文件中每一行的第一个“old”替换为“new”

举例3：使用 – e 参数：允许对输入的文本进行多个编辑操作。

[root@localhost ~]# sed -e 's/old/new/' -e 's/book/books/' file 解释：-e允许对输入的文本进行多个编辑操作，操作的文档为file #匹配每一行的第一个“old”替换为“new”，再匹配每一行的第一个“book”替换为“books”

全面替换：标记 /g

[root@localhost ~]# sed -i 's/old/new/g' file 解释：-i直接编辑文件，s为替换，/g会替换每一行中所有的匹配 #将file文件中每一行所有“old”替换为“new”

举例4：使用 – n 参数，禁止默认的输出，只输出经过sed处理的内容。

打印行：p标记

[root@localhost ~]# sed -n '1p' /etc/passwd root:x:0:0:root:/root:/bin/bash 解释：打印出文件/etc/passwd第1行内容

• 当然，也能够连续打印多行

[root@localhost ~]# sed -n '1,5p' /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 解释：打印出文件/etc/passwd中1-5行的内容

删除操作：d命令

举例5：删除空白行

[root@localhost ~]# sed '/^$/d' /etc/named.conf 解释：我们拿DNS的主配置文件为例，删除/etc/named.conf文件中的空白行

举例6：删除文件的第2行文件

[root@localhost ~]# sed '2d' /etc/named.conf 

举例7：删除文件的第2行到末尾的所有行

[root@localhost ~]# sed '2,$d' /etc/named.conf 

举例8：删除文件最后一行

[root@localhost ~]# sed '$d' /etc/named.conf 

举例8：删除文件中所有开头是test的行

[root@localhost ~]# sed '/^test/d' /etc/named.conf 

三，awk：报告生成器，格式化文本

        当处理文本文件时，awk是一个非常强大的工具。它可以用于搜索文件、提取信息、进行格式化输出以及执行计算等操作。

以下是一些基本的使用方法和示例：

举例1： 提取特定字段
   如果你有一个包含多个字段的文本文件，你可以使用awk来提取其中的某些字段。

        假设有一个包含学生信息的文件，每行包括学生的姓名、年龄和成绩，你可以使用awk来提取其中的某些字段：

[root@localhost ~]# awk '{print $1, $3}' students.txt 解释：这个命令将打印出每行中的第一个和第三个字段（即姓名和成绩）。

举例2： 进行计算
   你可以使用awk来对文本文件中的数据进行计算。

假设你有一个包含数字的文件，你可以使用awk来计算它们的总和

[root@localhost ~]# awk '{sum += $1} END {print "Total: ", sum}' numbers.txt 解释：这个命令将计算文件中所有数字的总和，并打印出结果。

举例3： 过滤数据
   你可以使用awk来过滤文本文件中的数据，只输出符合条件的行或字段。

比如，你可以只输出成绩大于80分的学生信息

[root@localhost ~]#  awk '$3 > 80 {print $1, $3}' students.txt   解释：这个命令将只输出成绩大于80分的学生的姓名和成绩。