# Shell工具（重点）

# cut

cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。

1.基本用法

cut [选项参数]  filename

说明：默认分隔符是制表符

1
2
3

2.选项参数说明

选项参数	功能
-f	列号，提取第几列
-d	分隔符，按照指定分隔符分割列

3.案例实操

（1）数据准备

[bigdata@hadoop01 datas]$ vim cut.txt
  
dong shen
guan zhen
wo  wo
lai  lai
le  le

1
2
3
4
5
6
7

（2）切割cut.txt第一列

[bigdata@hadoop01 datas]$ cut -d " " -f 1 cut.txt 
dong
guan
wo
lai
le

1
2
3
4
5
6

（3）切割cut.txt第二、三列

[bigdata@hadoop01 datas]$ cut -d " " -f 2,3 cut.txt  
shen
zhen
 wo
 lai
 le

1
2
3
4
5
6

（4）在cut.txt文件中切割出guan

[bigdata@hadoop01 datas]$ cat cut.txt | grep guan | cut -d " " -f 1
guan

1
2

（5）选取系统PATH变量值，第2个“：”开始后的所有路径：

[bigdata@hadoop01 datas]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/bigdata/.local/bin:/home/bigdata/bin
# ‘3-’表示第三列之后所有的，不加‘-’表示第三列
[bigdata@hadoop01 datas]$ echo $PATH | cut -d ":" -f 3-
/usr/local/sbin:/usr/sbin:/home/bigdata/.local/bin:/home/bigdata/bin

1
2
3
4
5

（6）切割ifconfig 后打印的IP地址

点击查看代码

[bigdata@hadoop01 datas]$ ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.211.100  netmask 255.255.255.0  broadcast 192.168.211.255
        inet6 fe80::5411:23dc:95e2:a165  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:b3:25:9a  txqueuelen 1000  (Ethernet)
        RX packets 5904  bytes 493997 (482.4 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 3519  bytes 495725 (484.1 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 32  bytes 2592 (2.5 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 32  bytes 2592 (2.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
[bigdata@hadoop01 datas]$ ifconfig ens33 | grep "inet " | awk '$1=$1' | cut -d " " -f 2
192.168.211.100

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

# sed

sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

1. 基本用法

sed [选项参数]  command  filename

2. 选项参数说明

选项参数	功能
-e	直接在指令列模式上进行sed的动作编辑。

3. 命令功能描述

命令	功能描述
a	新增，a的后面可以接字串，在下一行出现
d	删除
s	查找并替换

4. 案例实操

（1）数据准备

[bigdata@hadoop01 datas]$ vim sed.txt
dong shen
guan zhen
wo  wo
lai  lai

le  le

1
2
3
4
5
6
7

（2）将“mei nv”这个单词插入到sed.txt第二行下，打印。

[bigdata@hadoop01 datas]$ sed "2a mei nv" sed.txt
dong shen
guan zhen
mei nv
wo  wo
lai  lai

le  le

[bigdata@hadoop01 datas]$ cat sed.txt 
dong shen
guan zhen
wo  wo
lai  lai

le  le

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

注意：文件并没有改变

（3）删除sed.txt文件所有包含wo的行

[bigdata@hadoop01 datas]$ sed "/wo/d" sed.txt
dong shen
guan zhen
lai  lai

le  le
[bigdata@hadoop01 datas]$ cat sed.txt 
dong shen
guan zhen
wo  wo
lai  lai

le  le

1
2
3
4
5
6
7
8
9
10
11
12
13

（4）将sed.txt文件中wo替换为ni

[bigdata@hadoop01 datas]$ sed "s/wo/ni/g" sed.txt
dong shen
guan zhen
ni  ni
lai  lai

le  le

1
2
3
4
5
6
7

注意：‘g’表示global，全部替换

（5）将sed.txt文件中的第二行删除并将wo替换为ni

[bigdata@hadoop01 datas]$ sed -e "2d" -e "s/wo/ni/g" sed.txt
dong shen
ni  ni
lai  lai

le  le

1
2
3
4
5
6

# awk

一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。

1. 基本用法

awk [选项参数] 'pattern1{action1} pattern2{action2}...' filename

pattern：表示AWK在数据中查找的内容，就是匹配模式
action：在找到匹配内容时所执行的一系列命令

1
2
3
4

2. 选项参数说明

选项参数	功能
-F	指定输入文件折分隔符
-v	赋值一个用户定义变量

3. 案例实操

（1）数据准备

点击查看代码

[bigdata@hadoop01 datas]$ sudo cp /etc/passwd ./
[sudo] bigdata 的密码：
[bigdata@hadoop01 datas]$ ll
总用量 48
-rw-rw-r--. 1 bigdata bigdata    0 1月  19 16:27 bigdata.txt
-rw-rw-r--. 1 bigdata bigdata   81 1月  19 15:39 case.sh
-rw-rw-r--. 1 bigdata bigdata   43 1月  19 17:05 cut.txt
-rw-rw-r--. 1 bigdata bigdata  100 1月  19 15:56 for2.sh
-rw-rw-r--. 1 bigdata bigdata   69 1月  19 15:44 for.sh
-rwxrw-r--. 1 bigdata bigdata   49 1月  18 23:35 helloworld.sh
-rw-rw-r--. 1 bigdata bigdata   98 1月  19 15:33 if.sh
-rw-rw-r--. 1 bigdata bigdata   57 1月  19 14:21 parameter.sh
-rw-r--r--. 1 bigdata bigdata 1245 1月  19 17:46 passwd #拷贝的文件
-rw-rw-r--. 1 bigdata bigdata   79 1月  19 16:17 read.sh
-rw-rw-r--. 1 bigdata bigdata   44 1月  19 17:30 sed.txt
-rw-rw-r--. 1 bigdata bigdata  141 1月  19 16:40 sum.sh
-rw-rw-r--. 1 bigdata bigdata   82 1月  19 16:11 while.sh
[bigdata@hadoop01 datas]$ cat passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
kayson:x:1000:1001::/home/kayson:/bin/bash
test:x:1001:1003::/home/test:/bin/bash
ntp:x:38:38::/etc/ntp:/sbin/nologin
tom:x:1002:1006::/home/tom:/bin/bash
fox:x:1003:1005::/home/fox:/bin/bash
jack:x:1004:1004::/home/jack:/bin/bash
jerry:x:1005:1006::/home/jerry:/bin/bash
limi:x:1006:1004::/home/limi:/bin/bash
hanmey:x:1007:1004::/home/hanmey:/bin/bash
bigdata:x:1008:1008::/home/bigdata:/bin/bash

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

（2）搜索passwd文件以root关键字开头的所有行，并输出该行的第7列。

[bigdata@hadoop01 datas]$ awk -F : '/^root/ {print $7}' passwd
/bin/bash

1
2

（3）搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以“，”号分割。

[bigdata@hadoop01 datas]$ awk -F : '/^root/ {print $1","$7}' passwd
root,/bin/bash

1
2

注意：只有匹配了pattern的行才会执行action

（4）只显示/etc/passwd的第一列和第七列，以逗号分割，且在所有行前面添加列名user，shell在最后一行添加"limi，/bin/good"。

点击查看代码

[bigdata@hadoop01 datas]$ awk -F : 'BEGIN{print "user,shell"} {print $1","$7} END{print "limi,/bin/good"}' passwd
user,shell
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
lp,/sbin/nologin
sync,/bin/sync
shutdown,/sbin/shutdown
halt,/sbin/halt
mail,/sbin/nologin
operator,/sbin/nologin
games,/sbin/nologin
ftp,/sbin/nologin
nobody,/sbin/nologin
systemd-network,/sbin/nologin
dbus,/sbin/nologin
polkitd,/sbin/nologin
sshd,/sbin/nologin
postfix,/sbin/nologin
chrony,/sbin/nologin
kayson,/bin/bash
test,/bin/bash
ntp,/sbin/nologin
tom,/bin/bash
fox,/bin/bash
jack,/bin/bash
jerry,/bin/bash
limi,/bin/bash
hanmey,/bin/bash
bigdata,/bin/bash
limi,/bin/good

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

注意：BEGIN 在所有数据读取行之前执行；END 在所有数据执行之后执行。

（5）将passwd文件中的用户id增加数值1并输出

点击查看代码

[bigdata@hadoop01 datas]$ awk -F : -v i=1 '{print $3+i}' passwd 
1
2
3
4
5
6
7
8
9
12
13
15
100
193
82
1000
75
90
999
1001
1002
39
1003
1004
1005
1006
1007
1008
1009

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

4. awk的内置变量

变量	说明
FILENAME	文件名
NR	已读的记录数
NF	浏览记录的域的个数（切割后，列的个数）

5. 案例实操

（1）统计passwd文件名，每行的行号，每行的列数

点击查看代码

[bigdata@hadoop01 datas]$ awk -F : '{print FILENAME","NR","NF}' passwd    
passwd,1,7
passwd,2,7
passwd,3,7
passwd,4,7
passwd,5,7
passwd,6,7
passwd,7,7
passwd,8,7
passwd,9,7
passwd,10,7
passwd,11,7
passwd,12,7
passwd,13,7
passwd,14,7
passwd,15,7
passwd,16,7
passwd,17,7
passwd,18,7
passwd,19,7
passwd,20,7
passwd,21,7
passwd,22,7
passwd,23,7
passwd,24,7
passwd,25,7
passwd,26,7
passwd,27,7
passwd,28,7
passwd,29,7

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

（2）切割IP

[bigdata@hadoop01 datas]$ ifconfig ens33 | grep "netmask"
        inet 192.168.211.100  netmask 255.255.255.0  broadcast 192.168.211.255
[bigdata@hadoop01 datas]$ ifconfig ens33 | grep "netmask" | awk -F " " '{print $2}'
192.168.211.100

1
2
3
4

（3）查询sed.txt中空行所在的行号

[bigdata@hadoop01 datas]$ awk '/^$/ {print NR}' sed.txt 
5

1
2

# sort

sort命令是在Linux里非常有用，它将文件进行排序，并将排序结果标准输出。

1. 基本语法

sort (选项) (参数)

选项	说明
-n	依照数值的大小排序
-r	以相反的顺序来排序
-t	设置排序时所用的分隔字符
-k	指定需要排序的列

参数：指定待排序的文件列表

2. 案例实操

（1）数据准备

[bigdata@hadoop01 datas]$ vim sort.txt
bb:40:5.4
bd:20:4.2
xz:50:2.3
cls:10:3.5
ss:30:1.6

1
2
3
4
5
6

（2）按照“：”分割后的第二列倒序排序。

[bigdata@hadoop01 datas]$ sort -t : -nrk 2 sort.txt 
xz:50:2.3
bb:40:5.4
ss:30:1.6
bd:20:4.2
cls:10:3.5

1
2
3
4
5
6

# xargs

xargs是给命令传递参数的一个过滤器，也是组合多个命令的一个工具。

xargs 可以将管道或标准输入数据转换成命令行参数，也能够从文件的输出中读取数据。

xargs 也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。

xargs 默认的命令是 echo，这意味着通过管道传递给 xargs 的输入将会包含换行和空白，通过 xargs 的处理，换行和空白将被空格取代。

xargs 是一个强有力的命令，它能够捕获一个命令的输出，然后传递给另外一个命令。

基本用法

somecommand |xargs -item  command

参数 -a file 从文件中读入作为 stdin -e flag ，注意有的时候可能会是-E，flag必须是一个以空格分隔的标志，当xargs分析到含有flag这个标志的时候就停止。 -p 当每次执行一个argument的时候询问一次用户。 -n num 后面加次数，表示命令在执行的时候一次用的argument的个数，默认是用所有的。 -t 表示先打印命令，然后再执行。 -i 或者是-I，这得看linux支持了，将xargs的每项名称，一般是一行一行赋值给 {}，可以用 {} 代替。 -r no-run-if-empty 当xargs的输入为空的时候则停止xargs，不用再去执行了。 -s num 命令行的最大字符数，指的是 xargs 后面那个命令的最大命令行字符数。 -L num 从标准输入一次读取 num 行送给 command 命令。 -l 同 -L。 -d delim 分隔符，默认的xargs分隔符是回车，argument的分隔符是空格，这里修改的是xargs的分隔符。 -x exit的意思，主要是配合-s使用。。 -P 修改最大的进程数，默认是1，为0时候为as many as it can ，这个例子我没有想到，应该平时都用不到的吧。

案例：

[bigdata@hadoop01 shell]$ echo "a b a c b d" | xargs -n1
a
b
a
c
b
d

1
2
3
4
5
6
7

# uniq

uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。

uniq 可检查文本文件中重复出现的行列。

基本用法

uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]

参数： -c或--count 在每列旁边显示该行重复出现的次数。 -d或--repeated 仅显示重复出现的行列。 -f<栏位>或--skip-fields=<栏位> 忽略比较指定的栏位。 -s<字符位置>或--skip-chars=<字符位置> 忽略比较指定的字符。 -u或--unique 仅显示出一次的行列。 -w<字符位置>或--check-chars=<字符位置> 指定要比较的字符。 --help 显示帮助。 --version 显示版本信息。 [输入文件] 指定已排序好的文本文件。如果不指定此项，则从标准读取数据； [输出文件] 指定输出的文件。如果不指定此选项，则将内容显示到标准输出设备（显示终端）。

实例

[bigdata@hadoop01 shell]$ echo "a b a c b d" | xargs -n1 | uniq -c
      1 a
      1 b
      1 a
      1 c
      1 b
      1 d

1
2
3
4
5
6
7

← 函数企业真实面试题（重点） →