Linux【3.2】-shell-5--管道和Xargs
-
本质上来说，管道就是一种特殊的重定向，也就是对一个命令的输出进行管道连接（即重定向），用作下一个命令的输入。在 Linux 环境中，命令协作 最常用方式就是构造命令管道。
-
常用来作为接收数据管道命令有：sed, awk, cut, head, tail,top, less, more,wc, join, sort, split 等等，都是些文本处理命令。
-
管道的另外一种形式称为命令替换。实现方法是将您希望使用其结果的命令封闭在反单引号（`[1]）中或者封闭在 $( 和 ) 之间。
-
重定向与管道在使用时候很多时候可以通用，其实，在 shell 里面，经常是【条条大路通罗马】的。一般如果是命令间传递参数，还是管道的好，如果处 理输出结果需要重定向到文件，还是用重定向输出比较好。
例子：
ls -al ~ | cut -c1
一. 简介
之所以能用到这个命令，关键是由于很多命令不支持|管道来传递参数，而日常工作中有有这个必要，所以就有了xargs命令，例如：
find /sbin -perm +700 |ls -l 这个命令是错误的
find /sbin -perm +700 |xargs ls -l 这样才是正确的
xargs 可以读入 stdin 的资料，并且以空白字元或断行字元作为分辨，将 stdin 的资料分隔成为 arguments 。 因为是以空白字元作为分隔，所以，如果有一些档名或者是其他意义的名词内含有空白字元的时候， xargs 可能就会误判了
xargs命令：一个给其他命令传递参数的过滤器
xargs 是 execute arguments 的缩写，它的作用是从标准输入中读取内容，并将此内容传递给它要协助的命令，并作为那个命令的参数来执行。
坊间有一种说法，将 xargs 解读为乘号（x）和参数（args）的合体，很形象地表达了 xargs 的作用所在。
好了，我们一起来见识一下 xargs 的护花本领吧： #我们用ls命令列出当前路径下的文件, 包括3个文件
[roc@roclinux ~]$ ls
china.txt usa.txt japan.txt
#我们通过xargs + ls的方式列出my.txt文件和your.txt文件
[roc@roclinux ~]$ echo "china.txt usa.txt" | xargs ls
china.txt usa.txt
可以很清晰地看到，xargs 将 echo 的输出作为自己的标准输入，并且将其传递给了 ls 命令，作为 ls 命令的参数来执行。
二. 选项解释
-0 当sdtin含有特殊字元时候，将其当成一般字符，想/'空格等
例如：
root@localhost:~/test#echo "//"|xargs echo
root@localhost:~/test#echo "//"|xargs -0 echo
-a file 从文件中读入作为sdtin，（看例一）
-e flag ，注意有的时候可能会是-E，flag必须是一个以空格分隔的标志，当xargs分析到含有flag这个标志的时候就停止。（例二）
-p 当每次执行一个argument的时候询问一次用户。（例三）
-n num 后面加次数，表示命令在执行的时候一次用的argument的个数，默认是用所有的。（例四）
-t 表示先打印命令，然后再执行。（例五）
-i 或者是-I，这得看Linux支持了，将xargs的每项名称，一般是一行一行赋值给{}，可以用{}代替。（例六）
-r no-run-if-empty 当xargs的输入为空的时候则停止xargs，不用再去执行了。（例七）
-s num 命令行的最好字符数，指的是xargs后面那个命令的最大命令行字符数。（例八）
-L num Use at most max-lines nonblank input lines per command line.-s是含有空格的。
-l 同-L
-d delim 分隔符，默认的xargs分隔符是回车，argument的分隔符是空格，这里修改的是xargs的分隔符（例九）
-x exit的意思，主要是配合-s使用。
-P 修改最大的进程数，默认是1，为0时候为as many as it can ，这个例子我没有想到，应该平时都用不到的吧。
2.1 命令参数中包含了空格
当命令参数中包含了空格时，情况就会复杂很多，一起来看一个示例。
#我们创建了3个日志文件, 且故意让文件名称中都含有空格
[roc@roclinux ~]$ for((i=0;i<3;i++)); do touch "test ${i}.log";done
#我们列出创建的文件
[roc@roclinux ~]$ ls -1F
test 0.log
test 1.log
test 2.log
#我们来运行xargs命令, 发现报错了
[roc@roclinux ~]$ find . -name '*.log' -print | xargs rm
rm: cannot remove ‘./test’: No such file or directory
rm: cannot remove ‘1.log’: No such file or directory
rm: cannot remove ‘./test’: No such file or directory
rm: cannot remove ‘0.log’: No such file or directory
rm: cannot remove ‘./test’: No such file or directory
rm: cannot remove ‘2.log’: No such file or directory
我们在当前目录中创建了 3 个文件，文件名中间都含有空格。但当 find 命令获取到的文件名经过 xargs 传送给 rm 命令时，文件“./test 1.log”就变成了“./test”和“1.log”两个文件了。即原本 3 个文件名刹那间就变成了 6 个文件名，而这 6 个文件其实并不存在，从而引发了错误。
这个错误的根源就在于 xargs 默认的分隔符是空格，如果我们能将 xargs 的分隔符改成其他符号，问题就迎刃而解了！
xargs 提供了-0选项，允许将 NULL 作为分隔符，而 find 命令也心有灵犀地提供了对应的选项来产生以 NULL 字符作为分隔符的输出。
find 命令提供的对应方法是 -print0 选项，在文件名之后输出 NULL，而不像 -print 选项那样输出换行符（换行符会被 xargs 替换成空格）。
正如我们所期待的，命令果然正常执行了，完美！
[roc@roclinux ~]$ find . -name '*.log' -print0 | xargs -0 rm -f
对了，要补充一点，xargs 的-0选项不仅可以将分隔符从默认的空格变成 NULL，还会将单引号、双引号、反斜线等统统默认为是普通字符。所以说，-0选项特别适合处理命令参数中含有引号、空格、反斜线的情况。
如果你是一位 GEEK，希望掌握得更深入，那么我们就再补充一个知识点。除了可以使用-0选项外，其实还可以使用-d选项来指定任何一个符号作为分隔符。只是我们要格外慎重，避免我们所设定的那个分隔符恰好是我们命令参数中所包含的字符，那就会导致非预期的结果了。
2.2 在传送参数前和我们确认一下
如果在前一个命令的标准输出中，会有一些参数是你不希望或者不确定是否要传送给后面命令的，这个时候我们就希望 xargs 在传送参数前和我们确认一下。而-p选项恰好可以实现这个愿望，我们可以输入 y 或者 n 来选择是否要执行当前命令：
[roc@roclinux ~]$ find . -type f |xargs -p rm -f
rm -f ./china.txt ./usa.txt ./japan.txt ?...n
上面的命令中，我们输入了“n”，也就是不希望删除这三个文件。不过，这样的确认粒度太粗，我们希望的是更精细地确认，来试试-n选项吧：
[roc@roclinux 20160408]$ find . -type f |xargs -p -n 1 rm -f
rm -f ./china.txt ?...n
rm -f ./usa.txt ?...y
rm -f ./japan.txt ?...n
使用-n选项，可以让 xargs 每次只处理 1 个参数，这样做的好处是避免一次性删除过多文件，万一误删了不该删除的文件，那麻烦就大了。
2.3 遇到就停止
xargs 已经足够优秀了，可以帮助我们处理各种各样的问题。但我们对 xargs 还有更加苛刻的要求，那就是当碰到某个特定的命令参数时，要求 xargs 立即终止并退出。
这个效果，我们可以使用-E选项来实现。
比如，我们正在处理一份日志文件 country.list 中的内容，将日志文件中的字符以空行作为分隔符依次 echo 出来，一旦遇到 korea 便终止退出：
[roc@roclinux ~]$ echo "china usa korea japan" > country.list
[roc@roclinux ~]$ cat country.list
china usa korea japan
[roc@roclinux ~]$ cat country.list | xargs -E 'korea' echo
china usa
可以看到当处理到 korea 的时候，xargs 机警地发现了状况，于是，按照我们的要求，立即终止并退出了。好乖的 xargs 啊！
三. 应用举例
例一：
root@localhost:~/test#cat test
#!/bin/sh
echo "hello world/n"
root@localhost:~/test#xargs -a test echo
#!/bin/sh echo hello world/n
root@localhost:~/test#
例二：
root@localhost:~/test#cat txt
/bin tao shou kun
root@localhost:~/test#cat txt|xargs -E 'shou' echo
/bin tao
root@localhost:~/test#
例三：
root@localhost:~/test#cat txt|xargs -p echo
echo /bin tao shou kun ff ?...y
/bin tao shou kun ff
例四：
root@localhost:~/test#cat txt|xargs -n1 echo
/bin
tao
shou
kun
root@localhost:~/test3#cat txt|xargs echo
/bin tao shou kun
例五：
root@localhost:~/test#cat txt|xargs -t echo
echo /bin tao shou kun
/bin tao shou kun
例六：
$ ls | xargs -t -i mv {} {}.bak
例七：
root@localhost:~/test#echo ""|xargs -t mv
mv
mv: missing file operand
Try `mv --help' for more information.
root@localhost:~/test#echo ""|xargs -t -r mv
root@localhost:~/test#
（直接退出）
例八：
root@localhost:~/test#cat test |xargs -i -x -s 14 echo "{}"
exp1
exp5
file
xargs: argument line too long
linux-2
root@localhost:~/test#
例九：
root@localhost:~/test#cat txt |xargs -i -p echo {}
echo /bin tao shou kun ?...y
root@localhost:~/test#cat txt |xargs -i -p -d " " echo {}
echo /bin ?...y
echo tao ?.../bin
y
echo shou ?...tao
再如：
root@localhost:~/test#cat test |xargs -i -p -d " " echo {}
echo exp1
exp5
file
linux-2
ngis_post
tao
test
txt
xen-3
?...y
root@localhost:~/test#cat test |xargs -i -p echo {}
echo exp1 ?...y
echo exp5 ?...exp1
y
echo file ?...exp5
y
四.讨论
4.1.管道命令和xargs的区别
- 管道是实现“将前面的标准输出作为后面的标准输入”
- xargs是实现“将标准输入作为命令的参数”
你可以试试运行代码:
echo "--help"|cat
echo "--help"|xargs cat
看看结果的不同。
为什么选择 cat 命令呢？众所周知，cat 命令可以接收文件名作为参数，执行后会显示出文件的内容。但是 cat 命令不能直接从标准输入接收参数，正如下面的例子： #cat后面直接指定china.txt参数, 可以展示china.txt文件的内容
[roc@roclinux ~]$ cat china.txt
hello beijing
#我们尝试通过标准输入把参数传给cat, 结果却只是显示了文件名而已
[roc@roclinux ~]$ echo china.txt | cat
china.txt
这个时候，就要有请 xargs 这位护花使者了。xargs 所擅长的正是“将标准输入作为其指定命令的参数”。说着有些拗口，但我相信大家懂的。
#xargs果然不负众望, 协助cat完成了使命
[roc@roclinux ~]$ echo china.txt | xargs cat
hello beijing
4.2. 批量转移文件
ls |grep linux |xargs -t -I {} mv {} ../unix/linux/
寻找大于3m的文本文件，然后切分成5个文件，最后复制到 dong 文件夹
find -size +3M | grep /.txt | xargs -n 1 splite -C 5
ls | grep [0-4]/.txt | xargs -n 1 -t -I {} mv {} dong
xargs -n 1 (很重要，特别是自己编程序，在window下，如果没有“－n 1” 你会得到多管线错误。
－t －I ｛｝ mv ｛｝ dong 中的花括号的位置很重要
第一个{} 表示 出过去的变量， mv 后面的｛｝不能丢，他起到占位，变量的作用。
4.3 针对文件夹内部分文件进行grep
ls * |xargs -t -i grep 'SVKVS' {}
4.4 你可能一生都不会遇到的参数过长报错
可能很多运维工程师都没有遇到过“Argument list too long”这样的报错。但要想成为一名资深的运维工程师，了解它的原因和解决方法还是很有必要的。
我们来模拟一个这样的场景，新建 10 万个日志文件，并且尝试用 rm 命令一次性删除：
[roc@roclinux ~]$ for((i=0;i<100000;i++)); do touch test${i}.log;done
[roc@roclinux ~]$ rm $(find . -type f -name '*.log')
-bash: /bin/rm: Argument list too long
出现了“Argument list too long”报错，这说明 rm 可接受的参数长度达到了极限。这其实并非 rm 的错，而是系统限制了参数的长度。通过下面的命令可以查看到系统的参数长度限制值：
[roc@roclinux ~]$ getconf ARG_MAX
2621440
如果真的遇到了参数过长的问题，我们的应对方法其实有很多种，比如把文件手工分组以缩短参数的长度，但是这个方法并不优雅，而且费时费力。最优雅的方法当然就是借助 xargs 啦：
[roc@roclinux ~]$ find . -name '*.log' -print | xargs rm
借助 xargs，并利用管道的特性，find 命令将输出的内容分段传给 rm 命令，而不是一股脑儿地塞过去。这样一来，rm 命令可以先处理最先获取的一部分文件，然后再处理下一批，并一直继续下去，直到全部删除为止。
好了，xargs 这位护花使者是不是既聪明又听话呢，在运维过程中，尝试使用起来吧，你会事半功倍的！
参考资料
