Linux【2】-管理文件-4-5-linux文件的分割(split)
15 分钟之后，我要去朋友家聚会。我打算从我的台式机上把一部 700MB 大小的美国大片拷贝出来，带到朋友家去看，可是我的两个优盘都只有 512MB，这让我如何是好？
别急，用 10 分钟赶快来认识一下我们的 split 拆分小能手，一切问题将迎刃而解。当遇到大文件而苦不堪言的时候，split 就会像天使一样解救我们于水火之中。
一、参数说明
语法：
split [-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]
-b ：後面可接欲分割成的檔案大小，可加單位，例如 b, k, m 等；
-l ：以行數來進行分割。
二、具体用法
2.1 合久必分
闲言少叙，我们现在就来介绍拆分的方法。先使用 dd 命令来生成一个 700MB 文件来作为我们的拆分对象：
[root@roclinux ~]$ dd if=/dev/zero bs=1024 count=700000 of=king_of_ring.avi
700000+0 records in
700000+0 records out
716800000 bytes (717 MB) copied, 12.9189 s, 55.5 MB/s
[root@roclinux ~]$ ls -l king_of_ring.avi
-rw-r--r-- 1 root root 716800000 Apr 12 13:01 king_of_ring.avi
美国大片的文件大小是 700MB，而我手边仅有的两个优盘，都是 512MB 大小的。我打算把文件以 400MB 作为一个拆分单位，来进行拆分。这里使用到了 split 的-b选项，来指定每个拆分文件的大小：
[root@roclinux ~]$ split -b 400M king_of_ring.avi
[root@roclinux ~]$ ls -l
total 1400008
-rw-r--r-- 1 root root 716800000 Apr 12 13:01 king_of_ring.avi
-rw-r--r-- 1 root root 419430400 Apr 12 13:04 xaa
-rw-r--r-- 1 root root 297369600 Apr 12 13:04 xab
看！分身完毕！咦，怎么多出了 xaa 和 xab 两个文件，这么奇怪的名字？
是的，你没看错，在没有明确指定拆分后文件的命名方式的情况下，split 会默认采用 x 字符作为文件前缀，采用类似 aa、ab、ac 的字符串依次作为文件后缀。于是，就出现了我们上面看到的 xaa、xab 了。
从文件大小来看，如我们所愿，电影文件的确被切割成了一个 400MB 的文件、一个 300MB 的文件，终于可以装到两个优盘里了。
2.2 知其然，知其所以然
知道了拆分命令后，我们来一起学习一下 split 的命令格式和常用选项。
split 的作用很好描述，就是将文件按照一定规则进行拆分。一般情况下，我们可以按照文件大小来进行拆分，如果是文本文件的话，还可以按照行数来进行拆分，默认是 1000 行作为一个拆分单位。
默认情况下，分割后的文件的名称会以 x 作为前缀，以 aa、ab、ac 这样的双字母格式作为后缀，形成 xaa、xab 这样的名称格式。
我们来一起看看 split 的命令格式：
split [-b ][-C ][-][-l ][要切割的文件][输出文件名前缀][-a ]
最常用的选项，都在这里了：
-b<字节>：指定按多少字节进行拆分，也可以指定 K、M、G、T 等单位。
-<行数>或-l<行数>：指定每多少行要拆分成一个文件。
输出文件名前缀：设置拆分后的文件的名称前缀，split 会自动在前缀后加上编号，默认从 aa 开始。
-a<后缀长度>：默认的后缀长度是 2，也就是按 aa、ab、ac 这样的格式依次编号。
2.3 分久必合
完成了美国大片的拆分，我赶赴朋友家，打开他的电脑，优盘插上，使用 cat 命令将拆分文件 xaa 和 xab 合并成一个文件，可以看出合并后的文件和源文件的大小是一致的：
[root@roclinux ~]$ cat xaa xab > king_of_ring_merge.avi
[root@roclinux ~]$ ls -l
total 2100012
-rw-r--r-- 1 root root 716800000 Apr 12 13:01 king_of_ring.avi
-rw-r--r-- 1 root root 716800000 Apr 12 13:07 king_of_ring_merge.avi
-rw-r--r-- 1 root root 419430400 Apr 12 13:04 xaa
-rw-r--r-- 1 root root 297369600 Apr 12 13:04 xab
对了，如果是在 Windows 下的话，我们要先运行 cmd，然后用 copy 命令来进行文件的合并：
copy /b xaa + xab king_of_ring.avi
格式上和 Linux 有些区别，但原理是一样的。
2.4 设置拆分文件的名称前缀
上面例子中，我们没有指定拆分文件的名称前缀，结果拆分后的文件名都是 aa、ab 这样的名称，这样的名称既不达意也不美观。
下面的例子，我们尝试以 king_of_ring_part_ 作为拆分后文件的名称前缀：
#我们指定了king_of_ring_part_前缀
[root@roclinux ~]$ split -b 400m king_of_ring.avi king_of_ring_part_
#可以看到, 文件名的可读性提高了很多
[root@roclinux ~]$ ls -l king*
-rw-r--r-- 1 root root 716800000 Feb 25 18:29 king_of_ring.avi
-rw-r--r-- 1 root root 419430400 Feb 25 19:24 king_of_ring_part_aa
-rw-r--r-- 1 root root 297369600 Feb 25 19:24 king_of_ring_part_ab
文件名的可读性是不是提高了不少，从文件名称就可以看出来是美国大片的拆分文件啦。
2.5 设置数字后缀
如果大家看不惯以 aa、ab 这种字母作为文件后缀，我们还可以通过-d选项来指定数字形式的文件后缀：
#使用了-d选项
[root@roclinux ~]$ split -b 400m -d king_of_ring.avi king_of_ring_part_
#后缀从原来的aa、ab变成了00、01
[root@roclinux ~]$ ls -l king*
-rw-r--r-- 1 root root 716800000 Feb 25 18:29 king_of_ring.avi
-rw-r--r-- 1 root root 419430400 Feb 25 19:24 king_of_ring_part_00
-rw-r--r-- 1 root root 297369600 Feb 25 19:24 king_of_ring_part_01
对于中国人来说，数字形式的后缀，增加了文件名称的可读性。
2.6 按照行数进行拆分
前面我们讲的是按照文件大小（如 400MB）进行文件拆分的方法，但是并非所有情况都适合于用文件大小作为拆分单元。比如，我们希望把 /etc/passwd 文件按照一个文件 10 行记录的方式进行拆分，又该怎么操作呢？
#使用-N来指定拆分的行数,本例中为-10
[root@roclinux ~]$ split -d -10 /etc/passwd my_passwd_
#可以看到拆分成功
[root@roclinux ~]$ wc -l my_passwd_*
10 my_passwd_00
10 my_passwd_01
5 my_passwd_02
25 total
2.7 合并后的校验不可少
需要注意的是，在通过网络来传输大文件，或者在设备之间复制大文件的时候，可能会出现传输前后数据不一致的情况。
使用 split 来拆分大文件仅仅是故事的开始，操作完毕后化零为整、完璧归赵才是完美的结局。因此需要在合并文件后进行文件的完整性校验，推荐使用 md5sum 来计算和比对前后两个大文件的 md5 值。
#对原先的文件计算md5值
[root@roclinux ~]$ md5sum king_of_ring.avi
eacff27bf2db99c7301383b7d8c1c07c king_of_ring.avi
#对合并后的文件计算md5值, 并与原值进行比较
[root@roclinux ~]$ md5sum king_of_ring_merge.avi
eacff27bf2db99c7301383b7d8c1c07c king_of_ring_merge.avi
如果前后一致，那么恭喜你，文件合并成功！
好了，split 学完了，我们也可以和朋友一起欣赏惊险刺激的美国大片了！
二、讨论
2.1 将一个大的文件分割成多个小文件：
采用一个50M大小的日志文件进行测试。 日志文件名：log.txt.gz。 文件行数：208363
方法1：split分割(这个专业额)
# gunzip log.txt.gz //一定要先解压，否则分割的文件是不能cat/zcat显示；
# wc -l log.txt //计算一个文件的总行数；
208363 log.txt
# split -l 120000 log.txt newlog //通过指定行数，将日志分割成两个文件；
# du -sh *50M log.txt
29M newlogaa
22M newlogab
# file * //分割后的文件与原文件属性一样
log.txt: ASCII text, with very long lines, with CRLF line terminators
newlogaa: ASCII text, with very long lines, with CRLF line terminators
newlogab: ASCII text, with very long lines, with CRLF line terminators
# gzip newlogaa newlogab //将分割后的文件进行压缩，以便传输
[root@www tmp]# ls -al / | split -l 10 - lsroot
[root@www tmp]# wc -l lsroot*
10 lsrootaa
10 lsrootab
6 lsrootac
26 total
重點在那個 - 啦！一般來說，如果需要 stdout/stdin 時，但偏偏又沒有檔案， 有的只是 - 時，那麼那個 - 就會被當成 stdin 或 stdout ～
方法2：dd分割
# gunzip log.txt.gz //一定要先解压，否则分割的文件是不能cat/zcat显示；
#dd bs=20480 count=1500 if=log.txt of=newlogaa //按大小分第一个文件
#dd bs=20480 count=1500 if=log.txt of=newlogab skip=1500 //将大小之后的生成另一个文件#file *
log.txt: ASCII text, with very long lines, with CRLF line terminators
newlogaa: ASCII text, with very long lines, with CRLF line terminators
newlogab: ASCII text, with very long lines, with CRLF line terminators
分割没问题，但会出现同一行分到不同文件的情况，除非你以及日志分析系统可以“容忍”。 很简单，因为这个的分割是根据字符数来分割的。 if=filename：输入的文件名 of=finename：输出的文件名 bs=bytes：一次读写的字节数，默认是512bytes skip=blocks:拷贝前，跳过的输入文件的前blocks块，块的大小由bs决定，意思就是从哪个块为起点。 count=blocks：只拷贝输入文件的前blocks块 上面的例子中是把原文件切割成20K大小的块，前1500块放在文件newlogaa，后面的放在文件newlogab。
方法3：head+tail 分割
#gzip log.txt.gz //如不解压缩，下面请用zcat。
#wc -l log.txt //统计一个行数
208363 log.txt
# head -n `echo $((208363/2+1))` log.txt > newloga.txt //前x行重定向输出到一个文件中；
#tail –n `echo $((208363-208362/2-1))` log.txt >newlogb.txt //后x行重定向输出到一个文件中；
#gzip newloga.txt newlogb.txt //将两个文件进行压缩
方法4：awk分割
#gzip log.txt.gz#awk ‘{if (NR<120000) print $0}’ log.txt >newloga.txt#awk ‘{if (NR>=120000) print $0}’ log.txt >newlogb.txt
以上两个命令，都要遍历整个文件，所以考虑到效率，应使用合并成：
#awk ‘{if (NR<120000) print $0 >”newloga.txt”;if (NR>=120000) print $0>”newlogb.txt”}’ log.txt
以上四种方法，除了dd之外的三种方式都可以很好的整行分割日志文件。进行分割时，应考虑在读一次文件的同时完成，如不然，按下面的方式分割：
Cat log.txt| head –12000 >newloga.txt
Cat log.txt | tail –23000 >newlogb.txt
如用此方法分割文件的后一部分，那么执行第二行命令文件时，前x行是白白读一遍的，执行的效率将很差，如文件过大，还可能出现内存不够的情况。
四、我的用法
4.1 使用split将文件拆分成小于4G的文件
拆分：
split -b 3.9G file.tar.gz
将生成xaa, xab, xac。。文件，合并一下就好
合并：
cat x* > outfile
参考文献
