使用tar+lz4/pigz+ssh更快的数据传输

前面一篇介绍了如何最大限度的榨取SCP的传输速度，有了这个基础，就可以进一步的使用压缩来加速传输速度了。只使用scp，传输速率

前面一篇介绍了如何最大限度的榨取SCP的传输速度，有了这个基础，就可以进一步的使用压缩来加速传输速度了。只使用scp，传输速率最快约90MB，本文通过压缩将把最快传输速率提升到约250MB/s(包括解压的过程)。

目录

1. 结论

2. 关于lz4

3. 性能环境说明

4. 实验测试

4.1 分析

1. 结论

使用tar+lz4+ssh的方式能够获得最大的传输性能：

time tar -c sendlog/|pv|lz4 -B4|ssh -c arcfour128 \ -o"MACs [e-mail]" 10.xxx.xxx.36 "lz4 -d |tar -xC /u01/backup_supu" 3.91GiB 0:00:16 [ 249MiB/s] real 0m16.067s user 0m15.553s sys 0m16.821s

249MB/s，妥妥的。是最原始scp(40MB/s)的6倍，原来400GB传输需要约3小时，现在只需要27分钟了。

注1：lz4在解压方面的优异表现，使得他在本案例中非常重要。如果无需解压的传输，则可以考虑使用pigz/pbiz2

注2：使用pv观察，网络流量约80MB，所以使用nc替换ssh并不会有明显的性能提升

注3：lz4压缩使用-B4(64KB块大小)，解压使用-B7(4MB块大小)，是本案例的测试最优值

2. 关于lz4

lz4是一个让"人见人爱、花见花开"的压缩算法，能够在多核上很好的扩展，压缩速度和压缩比并没有太大优势(pigz)，但是他的解压速度非常惊人，本案例测试lz4的解压是gunzip的3倍(更多的对比测试)。因为压缩时高效的多核利用，，再加上惊艳的解压，lz4已经在非常多重要场合使用了：Linux3.11内核实现了LZ4，并可以使用其压缩和解压kernel image HBase:Add an LZ4 compression option to HFile等等(参考)。

对于需要频繁压缩、实时快速解压的场景来说，lz4非常适合。

3. 性能环境说明

这里使用同上一篇文章相同的两台主机环境：ping获得RTT是17ms；使用iperf测试带宽是115MB(参考附录)；

整个过程有几个阶段：磁盘读取-->打包(tar)-->压缩-->传输-->解压缩-->拆包-->落盘 对应了的速度测试：

3.1 磁盘读取和落盘

磁盘读取(有page cache)，能到3GB/s；磁盘写入约428MB：

# dd if=./sendlog.tar of=/dev/null bs=4096 count=1048576 1024002+1 records in 1024002+1 records out 4194314240 bytes (4.2 GB) copied, 1.33946 s, 3.1 GB/s # dd if=/dev/zero of=./x.zero.file bs=4096 count=1048576 1048576+0 records in 1048576+0 records out 4294967296 bytes (4.3 GB) copied, 10.0306 s, 428 MB/s

3.2 打包、拆包

打包和拆包速度都大于350MB/s：

# time tar -cf sendlog.tar ./sendlog/ real 0m10.996s # time tar -xf sendlog.tar real 0m11.564s

3.3 压缩、解压缩

关于各个压缩工具的性能(压缩、解压、压缩率)已经有很多人做了比较，本文不做详细讨论，这里选择gzip/pigz lz4 bzip做本测试的比较：

| input speed | output speed | rate | speed of decoder pigz -p 16 | 327.0MB/s | 57.2MB/s | 17.5% | 95 MB/s lz4 | 288.0MB/s | 79.2MB/s | 27.5% | 264 MB/s bzip2 | 4.9MB/s | 0.65MB/s | 13.1% | 25.6MB /s

压缩工具的比较测试参考：

可以看到，lz4在压缩率上略微逊色(对比pigz)，但是在解压速度上有这惊人的优势。