nc + tar 内网转移海量小文件
作为运维人员,转移数据到其它服务器可能都已经是家常便饭的事儿了。但转移海量小文件时,传统的几种方式就显得心有余而力不足。日常用的工具在传输大量小文件时对I/O和网络资源利用不足,甚至每传一个文件都会花大量的时间来建立网络连接。比如,scp、rsync 等工具就很难满足这种需求。如果使用 nc + tar 的方式,它几乎可以压榨你所有的网络和I/O资源来转移海量小文件数据。
nc 接收端的监听方式在 Ubuntu 和 CentOS 中略有不同:
Ubuntu:
1 | #接收端 |
CentOS:
1 | #接收端 |