问题服务器上有多层目录结构，存放的均为几十kb的小文件，文件总量在3000w+。使用rsync将文件备份到另一台服务器上时。rsync首先会遍历所有文件目录，这个过程大约要七八个小时，时长基本不可接受。分析由于文件特别多，又分布在众多的目录当中，rsync每次进行同步时，会遍历所有文件目录，并给每个文件的每层目录都分配一个FD(文件描述符)，并与远程的目录进行对比，这个过程占用了大量的时间解...

继续阅读 »