nc + tar 内网转移海量小文件
作为运维人员,转移数据到其它服务器可能都已经是家常便饭的事儿了。但转移海量小文件时,传统的几种方式就显得心有余而力不足。日常用的工具在传输大量小文件时对I/O和网络资源利用不足,甚至每传一个文件都会花大量的时间来建立网络连接。比如,scp、rsync 等工具就很难满足这种需求。如果使用 nc + tar 的方式,它几乎可以压榨你所有的网络和I/O资源来转移海量小文件数据。
作为运维人员,转移数据到其它服务器可能都已经是家常便饭的事儿了。但转移海量小文件时,传统的几种方式就显得心有余而力不足。日常用的工具在传输大量小文件时对I/O和网络资源利用不足,甚至每传一个文件都会花大量的时间来建立网络连接。比如,scp、rsync 等工具就很难满足这种需求。如果使用 nc + tar 的方式,它几乎可以压榨你所有的网络和I/O资源来转移海量小文件数据。
Inception是集审核、执行、回滚于一体的一个自动化运维系统,它是根据MySQL代码修改过来的,用它可以很明确的,详细的,准确的审核MySQL的SQL语句,它的工作模式和MySQL完全相同,可以直接使用MySQL客户端来连接,Inception是一款自动化运维的利器,有别与现在各个公司使用的方式,使用Inception,将会给DBA带来最大的便利性,将DBA从繁冗的工作中解放出来,做一些更多的自动化工作,或者从架构方面研究如何更大程度的保证数据库的高可用等等。
所有数据库名以 dbname_
打头,库名、表名必须使用下划线分割开,全部用小写字母,表名以库名的首字母缩写作为前缀,如dbname_db
库下所有的表都以 tbn
表前缀,以保证该表的全局唯一性。
MHA是一位日本MySQL大牛用Perl写的一套MySQL故障切换方案,来保证数据库系统的高可用.在宕机的时间内(通常10—30秒内),完成故障切换,部署MHA,可避免主从一致性问题,节约购买新服务器的费用,不影响服务器性能,易安装,不改变现有部署。还支持在线切换,从当前运行master切换到一个新的master上面,只需要很短的时间(0.5-2秒内),此时仅仅阻塞写操作,并不影响读操作,便于主机硬件维护。在有高可用,数据一致性要求的系统上,MHA 提供了有用的功能,几乎无间断的满足维护需要。
Percona XtraDB Cluster 是 MySQL 高可用性和可扩展性的解决方案。Percona Server 是MySQL的改进版本,使用 XtraDB 存储引擎,在功能和性能上较 MySQL 有着很显著的提升,如提升了在高负载情况下的 InnoDB 的性能,Percona XtraDB Cluster 完全兼容 MySQL 和 Percona Server。
OpenERP是开源的ERP系统,功能丰富,通用性高,扩展性强,它的界面非常漂亮,安装也很简单。OpenERP官方有提供 Ubuntu 软件源,建议系统选择 Ubuntu,这样可以节省不少的时间和工作量。似乎 OpenERP 的开发者是在 Ubuntu 平台下工作的,对 Ubuntu 的支持都好过其它的发行版本,资料也是基于 Ubuntu 来编写的。
公司用的 Cacti 监控平台已经有些时日了,一直运行很稳定,不过,昨天接到通知要迁移 Cacti 平台到别外的一台新服务器。以初以为直接把 Cacti 的 WEB 文件和数据库同步到新服务器就可以了,在实际操作的过程中发现并不是这样的。
一直纠结于哪里写博客,曾用过新浪博客,百度空间,JavaEye,LOFTER,OSChina,cnblogs,CSDN,自搭WordPress,都不满意。再后来也弄过Jekyll和Octopress,觉累不爱。
直到多看了一眼hexo,这个逼格极高的程序猿写作方式,我喜欢。就连 hexo 的发音都像是 黑客哦 !如果你跟我一样纠结哪里写博,那就来到GitHub吧,让我们一起hexo!H人希绝对不会让你失望,相信很快hexo就会流行起来。
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
1 | $ hexo new "My New Post" |
More info: Writing
1 | $ hexo server |
More info: Server