[原创] 如何不解压tar.gz文件查看其中的文件大小

如果你有一个上百G的tar.gz文件,要查看里面的每个文件的大小的话,解压出来可能太费时间,而且要占用大量磁盘空间。因此,不解压查看文件大小很有必要。

不解压一个tar.gz文件,查看里面的文件明细的命令为:

阅读更多

shell脚本因文件编码问题不能正确执行的问题

遇到一例因shell文件的编码问题导致执行后不能得到正确结果的问题。一般来说脚本中不会带有中文,不过有时候例外,例如你要查找一个文本中的字符串,cat test.txt | grep "汽车"  这样的命令,如果文件编码不对,就可能得不到正确结果。

阅读更多

[原创] 从零开始一步步教你:用C++开发一个简单的hadoop分布式计算应用程序

 

假设你有上百G的数据,你要统计出这些数据中,含有某些你感兴趣的内容的数据的有多少条,你会怎么做?在硬件条件允许的情况下,用hadoop并行计算是一个不错的选择。

为了使本文得以清晰地说明,我们不妨假设如下的情况:

阅读更多

[原创]关于 最优化/Optimization 的一些概念解释

 

以下是我曾在学习“最优化”理论与实践中遇到的一些概念,我刚开始学的时候,有些东西看了很多遍都还觉得很别扭、晦涩难懂,在比较清楚地理解了之后,我打算把它们写下来,并试图以很通俗、但可能不十分严谨的方式解释、呈现出来,以使一部分正在这些概念中挣扎的人能有所解脱。

但是,请注意:有一些是我个人的理解,因个人水平有限,我不能保证完全正确,请您自己辨别。

 

(1)什么是“搜索方向”

阅读更多

用shell将时间字符串与时间戳互转

在shell中,字符串转换为时间戳可以这样做:
date -d "2010-10-18 00:00:00" +%s
不需要指定时、分、秒的话,直接写日期就可以了:
date -d "2010-10-18" +%s
输出形如:
1287331200
 
其中,-d参数表示显示指定的字符串所表示的时间,+%s表示输出时间戳。

[原创]rsync同步时,只同步指定的文件类型

使用rsync来同步文件时,如果想要只同步指定的文件类型,怎么做?

我的环境:rsync客户端将文件推送到rsync服务器端。搜了一下网络,看了一下rsync help,似乎是要用exclude参数和include参数配合来实现规则,从而达到只同步指定类型文件的效果,但是我试了一下没成功,于是最终采用了一种可以实现的方法:排除其他所有文件类型。虽然比较麻烦,但是能做到就行

阅读更多

[原创] 一些未归类的命令、操作方法或问题总结(1)

下面是一些未归类的命令及操作方法,专门记在此文中,以便将来查询。

由于文章较长,请用Ctrl+F查询关键字来定位到你需要的内容。

 

(1)反向域名解析查询

在Windows下用这样的方法来查询域名反解是否做成功了:

ping -a 126.24.23.56

返回结果如果类似于这样:

阅读更多

[原创] 防范ssh暴力破解攻击(ssh brute force attack)

暴露在网络上的主机都是有风险的,其中一种风险就是ssh暴力破解攻击(ssh brute force attack)。

请先看看你的Linux主机的 /var/log/secure 文件的内容,如果你发现里面记录有无数条用各种甚至在你的系统中都不存在的用户名来尝试登录你的系统的日志,那么你就要当心了,这很有可能是别人在用工具不断尝试破解你的登录帐号。

如果你的密码不够复杂,那么很可能你会遭殃。防范的方法有很多种,这里介绍一种用第三方软件来实现防御的方法。

据网上的资源介绍,有下面几个防御软件:

阅读更多