[原创] 从零开始一步步教你:用C++开发一个简单的hadoop分布式计算应用程序

 

假设你有上百G的数据,你要统计出这些数据中,含有某些你感兴趣的内容的数据的有多少条,你会怎么做?在硬件条件允许的情况下,用hadoop并行计算是一个不错的选择。

为了使本文得以清晰地说明,我们不妨假设如下的情况:

阅读更多

用shell将时间字符串与时间戳互转

在shell中,字符串转换为时间戳可以这样做:
date -d "2010-10-18 00:00:00" +%s
不需要指定时、分、秒的话,直接写日期就可以了:
date -d "2010-10-18" +%s
输出形如:
1287331200
 
其中,-d参数表示显示指定的字符串所表示的时间,+%s表示输出时间戳。

[原创]rsync同步时,只同步指定的文件类型

使用rsync来同步文件时,如果想要只同步指定的文件类型,怎么做?

我的环境:rsync客户端将文件推送到rsync服务器端。搜了一下网络,看了一下rsync help,似乎是要用exclude参数和include参数配合来实现规则,从而达到只同步指定类型文件的效果,但是我试了一下没成功,于是最终采用了一种可以实现的方法:排除其他所有文件类型。虽然比较麻烦,但是能做到就行

阅读更多

[原创] 一些未归类的命令、操作方法或问题总结(1)

下面是一些未归类的命令及操作方法,专门记在此文中,以便将来查询。

由于文章较长,请用Ctrl+F查询关键字来定位到你需要的内容。

 

(1)反向域名解析查询

在Windows下用这样的方法来查询域名反解是否做成功了:

ping -a 126.24.23.56

返回结果如果类似于这样:

阅读更多

[原创] 防范ssh暴力破解攻击(ssh brute force attack)

暴露在网络上的主机都是有风险的,其中一种风险就是ssh暴力破解攻击(ssh brute force attack)。

请先看看你的Linux主机的 /var/log/secure 文件的内容,如果你发现里面记录有无数条用各种甚至在你的系统中都不存在的用户名来尝试登录你的系统的日志,那么你就要当心了,这很有可能是别人在用工具不断尝试破解你的登录帐号。

如果你的密码不够复杂,那么很可能你会遭殃。防范的方法有很多种,这里介绍一种用第三方软件来实现防御的方法。

据网上的资源介绍,有下面几个防御软件:

阅读更多

[原创] Techniques 中文翻译(Google Protocol Buffers中文教程)

Techniques 技巧


注:这是本人的翻译,可能不准确,可能有错误,但是基本上可以理解,希望能对大家有所帮助!(转载须注明出处:本文来自learnhard的博客:http://www.codelast.com/http://blog.csdn.net/learnhard/

阅读更多

[原创] Style Guide中文翻译(Google Protocol Buffers中文教程)

Style Guide 风格指南


注:这是本人的翻译,可能不准确,可能有错误,但是基本上可以理解,希望能对大家有所帮助!(转载须注明出处:本文来自learnhard的博客:http://www.codelast.com/http://blog.csdn.net/learnhard/

[原创] Language Guide中文翻译(Google Protocol Buffers中文教程)

Language Guide 语言指南


注:这是本人的翻译,可能不准确,可能有错误,但是基本上可以理解,希望能对大家有所帮助!(转载须注明出处:本文来自learnhard的博客:http://www.codelast.com/ http://blog.csdn.net/learnhard/

阅读更多

[原创] Protocol Buffer Basics: C++中文翻译(Google Protocol Buffers中文教程)

Protocol Buffer Basics: C++Protocol Buffer基础:C++篇)


注:这是本人的翻译,可能不准确,可能有错误,但是基本上可以理解,希望能对大家有所帮助!(转载需注明出处:本文来自learnhard的博客:http://www.codelast.com/ http://blog.csdn.net/learnhard/

[原创] something about Google Test(Google C++ Testing Framework)

 

先说说cxxtest这个测试框架:用cxxtest来编写测试用例时,我们需要写的只是一个.h文件,在这个文件里include你要测试的类或函数所在的头文件,然后写各种测试函数。与该.h文件对应的.cpp文件是用cxxtest自带的一个脚本cxxtestgen.pl来生成的(脚本调用方法请看cxxtest手册),然后我们就得到了一个.h文件和一个.cpp文件,用gcc/g++编译,得到一个可执行文件,运行此文件,就执行了你所编写的测试用例。

阅读更多

[原创] something about Google Mock / gmock使用小结

本文基于gmock版本:1.5.0,本文内容不保证对后续版本一定正确。

下载gmock:http://code.google.com/p/googlemock/downloads/list

安装:将下载的压缩包解压出来,到解压目录下执行:

./configure

然后执行:

make

注意,这个make不会编译Google Mock自己的测试用例。要编译它们,需要到解压目录下的“make”子目录下,执行:

make gmock_test

阅读更多

[原创] 用shell判断一个字符串是不是全为数字 & 截取字符串的若干示例

文章来源:http://www.codelast.com/

 

(1)判断一个字符串是不是全为数字

#!/bin/sh

# 该变量就是要判断的变量
VAR="1234908"

RET=`expr match $VAR "[0-9]*$"`
if [ ${RET} -gt 0 ]; then
	echo "It is a Number!"
else
	echo "Not a Number!"
fi

文章来源:http://www.codelast.com/

另外要注意:用这种方式来判断负数的时候,也认为不是全为数字的,因为负数中带了一个负号,就不是数字

阅读更多