以pipe方式运行C++ hadoop程序时,如果想要动态设置job的参数(例如设置job name),不像用Java那么方便(可能是我没有找到对应的函数),因为在头文件 Pipes.hh 中,虽然有 JobConf 这样一个类,却没有提供相应的set方法,而只有get方法。
以pipe方式运行C++ hadoop程序时,如果想要动态设置job的参数(例如设置job name),不像用Java那么方便(可能是我没有找到对应的函数),因为在头文件 Pipes.hh 中,虽然有 JobConf 这样一个类,却没有提供相应的set方法,而只有get方法。
假设你有上百G的数据,你要统计出这些数据中,含有某些你感兴趣的内容的数据的有多少条,你会怎么做?在硬件条件允许的情况下,用hadoop并行计算是一个不错的选择。
为了使本文得以清晰地说明,我们不妨假设如下的情况:
假设你想删除一个文本文件的前N行,并且你不想先将后面要保留的内容先保存到其他临时文件中,那么可以在shell中这样写(此处假设要删除的是 /root/file.txt 的前10行):
date -d "2010-10-18 00:00:00" +%s
date -d "2010-10-18" +%s
1287331200
使用rsync来同步文件时,如果想要只同步指定的文件类型,怎么做?
我的环境:rsync客户端将文件推送到rsync服务器端。搜了一下网络,看了一下rsync help,似乎是要用exclude参数和include参数配合来实现规则,从而达到只同步指定类型文件的效果,但是我试了一下没成功,于是最终采用了一种可以实现的方法:排除其他所有文件类型。虽然比较麻烦,但是能做到就行
下面是一些未归类的命令及操作方法,专门记在此文中,以便将来查询。
由于文章较长,请用Ctrl+F查询关键字来定位到你需要的内容。
(1)反向域名解析查询:
在Windows下用这样的方法来查询域名反解是否做成功了:
ping -a 126.24.23.56
返回结果如果类似于这样:
暴露在网络上的主机都是有风险的,其中一种风险就是ssh暴力破解攻击(ssh brute force attack)。
请先看看你的Linux主机的 /var/log/secure 文件的内容,如果你发现里面记录有无数条用各种甚至在你的系统中都不存在的用户名来尝试登录你的系统的日志,那么你就要当心了,这很有可能是别人在用工具不断尝试破解你的登录帐号。
如果你的密码不够复杂,那么很可能你会遭殃。防范的方法有很多种,这里介绍一种用第三方软件来实现防御的方法。
据网上的资源介绍,有下面几个防御软件:
注:这是本人的翻译,可能不准确,可能有错误,但是基本上可以理解,希望能对大家有所帮助!(转载须注明出处:本文来自learnhard的博客:http://www.codelast.com/ & http://blog.csdn.net/learnhard/)
先说说cxxtest这个测试框架:用cxxtest来编写测试用例时,我们需要写的只是一个.h文件,在这个文件里include你要测试的类或函数所在的头文件,然后写各种测试函数。与该.h文件对应的.cpp文件是用cxxtest自带的一个脚本cxxtestgen.pl来生成的(脚本调用方法请看cxxtest手册),然后我们就得到了一个.h文件和一个.cpp文件,用gcc/g++编译,得到一个可执行文件,运行此文件,就执行了你所编写的测试用例。
本文基于gmock版本:1.5.0,本文内容不保证对后续版本一定正确。
下载gmock:http://code.google.com/p/googlemock/downloads/list
安装:将下载的压缩包解压出来,到解压目录下执行:
./configure
然后执行:
make
注意,这个make不会编译Google Mock自己的测试用例。要编译它们,需要到解压目录下的“make”子目录下,执行:
make gmock_test
(1)判断一个字符串是不是全为数字
#!/bin/sh # 该变量就是要判断的变量 VAR="1234908" RET=`expr match $VAR "[0-9]*$"` if [ ${RET} -gt 0 ]; then echo "It is a Number!" else echo "Not a Number!" fi
另外要注意:用这种方式来判断负数的时候,也认为不是全为数字的,因为负数中带了一个负号,就不是数字。