现象:和这个帖子描述的一样,简单说来就是,在Hadoop 2.x上,用新的DistributedCache的API,在mapper中会获取不到这个cache文件。
下面就详细地描述一下新旧API的用法区别以及解决办法。
『1』旧API
将HDFS文件添加到distributed cache中:
Configuration conf = job.getConfiguration();
DistributedCache.addCacheFile(new URI(inputFileOnHDFS), conf); // add file to distributed cache
其中,inputFileOnHDFS是一个HDFS文件的路径,也就是你要用作distribute cache的文件的路径,例如 /user/codelast/123.txt
在mapper的setup()方法中:
Configuration conf = context.getConfiguration();
Path[] localCacheFiles = DistributedCache.getLocalCacheFiles(conf);
readCacheFile(localCacheFiles[0]);
其中,readCacheFile()是我们自己的读取cache文件的方法,可能是这样做的(仅举个例子):
private static void readCacheFile(Path cacheFilePath) throws IOException {
BufferedReader reader = new BufferedReader(new FileReader(cacheFilePath.toUri().getPath()));
String line;
while ((line = reader.readLine()) != null) {
//TODO: your code here
}
reader.close();
}
文章来源:http://www.codelast.com/
『2』新API
上面的代码中,addCacheFile() 方法和 getLocalCacheFiles() 都已经被Hadoop 2.x标记为 @Deprecated 了。
因此,有一套新的API来实现同样的功能,这个链接里有示例,我在这里再详细地写一下。
将HDFS文件添加到distributed cache中:
job.addCacheFile(new Path(inputFileOnHDFS).toUri());
在mapper的setup()方法中:
Configuration conf = context.getConfiguration();
URI[] localCacheFiles = context.getCacheFiles();
readCacheFile(localCacheFiles[0]);
其中,readCacheFile()是我们自己的读取cache文件的方法,可能是这样做的(仅举个例子):
private static void readCacheFile(URI cacheFileURI) throws IOException {
BufferedReader reader = new BufferedReader(new FileReader(cacheFileURI.getPath()));
String line;
while ((line = reader.readLine()) != null) {
//TODO: your code here
}
reader.close();
}
但是就像文章开头的那个链接里所描述的问题一样,你可能会发现 context.getCacheFiles() 总是返回null,也就是你无法读到cache文件。
这个问题有可能是这个bug造成的,你可以对比一下你的Hadoop版本。
文章来源:http://www.codelast.com/
『3』解决办法
(1)打patch
(2)升级Hadoop版本
(3)使用旧的DistributedCache API,经测试OK
文章来源:https://www.codelast.com/
➤➤ 版权声明 ➤➤
转载需注明出处:codelast.com
感谢关注我的微信公众号(微信扫一扫):
啊,怎么我的评论没了
博主,你好。我在按照你的方法运行程序时遇到了一些问题:
代码如下:
1. job.addCacheFile(new Path(INPUT_PATH2).toUri()); //其中INPUT_PATH2="hdfs://172.16.136.187:9000/user/root/input/tb.csv" 172.16.136.187为Hadoop 集群Master地址
2. URI[] caches = context.getCacheFiles();
3. BufferedReader reader = new BufferedReader(new FileReader(caches[0].getPath()));
上面是我认为出问题的代码部分
运行报错如下:
2018-07-30 10:31:30,505 WARN [org.apache.hadoop.fs.FileUtil] - Command 'D:\Coding\Java\hadoop-2.6.0\bin\winutils.exe symlink D:\Coding\Java\WorkSpace\MapReduce_01\tb.csv \tmp\hadoop-hujuntaolucky\mapred\local\1532917890006\tb.csv' failed 1 with: CreateSymbolicLink error (1314): ???????????
2018-07-30 10:31:30,505 WARN [org.apache.hadoop.mapred.LocalDistributedCacheManager] - Failed to create symlink: \tmp\hadoop-hujuntaolucky\mapred\local\1532917890006\tb.csv <- D:\Coding\Java\WorkSpace\MapReduce_01/tb.csv
2018-07-30 10:31:30,830 WARN [org.apache.hadoop.mapred.LocalJobRunner] - job_local697191123_0001
java.lang.Exception: java.io.FileNotFoundException: \user\root\input\tb.csv (系统找不到指定的路径。)
at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Caused by: java.io.FileNotFoundException: \user\root\input\tb.csv (系统找不到指定的路径。)
at java.io.FileInputStream.open0(Native Method)
at java.io.FileInputStream.open(Unknown Source)
at java.io.FileInputStream.(Unknown Source)
at java.io.FileInputStream.(Unknown Source)
at java.io.FileReader.(Unknown Source)
at WordCount.Book3$BookJoinMapper.setup(Book3.java:110)
其中这个Book3.java:110 指向的是BufferedReader reader = new BufferedReader(new FileReader(caches[0].getPath())); 这句代码
希望博主看到后能给个回复,谢谢啦!