存档

2015年3月 的存档

hadoop源码导入eclipse

2015年3月20日 没有评论

1 生成Eclipse工程文件

$ cd hadoop-maven-plugins
$ mvn install
$ cd hadoop-2.5.2-src
$ mvn eclipse:eclipse -DskipTests

2 在Eclipse中导入源代码
“File” >> “Import” >> “Existing Projects into Workspace”,选择hadoop-2.5.2-src,然后确认。

3 错语修复
导入后遇到错误,共有59个错误,但总体上分为3类。解决方法如下:

错误1: org.apache.hadoop.ipc.protobuf. 无法解析
解决方法如下,依次执行下述命令:

$ cd hadoop-2.5.2-src/hadoop-common-project/hadoop-common/src/test/proto
$ protoc –java_out=../java *.proto

最后,刷新Eclipse中的所有工程。至此,只剩下 6 个错误。

错误2:AvroRecord cannot be resolved to a type TestAvroSerialization.java
解决方法如下:
首先,下载 avro-tools-1.7.7.jar(点击下载)。存放于 hadoop-2.5.0-src 目录中。
然后执行下述命令:

$ cd hadoop-2.5.2-src/hadoop-common-project/hadoop-common/src/test/avro
$ java -jar ~/hadoop-2.5.2-src/avro-tools-1.7.7.jar compile schema avroRecord.avsc ../java

最后,刷新Eclipse工程。只剩下 3个错误。

错误3: Project ‘hadoop-streaming’ is missing required source … Build Path Problem
解决方法如下:
右键 hadoop-streaming 项目->properties->左边Java Build Path->Source->选定错误项->右边Remove。

至此,在Eclipse中创建Hadoop工程完成。

分类: Hadoop 标签: , ,

hadoop源码编译

2015年3月18日 没有评论

一 动因
使用网站编译好的版本,执行每个命令都会报如下一条警告

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

baidu了一下,有人这样说:Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。
还有一个原因是,对于开源软件本地化是必然的,所以要把编译这路走通,这样就可以放心的修改源代码了。
阅读全文…

分类: Hadoop 标签: , ,

hadoop2.5.2分布式环境安装配置

2015年3月18日 没有评论

我目前还处于hadoop的入门阶段,个人认为hadoop这样的分布式计算、分布式存储技术前景很广阔,所以准备花些精力好好学学。入门当然从安装开始。我在环境是一台IBM X3650的X86服务器,RHEL 5.6_x64,在其上装的virtualbox,通过virtualbox虚出了4台机器。

一、环境准备
OS:OEL 6.6_x64
hadoop版本:hadoop-2.5.2,http://hadoop.apache.org/网站下载的。
jdk版本:jdk-6u31-linux-x64.bin
阅读全文…

分类: Hadoop 标签: , , , ,