1,准备好环境
首现操作系统最好还是LINUX,WINDOWS上搞起来太麻烦
JDK1.5必须的,最好JDK1.6也准备好。以备版本升级的时候需要用
svn 1.5版本的或者以上的
eclipse http://www.eclipse.org/ 上下载 ||| eclipse的svn插件
ant http://ant.apache.org/ 下载
ivy http://ant.apache.org/ivy/ 下载,下载完后放在 ant的lib目录下,因为ivy是ant的一个子工程
forrest http://forrest.apache.org/mirrors.cgi#how
用于编译生成文档的类库
准备好以上环境,就差不多了。
2,下载源代码
注意存放目录:
比方我的目录结构是
/home/txy/work/hadoop (存放common)
/home/txy/work/hadoop/hdfs (存放hdfs)
/home/txy/work/hadoop/mapred (存放mapred)
可以执行以下命令:
cd /home/txy/work
svn co http://svn.apache.org/repos/asf/hadoop/common/trunk hadoop
cd /home/txy/work/hadoop/
svn co http://svn.apache.org/repos/asf/hadoop/hdfs/trunk/ hdfs
cd /home/txy/work/hadoop/
svn co http://svn.apache.org/repos/asf/hadoop/mapreduce/trunk
mapred
为什么要这样的目录结构呢?原因具体可以看hadoop/bin/hadoop-config.sh,看懂了之后当然也可以随意修改路径了
3,编译源代码,并发布到maven 的本地库
分别进入到上面三个目录中,进行编译:
cd /home/txy/work/hadoop/
ant package -Djava5.home=/home/txy/software/jdk1.5.0_07 -Dforrest.home=/home/txy/software/apache-forrest-0.8
cd /home/txy/work/hadoop/hdfs/
ant package -Djava5.home=/home/txy/software/jdk1.5.0_07 -Dforrest.home=/home/txy/software/apache-forrest-0.8
cd /home/txy/work/hadoop/
mapred
/
ant package -Djava5.home=/home/txy/software/jdk1.5.0_07 -Dforrest.home=/home/txy/software/apache-forrest-0.8
这里的java5.home 和 forrest.home随各自电脑上安装的实际路径为准。
发布到本地maven 库在以上各目录中执行:
ant mvn-install 就可以了,那么我们写 程序的时候就可以用maven把这个库引进来了。
4,导入eclipse
方法一:
创建eclipse工程在创建之前,现设置:project --》build Automaticaly 勾掉,不要让它自动build
new --》java project --》create project from existing source--》 选择CO下来的目录 --》finish
导入之后,右键各工程的build.xml --》 build...--》
如果build common: use the eclipse-files and compile-core-test targets
如果build hdfs: use the targets compile, compile-hdfs-test, and eclipse-files
如果build MapRedues, use the targets compile, compile-mapreduce-test, and eclipse-files
方法二:
命令行 ant eclipse-files执行就可以了,然后eclipse中File-->import-->exsiting projects into workspace就可以了,不过建议还是不要build Automaticaly,要不然太麻烦了。
这样源代码就导入进来了,可以查看和修改了。
以上内容也可以参见:http://wiki.apache.org/hadoop/EclipseEnvironment
开发mapReduce程序的eclipse插件:
这个eclipse插件编译的问题还是没搞定,纠结中,看了官方网站是说:
首先在家目录下添加
eclipse-plugin.build.properties
在文件中写入:eclipse.home=/path/to/eclipse
然后再执行ant package就会编译生成 eclipse插件了。
但事实上会报错。。。用官方网站上已经编译好的插件,版本又和主干对不上的。
自己在机器上跑了下,还是不用hadoop插件了,主要配置正确,启动个hadoop就可以了。
分享到:
相关推荐
Hadoop源码编译好的源码(eclipse可直接导入)直接eclipse->import->Existing Maven Projects即可无错误阅读Hadoop源码。亲给个好评吧~
Hadoop2.7.1源码(可直接导入Eclipse)
Hadoop源码编译
该文档详细介绍了,在windows下,对hadoop源码进行编译的全过程。 内用截图,更直观!
hadoop cdh 编译所需下载的所有软件,很全的
hadoop源码进行编译,需要预安装的一些软件包,包含protobuf,snappy,findbugs,hadoop源码包,jdk1.7,maven等。
win 7 64上编译 Hadoop 2.7.3 源码 的真实经历。
官网荡下的源码,自己亲手编译的hadoop2.x 64位,给大家分享下 文件太大放的是百度网盘链接,目前有hadoop2.3.0,后面的版本我会陆续更新。
Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 ...
包含hadoop2.6.0源码和eclipse开发hadoop所用插件,下载即可用。
hadoop源码编译所需要的maven仓库,省去编译时下载时间。
java 关联hadoop源码 查看底层实现,mapReduce实现 HDFS实现
hadoop源码,官方,放心下载,完整版,阅读hadoop源代码的目的不一定非是工作的需要,你可以把他看成一种修养,通过阅读hadoop源代码,加深自己对分布式系统的理解,培养自己踏实做事的心态。
提供了安装hadoop源码安装步骤、文档、安装包,只需要按照步骤做,就能完成。注意上面所有安装步骤都必须实现,及maven远程仓库配置。
里面是 protobuf-2.5.0.tar.gz apache-ant-1.9.9-bin.tar.gz 和meavn
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 需要进行hadoop源码的编译
Hadoop源码编译.pdf
Hadoop3.1.3源码编译
在linux环境中对hadoop2源码编译成64位
hadoop版本2.7.7 Eclipse 版本4.5.1,dfs location插件,自己编译成功,使用有效,将该jar包放到eclipse的plugins目录下