通过前面几篇,我们已经布置好Hadoop集群环境了。接下来配置eclipse,使用eclipse编写Hadoop代码。

(1)安装好eclipse 省略,参加网上其他博客

(2)找到安装hadoop安装目录下的 contrib/eclipse-plugin的jar文件。这是hadoop给eclipse插件。

(3)找到eclipse的插件目录,安装目录/eclipse/plugins,将第二步hadoop找到的插件,复制到该目录下。

(4)重启eclipse

(5) 打开eclipse window ->preference -> hadoop Map/Reduce -> Hadoop installation directory

image3

配置Map/Reduce视图 window ->Open Perspective -> other->Map/Reduce -> 点击“OK” image.png

在“Map/Reduce Locations” Tab页 点击图标<大象+>或者在空白的地方右键,选择“New Hadoop location…”,弹出对话框“New hadoop location…”, 进行相应配置 image.png

image.png

这里配置俩个端口就行。 MR Master和DFS Master配置必须和mapred-site.xml和core-site.xml等配置文件一致。

然后打开Project Explorer,查看DS文件系统。

8.新建MapReduce任务 前提是 启动了 hadoop

image.png

没连接reconnect即可。 然后就可以建立Map/Reduce 项目了 File->New->project->Map/Reduce Project->Next