在我们布置好Hadoop环境后我们做的第一件就是 执行 start-all.sh 命令。 那么这个命令都做了什么，今天来探讨一下这个。 start-all.sh内容 Start all hadoop daemons. Run this on master node. bin=`dirname "$0"` bin=`cd "$bin"; pwd` . "$bin"/hadoop-config.sh start dfs daemons "$bin"/start-dfs.sh --config $HADOOP_CONF_DIR start mapred daemons "$bin"/start-mapred.sh --config $HADOOP_CONF_DIR 从上面可以看出来这个脚本，执行了三个脚本，分别是： hadoop-config.sh start-dfs.sh start-mapred.sh hadoop-config.sh 内容 this="$0" while [ -h "$this" ]; do ls=`ls -ld "$this"` link=`expr "$ls" : '.*-> \(.*\)$'`……

阅读全文

万事开头难，今天开始Hadoop源码分析的第一天。首先从简单的入手，分析Configuration.java 【没有特别声明，源码都是Hadoop 0.20版本】 类结构 主要类成员介绍： 类方法介绍： 上面是我按照主要的功能将函数分了类，这样方便理解。 Configuration类分析 研究一……

阅读全文

前面配置好hadoop后，每次开启虚拟机，启动集群后，总是有一些节点起不来。要不就是namenode，要不就是datanode。后面百度找到了原因所在： 在配置hdfs时，我们只配置了datanode的目录，而没有配置namdenode的相关信息。默认的tmp文件每次重新开机会被清……

阅读全文

通过前面几篇，我们已经布置好Hadoop集群环境了。接下来配置eclipse，使用eclipse编写Hadoop代码。 （1）安装好eclipse 省略，参加网上其他博客 （2）找到安装hadoop安装目录下的 contrib/eclipse-plugin的jar文件。这是hadoop给……

阅读全文

环境说明：VM上ubuntu 16.04版本 安装hadoop前的准备 （1）ssh 免密登录 （2）配置好Java环境 第一二步骤的安装见网上博客 安装Hadoop 下载hadoop 到上一篇博客给出的网下载hadoop-0.20.2.tar.gz,到随便一个目录解压，我这里是解压到了/zoux……

阅读全文

工欲善其事必先利其器。 在官网中 https://hadoop.apache.org/releases.html能下载到最新的Hadoop. 但是有时为了学习，我们需要下载很久之前的版本，比如haodoop.0.20.2版本 这时需要到下面的网址进行下载： https://hadoop.apache.org/releases.html 这里能看到所有的Hadoop版……

阅读全文

有时候因为自己的一些错误修改，导致Hadoop集群总是有些节点启动不起来。 这是就需要重新格式化HDFS，在重启。 但是重新格式化会导致一个问题，就是以前的namenode中已经记录了datanode的namespaceId了，重新启动会给datanode另一个Id,导致最终启动集群……

阅读全文