hadoop集群

安装

官网下载：http://hadoop.apache.org/

# tar -zxvf hadoop-xxxxxxx.tgz

配置文件

#vi etc/hadoop/core-site.xml:
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
#vi etc/hadoop/hdfs-site.xml:
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

命令

1、格式化系统

# bin/hdfs namenode –format

2、启动NameNode和DataNode

# sbin/start-dfs.sh

3、日志默认路径：$HADOOP_HOME/logs

4、浏览器访问：http://localhost:50070/

5、创建用户

# bin/hdfs dfs -mkdir /user
# bin/hdfs dfs -mkdir /user/<username>

其他

安装参考官网：

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

eclipse运行如果是windows，需要设置 -DHADOOP_USER_NAME=root