Hadoop新增datanode与SecondaryNameNode

无论是新增namenode还是SecondaryNameNode,操作方法大致相同

一、如果新增datanode,需要保证namenode能无密码ssh连接到新datanode

如果是添加SecondaryNameNode,则需保证其能无密码ssh连接至各datanode和namenode,namenode也需要能无密码连接到新SecondaryNameNode

# ssh-copy-id -i /root/.ssh/id_rsa.pub root@datanodes

二、同步程序文件

hadoop的运行依赖JAVA环境,所以,以namenode为准,迁移java环境:

在namenode上运行:

# rsync -av /opt/jdk1.6.0_33 root@dest_server:/opt/

创建文件 /etc/profile.d/java.sh ,内容 为:

export JAVA_HOME="/opt/jdk1.6.0_33"
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib

在namenode主机上的conf/master文件中添加新SecondaryNameNode的IP地址:

106.186.122.165

(如果是只新增namenode则不需要上面这一步)

迁移hadoop软件,日志文件不需要迁移:

# rsync -av --exclude "logs" /data/hadoop-1.1.1/ root@dest_server:/data/hadoop-1.1.1/


三、保证各结点时区一致(我们现有服务器时区五花八门,所以这一步很重要)

# rsync -av /etc/localtime root@dest_server:/etc/

四、在/etc/profile中重新定义PATH变量

在新结点上:

# echo "export PATH=$PATH:/opt/jdk1.6.0_33/bin:/data/hadoop-1.1.1/bin" >> /etc/profile

五、运行所需的服务

如果是新增datanode,在相应主机上运行:

# hadoop-daemon.sh start datanode
# hadoop-daemon.sh start tasktracker

如果是新增SecondaryNameNode,在相应主机上运行:

# hadoop-daemon.sh start secondarynamenode

以上均可用jps命令查看其运行状况。

So easy~

原创文章,作者:红豆殺,如若转载,请注明出处:http://www.178linux.com/739

(0)
红豆殺红豆殺
上一篇 2015-03-08 21:34
下一篇 2015-03-08 21:42

相关推荐

  • 文件查找作业

    1、查找/var目录下属主为root,且属组为mail的所有文件 [root@wzc ~]# find /var/ -user root -a -group mail /var/spool/mail /var/spool/mail/root 2、查找/var目录下不属于root、…

    Linux干货 2016-08-15
  • 海量数据处理算法—Bloom Filter

    1. Bloom-Filter算法简介         Bloom-Filter,即布隆过滤器,1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。        Bloom Filter(BF)是一种空间效率很高的随机数据结构,它利用位数组很简洁地表…

    Linux干货 2015-10-22
  • Linux用户及文件权限管理

    Linux,用户,用户组,文件,权限

    Linux干货 2017-10-29
  • 基础命令。

    简单基础小命令 查看目录 ls 查看当前路径下的目录 ls -a 查看当前路径下的所有目录,包含隐藏目录(带.的就是隐藏) ls -A 跟-a一样,只是不显示上一路径和本身路径(就是.和..) ls -l 显示额外的信息 ls -R 进入每个文件夹查看(递归) ls -ld 查看元数据 ls -1(数字) 排列 ls -r 倒序 ls -t 按修改时间排序 …

    Linux干货 2017-05-29
  • HAProxy

    HAProxy简介 HAProxy是免费、极速且可靠的用于为TCP和基于HTTP应用程序提供高可用、负载均衡和代理服务的解决方案,尤其适用于高负载且需要持久连接或7层处理机制的web站点。HAProxy还可以将后端的服务器与网络隔离,起到保护后端服务器的作用。HAProxy的负载均衡能力虽不如LVS,但也是相当不错,而且由于其工作在7层,可以对http请求报…

    2017-05-17
  • 2016-08-12博客作业

    德摩根定理       在命题逻辑和逻辑代数中,德摩根定律(或称德摩根定理)是关于命题逻辑规律的一对法则。奥古斯塔斯·德摩根首先发现了在命题逻辑中存在着下面这些关系: 非(P 且 Q)=(非 P)或(非 Q) 非(P 或 Q)=(非 P)且(非 Q)     …

    Linux干货 2016-08-15