Hadoop新增datanode与SecondaryNameNode

无论是新增namenode还是SecondaryNameNode,操作方法大致相同

一、如果新增datanode,需要保证namenode能无密码ssh连接到新datanode

如果是添加SecondaryNameNode,则需保证其能无密码ssh连接至各datanode和namenode,namenode也需要能无密码连接到新SecondaryNameNode

# ssh-copy-id -i /root/.ssh/id_rsa.pub root@datanodes

二、同步程序文件

hadoop的运行依赖JAVA环境,所以,以namenode为准,迁移java环境:

在namenode上运行:

# rsync -av /opt/jdk1.6.0_33 root@dest_server:/opt/

创建文件 /etc/profile.d/java.sh ,内容 为:

export JAVA_HOME="/opt/jdk1.6.0_33"
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib

在namenode主机上的conf/master文件中添加新SecondaryNameNode的IP地址:

106.186.122.165

(如果是只新增namenode则不需要上面这一步)

迁移hadoop软件,日志文件不需要迁移:

# rsync -av --exclude "logs" /data/hadoop-1.1.1/ root@dest_server:/data/hadoop-1.1.1/


三、保证各结点时区一致(我们现有服务器时区五花八门,所以这一步很重要)

# rsync -av /etc/localtime root@dest_server:/etc/

四、在/etc/profile中重新定义PATH变量

在新结点上:

# echo "export PATH=$PATH:/opt/jdk1.6.0_33/bin:/data/hadoop-1.1.1/bin" >> /etc/profile

五、运行所需的服务

如果是新增datanode,在相应主机上运行:

# hadoop-daemon.sh start datanode
# hadoop-daemon.sh start tasktracker

如果是新增SecondaryNameNode,在相应主机上运行:

# hadoop-daemon.sh start secondarynamenode

以上均可用jps命令查看其运行状况。

So easy~

原创文章,作者:红豆殺,如若转载,请注明出处:http://www.178linux.com/739

(0)
红豆殺红豆殺
上一篇 2015-03-08
下一篇 2015-03-08

相关推荐

  • 自制 mini linux

    思路 先装载一块硬盘,按照上面两个实验的部分结果,创建各个目录 在/boot 里面添加内核 ,添加initramfs.img文件添加grub组件  ,创建grub.conf   然后复制bash  ,ls  ,cp  等,命令和响应的库文件,并在启动的时候指定第一个进程为/bin/bash 顺便加载一个网卡驱…

    2017-05-14
  • ThirdWeek_SecondDay

    Python学习笔记整理

    Linux干货 2017-10-09
  • N22-第九周作业

    第九周    1、写一个脚本,判断当前系统上所有用户的shell是否为可登录shell(即用户的shell不是/sbin/nologin);分别这两类用户的个数;通过字符串比较来实现;    #!/bin/bash    #    decl…

    Linux干货 2016-10-24
  • rpm实现LAMP

    rpm实现LAMP部署 LAMP概述 LAMP指的Linux(操作系统)、ApacheHTTP 服务器,MySQL(有时也指MariaDB,数据库软件) 和PHP(有时也是指Perl或Python) 的第一个字母,一般用来建立web应用平台。常用来搭建动态网站或者服务器的开源软件,本身都是各自独立的程序,但是因为常被放在一起使用,拥有了越来越高的兼容度,共同…

    Linux干货 2016-11-02
  • LVM创建实例及相关注释

    LVM创建    pv—>vg—->lv—->快照 创建前准备了四块1g硬盘分别为:sdb  sdc sdd  sde,并分别给四块盘划分了1G的空间,并指定了分区系统类型为8e(即Linux LVM) [root@localhost ~]# fdisk /dev/…

    Linux干货 2015-06-08
  • lvs-keepalived

    keepalived: vrrp协议:Virtual Redundant Routing Protocol        术语:        虚拟路由器:Virtual Router &n…

    Linux干货 2017-05-13