hadoop安全模式

hadoop安全模式
在分布式文件系统启动的时候,开始的时候会有安全模式当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。SafeModeException 异常
运行hadoop程序时,有时候会报以下错误:
org.apache.hadoop.dfs.SafeModeException: Cannot delete/user/hadoop/input. Name node is in safe mode.
那我们来分析下这个错误,从字面上来理解:“Name node is in safe mode.”

现在就清楚了,那现在要解决这个问题,我想让Hadoop不处在safe mode 模式下,能不能不用等,直接解决呢?答案是可以的,

只要在Hadoop的目录下输入:

$bin/hadoop dfsadmin -safemode leave

也就是关闭Hadoop的安全模式,这样问题就解决了。

safemode模式

NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式,否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。
下面这行摘录自NameNode启动时的日志(block上报比例1达到了阀值0.9990)
The ratio of reported blocks 1.0000 has reached the threshold0.9990. Safe mode will be turned off automatically in 18seconds.
 1.修改dfs.safemode.threshold.pct为一个比较小的值,缺省是0.999。

 2. hadoop dfsadmin -safemode leave命令强制离开

hadoop dfsadmin-safemode 命令

格式:Usage: java DFSAdmin [-safemode enter | leave | get |wait]
用户可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下:
enter – 进入安全模式
leave – 强制NameNode离开安全模式
get   – 返回安全模式是否开启的信息
wait  – 等待,一直到安全模式结束。

转自:http://blog.csdn.net/hguisu/article/details/7261480

原创文章,作者:s19930811,如若转载,请注明出处:http://www.178linux.com/3086

(0)
s19930811s19930811
上一篇 2015-04-13
下一篇 2015-04-13

相关推荐

  • lvm逻辑卷

    创建逻辑卷

    2017-12-17
  • 马哥教育网络21期+第三周练习博客

    1、列出当前系统上所有已经登录的用户的用户名,注意:同一个用户登录多次,则只显示一次即可。 [root@localhost ~]# who | cut -d' ' -f 1 | uniq 2、取出最后登录到当前系统的用户的相关信息。 [root…

    Linux干货 2016-07-26
  • Linux启动和内核管理

    Linux启动和内核管理   CentOS 5和6的启动流程服务管理Grub管理自制Linux启动排错编译安装内核   Linux组成Linux: kernel+rootfskernel: 进程管理、内存管理、网络管理、驱动程序、文件系统、安全功能rootfs:程序和glibc库:函数集合, function, 调用接口(头文件负责描述)…

    Linux干货 2017-09-04
  • httpd服务——CentOS6

    Web Service 应用层:http,https 实现某类具体应用 传输层协议:TCP,UDP,SCTP IANA:          0-1023:从所周知的端口,永久的分配给固定应用使用,特权端口       &…

    Linux干货 2016-10-09
  • mysql mariadb 备份恢复、主从

    备份类型分为: 完全备份、增量备份、差异备份 热备、温备、冷备 逻辑备份、物理备份 每种类型区别: 增量备份:根据上一次备份的增量备份或完全备份备份 差异备份:根据上一次备份的完全 温备:备份过程中只支持读备份备份热备:备份过程中支持读写 冷备:停服务备份 逻辑备份:schema和数据存储在一起,巨大的sql语句、单个巨大的备份文件,恢复备份较慢。优点可以还…

    2017-03-01