分布式存储 Mogilefs 部署

MogileFS是一个开源的分布式存储的解决方案，主要工作组件由三部分组成：
Tracker节点：生成映射表存储于DB，并用于接收客户端请求，通过查询数据库对客户端提供后端所存储的真实文件位置
DB节点:主要存储数据的元数据信息，可以理解为客户端来获取数据文件时提供的Key和真实存在存储里面的文件名的对照表
Storage节点：用于存储文件的节点。
工作流程，tracker收到客户端的请求，tracker通过查询DB节点，将客户端所请求的文件，对应Storage存储的位置在返回给客户端，客户端在通过拿到的文件名以及文件位置，再去Storage上查找。

实验环境：

两台centos7 其中1台配置nginx+tracker+db+storage节点，另外一台只提供Storage。

安装：

由perl语言开发，未被收录到base和epel源中，这里我们采取在cpan上安装。

yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes

先安装这一堆玩意，以便让cpan能正确安装mogilefs

安装完成后直接执行

cpan MogileFS::Server

这里一路回车，然后知道箭头前两处，提示是否自动搜索cpan站点，一定要选no 不然得等死，第二个箭头继续n 他提示是否提供一些站点我们自行选择，也可以yes根据提示慢慢选，但是我这里no掉了，下面叫你输入cpan站点，用的163的cpan镜像站点，这样安装会比较快，然后又是一路回车

接着开始安装，可以看到他还会自动解决一些依赖关系

安装完成过后看到已经有了关于mogilefs的命令了 其中mogilefsd是tracker的启动命令，mogstored是存储节点的启动命令 mogdbsetup是为我们初始化数据库的。

然后执行

cpan MogileFS::Utils 

安装mogilefs的管理工具

接着，我们去安装数据库，并且授权一个账号可以访问，就不演示了。

使用mogdbsetup –help可以看到支持的选项

注意 这里我只简单给了两个参数，默认会使用root用户连接localhost去创建数据库，应该也会创建用户之前授权白做了，因此如果数据库单独提供，并且root有密码，按上图的参数写全即可

接着几个Y 就可以创建成功了，接着连入数据库看到给我们验证是否初始化。

接着提供一个配置文件

配置文件中提供的指令就不解释了，基本能见名之意，这里需要提一下，需要注意两点：

1、mogilefsd 不能以root用户运行，所以要su到另一个用户启动（至于具体为啥，我去找了，没找到解释的，应该还是出于安全考虑吧，把权限控制到最小，毕竟生产环境中如果能不用root用户运行的进程我们都应该不用root运行）

2、mogilefsd启动时可以用类似–daemon=1 db_user= 。。。来启动，完全可以不需要配置文件启动的，另外这里只提供了一些基本的配置指令，具体可以去https://github.com/mogilefs/MogileFS-Server/tree/master/conf  了解。

然后提供storge的配置文件 并启动服务

这里提供了一个http的访问接口为7500,7501为tracker检测后端健康状态的端口，docroot就是我们真是存放数据的位置了。

记得先提供这么一个路径，否则会启动不了，接着去配置第二台storage节点就不演示了和第一个节点一样（创建的目录名需要修改一下，在tracker是以全局看的，所有主机的存储节点应该标识唯一）。

添加两个主机

添加两个主机上的设备，这里的设备你可以理解为就是数据存储的位置

出问题了，识别不了空间！！！！

可以了，这里出的问题是啥呢~ 看下面两张图就清楚了

分别是两个节点上的~ 看出来了么~~ 

一个主机我是修改了stroge配置文件，一个是我在原有目录上在此新建了一个目录。

由此可见，创建dev目录的位置 需要在docroot指的位置下才行~~~~~~~

接着我们就可以尝试上传文件了~

添加一个域 并列出域的列表。域又是什么呢，你可以理解为之前我们做的添加完设备后，在tracker主机上后，（从tracker主机上看，给了他一个很大的磁盘，它拿来后自己分了区~，可以表明每个域存放内容，比如windows上我们常用的 D盘拿来装游戏 E盘拿来装电影~~）上图的class又是啥呢，他是整个复制环节的最小复制单位，我们可以通过定义他来修改在每一个storage节点上个文件存储的份数，我们这里就不没必要设置他了。mindevcount代表存储的最小份数 2份 ，replpolicy 存储策略 多主机存储、hashtype哈希类型 没有

接着我们测试的话基本设置就完了，现在来提一下我们上面用到的命令 mogadm

使用mogadm –help 可以看到许多的子命令，并且后面会有描述，那具体每个命令怎么使用，我们就可以以下图的示例获取了

现在我们就来上传一个文件看看吧~

此次试验失败告终。 两个节点都可以上传文件，但始终都只保存一份。

在发现这个问题过后，做了如下检测

1、授权文件目录（想来应该不是这个问题 因为本来就能分开存放，只是不能复制）

2、两个节点存储目录相同

3、看进程发现replicate进程只有一个，以为一个进程只能写一个节点，事实证明错误的想法

4、修改存储份数

5、另起了一个mogilefsd进程，相同问题

6、新建域，新建class

7、时间同步

8、两节点间可以通过以mogadm host命名的域名访问

9、终极办法。。。重启。。。

问题依旧（怎么会没日志！！！！），网上资料好少，全是安装，配置的，还都是马哥提供的rpm包，不得不吐槽下。

空了准备换centos6+cpan安装，如果还有问题就尝试用马哥提供的RPM包了。

另外哪位大神遇到过这问题啊，指点一下。