推荐-HA专题: 编译安装并配置DRBD

HA专题: 编译安装并配置DRBD

前言

上篇我们讲到使用corosync+pacemaker实现MySQL高可用, 但是NFS容易成为单点故障从而导致数据丢失等严重问题, 我们可以使用drbd来实现MySQL数据的高可用, 本文介绍如何编译安装drbd并配置drbd实现不同主机的分区镜像

实验环境

今天实验环境比较简单, 所以就不画图了

主机 IP 功用
node1.anyisalin.com 172.16.1.2 drbd节点
node2.anyisalin.com 172.16.1.3 drbd节点

注意: 本文实验中所有主机SElinux和iptables都是关闭的

DRBD介绍

The Distributed Replicated Block Device (DRBD) is a software-based, shared-nothing, replicated storage solution mirroring the content of block devices (hard disks, partitions, logical volumes etc.) between hosts. 转自官方文档: Chapter 1. DRBD Fundamentals

分布式文件块(DRBD)是一种基于软件, 无共享的, 复制, 镜像主机间块设备的内容(lvm, partition, disk..)的解决方案

DRBD镜像数据的特点:

  • 实时(in real time): 实时复制镜像设备的内容

  • 透明(transparently): 对于用户和应用程序镜像数据的过程是透明的

  • 同步、异步(synchronously、asynchronously): 同步模式下, 程序会通知所欲主机并在所有的写操作写入所有主机才会写入本地磁盘、异步模式下, 程序会在通知写操作写入其他主机之前就写入本地磁盘

DRBD在Linux内核I/O栈的位置
Alt textblob.png

DRBD的三种协议
上面的图可以看出DRBD在I/O栈的位置, 也大体可以了解DRBD的工作流程, 其实DRBD有三种工作模型, 我们称它为三种工作协议, 分别为protcol A, protcol B, protocol C, 我们大体说一下这三种工作协议

  • Protocol A: Asynchronous, 也称为异步模型, 当DRBD将数据流传到本机网卡接口时就视为完成传输

  • Protocol B: Semi-Synchronous, 也成为半同步模型, 当DRBD将数据流传到目标主机的网卡接口时视为完成传输

  • Protocol C: Synchronous, 也成为同步模型, 当DRBD将数据流传到目标主机并且目标主机将数据写入DRBD设备时才视其为完成传输

DRBD在用户空间的管理命令

  • drbdadm: 在drbd套件用较为高级的程序, 配置方法较为简单, 获取配置文件中的参数来进行配置, 算是drbdsetup和drbdmeta的前端工具

  • drbdsetup: 可以直接配置加载的DRBD模块, 配置较为复杂

  • drbdmeta: 允许创建、转储、还原和修改DRBD元数据结构, 配置更为复杂

安装前准备工作

配置一个HA集群的前提需要配置时间同步, 双机互信, 主机名解析
由于我们以前的博文已经讲解过如何配置:可以查看
HA配置准备工作

获取并编译安装DRBD

我这里系统是CentOS 6.7, 通过官方站点DRBD DownLoad下载drbd-8.4.4.tar.gz

[root@node1 ~]# yum groupinstall "Development Tools" "Server Platform Development" -y --nogpgcheck #安装开发包组

[root@node1 ~]# wget http://oss.linbit.com/drbd/8.4/drbd-8.4.4.tar.gz #下载drbd
[root@node1 ~]# tar xf drbd-8.4.4.tar.gz -C /usr/src/
[root@node1 ~]# cd /usr/src/drbd-8.4.4/


#编译安装
[root@node1 drbd-8.4.4]# ./configure --prefix=/usr/local/drbd --sysconfdir=/etc/ --with-km

[root@node1 drbd-8.4.4]# make DIR=/usr/src/kernels/2.6.32-573.el6.x86_64/
[root@node1 drbd-8.4.4]# make install
[root@node1 drbd-8.4.4]# cd drbd
[root@node1 drbd]# make KDIR=/usr/src/kernels/2.6.32-573.el6.x86_64/
[root@node1 drbd]# cp drbd.ko /lib/modules/2.6.32-573.el6.x86_64/kernel/lib/

#装载模块
[root@node1 drbd]# depmod
[root@node1 drbd]# modprobe drbd
[root@node1 drbd]# lsmod | grep drbd
drbd                  327242  0 
libcrc32c               1246  1 drbd

node2的操作同上, 由于篇幅原因不做叙述

配置DRBD

分区

注意:创建完分区后不能对其进行格式化, 下面的操作在node1和node2都需要执行

[root@node1 ~]# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0xa5927bb4.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
         switch off the mode (command 'c') and change display units to
         sectors (command 'u').

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-2610, default 1): 
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-2610, default 2610): +10G

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.
[root@node1 ~]# partx -a /dev/sdb
BLKPG: Device or resource busy
error adding partition 1
[root@node1 ~]# partx -a /dev/sdb
BLKPG: Device or resource busy
error adding partition 1

配置文件

配置文件如下, /etc/drbd.d/glob-common.conf, 并复制到node2上

global {
        usage-count no;
        # minor-count dialog-refresh disable-ip-verification
}

common {
        protocol C;

        handlers {
                pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
                # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
                # split-brain "/usr/lib/drbd/notify-split-brain.sh root";
                # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
                # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";
                # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
        }

        startup {
                #wfc-timeout 120;
                #degr-wfc-timeout 120;
        }

        disk {
                on-io-error detach;
                #fencing resource-only;
        }

        net {
                cram-hmac-alg "sha1";
                shared-secret "mydrbdlab";
        }

        syncer {
                rate 1000M;
        }

配置文件如下, /etc/drbd.d/data.res, 并复制到node2上

resource data {
        on node1.anyisalin.com  {
         device  /dev/drbd0;
         disk   /dev/sdb1;
         address 172.16.1.2:7789;
         meta-disk   internal;
        }
        on node2.anyisalin.com {
         device  /dev/drbd0;
         disk   /dev/sdb1;
         address 172.16.1.3:7789;
         meta-disk  internal;
        }

}

启动并设置DRBD

首先我们先在node1node2分别初始化资源

[root@node1 drbd.d]# drbdadm create-md data  #node1运行
[root@node2 drbd.d]# drbdadm create-md data  #node2运行

同时在node1node2上启动drbd

[root@node1 drbd.d]# service drbd start  #node1运行
[root@node2 drbd.d]# service drbd start  #node2运行

设置node1为主节点

[root@node1 drbd.d]# drbdadm primary --force data 
[root@node1 drbd.d]# cat /proc/drbd #可以看到同步过程, 手慢了没截到图

# 同步完成后
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/Diskless C r-----
 ns:0 nr:0 dw:0 dr:792 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:10490052

格式化并挂载

我们需要对drbd设备格式化并挂载才能使用, P.S drbd正常情况下只有主节点能够挂载

[root@node1 drbd.d]# mkfs.ext4 /dev/drbd0  #格式化drbd设备
[root@node1 drbd.d]# mkdir /data
[root@node1 drbd.d]# mount /dev/drbd0 /data/ #挂载到data目录
[root@node1 drbd.d]# cd /data/
[root@node1 data]# touch node1.anyisalin.com  #创建文件在data目录

验证冗余性

我们将node1设置为seondary并将node2设置为primary

[root@node1 ~]# umount /data/   #首先要卸载drbd0
[root@node1 ~]# drbdadm secondary data  #设置为secondary
[root@node2 ~]# drbdadm primary data   #设置node2为primary

[root@node2 ~]# cat /proc/drbd   #现在为Primary
 2016-04-12 10:29:41 0: cs:Connected ro:Primary/Secondary ds:Diskless/UpToDate C r-----
    ns:0 nr:664 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

[root@node2 ~]# mkdir /data
[root@node2 ~]# mount /dev/drbd0 /data/  #挂载到/data
[root@node2 ~]# cd /data/  
[root@node2 data]# ls  #还是能查看到node1创建的文件
lost+found  node1.anyisalin.com
[root@node2 data]# touch node2.anyisalin.com

总结

本篇文章的DRBD还不算特别完整, 只能通过手动来切换主从, 我们下篇文章介绍如何将DRBD配置成集群资源并结合MySQL, 实现MySQL数据库的高可用

作者水平很低, 如果有错误及时指出, 如果你觉得本文写的好请点一波赞~(≧▽≦)/~
作者: AnyISaIln QQ: 1449472454
感谢: MageEdu

原创文章,作者:Net18-AnyISalIn,如若转载,请注明出处:http://www.178linux.com/14703

(0)
Net18-AnyISalInNet18-AnyISalIn
上一篇 2016-04-11
下一篇 2016-04-12

相关推荐

  • PageRank算法

    1. PageRank算法概述          PageRank,即网页排名,又称网页级别、Google左侧排名或佩奇排名。         是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的…

    Linux干货 2015-12-15
  • mysql进阶篇(三种备份方法总结:lvm, mysqldump, xtrabackup)

    二进制日志详解:     二进制日志通常作为备份的重要资源,所以再说备份之前先总结一下二进制日志的相关内容      1. 二进制日志的内容         引起mysql服务器改变的任何操…

    Linux干货 2015-12-10
  • 上古神器之vim

    sed 前言:前面学到了文本处理三剑客之一grep,但是grep在有些时候显得力不从心,我们需要一款针对行操作的处理工具,没错,这就是sed流编辑器。 sed用法提炼: sed 's/(text1)(text2)(text3)/\1\2\3/'  vim 前言:强大的Linux如果没有一款疯狂的编辑器,常用的编辑操作会…

    Linux干货 2016-08-12
  • ◆战前宣言

    从 今 天 开 始, 到 以 后 的 很 久,我 要 努 力,努 力,努 力 的 用 尽 全 力 地 学 好 Linux。 我 知 道,这 起 码 需 要 很 长 时 间 和 汗 水,但 我 坚 信,付 出 总 是 会 有 回 报 的~ 要记住:比你优秀的人都在努力,你还在彷徨什么? 最后借用一下火影忍者中李…

    Linux干货 2016-10-24
  • centos6.9实现网卡bonding

    centos6.9实现网卡bonding 为什么要用bonding  将多块网卡配置同一IP地址实际中是不可能的。通过bonding,虚拟一块网卡对外提供连接,物理网卡被修改为相同的MAC地址,这样可以实现多块网卡绑定同一IP地址,对外提供服务。用于网络负载均衡和网络冗余。 工作模式  bonding的模式:0-6,即:7种模式,这里我们…

    2017-08-20
  • 超文本传输协议-HTTP

        超文本传输协议(英文:HyperText Transfer Protocol,缩写:HTTP)是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础。     设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。通过HTTP或…

    Linux干货 2017-07-31