磁盘管理

回顾

{a..f}

a b c d e f

]# arr=({a..z})

]# echo ${#arr[*]}

26

]# N1=N2

]# N2=zhuchaoming

]# echo ${!N1}

eval N1=\$$N2

echo $N1

创建临时文件

mktemp NAME.XXX

交互式登录

/etc/profile –> /etc/profile.d/*.sh –> ~/.bash_profile –> ~/.

bashrc –> /etc/bashrc

非交互式登录

~/.bashrc –> /etc/bashrc –> /etc/profile.d/*.sh

bashrc类的文件

本地变量、别名

profile类

环境变量、脚本

yum

creatrepo 创建仓库

./config –perfix=/PATH/TO/SONEFILE

make

make install

CentOS 5上以柱面划分分区,最小为8M

MBR:

fdisk

GPT: 创建完以后一定要记得同步,

gdisk

磁盘管理

设备文件

设备类型

块设备

字符设备

设备号码

主设备号:major number

次设备号:minor number

硬盘接口类型

并行:ide 133MB\s

scsi:640MB\s 

串口:

SATA

SAS

USB

““`/dev/sd

a-z

主分区:1-3

扩展分区:4

逻辑分区:必须从5…..

硬盘结构

硬盘是后一个一个的扇区和磁道组成

扇区:一个扇区“512”字节

柱面:对应的磁道为一个柱面

簇:  两个扇区为一个“簇”

63x512x1024x256=7.85G

使用分区空间

磁盘分区:

优点:

1、隔离系统和程序

2、安装多个0S

3、提高修复速度

4、实现磁盘空间配额限制

5、优化I/O性能

分区

MBR

1982,,32位扇区数,分区不超过2T

GPT

支持128个分区,64位,支持8Z 64Z

MBR分区结构

GPT分区

分区管理:

blkid:、

块设备属性信息查看

blkid [OPTION]… [DEVICE]

-U UUID: 根据指定的UUID来查找对应的设备

-L LABEL:根据指定的LABEL来查找对应的设备

文件系统类型

分区工具fdisk和gdisk

fdisk:

创建MBR分区,也支持GPT,一块硬盘,最多只能管理15个分区

fdisk -l[-u][device]

]# fdisk /dev/sdb \\对这块设备进行操作

]# fdisk -l \\显示所有的块设备

gdisk: \\子命令跟fdisk基本相似,所以我们也可以用gdisk来管理MBR分区,但是不推荐这么管理,毕竟不同的分区用不同的管理工具更好

创建GPT分区

   p \\分区列表

t \\更改分区类型

n \\创建新分区

d \\删除分区

w \\保持并推出

q \\不保存退出

partprobe:

重新设置内存中的内核分区表

同步分区表

查看内核识别新的分区

]# cat /proc/partations

新创建的分区一般都没有被内存识别,所有在参加完新的分区以后通知内核重新读取硬盘分区表

新增分区用

partx -a -n M:N /dev/DEVICE

kpartx -a /dev/DEVICE -f: force

删除分区用

partx -d -n M:N /dev/DEVICE

centos6: –nr N-M

#因为在centos6上partprobe一直存在bug所有不推荐在6上使用partprobe命令,但是在7上已经解决了这个问题

parted命令

文件系统

文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构;即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件结构称为文件管理系统,

简称文件系统。

? 从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。具体地说,它负责为用户建立文件,存入、读出、修改、转储文件,控制文件的存取,安全控制,日志,压缩,

加密等。

文件系统类型

ext2,ext3,ext4,xfs,btrfs,reiserfs,jfs,swap

swap:交互分区

光盘:iso9660

Windows: fat32, ntfs

Unix: FFS( fast) , UFS( unix) , JFS2

网络文件系统: NFS, CIFS

集群文件系统: GFS2, OCFS2( oracle)

分布式文件系统: ceph, moosefs, mogilefs, glusterfs,Lustre

RAW:未经处理或者未经格式化产生的文件系统

日志型文件系统:

ext3,ext4,xfs,…

非日志型文件系统:

ext2,vfat

文件系统的组成部分:

内核中的模块: ext4, xfs, vfat

用户空间的管理工具: mkfs.ext4, mkfs.xfs,mkfs.vfat

Linux的虚拟文件系统: VFS

查前支持的文件系统: cat /proc/filesystems

创建文件系统

mkfs:

# mkfs.FS_TYPE /dev/DEVICE

# mkfs FS_TYPE /dev/DEVICE

FS_TYPE:

ext4

xfs

btrfs

vfat

-L 'LATEL':设定卷标

创建ext文件系统

这个命令是专门用来创建ext文件系统的命令,不要和mkfs混淆

mke2fs:

-t {ext2|ext3|ext4}

-b {1024|2048|4096}

-L ‘LABEL’

-j 相当于 -t ext3

mkfs.ext3 = mkfs -t ext3 = mke2fs -j = mke2fs -t ext3

-i # :为数据空间中每多少个字节创建一个inode;此大小不应该小于block的大小

-N #:为数据空间创建个多少个inode

-m #: 默认5%,为管理人员预留空间占总空间的百分比

-O FEATURE[,…]:启用指定特性

-O ^FEATURE:关闭指定特性

文件系统标签

e2label:

管理ext系列文件系统的LABEL

# e2abel DEVICE [LABEL]

findfs:查找分区

findfs [options] LABEL=<label>

dinfs [options] UUID=<uuid>

tune2fs

tune2fs:重新设定ext系列文件系统可调整参数的值

-l: 查看指定文件系统超级块信息; super block

-L 'LABEL': 修改卷标

-m #: 修预留给管理员的空间百分比

-j: 将ext2升级为ext3

-O: 文件系统属性启用或禁用, –O ^has_journal

-o: 调整文件系统的默认挂载选项,–o ^acl

-U UUID: 修改UUID号;

dumpe2fs:

用于打印“ext2/ext3/ext4”文件系统的超级块和快组信息

-b:打印文件系统中预留的块信息; 

-ob<超级块>:指定检查文件系统时使用的超级块; 

-OB<块大小>:检查文件系统时使用的指定的块大小; 

-h:仅显示超级块信息; 

-i:从指定的文件系统映像文件中读取文件系统信息; 

-x:以16进制格式打印信息块成员。

文件系统检测和修复

常发生于死机或者非正常关机之后

挂载为文件系统标记为“ dirty”

fsck: File System Check

fsck.FS_TYPE

fsck -t FS_TYPE

-a: 自动修复错误

-r: 交互式修复错误

注意: FS_TYPE一定要与分区上已经文件类型相同;

e2fsck: ext系列文件专用的检测修复工具

-y:自动回答为yes

-f:强制修复

mount

设备想要能够被访问就必须得挂载一个目录下面,通过访问这个目录才能够对这个行情进行操作

挂载:将额外文件系统与根文件系统某现存的目录建立起关联系,进而使得此目录做为其它文件访问入口的行为

卸载:为解除此关联关系的过程

把设备关联挂载点: mount Point

mount

卸载时:可使用设备,也可以使用挂载点

umount

挂载点下原有文件在挂载完成后会被临时隐藏

挂载点目录一般为空

mount命令挂载文件系统

mount DEVICE  DIR

通过查看/etc/mtab文件显示当前意挂载的所有设备

mount [-fnrsvw] [-t vfstype] [-o options] device dir

DEVICE:

1、设备文件

2、卷标

3、UUID

4、伪文件系统名称:proc,sysfs,devtmpfs,configfs

挂载点:

事先存在,使用空目录

进程中正在使用的设备无法被卸载

选项:

-t vsftype:指定要挂载的设备上的文件系统类型

-r:只读挂载

-w:读写挂载(默认)

-n:不更新/etc/mtab,相当于#mount

-a:自动挂载所有支持自动挂载的设备(定义在了/etc/fstab,选项中有auto功能)

-L ‘LABEL‘:以卷标指定挂载设备

-U UUID:以UUID

-B,–bind:绑定一个到你另一个目录上

-o options: (挂载文件系统的选项),多个选项使用逗号分隔

async:异步模式

sync:同步模式,内存更改时,同时写磁盘

atime/noatime:包含目录和文件

diratime/nodiratime:目录的访问时间戳

auto/noauto:是否支持自动挂载,是否支持-a选项

exec/noexec:是否支持将文件系统上运行应用程序

dev/nodev:是否支持在此文件系统上使用设备文件

suid/nosuid:不否支持suid和sgid权限

remount:重新挂载

ro:只读

rw: 读写

user/nouser:是否允许普通用户挂载此设备,默认管理员才能挂载

acl:启用此文件系统上的acl功能

Defaults:相当于rw, suid, dev, exec, auto, nouser, async

选项

卸载

查看挂载情况:

#findmnt MOUNT_POINT

查看正在访问指定文件系统的进程:

#lsof MOUNT_POINT

#fuser -v MOUNT_POINT

终止所有在正访问指定的文件系统的进程:

# fuser -km MOUNT_POINT

卸载:

# umount DEVICE

# umount MOUNT_POINT

挂载点和/etc/fstab

在系统后保留文件系统体系

可在设置兰使用卷标

使用mount -a 挂载/etc/fstab下的所有文件系统

/etc/fstab 每行定义一个要挂载的文件系统;

格式:

要挂载的设备或伪文件系统(设备名、卷标、UUID)、挂载点、文件系统类型、挂载选项、转储频率 自检次数

DEVICE/dir /path/dir fstab  

  挂载选项: defaults

  转储频率: 0 :不做备份

1 :每天转储

2 :每隔一天转储

  自检次序: 0 :不自检

1 :首先自检;一般只有rootfs 才用1

SWAP分区

当系统内存空间被占满时,系统将自动把磁盘交换分区的一部分空间用作系统内存,一般是系统内存空间的2倍

配置:

基本设置包括:

• 创建交换分区或者文件

• 使用mkswap 写入特殊签名

• 在 在/etc/fstab 文件中添加适当的条目

• 使用swapon -a 

级别:

磁盘上启用了很多swap分区,让这些swap分区有先后的使用顺序

1、系统自动指定一个优先级

                -1~~~~~~

            2、新加入的自动减一(没有指定优先级的swap)

            3、先添加的swap 的缺省优先级比较高,除非用户自己指定一个优先级,而用户指定的优先级( 是正数) 永远高于核心缺省指定的优先级( 是负数)。 

            4、分布存放,高性能磁盘存放

光盘的使用

    在图形环境下自动启动挂载/run/media/<user>/<label>

  否则就必须被手工挂载

        mount /dev/cdrom /mnt/

 eject 命令卸载或弹出磁盘

  创建ISO 文件

        cp /dev/cdrom /root/centos7.iso

        kisofs -r -o /root/etc.iso /etc

  刻录光盘

        odim –v –eject centos.iso

        

挂载USB 介质

  被内核探测为SCSI 设备

        • /dev/sdaX 、/dev/sdbX 、或类似的设备文件

    在图形环境中自动挂载

        • 图标在[ 计算机] 窗口中创建

    挂载在/run/media/<user>/<label>

        •  手动挂载

        • mount /dev/sdb1 /mnt

常见工具

  内存空间使用状态:

        free [OPTION]

            -m:  以MB 为单位

            -g:  以GB 为单位

  文件系统空间占用等信息的查看工具:

        df [OPTION]… [FILE]…

            -H 1000

            -T  文件系统类型

            -h: human-readable

            -i :inodes instead of blocks

            -P:  以Posix 兼容的格式输出

  查看某目录总体空间占用状态:

        du [OPTION]… DIR

            -h: human-readable

            -s: summary

dd 命令:convert and copy a file

  用法:

        dd if =/PATH/FROM/SRC of=/PATH/TO/DEST

            bs=# :block size,  复制单元大小

            ount=# :复制多少个bs

of=file 写到所命名的文件而不是到标准输出

        if=file 从所命名文件读取而不是从标准输入

        bs=size 指定块大小(既是是ibs 也是obs)

        ibs=size 一次读size 个byte

        obs=size 一次写size 个byte

        cbs=size 一次转化size 个byte

        skip=blocks 从开头忽略blocks 个ibs 大小的块

        seek=blocks 从开头忽略blocks 个obs 大小的块

        count=n 只拷贝n 个记录

       conv=conversion[,conversion…]  用指定的参数转换文件。

       转换参数:

         ascii 换 转换 EBCDIC 为 为 ASCII。 。

         ebcdic 换 转换 ASCII 为 为 EBCDIC。 。

         block  转换为长度为 cbs  的记录,不足部分用空格填充。

         unblock 替代cbs 长度的每一行尾的空格为新行。

         lcase  把大写字符转换为小写字符。

         ucase  把小写字符转换为大写字符。

         swab  交换输入的每对字节。

         noerror  出错时不停止。

         notrunc  不截短输出文件。

         sync  把每个输入块填充到ibs 个字节,不足部分用空(NUL)

        磁盘拷贝:

            dd if=/dev/sda of=/dev/sdb

        备份MBR: :

            dd if=/dev/sda of=/tmp/mbr.bak bs=512 count=1

        破坏MBR 中的bootloader: :

            dd if=/dev/zero of=/dev/sda bs=64 count=1 seek=446

            有二进制文件 fileA, , size>2K 。现在想从第64 个字节位置开始读取,需要读取的大小是128Byts 。又有fileB,  想把上面读取到的128Bytes 写到第32个字节开始的位置,替换128Bytes ,请问如何实现?

            #dd if=fileA of=fileB bs=1 count=128 skip=63 seek=31 conv=notrunc

        备份:

                dd if=/dev/sdx of=/dev/sdy

            将本地的/dev/sdx 整盘备份到/dev/sdy

                dd if=/dev/sdx of=/path/to/image

            将 将/dev/sdx 全盘数据备份到指定路径的image 文件

                dd if=/dev/sdx | gzip >/path/to/image.gz

            备份/dev/sdx 全盘数据,并利用gzip 工具进行压缩,保存到指定路径

        恢复:

            dd if=/path/to/image of=/dev/sdx

                将备份文件恢复到指定盘

            gzip -dc /path/to/image.gz | dd of=/dev/sdx

                将压缩的备份文件恢复到指定盘

        拷贝内存资料到硬盘

            dd if=/dev/mem of=/root/mem.bin bs=1024

            将内存里的数据拷贝到root 目录下的mem.bin 文件

      从光盘拷贝iso 镜像

            dd if=/dev/cdrom of=/root/cd.iso

            拷贝光盘数据到root 文件夹下,并保存为cd.iso 文件

      销毁磁盘数据

            dd if=/dev/urandom of=/dev/sda1

            利用随机的数据填充硬盘,在某些必要的场合可以用来销毁数据。执行此操作以后,/dev/sda1 将无法挂载,创建和拷贝操作无法执行。

        得到最恰当的block size

            dd if=/dev/zero bs=1024 count=1000000

            of=/root/1Gb.file

            dd if=/dev/zero bs=2048 count=500000

            of=/root/1Gb.file

            dd if=/dev/zero bs=4096 count=250000

            of=/root/1Gb.file

            dd if=/dev/zero bs=8192 count=125000

            of=/root/1Gb.file

            通过比较dd 指令输出中所显示的命令执行时间,即可确定系统最佳的block size 大小

        测试硬盘读写速度

            dd if=/root/1Gb.file bs=64k | dd of=/dev/null

            dd if=/dev/zero of=/root/1Gb.file bs=1024

            count=1000000

                通过上两个命令输出的执行时间,可以计算出测试硬盘的读/写速度

        修复硬盘

            dd if=/dev/sda of=/dev/sda

            当硬盘较长时间(比如1 ,2 年)放置不使用后,磁盘上会产生消磁点。当磁头读到这些区域时会遇到困难,并可能导致I/O 错误。当这种情况影响到硬盘的第一个扇区时,可能导致硬盘报废。上边的命令有可能使这些数据起死回生。且这个过程是安全,高效的

练习

 1、创建一个2G的文件系统,块大小为2048byte, 预留1%可用空间,文件系统ext4,卷标为TEST,要求此分区开机后自动挂载至/testdir目录,且默认有acl挂载选项

2、写一个脚本,完成如下功能:

    (1) 列出当前系统识别到的所有磁盘设备;

    (2) 如磁盘数量为1,则显示其空间使用信息;

    否则,则显示最后一个磁盘上的空间使用信息;

演示步骤

        分区启动swap

            1、fdisk /dev/sdb #创建一个分区

            2、mkswap -L SWAP_SDB1 /dev/sdb1 #格式化swap

            3、vim /etc/fstab #写入/etc/fstab

                    LABEL=SWAP_SDB1 swap swap defaults 0 0 #格式

            4、swapon -s #查看以启用的swap

            5、swapon -a #启用现有的分区

        文件启动swap

            1、dd if=/dev/zero of=/testidr/swapfile bs=1M count=1024

            2.mkswap /testdir/swapfile

            3.vim /etc/fstab

                /testdir/swapfile swap swap defaults 0 0

            4.swapon -s 

            5.swapon -a 

        删除swap

            swapoff /dev/sdb1 或swapoff /testdir/swapfile ##禁用swap分区

            删除/etc/fstab相应记录

            删除分区和文件

        创建iOS文件

            cp /dev/sr0 /testdir/centos.iso

        挂载iso文件

            mount -o loop /testdir/centos7.iso /mnt/iso

        将目录打包成iso文件

            mkisofs -r -o etc.iso /etc/