磁盘存储个文件管理

t01c8d0a587f7a91802

设备文件
I/O Ports:I/O设备地址
一切接文件:调用函数open(), read(), write(), close()
设备类型:
块设备:block,存取单位”块”,磁盘
字符设备:char,存取单位”字符”,键盘
设备文件:关联至一个设备驱动程序,进而都够跟与之对应硬件设备进行通信
设备号码:
主设备号:标识设备类型
次设备号:标识同一类型下的不同设备
mknod [文件名] [类型] [主次设备号]
硬盘接口类型
并行:
IDE:133MB/s
SCSI:640MB/s
串口:
SATA:6Gbps
SAS:6Gbps
USB:480MB/s
rpm:rotations (每分钟的转速)
新加硬盘肯能会导致盘符漂移,绑定UUID解决磁盘漂移
机械硬盘(HDD):单块容量大,价格美丽,数据可恢复性高,读写速度慢
固态硬盘(SSD):抗震防摔,传输速率快,功耗小,重量轻,噪音小
磁盘设备的设备文件命名:/dev/DEV_FILE
SCSI,SATA,SAS,IDE,USB:/dev/sd
虚拟磁盘:/dev/vd
磁盘标识:a-z,aa,ab…
/dev/sda,/dev/sdb
同一设备上的不同分区:1,2,…
/dev/sda1,/dev/sda2,……
机械硬盘存储术语:
head:磁头
track:磁道
cylinder:柱面
sector:扇区
磁盘的三围:磁道、柱面、扇区
CHS:
heads*sectors*bytes*cylinders=sda
不能超过2T
LBA:
是一个整数,通过转换成CHS格式完成磁盘具体寻址
不能超过128PB
使用磁盘
分区
创建文件系统;格式化
挂载:分配目录名
使用分区空间
设备识别
设备分区
创建文件系统
标记文件系统
在/etc/fstab文件中创建条目
挂载新的文件系统
分区的目的:
优化I/O性能
实现磁盘空间配额限制
提高修复速度
隔离系统和程序
安装多个OS
采用不同文件系统
分区
两个分区方式:MBR,GPT
MBR:使用32位表示扇区数,分区不超过2T
按柱面分区
0磁道0扇区:512bytes
446bytes:boot loader(启动加载器;相当去Windows的主引导记录)
64bytes:分区表
16bytes:标识一个分区
2bytes:55AA(分区标识位)
4个主分区:三个主分区+一个扩展(N个逻辑分区)
备份分区表
dd if=/dev/sda of=/data/mbr_bak bs=1 count=512
恢复分区表
dd if=mbr_bak of=/dev/sda
分区表克隆
dd if=/dev/sda of=/dev/sdb bs=1 count=512(两块磁盘容量必须相同)
清除55AA
dd if=/dev/zero of=/dev/sda bs=1 count=2 skip=510
清除后系统不会识别分区表
分区表在硬盘和内存中各存一份
fdisk -l 查看硬盘中的分区表
lsblk 查看内存中的分区表
GPT:支持128个分区,使用64位,支持8Z、64Z
使用128位UUID表示磁盘和分区GPT分区表自动备份在头和尾两份,并有CRC校验位
BIOS+MBR
UEFI+GPT
fdisk创建MBR格式分区
gdisk创建GPT格式分区
parted 高级分区操作
parted /dev/sdb mklabel gpt|msdos 把磁盘转换成MBR或GPT
parted /dev/sdb mklabel 1 1000 给磁盘分区
parted /dev/sdb prin 查看磁盘分区
parted /dev/sdb rm 1 删除分区
parted –l 列出分区信息
parted及时生效,不可撤回
gdisk /dev/sdb 类fdisk 的GPT分区工具
fdisk -l [-u] [device…] 查看分区
fdisk /dev/sdb 管理分区
-c 以扇区为单位划分分区
子命令:
p 分区列表
t 更改分区类型
n 创建新分区
d 删除分区
v 校验分区
u 转换单位
w 保存并退出
q 不保存并退出
partx -a [磁盘路径] centos6增加分区时使用,同步分区列表
partx -d –nr [删除的分区号] [磁盘路径] centos6增加分区时使用,同上
partprobe centos7同步分区表
查看内核是否已经识别新的分区:
cat /proc/partations
文件系统:
Linux文件系统:ext2(Extended file system), ext3, ext4, xfs(SGI), btrfs
(Oracle), reiserfs, jfs(AIX), swap
光盘:iso9660
Windows:FAT32, exFAT,NTFS
Unix: FFS(fast), UFS(unix), JFS2
网络文件系统:NFS, CIFS
集群文件系统:GFS2, OCFS2(oracle)
分布式文件系统: fastdfs,ceph, moosefs, mogilefs, glusterfs, Lustre
RAW:未经处理或者未经格式化产生的文件系统
文件系统分类
根据其是否支持”journal”功能:
日志型文件系统: ext3, ext4, xfs, …
非日志型文件系统: ext2, vfat
文件系统的组成部分:
内核中的模块:ext4, xfs, vfat
用户空间的管理工具:mkfs.ext4, mkfs.xfs,mkfs.vfat
Linux的虚拟文件系统:VFS
查前支持的文件系统:cat /proc/filesystems
buffer根据写操作,在内存上写完暂存内存,空闲时间在存到磁盘
cache根据读操作,磁盘的高速缓存,读过的文件临时存放,以便于再次访问
mkfs命令
mkfs.[文件系统] [分区路径]
ext4
xfs
btrfs
vfat
…..
mkfs -t [文件系统] [分区路径]
-m 指定保留空间的百分比
-i 为数据空间中每多少个字节创建一个inode,此大小不能小于block大小
-b 指定块大小
-N 指定分区中创建多少个inode
-l inode记录占用的磁盘空间大小
-m #: 默认5%,为管理人员预留空间占总空间的百分比
-O FEATURE[,…]:启用指定特性
-O ^FEATURE:关闭指定特性
-L 卷标
-j 将ext2升级为ext3
blkid [分区路径] 查看块设备的文件系统和UUID
tune2fs -l [分区路径] 查看ext系列的特性
-U uuidgen [分区路径] 更改UUID
tune2fs -o acl [分区路径] 在centos6上给该分区的文件系统添加acl特性
fsck [分区路径] -y 修复文件系统(修复逻辑上的损坏,自动判断文件系统)
e2fsck -f [分区路径] 检查文件系统是否有损坏
检查或修复文件系统时不能处于挂载状态,用umount解除挂载状态
e2label [分区路径][卷标名] 修改卷标
findfs [UUID] 查找分区
uuidgen 生成随机UUID
挂载mount
将文件系统关联到现有的目录上,使得此目录作为其他文件访问入口的行为。
一个挂载点同时只能挂载一个设备,一个设备可以挂载到多个挂载点
挂载点最好是空文件夹,否则文件夹中的数据会看不到
添加SWAP分区
fdisk:创建一个新分区(最好从零磁道开始)
mkswap [设备名]
UUID swap defaults 0 0
swapon -a [设备名]
添加成功
swapon -a [设备名] 自动挂载swap分区
-s 查看交换分区(等同于cat /proc/swaps)
swapoff [设备名] 卸载swap分区
mount [设备名] [挂载点] 挂载
-a:自动挂载所有支持自动挂载的设备(定义在了/etc/fstab文件中,且挂载选项中有auto功能)
-r 以只读的格式挂载
-w以读写的格式挂载
-L 以卷标指定挂载设备
-U以UUID指定挂载设备
-t 指定文件系统挂载(系统可以自动识别,然并卵)
-n 隐藏挂载(悄悄的挂载只能在/proc/mounts下看到,对centos7无效)
-B 把文件挂载到另一个文件
-o options:(挂载文件系统的选项),多个选项使用逗号分隔
async:异步模式
sync:同步模式,内存更改时,同时写磁盘
atime/noatime:包含目录和文件
diratime/nodiratime:目录的访问时间戳
auto/noauto:是否支持自动挂载,是否支持-a选项
exec/noexec:是否支持将文件系统上运行应用程序
dev/nodev:是否支持在此文件系统上使用设备文件
suid/nosuid:是否支持suid和sgid权限
remount:重新挂载
ro:只读
rw:读写
user/nouser:是否允许普通用户挂载此设备,/etc/fstab使用
acl:启用此文件系统上的acl功能
loop: 使用loop设备
umount [挂载点] 解除挂载
lsof -v [挂载点] 查看谁在使用该挂载点
fuser -v 同上
fuser -km [挂载点] 强制卸载
findmnt [目录] 查看是否为挂载点,用于脚本
losetup -a 查看loop设备
centos6上loop设备默认只有八个使用更多时要更改/boot/grub/grub.conf文件
centos7上loop设备是自动创建的,所以理论上说是没有上限的
/etc/fstab每行定义一个要挂载的文件系统
要挂载的设备或伪文件系统
挂载点
文件系统类型
挂在选项:defaults
转储频率:0:不备份 1:每天备份一次 2:每隔一天备份一次
自检次序:0:不自检 1:首先自检;一般只有rootfs才用
/etc/fstab 格式中最后面的两个零依次表示1.备份周期,配合特点软件使用2.开机检测顺序(0不检测1第一个检测2第二个检测)
/etc/fstab中最后一个为检测时,挂载设备有问题开机启动故障,挂载点有问题,可以正常启动,
挂载设备故障解决方案
开机过程系统提示Ctrl+D或输入root用户密码,Ctrl+D表示重启,选择输入密码
用mount -o rw,remount / 给/读写权限,更改/etc/fstad中的故障挂载
备份/home/
fdisk
mkfs.ext4 /dev/sda6 -L /home
mkdir /mnt/home;mount /dev/sda6 /mnt/home
init 1 会断网,不要远程操作
cp -av /home/* /mnt/home
rm -rf /home*
vim /etc/fstab
UUID=XXX /home ext4 defaults 0 0
mount -a
umount /mnt/home;rm -rf /mnt/home
init 5
使用光盘
eject 弹出光盘
创建ISO文件
cp /dev/sr0 /data/centos.iso
mkisofs -r -o /data/centos.iso /dev/sr0
dd if=/dev/sr0 of=/data/centos.iso
可以吧centos6的两张光盘和成一个iso当yum源使用,但不能用于启动盘
刻录光盘
wodim -v -eject centos.iso
df 查看文件系统空间占用等信息
-H 以1000为单位
-T 文件系统类型
-h: 以1024为单位
-i:inodes instead of blocks
-P: 以Posix兼容的格式输出
du 查看目录总体空间占用状态
-h 以人能看懂的格式
-s 不看子目录,只看总大小
–max-depth 最大深度
dd命令:
用法:
dd if=/PATH/FROM/SRC of=/PATH/TO/DEST
bs=#:block size, 复制单元大小
count=#:复制多少个bs
of=file 写到所命名的文件而不是到标准输出
if=file 从所命名文件读取而不是从标准输入
bs=size 指定块大小(既是是ibs也是obs)
ibs=size 一次读size个byte
obs=size 一次写size个byte
cbs=size 一次转化size个byte
skip=blocks 从开头忽略blocks个ibs大小的块
seek=blocks 从开头忽略blocks个obs大小的块
count=n 只拷贝n个记录
conv=conversion[,conversion…] 用指定的参数转换文件
转换参数:
ascii 转换 EBCDIC 为 ASCII
ebcdic 转换 ASCII 为 EBCDIC
lcase 把大写字符转换为小写字符
ucase 把小写字符转换为大写字符
nocreat 不创建输出文件
noerror 出错时不停止
notrunc 不截断输出文件
sync 把每个输入块填充到ibs个字节,不足部分用空(NUL)字
符补齐
复制硬盘分区表
dd if=/dev/sdb of=/dev/sdd bs=1 count=66 skip=446 seek=446
测试硬盘写速度
dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000
测试硬盘读速度
dd if=/root/1Gb.file bs=64k | dd of=/dev/null
修复硬盘
dd if=/dev/sda of=/dev/sda
RAID 磁盘阵列
多个磁盘合成一个阵列来提供更好的性能、冗余,或者两者都提供
提高IO性能
并行读写
提高耐用性
磁盘冗余
RAID实现的方式:
外接式磁盘阵列:通过扩展卡提供适配能力
内接式RAID:主板集成RAID控制器
安装OS前在BIOS里配置
软件RAID:通过OS实现
RAID-0:条带卷,又被称为条带集
最少两块硬盘或者两块以上
读写性能提高
无容错能力
RAID-1:镜像卷,两两互为镜像
最少两块硬盘
读性能提高,写性能不变
有容错能力,但不能防止误操作
RAID-4 :一块盘是校验位读写平凡容易故障(淘汰)
最少三块磁盘或三块以上
读写性能提高
有容错能力
容量n-1/n
RAID-5:校验位分布在三块磁盘上,坏掉一块磁盘后读写速度变慢(校验引起)
最少三块磁盘或三块以上
读写性能提高
有容错能力
利用率n-1/n
spare disk 热备盘
RAID-6:校验位分布在四块磁盘上,坏掉一块磁盘后读写速度变慢(校验引起)
最少三块磁盘或三块以上
读写性能提高
有容错能力
利用率n-2/n
RAID7
可以理解为一个独立存储计算机,自身带有操作系统和管理工具,可以独立运行,理论上性能最高的RAID模式
RAID-10
容错率比01高
RAID-01
RAID-50
RAID-60
JBOD:将多块磁盘的空间合并一个大的连续空间使用
mdadm 为软RAID提供管理界面
-C 指定路径
-a yes 初始化
-l5 指定raid级别
-c 指定chunk大小
chunk:吧一个文件切割成若干个小块,一块就是一个chunk
创建raid配置文件
mdadm -Ds /dev/md0 > /etc/raid.conf
逻辑卷管理
允许对卷进行方便操作的抽象层,包括重新设定文件系统的大小
允许在多个物理设备间重新组织文件系统
创建逻辑卷
添加新硬盘
echo ‘- – -’ > /sys/class/scsi_host/host2/scan 开机加硬盘刷新硬盘信息
fdisk e t 8e(指定扩展分区,文件系统为8e LVM)
pvs 查看逻辑磁盘信息
vgcreate -s [PE大小] [逻辑磁盘名称] [新创建的分区]
lvcreate -n [名称] -l\L [PE\容量] [逻辑磁盘]
-l 100%FREE 剩余分区
跨主机迁移卷组示例:
原计算机: vgrename vg0 centos6vg0
lvrename /dev/centos6vg0/lv0 /dev/centos6vg0/lv0
1 在旧系统中,umount所有卷组上的逻辑卷 : umount /mnt/lv0
2 vgchange –a n centos6vg0 //禁用巻组 lvdisplay 查看
3 vgexport cebtos6vg0 导出逻辑卷 pvscan 查看 vgdisplay 查看
4 拆下旧硬盘
在目标计算机上
在新系统中安装旧硬盘,并 导入vgimport centos6vg0.
vgchange -ay centos6vg0 //激活巻组
mount 所有巻组上的逻辑卷
使用分区创建逻辑卷示例:
创建分区fdisk /dev/sdc ( n p 1 1 +2G t 1 8e )
创建物理卷 : pvcreate /dev/sd{b1,c1}
显示pv信息: pvs:简要pv信息显示 pvdisplay
为卷组分配物理卷: vgcreate -s 16M vg0 /dev/sd{b1,c1}
显示卷组: vgs 或 vgdisplay
从卷组创建逻辑卷: lvcreate -L 256M –n lv0 vg0
显示逻辑卷: lvs 或 Lvdisplay
创建文件系统:mkfs.ext4 /dev/vg0/lv0
make2fs -j /dev/vg0/data
挂载:写入文件:UUID=xxx /mnt/lv0 ext4 defaults 0 0
mount /dev/vg0/data /mnt/data (临时有效)
扩展逻辑卷
pvcreate /dev/sdd
vgextend vg0 /dev/sdd
lvextend -L [+10G\30G] [逻辑卷]
resize2fs [逻辑卷] 或 lvextend – r -L [+10G\30G] [逻辑卷] 同步文件系统
缩减逻辑分区
1.取消挂载
umount
2.检查文件系统完整性
fsck -f
3.缩减文件系统
resize2fs
4.缩减逻辑分区
lvreduce -L [缩减大小] [逻辑分区]
5.挂载
mount
删除VG中的PV
pvmove /dev/sdd
vgreduce vg0 /dev/sdd
pvremove /dev/sdd
逻辑卷快照管理
只能存最老版本的数据(多用于测试环境)
lvcreate -n lv0-snapshot -s -L 5G -p r /dev/vg0/lv0
-p r 只读属性
如果不加只读属性,恢复快照时会失败,需要手工复制过去(ext4)
xfs不影响,不加也能同步
恢复快照
把源分区和快照分区都卸载掉
lvconvert –merge /dev/vg0/lv0-snapshot

本文来自投稿,不代表Linux运维部落立场,如若转载,请注明出处:http://www.178linux.com/97028

发表评论

登录后才能评论

联系我们

400-080-6560

在线咨询:点击这里给我发消息

邮件:1823388528@qq.com

工作时间:周一至周五,9:30-18:30,节假日同时也值班