Mark blog

知行合一 划水归档

Linux 磁盘存储和文件系统(一)

设备文件

I/O Ports: I/O设备地址

一切皆文件:open(), read(), write(), close()

设备类型:

块设备:block,存取单位“块”,磁盘 

字符设备:char,存取单位“字符”,键盘 

设备文件:

关联至一个设备驱动程序,进而能够跟与之对应硬件设备进行通信 

设备号码:

主设备号:major number, 标识设备类型 

次设备号:minor number, 标识同一类型下的不同设备 

磁盘设备的设备文件命名:/dev/DEV_FILE

SCSI, SATA, SAS, IDE,USB: /dev/sd

虚拟磁盘:/dev/vd

不同磁盘标识:a-z,aa,ab…

/dev/sda, /dev/sdb, ... 

同一设备上的不同分区:1,2, …

/dev/sda1, /dev/sda5 

硬盘存储术语

head:磁头 

track:磁道 

cylinder: 柱面 

sector: 扇区,512bytes 

CHS和LBA

CHS

采用24bit位寻址 

其中前10位表示cylinder,中间8位表示head,后面6位表示sector 

最大寻址空间8GB 

LBA(logical block addressing)

​ LBA是一个整数,通过转换成CHS格式完成磁盘具体寻址

LBA采用48个bit位寻址 

最大寻址空间128PB 

由于CHS寻址方式的寻址空间在大概8GB以内,所以在磁盘容量小于大概8GB 时,可以使用CHS寻址方式或是LBA寻址方式;在磁盘容量大于大概8GB时,则 只能使用LBA寻址方式

使用分区空间

设备识别

设备分区

创建文件系统

标记文件系统

在/etc/fstab文件中创建条目

挂载新的文件系统

磁盘分区

分区

两种分区方式:MBR,GPT

MBR: Master Boot Record,1982年,使用32位表示扇区数,分区不超过2T

如何分区:按柱面

0磁道0扇区:512bytes

446bytes: boot loader 

64bytes:分区表 

    16bytes: 标识一个分区 

2bytes: 55AA 

4个主分区;3主分区+1扩展(N个逻辑分区)

MBR分区结构

硬盘主引导记录MBR由4个部分组成

主引导程序(偏移地址0000H–0088H),它负责从活动分区中装载,并运行 系统引导程序

出错信息数据区,偏移地址0089H–00E1H为出错信息,00E2H–01BDH全为 0字节

分区表(DPT,Disk Partition Table)含4个分区项,偏移地址01BEH–01FDH, 每个分区表项长16个字节,共64字节为分区项1、分区项2、分区项3、分区项4

结束标志字,偏移地址01FE–01FF的2个字节值为结束标志55AA

GPT分区

GPT:GUID(Globals Unique Identifiers) partition table 支持128个分区, 使用64位,支持8Z( 512Byte/block )64Z ( 4096Byte/block)

使用128位UUID(Universally Unique Identifier) 表示磁盘和分区 GPT分区表 自动备份在头和尾两份,并有CRC校验位

UEFI (统一扩展固件接口)硬件支持GPT,使操作系统启动

管理分区

列出块设备

• lsblk 

创建分区使用:

• fdisk 创建MBR分区 

• gdisk 创建GPT分区 

​ • parted 高级分区操作

partprobe-重新设置内存中的内核分区表版本

parted命令

parted的操作都是实时生效的,小心使用

用法:parted [选项]… [设备 [命令 [参数]…]…]

parted /dev/sdb mklabel gpt|msdos 

parted /dev/sdb print 

parted /dev/sdb mkpart primary 1 200 (默认M) 

parted /dev/sdb rm 1 

parted –l 列出分区信息 

分区工具fdisk和gdisk

gdisk /dev/sdb 类fdisk 的GPT分区工具

fdisk -l [ -u]/[device...] 查看分区 

fdisk /dev/sdb 管理分区 

子命令: 

    p 分区列表 

    t 更改分区类型 

    n 创建新分区 

    d 删除分区 

    v 校验分区 

    u 转换单位 

    w 保存并退出 

    q 不保存并退出 

同步分区表

查看内核是否已经识别新的分区:

cat /proc/partations 

centos6通知内核重新读取硬盘分区表

新增分区用 

partx -a /dev/DEVICE 

kpartx -a /dev/DEVICE -f: force 

删除分区用 

partx -d --nr M-N /dev/DEVICE 

CentOS 5,7: 使用partprobe

​ partprobe [/dev/DEVICE]

同步分区表的时候注意系统的版本,centOS 5,7 是相同的,但是6和以上两个版本都不一样

文件系统

文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构;即 在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件结 构称为文件管理系统,简称文件系统

从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配,负责文 件存储并对存入的文件进行保护和检索的系统。具体地说,它负责为用户建立 文件,存入、读出、修改、转储文件,控制文件的存取,安全控制,日志,压 缩,加密等

支持的文件系统:

/lib/modules/\`uname –r`/kernel/fs 

各种文件系统:

https://en.wikipedia.org/wiki/Comparison_of_file_systems 

文件系统类型

Linux文件系统:

ext2(Extended file system) :适用于那些分区容量不是太大,更新也不频繁的情况,例如 /boot 分区。 

ext3:是 ext2 的改进版本,其支持日志功能,能够帮助系统从非正常关机导致的异常中 恢复。它通常被用作通用的文件系统 

ext4:是 ext 文件系统的最新版。提供了很多新的特性,包括纳秒级时间戳、创建和使 用巨型文件(16TB)、最大1EB的文件系统,以及速度的提升 

xfs:SGI,支持最大8EB的文件系统 

btrfs(Oracle), reiserfs, jfs(AIX), swap 

光盘:iso9660

Windows:FAT32, exFAT,NTFS

Unix: FFS(fast), UFS(unix), JFS2

网络文件系统:NFS, CIFS

集群文件系统:GFS2, OCFS2(oracle)

分布式文件系统: fastdfs,ceph, moosefs, mogilefs, glusterfs, Lustre

RAW:未经处理或者未经格式化产生的文件系统

文件系统分类

根据其是否支持”journal”功能:

日志型文件系统: ext3, ext4, xfs, ... 

非日志型文件系统: ext2, vfat 

文件系统的组成部分:

内核中的模块:ext4, xfs, vfat 

用户空间的管理工具:mkfs.ext4, mkfs.xfs,mkfs.vfat 

Linux的虚拟文件系统:VFS

查前支持的文件系统:cat /proc/filesystems

创建文件系统

mkfs命令:

(1) mkfs.FS_TYPE /dev/DEVICE

ext4 

xfs 

btrfs 

vfat 

(2) mkfs -t FS_TYPE /dev/DEVICE

-L 'LABEL': 设定卷标 

创建ext文件系统

mke2fs:ext系列文件系统专用管理工具

-t {ext2|ext3|ext4} 

-b {1024|2048|4096} 

-L 'LABEL' 

-j: 相当于 -t ext3 

    mkfs.ext3 = mkfs -t ext3 = mke2fs -j = mke2fs -t ext3 

-i #: 为数据空间中每多少个字节创建一个inode;此大小不应该小于 block的大小 

-N #:指定分区中创建多少个inode 

-I 一个inode记录占用的磁盘空间大小,128---4096 

-m #: 默认5%,为管理人员预留空间占总空间的百分比 

-O FEATURE[,...]:启用指定特性 

-O ^FEATURE:关闭指定特性 

文件系统标签

指向设备的另一种方法

与设备无关

blkid:块设备属性信息查看

blkid [OPTION]… [DEVICE]

-U UUID: 根据指定的UUID来查找对应的设备 

-L LABEL:根据指定的LABEL来查找对应的设备 

e2label:管理ext系列文件系统的LABEL

e2label DEVICE [LABEL] 

findfs :查找分区

findfs [options] LABEL= /</label/>/

findfs [options] UUID= /</uuid/>/

tune2fs

tune2fs:重新设定ext系列文件系统可调整参数的值

-l:查看指定文件系统超级块信息;super block 

-L 'LABEL':修改卷标 

-m #:修预留给管理员的空间百分比 

-j: 将ext2升级为ext3 

-O: 文件系统属性启用或禁用, –O ^has_journal 

-o: 调整文件系统的默认挂载选项,–o ^acl 

-U UUID: 修改UUID号 

dumpe2fs:

块分组管理,32768块 

-h:查看超级块信息,不显示分组信息 

文件系统检测和修复

常发生于死机或者非正常关机之后

挂载为文件系统标记为“no clean”

注意:一定不要在挂载状态下修复

fsck: File System Check

fsck.FS_TYPE 

fsck -t FS_TYPE 

-p: 自动修复错误 

-r: 交互式修复错误 

FS_TYPE一定要与分区上已经文件类型相同 

e2fsck:ext系列文件专用的检测修复工具

-y:自动回答为yes 

-f:强制修复