Mark blog

知行合一 划水归档

Linux 文件查找和压缩

文件查找

在文件系统上查找符合条件的文件

文件查找:locate, find

​ 非实时查找(数据库查找):locate

​ 实时查找:find

locate

查询系统上预建的文件索引数据库

1
/var/lib/mlocate/mlocate.db

依赖于事先构建的索引

索引的构建是在系统较为空闲时自动进行(周期性任务),管理员手动更新数据库 (updatedb)

索引构建过程需要遍历整个根文件系统,极消耗资源

工作特点:

• 查找速度快

• 模糊查找

• 非实时查找

• 搜索的是文件的全路径,不仅仅是文件名

• 可能只搜索用户具备读取和执行权限的目录

locate 命令

locate KEYWORD

有用的选项

​ -i 不区分大小写的搜索

​ -n N 只列举前N个匹配项目

​ -r 使用正则表达式

示例

搜索名称或路径中带有”conf”的文件

1
locate conf

使用Regex来搜索以”.conf”结尾的文件

1
locate -r ‘\.conf$’

find

实时查找工具,通过遍历指定路径完成文件查找

工作特点:

​ • 查找速度略慢

​ • 精确查找

​ • 实时查找

​ • 可能只搜索用户具备读取和执行权限的目录

语法:

find [OPTION]… [查找路径][查找条件][处理动作]

查找路径:指定具体目标路径;

默认为当前目录 查找条件:指定的查找标准,可以文件名、大小、类型、权限等标准进行; 默认为找出指定路径下的所有文件

处理动作:对符合条件的文件做操作,默认输出至屏幕

查找条件

指搜索层级

​ -maxdepth level 最大搜索目录深度,指定目录为第1级

​ -mindepth level 最小搜索目录深度

根据文件名和inode查找:

​ -name “文件名称”:支持使用glob

​ *, ?, [], [^]

​ -iname “文件名称”:不区分字母大小写

​ -inum n 按inode号查找

​ -samefile name 相同inode号的文件

​ -links n 链接数为n的文件

​ -regex “PATTERN”:以PATTERN匹配整个文件路径字符串,而不仅仅是文 件名称

根据属主、属组查找:

​ -user USERNAME:查找属主为指定用户(UID)的文件

​ -group GRPNAME: 查找属组为指定组(GID)的文件

​ -uid UserID:查找属主为指定的UID号的文件

​ -gid GroupID:查找属组为指定的GID号的文件

​ -nouser:查找没有属主的文件

​ -nogroup:查找没有属组的文件

根据文件类型查找:

​ -type TYPE:

​ • f: 普通文件

​ • d: 目录文件

​ • l: 符号链接文件

​ • s:套接字文件

​ • b: 块设备文件

​ • c: 字符设备文件

​ • p: 管道文件

空文件或目录

​ -empty

​ find /app -type d -empty

组合条件:

​ 与:-a

​ 或:-o

​ 非:-not, !

德·摩根定律:

(非 A) 或 (非 B) = 非(A 且 B) 

(非 A) 且 (非 B) = 非(A 或 B) 

示例:

!A -a !B = !(A -o B) 

!A -o !B = !(A -a B) 

查找条件

根据文件大小来查找:

-size [+|-]#UNIT

常用单位:k, M, G,c(byte) 

#UNIT: (#-1, #]

如:6k 表示(5k,6k] 

-#UNIT:[0,#-1]

如:-6k 表示[0,5k] 

+#UNIT:(#,∞)

如:+6k 表示(6k,∞)     

根据时间戳:

以”天”为单位;

​ -atime [+|-]#,

​ #: [#,#+1)

​ +#: [#+1,∞]

​ -#: [0,#)

​ -mtime

​ -ctime

以”分钟”为单位:

​ -amin

​ -mmin

​ -cmin

根据权限查找:

-perm [/|-]MODE

MODE: 精确权限匹配

​ /MODE:任何一类(u,g,o)对象的权限中只要能一位匹配即可,或关系,+ 从centos7开始淘汰

​ -MODE:每一类对象都必须同时拥有指定权限,与关系 0 表示不关注

​ • find -perm 755 会匹配权限模式恰好是755的文件

​ • 只要当任意人有写权限时,find -perm +222就会匹配

​ • 只有当每个人都有写权限时,find -perm -222才会匹配

​ • 只有当其它人(other)有写权限时,find -perm -002才会匹配

处理动作

-print:默认的处理动作,显示至屏幕

-ls:类似于对查找到的文件执行”ls -l”命令

-delete:删除查找到的文件

-fls file:查找到的所有文件的长格式信息保存至指定文件中

-ok COMMAND {} ;

​ 对查找到的每个文件执行由COMMAND指定的命令,对于 每个文件执行命令之前,都会交互式要求用户确认

-exec COMMAND {} ;

​ 对查找到的每个文件执行由COMMAND指定的命令

{}: 用于引用查找到的文件名称自身

find传递查找到的文件至后面指定的命令时,查找到所有符合条件的文件一次性 传递给后面的命令

参数替换xargs

由于很多命令不支持管道|来传递参数,而日常工作中有这个必要,所以就有了 xargs命令

xargs用于产生某个命令的参数,xargs 可以读入 stdin 的数据,并且以空格符 或回车符将 stdin 的数据分隔成为arguments

注意:文件名或者是其他意义的名词内含有空格符的情况

有些命令不能接受过多参数,命令执行可能会失败,xargs可以解决

示例:

​ ls f* |xargs rm

​ find /sbin -perm +700 |ls -l 这个命令是错误的

​ find /sbin -perm +700 | xargs ls –l

find和xargs格式:find | xargs COMMAND

压缩,解压缩及归档工具

file-roller

compress/uncompress: .Z

gzip/gunzip: .gz

bzip2/bunzip2: .bz2

xz/unxz: .xz

zip/unzip

tar

cpio

compress/uncompress

compress [-dfvcVr]/[-b maxbits]/[file …]

​ -d: 解压缩,相当于uncompress

​ -c: 结果输出至标准输出,不删除原文件

​ -v: 显示详情

uncompress 解压缩

zcat file.Z >file

gzip/gunzip

gzip [OPTION]… FILE …

​ -d: 解压缩,相当于gunzip

​ -c: 将压缩或解压缩的结果输出至标准输出

​ -#:1-9,指定压缩比,值越大压缩比越大

zcat:不显式解压缩的前提下查看文本文件内容

实例:

​ gzip -c messages >messages.gz

​ gzip -c -d messages.gz > messages

​ zcat messages.gz > messages

bzip2/bunzip/bzcat

bzip2 [OPTION]… FILE …

​ -k: keep, 保留原文件

​ -d:解压缩

​ -#:1-9,压缩比,默认为9

bzcat:不显式解压缩的前提下查看文本文件内容

xz/unxz/xzcat

xz [OPTION]… FILE …

​ -k: keep, 保留原文件

​ -d:解压缩

​ -#:1-9,压缩比,默认为6

xzcat: 不显式解压缩的前提下查看文本文件内容

zip/unzip

打包压缩

1
zip –r /testdir/sysconfig /etc/sysconfig/

解包解压缩

1
2
3
4
5
unzip sysconfig.zip 

cat /var/log/messages | zip messages -

unzip -p message > message

tar工具

tar(Tape ARchive,磁带归档的缩写)

tar [OPTION]…

(1) 创建归档

1
tar -cpvf /PATH/TO/SOMEFILE.tar FILE...

(2) 追加文件至归档: 注:不支持对压缩文件追加

1
tar -r -f /PATH/TO/SOMEFILE.tar FILE...

(3) 查看归档文件中的文件列表

1
tar -t -f /PATH/TO/SOMEFILE.tar

(4) 展开归档

1
2
3
tar -x -f /PATH/TO/SOMEFILE.tar 

tar -x -f /PATH/TO/SOMEFILE.tar -C /PATH/

(5) 结合压缩工具实现:归档并压缩

1
-j: bzip2, -z: gzip, -J: xz

-T选项指定输入文件,-X选项指定包含要排除的文件列表

1
tar zcvf mybackup.tgz -T /root/includefilelist -X /root/excludefilelist

分割大的 tar 文件为多份小文件:

1
2
3
4
5
split –b Size –d tar-file-name prefix-name 

split -b 1M –d mybackup.tgz mybackup-parts

split -b 1M mybackup.tgz mybackup-parts

合并:

1
cat mybackup-parts* > mybackup.tar.gz

cpio

功能:复制文件从或到归档

cpio命令是通过重定向的方式将文件进行打包备份,还原恢复的工具,它可以 解压以”.cpio”或者”.tar”结尾的文件

cpio [选项] > 文件名或者设备名

cpio [选项] < 文件名或者设备名

选项

​ -o 将文件拷贝打包成文件或者将文件输出到设备上

​ -i 解包,将打包文件解压或将设备上的备份还原到系统

​ -t 预览,查看文件内容或者输出到设备上的文件内容

​ -v 显示打包过程中的文件名称。

​ -d 解包生成目录,在cpio还原时,自动的建立目录

​ -c 一种较新的存储方式