当前位置：首页 > news >正文

Ubuntu 22.04使用pigz多线程快速解压/压缩文件

news 来源：原创 2025/8/18 4:00:29

最近搞项目，资料太大，解压时间太久，于是想办法解决。

开贴记录。

1.安装pigz

sudo apt install pigz

2.解压资料

解压命令为

tar --use-compress-program=pigz -xvpf   ***.tar.gz

将最后的部分***.tar.gz换成你自己的文件即可

例如

time tar --use-compress-program=pigz -xvpf   MYD-LR3568-Distribution-H4.1-V1.0.0.tar.gz

飞快

3.压缩资料

使用命令为

time tar --use-compress-program=pigz -cvpf youfile.tar.gz yourfile/

其中 yourfile.tar.gz 为你要压缩的文件

yourfile/为你要解压到的目录

4.pigz相关资料

pigz首页： https://zlib.net/pigz/

pigz指令手册：https://zlib.net/pigz/pigz.pdf

pigz Github地址：https://github.com/madler/pigz

5.指令手册

因为pigz指令手册是英文的，用AI翻译成中文了

pigz, unpigz - 压缩或解压缩文件

概要

plaintext

pigz [ −cdfhikKlLmMnNqrRtz0..9,11 ][-b blocksize ][-p threads ][-S suffix ][name ... ]
unpigz [ −cfhikKlLmMnNqrRtz ][-b blocksize ][-p threads ][-S suffix ][name ... ]

描述

Pigz 使用多线程来利用多个处理器和核心进行压缩。输入被分割成 128 KB 的块，每个块并行压缩。每个块的单独校验值也并行计算。压缩后的数据按顺序写入输出，并且会根据各个单独的校验值计算一个组合校验值。

生成的压缩数据格式可以是 gzip、zlib 或单条目 zip 格式，使用的是 deflate 压缩方法。压缩过程会产生部分原始 deflate 流，这些流由一个单独的写入线程连接起来，并加上适当的头部和尾部，尾部包含组合校验值。

每个部分原始 deflate 流以一个空的存储块（使用 zlib 的 Z_SYNC_FLUSH 选项）结束，以便在字节边界处结束该部分比特流。这使得部分流可以简单地作为字节序列连接起来。这会为每个输入块的输出增加非常小的 4 到 5 字节开销。

默认的输入块大小是 128K，但可以使用 -b 选项更改。默认情况下，压缩线程的数量设置为在线处理器的数量，可以使用 -p 选项更改。指定 -p 1 则完全不使用线程。

输入块虽然是独立压缩的，但会加载前一个块的最后 32K 作为预设字典，以保持单线程 deflate 压缩的有效性。可以使用 -i 或 --independent 选项关闭此功能，这样块就可以独立解压缩，以便进行部分错误恢复或随机访问。这还会插入一个额外的空块来标记独立块，每个块前面会有九字节序列（十六进制）：00 00 FF FF 00 00 00 FF FF。

解压缩无法并行化，至少在没有为此专门准备的 deflate 流的情况下是这样。因此，pigz 使用一个线程（主线程）进行解压缩，但会创建另外三个线程用于读取、写入和校验计算，在某些情况下可以加快解压缩速度。可以通过指定一个进程（-dp 1 或 -tp 1）来关闭并行解压缩。

命令行上的所有选项都会在处理任何文件名之前进行处理。如果命令行上没有提供文件名，或者如果文件名指定为 -（但不是在 -- 之后），则从标准输入读取输入。如果设置了 GZIP 或 PIGZ 环境变量，则在处理任何命令行选项之前，会从它们的值中获取选项，先从 GZIP 中获取，然后从 PIGZ 中获取。

可以使用 pigz -d 或 unpigz 将压缩文件恢复到原始格式。

选项

-# --fast --best
使用指定的数字 # 调节压缩速度，其中 -1 或 --fast 表示最快的压缩方法（压缩率较低），-9 或 --best 表示最慢的压缩方法（压缩率最高）。-0 表示不进行压缩。-11 使用 Jyrki Alakuijala 的 zopfli 算法，能在严重牺牲执行时间的情况下提高几个百分点的压缩率。默认值是 -6。
-A --alias xxx
对于从标准输入读取的数据，使用 xxx 作为任何 --zip 条目的名称（默认名称是 -）。
-b --blocksize mmm
将压缩块大小设置为 mmmK（默认 128 KiB）。
-c --stdout --to-stdout
将所有处理后的输出写入标准输出（不会删除原始文件）。
-C --comment ccc
在 gzip 头部或 zip 中央文件头部包含提供的注释。
-d --decompress --uncompress
对压缩的输入进行解压缩。
-f --force
强制覆盖文件、压缩 .gz 文件、处理链接并输出到终端。
-h --help
显示帮助信息并退出。
-H --huffman
使用仅哈夫曼编码策略进行压缩。
-i --independent
为了便于损坏恢复，独立压缩各个块。
-k --keep
处理后不删除原始文件。
-K --zip
压缩为 PKWare zip（.zip）单条目格式。
-l --list
列出压缩输入的内容。
-L --license
显示 pigz 的许可证信息并退出。
-m --no-time
不存储或恢复修改时间。-Nm 会存储或恢复文件名，但不存储或恢复修改时间。请注意，选项的顺序很重要。
-M --time
存储或恢复修改时间。-nM 会存储或恢复修改时间，但不存储或恢复文件名。请注意，选项的顺序很重要。修改时间仅为常规文件存储，不为管道存储。
-n --no-name
不存储或恢复文件名或修改时间。这是解压缩时的默认设置。如果文件名未从头部恢复，则去除后缀后的压缩文件名即为解压缩后的文件名。如果修改时间未从头部恢复，则使用压缩文件的修改时间（而不是当前时间）。
-N --name
存储或恢复文件名和修改时间。这是压缩时的默认设置。
-p --processes n
最多允许 n 个进程（默认是在线处理器的数量）。
-q --quiet --silent
不打印任何消息，即使发生错误也不打印。
-r --recursive
处理所有子目录的内容。
-R --rsyncable
为 rsync 确定输入块的位置。
-S --suffix .sss
压缩时使用 .sss 作为后缀，而不是 .gz。
-t --test
测试压缩输入的完整性。
-U --rle
使用游程编码策略进行压缩。
-v --verbose
提供更详细的输出。
-V --version
显示 pigz 的版本。-vV 还会显示 zlib 的版本。
-z --zlib
压缩为 zlib（.zz）格式，而不是 gzip 格式。

-- 之后的所有参数都被视为文件名（适用于以 - 开头的文件名）。

这些选项是 -11 压缩级别独有的：

-F --first
在分块之前先进行迭代（默认是最后进行迭代）。
-I --iterations n
优化的迭代次数（默认 15 次）。
-J --maxsplits n
最大分块数量（默认 15 个）。
-O --oneblock
不分割成更小的块（默认是分块）。

1.安装pigz

2.解压资料

3.压缩资料

4.pigz相关资料

5.指令手册

描述

相关文章：