数据压缩

概述

MinIO 服务器支持压缩对象以减少磁盘使用量。对象在 PUT 之前被压缩并写入磁盘，并在 GET 之前被解压缩，然后发送到客户端。这使得压缩过程对客户端应用程序和服务透明。

根据数据的类型，压缩也可能提高整体吞吐量。生产部署的写入吞吐量通常为每秒 500 MB 或更高，具体取决于系统中可用的每个 CPU 内核。每个 CPU 内核的解压缩速度约为每秒 1 GB 或更高。

为了获得最佳效果，请查看 MinIO 的推荐硬件配置或使用 MinIO SUBNET 直接与工程师合作分析压缩性能。

默认文件类型

数据压缩是一个全局选项，配置的设置适用于部署中的所有存储桶。启用数据压缩默认情况下会压缩以下类型的数据

文件扩展名	媒体 (MIME) 类型
`.txt` `.log` `.csv` `.json` `.tar` `.xml` `.bin`	`text/*` `application/json` `application/xml` `binary/octet-stream`

文件扩展名

媒体 (MIME) 类型

.txt

.log

.csv

.json

.tar

.xml

.bin

text/*

application/json

application/xml

binary/octet-stream

您可以通过指定所需的文件扩展名和媒体 (MIME) 类型来控制哪些对象被压缩。

现有对象不会被修改

启用、禁用或更新部署的压缩设置不会修改现有对象。新对象将根据创建时有效的设置进行压缩。

排除的文件类型

某些数据无法有效压缩。例如：视频、已压缩数据或小于 4KiB 的文件。即使在压缩配置中指定了常见的不压缩文件类型，MinIO 也不会压缩它们。

这些类型的对象永远不会被压缩

对象类型	文件扩展名	媒体 (MIME) 类型
音频		`audio/*`
视频	`.mp4` `.mkv` `*.mov`	`video/*`
图像	`.jpg` `.png` `*.gif`	`application/x-compress` (LZW)
7ZIP 压缩	`*.7z`
BZIP2 压缩	`*.bz2`	`application/x-bz2`
GZIP 压缩	`*.gz`	`application/x-gzip`
RAR 压缩	`*.rar`
LZMA 压缩	`*.xz`	`application/x-xz`
ZIP 压缩	`*.zip`	`application/zip` `application-x-zip-compressed`
小于 4 KiB

数据压缩和加密

MinIO 支持加密压缩对象，但不建议在没有事先进行风险评估的情况下将压缩和加密结合使用。在为压缩对象启用加密之前，请仔细考虑您环境的安全需求。

请参阅 MinIO 上的透明数据压缩，了解有关组合压缩和加密的更多信息。 MinIO SUBNET 用户可以登录并与我们的工程和安全团队联系，以审查加密选项。

教程

启用数据压缩

要启用数据压缩，请使用mc admin config set 设置compression 键的enable 选项为on。

以下操作将为默认类型的新对象启用压缩。

mc admin config set ALIAS compression enable=on

将ALIAS替换为已配置的 MinIO 部署的alias。

现有的未压缩对象不会被修改。要配置要压缩的扩展名和类型，请参阅配置要压缩的对象。

要查看当前的压缩设置

mc admin config get ALIAS compression

禁用数据压缩

要禁用数据压缩，请使用mc admin config set 设置compression 键的enable 选项为off。

以下操作将禁用新对象的压缩。

mc admin config set ALIAS compression enable=off

将ALIAS替换为已配置的 MinIO 部署的alias。

现有的已压缩对象不会被修改。

配置要压缩的对象

通过在extensions 或mime_types 参数中指定所需的文件扩展名和媒体类型来配置要压缩的对象。

默认数据压缩配置会压缩以下类型的数据。

文件扩展名	媒体 (MIME) 类型
`.txt` `.log` `.csv` `.json` `.tar` `.xml` `.bin`	`text/*` `application/json` `application/xml` `binary/octet-stream`

文件扩展名

媒体 (MIME) 类型

.txt

.log

.csv

.json

.tar

.xml

.bin

text/*

application/json

application/xml

binary/octet-stream

默认情况下，排除的扩展名和类型永远不会被压缩。

某些对象无法有效压缩。即使在extensions 或mime_types 参数中指定了这些对象，MinIO 也不会尝试压缩它们。有关排除类型的列表，请参阅排除的文件类型。

以下部分介绍如何为所需的文件扩展名和媒体类型配置压缩。

压缩所有可压缩的对象

要压缩除默认排除的类型之外的所有对象，请使用mc admin config set 将compression 键的extensions 和mime_types 选项设置为空列表。

mc admin config set ALIAS compression extensions= mime_types=

将ALIAS替换为已配置的 MinIO 部署的alias。

按文件扩展名压缩对象

要压缩具有某些文件扩展名的对象，请使用mc admin config set 在extensions 参数中设置所需的文件扩展名。

以下命令将压缩扩展名为.bin 和.txt的文件。

mc admin config set ALIAS compression extensions=".bin, .txt"

将ALIAS替换为已配置的 MinIO 部署的alias。

新的文件扩展名列表将替换以前的列表。要添加或删除扩展名，请使用要压缩的完整扩展名列表重复extensions 命令。

以下操作将.pdf添加到上一个示例中的文件扩展名列表中。

mc admin config set ALIAS compression extensions=".bin, .txt, .pdf"

将ALIAS替换为已配置的 MinIO 部署的alias。

按媒体类型压缩对象

要压缩某些媒体类型的对象，请使用mc admin config set 将compression 键的mime_types 选项设置为所需类型的列表。

以下示例将压缩类型为application/json 和image/bmp的文件。

mc admin config set ALIAS compression mime_types="application/json, image/bmp"

将ALIAS替换为已配置的 MinIO 部署的alias。

新的媒体类型列表将替换以前的列表。要添加或删除类型，请使用要压缩的完整类型列表重复mime_types 命令。

您可以使用* 指定单个媒体类型的所有子类型。以下命令将所有text 子类型添加到上一个示例中的列表中。

mc admin config set ALIAS compression mime_types="application/json, image/bmp, text/*"

将ALIAS替换为已配置的 MinIO 部署的alias。