对象扫描器

概述

MinIO 使用内置扫描器检查对象以进行修复并执行任何计划的对象操作。此类操作可能包括

计算驱动器上的数据使用情况
评估和应用配置的生命周期管理或对象保留规则
执行存储桶或站点复制
检查对象是否存在丢失或损坏的数据或奇偶校验分片，并执行修复

扫描器在两个级别上执行这些功能：集群级别和存储桶级别。在集群级别，扫描器将所有存储桶分成组，并一次扫描一组存储桶。扫描器从上次扫描后添加的任何新存储桶开始，然后随机化其他存储桶的扫描。扫描器完成对所有存储桶组的检查，然后使用一组新的扫描重新开始。

在存储桶级别，扫描器将存储桶中的项目分组，并扫描该存储桶中的选定项目。扫描器根据对象名称的哈希值选择要扫描的对象。在 16 次扫描的跨度内，MinIO 检查命名空间中的每个对象。MinIO 完全扫描自上次扫描后已知为新的任何前缀。

扫描长度

多个因素会影响扫描完成所需的时间。

其中一些因素包括

提供给 MinIO 的驱动器类型
可用的吞吐量和 iops
对象的数量和大小
MinIO 服务器上的其他活动

例如，默认情况下，MinIO 会暂停扫描器以使 I/O 操作可用于读写请求。这会延长扫描完成所需的时间。

MinIO 在每次扫描之间等待一个因素乘以每次扫描操作完成所需的时间。默认情况下，此因素的值为 10.0，这意味着 MinIO 在一次扫描完成后等待操作长度的 10 倍，然后开始下一次扫描。此因素的值会根据配置的扫描器速度设置而改变。

扫描器性能

许多因素会影响扫描器性能。其中一些因素包括

可用的节点资源
集群的大小
与驱动器数量相比的擦除集数量
存储桶层次结构的复杂性（对象和前缀）。

例如，从 100TB 数据开始并增长到 200TB 数据的集群，可能需要更多时间来扫描存储桶和对象的整个命名空间，前提是硬件和工作负载相同。同样，16 个驱动器的单个擦除集比相同数量的驱动器拆分为两个 8 个驱动器的擦除集需要更长的时间来扫描。

MinIO 将扫描器视为后台任务，并暂停扫描器以优先完成集群上的读写请求。随着集群或工作负载的增加，扫描器性能会降低，因为它会更频繁地让步以确保正常 S3 操作的优先级。

您可以使用 MINIO_SCANNER_SPEED 环境变量或 scanner speed 配置设置来调整 MinIO 如何平衡扫描程序性能与读写操作。

扫描程序指标

MinIO 提供了一些与扫描程序相关的指标，您可以在这里了解详情。

使用 mc admin scanner info 可以查看扫描程序的当前状态和上次完整扫描的时间。这有助于理解扫描程序操作提供的指标。

扫描程序指标（包括使用情况指标）反映了上次完成的扫描。在上次扫描之后进行的 PUT 或 DELETE 操作不会在使用情况中更新，直到下次扫描受影响的存储桶。

输出类似于以下内容

Overall Statistics
------------------
Last full scan time:   0d0h14m; Estimated 2885.28/month
Current cycle:         70464; Started: 2024-04-19 20:02:34.568479139 +0000 UTC
Active drives:         2

Last Minute Statistics
----------------------
Objects Scanned:       620 objects; Avg: 124.929µs; Rate: 892800/day
Versions Scanned:      620 versions; Avg: 2.801µs; Rate: 892800/day
Versions Heal Checked: 0 versions; Avg: 0ms
Read Metadata:         621 objects; Avg: 88.416µs, Size:
ILM checks:            656 versions; Avg: 663ns
Check Replication:     656 versions; Avg: 1.061µs
Verify Deleted:        0 folders; Avg: 0ms
Yield:                 3.086s total; Avg: 4.705ms/obj