擦除编码

MinIO 将擦除编码作为核心组件来提供数据冗余和可用性。此页面提供 MinIO 擦除编码的介绍。

有关 MinIO 如何在生产部署中使用擦除编码的更多信息，请参见可用性和弹性和部署架构。

擦除编码基础

注意

本节中的图表和内容提供了 MinIO 擦除编码操作的简化视图，并非旨在表示 MinIO 完整擦除编码实现的复杂性。

MinIO 将每个服务器池中的驱动器分组到一个或多个大小相同的 **擦除集** 中。

MinIO 在初始化服务器池时确定擦除集的最佳数量和大小。在此初始设置之后，您无法修改这些设置。

对于每个写入操作，MinIO 将对象划分为 **数据** 和 **奇偶校验** 分片。

擦除集条带大小决定了部署的最大可能奇偶校验。确定要生成的數據和奇偶校验分片數量的公式為

N (ERASURE SET SIZE) = K (DATA) + M (PARITY)

您可以将奇偶校验值设置为 0 到 1/2 擦除集大小之间。

如果稍后更改奇偶校验值，则使用给定奇偶校验设置编写的对象不会自动更新。

MinIO 需要至少 K 个任何类型的分片才能 **读取** 对象。

此处的 K 值构成部署的 **读取仲裁**。因此，擦除集必须在擦除集中至少有 K 个健康驱动器才能支持读取操作。

MinIO 无法重建已丢失读取仲裁的对象。此类对象可以通过其他方法恢复，例如复制重新同步。

MinIO 需要至少 K 个擦除集驱动器才能 **写入** 对象。

此处的 K 值构成部署的 **写入仲裁**。因此，擦除集必须至少有 K 个可用的在线驱动器才能支持写入操作。

如果奇偶校验 EC:M 正好是擦除集大小的 1/2，则 **写入仲裁** 为 K+1

这可以防止出现诸如网络问题将擦除集驱动器恰好隔离一半的脑裂场景。

K+1 逻辑确保客户端不会潜在写入两次相同对象 - 一次写入擦除集的每个“一半”。

对于保持 **读取仲裁** 的对象，MinIO 可以使用任何数据或奇偶校验分片来修复损坏的分片。

使用 MinIO 擦除编码计算器探索计划拓扑的可能的擦除集大小和分布。如果可能，请对每个节点使用偶数个节点和驱动器，以简化拓扑规划和驱动器/擦除集分布的概念化。

驱动器的独占访问

MinIO **需要** 对用于对象存储的驱动器或卷进行独占访问。任何其他进程、软件、脚本或人员都不应直接对提供给 MinIO 的驱动器或卷或 MinIO 在其上放置的对象或文件执行任何操作。

除非 MinIO 工程师指示，否则不要使用脚本或工具直接修改、删除或移动提供的驱动器上的任何数据分片、奇偶校验分片或元数据文件，包括从一个驱动器或节点到另一个驱动器或节点。此类操作很可能导致广泛的损坏和数据丢失，超出 MinIO 的修复能力。

设置部署的奇偶校验是在可用性和总可用存储之间进行权衡。较高的奇偶校验值会提高对驱动器或节点故障的恢复能力，但会以可用存储为代价，而较低的奇偶校验则提供最大存储，但对驱动器/节点故障的容忍度降低。使用 MinIO 擦除编码计算器探索奇偶校验对计划的集群部署的影响。

下表列出了在由 1 个节点和 16 个 1TB 驱动器组成的 MinIO 部署中，不同的擦除码奇偶校验级别产生的结果。

16 驱动器 MinIO 集群的奇偶校验设置结果
奇偶校验	总存储	存储比率	读取操作的最小驱动器数	写入操作的最小驱动器数
`EC: 4`（默认）	12 Tebibytes	0.750	12	12
`EC: 6`	10 Tebibytes	0.625	10	10
`EC: 8`	8 Tebibytes	0.500	8	9

比特腐烂是存储介质级别随机更改导致的静默数据损坏。对于数据驱动器，它通常是表示数据的电荷或磁方向衰减的结果。这些来源的范围从断电期间的小电流尖峰到导致位翻转的随机宇宙射线。由此产生的“比特腐烂”可能会导致数据介质上的细微错误或损坏，而不会触发监控工具或硬件。

MinIO 对 HighwayHash 算法的优化实现确保它能够动态捕获和修复损坏的对象。通过在应用程序中、跨网络以及到内存或驱动器中计算读取时的哈希值并在写入时验证哈希值，来确保端到端的完整性。该实现旨在提高速度，并且可以在 Intel CPU 的单个核心上实现超过 10 GB/秒的哈希速度。