文档

启用多站点服务器端存储桶复制

此页面上的步骤配置了在多个 MinIO 部署之间进行的自动服务器端存储桶复制。多站点 Active-Active 复制建立在 启用双向服务器端存储桶复制 步骤的基础上,并需要额外的注意事项以确保所有站点之间可预测的复制行为。

Active-Active Replication synchronizes data between multiple remote deployments.

多站点 Active-Active 复制配置可以跨越多个机架、数据中心或地理位置。配置和维护多站点配置的复杂性通常会随着站点的数量和每个站点的大小而增加。希望实施多站点复制的企业应考虑利用 MinIO SUBNET 支持,以获取解决此用例所需的专业知识、计划和工程资源。

另请参阅

要求

您必须满足 存储桶复制要求 中描述的所有基本要求。

此外,要设置多站点存储桶复制,您必须满足以下其他要求

访问所有集群

您必须拥有网络访问权限,并使用具有正确权限的登录凭据访问所有部署,才能设置多站点主动-主动存储桶复制。

您可以通过登录每个部署的 MinIO 控制台 或安装 mc 并使用命令行来访问这些部署。

如果使用命令行,请使用 mc alias set 命令为每个 MinIO 部署创建别名。创建别名需要为部署上的用户指定访问密钥。此用户**必须**具有在部署上创建和管理用户和策略的权限。

具体来说,请确保用户至少具有以下权限:

注意事项

点击展开以下任何内容

使用一致的复制设置

MinIO 支持自定义复制配置以启用或禁用以下复制行为

  • 复制 删除操作

  • 复制删除标记

  • 复制现有对象

  • 复制仅元数据更改

在为存储桶配置复制规则时,请确保参与多站点复制的所有 MinIO 部署使用**相同**的复制行为,以确保对象同步的一致性和可预测性。

现有对象的复制

MinIO 支持自动复制存储桶中的现有对象。

MinIO 要求使用 mc replicate add --replicatemc replicate update --replicate 明确启用现有对象的复制,并包含 existing-objects 复制功能标志。此过程包括启用现有对象复制所需的标志。

删除操作的复制

MinIO 支持将 删除操作 复制到目标存储桶。具体来说,MinIO 可以复制版本控制 删除标记 和特定版本化对象的删除。

  • 对于对象的删除操作,MinIO 复制也会在目标存储桶上创建删除标记。

  • 对于对象版本的删除操作,MinIO 复制也会删除目标存储桶上的这些版本。

MinIO 要求使用 mc replicate add --replicatemc replicate update --replicate 明确启用删除操作的复制。此过程包括启用删除操作和删除标记复制所需的标志。

MinIO**不会**复制由应用 生命周期管理过期规则 导致的删除操作。在所有复制站点上的存储桶上配置匹配的过期规则,以确保对象过期的一致应用。

步骤

此步骤需要对参与多站点复制配置的每个 MinIO 部署重复执行。根据部署的数量,此步骤可能需要大量时间和谨慎实施。MinIO 建议在尝试实施所记录的步骤**之前**通读该步骤。

使用 MinIO 控制台配置多站点存储桶复制

1) 创建复制规则

  1. 登录要复制的部署的 MinIO 控制台。

  2. 选择要复制的存储桶的 管理 按钮。

    After a successful log in, the MinIO Console shows a list of buckets with options to manage or explore each bucket.
  3. 选择 复制 部分。

    After selecting a bucket to manage, MinIO shows summary information about the bucket as well as a navigation list of pages for adjusting the bucket configuration.
  4. 选择 添加复制规则 +

  5. 填写所需信息。

    字段

    描述

    优先级

    输入一个数字值以指示处理存储桶复制规则的顺序。1 表示最高重要性。

    目标 URL

    要将数据复制到的部署的 URL。

    使用 TLS

    如果目标部署使用 TLS,则保持切换开关处于 开启 位置。否则,将切换开关移动到 关闭 位置。

    访问密钥

    要在目标部署上使用的用户名。用户必须对要复制到的存储桶具有写入权限。

    密钥

    提供的 访问密钥 的密码。

    目标存储桶

    要将数据写入的目标存储桶。根据目标存储桶的位置,目标存储桶的名称可能与源存储桶相同。

    区域

    目标部署的 AWS 资源区域位置。

    复制模式

    保持默认选择**异步**,允许 MinIO 在源端写入操作完成后复制数据。选择**同步**以尝试在写入操作期间完成对象的复制。

    虽然同步复制可能导致源存储桶和目标存储桶之间更可靠的同步,但它也可能增加每次写入操作的时间。

    带宽

    指定复制过程在复制数据时可以使用最大带宽。输入一个数字并选择一个数据单位。

    健康检查持续时间

    MinIO 在验证目标存储桶上复制数据的健康状况时应花费的最大时间(以秒为单位)。

    存储类别

    在目标部署上用于复制数据的存储类别。有效值为 STANDARDREDUCED_REDUNDANCY

    对象筛选器

    通过 前缀 或**标签**限制要从存储桶中复制的对象。如果输入多个标签,则对象必须匹配所有标签值。

    元数据同步

    保持选中状态以复制对象的元数据文件。否则,将切换开关移动到 关闭 位置。

    删除标记

    保持选中状态以复制 MinIO 指示对象已被删除并且也应在操作存储桶中被标记为已删除的指示。否则,将切换开关移动到 关闭 位置以防止在目标存储桶中将对象标记为已删除。

    删除

    保持选中状态以允许复制对象版本的删除。否则,将切换开关移动到 关闭 位置以不复制对象版本的删除。

  6. 选择 保存 以完成添加复制规则。

重复上述步骤以从此部署创建到每个其他目标部署的规则。

然后,在多站点设置中的每个其他部署上重复上述步骤,以便每个部署都对所有其他部署都有一个单独的复制规则。

2) 验证复制配置

  1. 转到 MinIO 控制台的 存储桶 部分。

    The default screen when logging into the MinIO Console. The screen shows a list of the buckets available in the Deployment with options to Manage or Browse the bucket contents.
  2. 选择您已添加复制的存储桶的 浏览 按钮。

    The contents of a bucket display after selecting to Browse the MinIO bucket. Options including to Rewind, Refresh, or Upload contents.
  3. 选择 Upload 按钮将新对象添加到存储桶。

  4. 选择 Upload File

  5. 使用界面将新对象添加到存储桶。

  6. 转到另一个部署的控制台,并选择复制中定义的目标存储桶。

通过复制一个新的唯一文件并在每个部署上检查文件是否复制到其他所有部署来重复此测试。

使用命令行 mc 配置多站点存储桶复制

此过程使用占位符 ALIAS 来引用正在配置复制的每个 MinIO 部署的 别名。将这些值替换为每个 MinIO 部署的相应别名。

此过程假设每个别名都对应于具有 必要复制权限 的用户。

RELEASE.2022-12-24T15-21-38Z 版本中已更改: mc replicate add 自动创建必要的复制目标,无需使用已弃用的 mc admin remote bucket add 命令。此过程仅记录该版本中的过程。

1) 创建新的存储桶复制规则

使用 mc replicate add 命令向每个 MinIO 部署添加新的复制规则。

mc replicate add ALIAS/BUCKET \
   --remote-bucket 'https://USER:PASSWORD@HOSTNAME:PORT/BUCKET' \
   --replicate "delete,delete-marker,existing-objects"
  • ALIAS 替换为源 MinIO 部署的 别名。名称 *必须* 与在上一步骤中创建远程目标时指定的存储桶匹配。

  • BUCKET 替换为要在源部署上复制的存储桶的名称。

  • 替换 --remote-bucket 以指定 ALIAS/BUCKET 复制到的远程 MinIO 部署和存储桶。

    USER:PASSWORD 必须对应于远程部署上具有 必要复制权限 的用户。

    HOSTNAME:PORT 必须解析到远程部署上的可访问 MinIO 实例。 BUCKET 必须存在,并且必须满足所有其他 复制要求

  • --replicate "delete,delete-marker,existing-objects" 标志启用以下复制功能

    有关更完整的文档,请参阅 mc replicate add --replicate。省略任何字段以禁用该组件的复制。

mc replicate add 指定任何其他受支持的可选参数。

对参与多站点复制配置的每个远程 MinIO 部署重复这些命令。例如,由 MinIO 部署 minio1minio2minio3 组成的多站点复制配置需要在每个部署上针对每个远程重复此步骤。

具体来说,在此场景中,在每个部署上执行此步骤两次

  • minio1 部署上,一次用于 minio2 的规则,另一次用于 minio3 的单独规则。

  • minio2 部署上,一次用于 minio1 的规则,另一次用于 minio3 的单独规则。

  • minio3 部署上,一次用于 minio1 的规则,另一次用于 minio2 的单独规则。

2) 验证复制配置

使用 mc cp 将新对象复制到其中一个部署上的复制存储桶。

mc cp ~/foo.txt ALIAS/BUCKET

使用 mc ls 验证对象是否存在于目标存储桶中

mc ls ALIAS/BUCKET

通过复制一个新的唯一文件并在每个部署上检查文件是否复制到其他所有部署来重复此测试。

您还可以使用 mc stat 检查文件以检查对象的当前 复制阶段