文档

站点复制概述

站点复制将多个独立的 MinIO 部署配置为称为对等站点的副本集群。

Diagram of a site replication deployment with two sites

具有两个对等站点的站点复制部署。负载均衡器管理对两个站点中的任何一个的路由操作。写入一个站点的数自动复制到另一个对等站点。

站点复制假设使用包含的 MinIO 身份提供者 (IDP) _或_ 外部 IDP。所有配置的部署必须使用相同的 IDP。使用外部 IDP 的部署必须在所有站点使用相同的配置。

有关站点复制架构和部署概念的更多信息,请参阅 部署架构:复制的 MinIO 部署.

MinIO 不建议在早期开发、评估或一般实验之外使用 MacOS 主机进行站点复制。对于生产,请使用 LinuxKubernetes

概述

跨所有站点复制的内容

每个 MinIO 部署(“对等站点”)在其他对等站点之间同步以下更改

  • 创建、修改和删除桶和对象,包括

  • 创建和删除 IAM 用户、组、策略以及策略到用户或组的映射(对于 LDAP 用户或组)

  • 创建安全令牌服务 (STS) 凭据,用于从本地 root 凭据验证的会话令牌

  • 创建和删除 访问密钥(除了由 root 用户拥有的密钥)

站点复制为所有复制站点上的所有新桶和现有桶启用 桶版本控制.

New in version mc: RELEASE.2023-12-02T02-03-28Z

您可以选择在对等站点之间复制 ILM 过期规则。对于新的站点复制配置,请使用 mc admin replicate add 命令,并添加 --replicate-ilm-expiry 标志。对于现有的站点复制配置,您可以使用 mc admin replicate update 命令,并添加 --enable-ilm-expiry-replication--disable-ilm-expiry-replication 标志来启用或禁用此行为。

哪些内容不会在站点之间复制

在站点复制配置中,MinIO 部署不会复制以下项目的创建或修改:

初始站点复制过程

启用站点复制后,身份和访问管理 (IAM) 设置会按以下顺序同步:

  1. 策略

  2. 用户帐户(对于本地用户)

  3. 访问密钥

    root 的访问密钥不会同步。

  4. 同步的用户帐户的策略映射

  5. 针对 安全令牌服务 (STS) 用户 的策略映射

  1. 策略

  2. 与具有有效 MinIO 策略 的 OIDC 帐户关联的访问密钥。root 访问密钥不会同步。

  3. 同步的用户帐户的策略映射

  4. 针对 安全令牌服务 (STS) 用户 的策略映射

  1. 策略

  2. 与具有有效 MinIO 策略 的 LDAP 帐户关联的访问密钥。root 访问密钥不会同步。

  3. 同步的用户帐户的策略映射

  4. 针对 安全令牌服务 (STS) 用户 的策略映射

在对等站点之间首次同步数据后,MinIO 会持续在所有站点之间复制和同步 可复制数据,无论它们是在哪个站点上产生的。

站点修复

站点复制配置中的任何 MinIO 部署都可以从具有该数据最新版本(“最新”)的对等站点重新同步损坏的 可复制数据

Changed in version RELEASE.2023-07-18T17-49-40Z: 站点复制操作会重试最多三次(3 次)。

MinIO 会将无法复制的复制操作移出队列。 扫描程序 会在稍后时间拾取这些受影响的对象,并将它们重新放入队列以进行复制。

Changed in version RELEASE.2022-08-11T04-37-28Z: 失败或待处理的复制会在执行任何 GETHEAD API 方法时自动重新排队。例如,在站点恢复联机后使用 mc statmc catmc ls 命令会提示修复以重新排队。

Changed in version RELEASE.2022-12-02T23-48-47Z: 如果一个站点因任何原因丢失了数据,请使用 mc admin replicate resync 命令从另一个健康的站点重新同步数据。这会启动一个主动进程,该进程会重新同步数据,而无需等待被动 MinIO 扫描程序 识别丢失的数据。

您可以使用 MINIO_SCANNER_SPEED 环境变量或 scanner speed 配置设置来调整 MinIO 如何在扫描程序性能与读写操作之间进行平衡。

同步与异步复制

MinIO 支持为给定的远程目标指定异步(默认)或同步复制。

在异步复制中,MinIO 会在将对象放入 复制队列 之前完成源 PUT 操作。因此,源客户端可能会在对象被复制之前看到成功的 PUT 操作。虽然这可能会导致远程对象陈旧或丢失,但它可以减轻由于复制负载导致的写入操作速度慢的风险。

在同步复制中,MinIO 会尝试在完成源 PUT 操作之前复制对象。无论复制尝试是否成功,MinIO 都会返回一个成功的 PUT 操作。这会降低写入操作速度慢的风险,但可能以远程位置的对象陈旧或丢失为代价。

MinIO 强烈建议使用默认的异步站点复制。同步站点复制性能在很大程度上取决于站点之间的延迟,延迟越高,PUT 性能和复制延迟就越低。要配置同步站点复制,请使用 mc admin replicate update 命令,并添加 --mode 选项。

代理到其他站点

MinIO 对等站点可以代理针对对象的 GET/HEAD 请求到其他对等站点,以检查该对象是否存在。这使得一个正在修复或落后于其他对等站点的站点仍然可以返回已持久化到其他站点的对象。

例如:

  1. 一个客户端向 Site1 发出 GET("data/invoices/january.xls") 请求。

  2. Site1 无法定位该对象。

  3. Site1 将请求代理到 Site2

  4. Site2 返回请求对象的最新版本。

  5. Site1 将代理对象返回给客户端。

对于不包含唯一版本 ID 的 GET/HEAD 请求,代理请求会返回对等站点上该对象的最新版本。这可能会导致检索到对象的非当前版本,例如,如果响应的对等站点也遇到复制延迟。

MinIO 不会代理 LISTDELETEPUT 操作。

先决条件

首先备份集群设置

在配置站点复制之前,请使用 mc admin cluster bucket exportmc admin cluster iam export 命令分别对存储桶元数据和 IAM 配置进行快照。您可以使用这些快照来恢复存储桶/IAM 设置,以防在站点复制配置期间出现错误配置。

设置时只有一个站点有数据

在设置时,只有一个站点可以有数据。其他站点必须没有存储桶和对象。

配置站点复制后,第一个部署上的所有数据都会复制到其他站点。

所有站点都必须使用相同的 IDP

所有站点都必须使用相同的 身份提供者。站点复制支持包含的 MinIO IDP、OIDC 或 LDAP。

所有站点必须使用相同的 MinIO 服务器版本

所有站点都必须具有匹配且一致的 MinIO 服务器版本。在具有不匹配的 MinIO 服务器版本的站点之间配置复制可能会导致意外或不希望的复制行为。

您还应确保用于配置复制的 mc 版本与服务器版本密切匹配。

访问相同的加密服务

对于通过密钥管理服务 (KMS) 进行 SSE-S3SSE-KMS 加密的,所有站点都必须能够访问中央 KMS 部署。

您可以通过中央 KES 服务器或多个 KES 服务器(例如每个站点一个)通过支持的中央 密钥保管库服务器 来实现这一点。

复制需要版本控制

站点复制需要 存储桶版本控制 并在所有创建的存储桶中自动启用它。在站点复制部署中,您无法禁用版本控制。

MinIO 无法复制存储桶中您从版本控制中排除的前缀中的对象。

在每个站点上安装负载均衡器

指定站点的负载均衡器、反向代理或类似网络控制平面组件的 URL 或 IP 地址。请求会自动路由到部署中的节点。

MinIO 建议不要对对等站点使用单个节点主机名。这会创建一个单点故障:如果该节点脱机,复制将失败。

从存储桶复制切换到站点复制

存储桶复制 和多站点复制是相互排斥的。您不能在同一个部署中使用两种复制方法。

如果您之前设置了存储桶复制,并且现在希望使用站点复制,则必须首先删除在初始化站点复制时具有数据的部署上的所有存储桶复制规则。使用 mc replicate rm 命令行或 MinIO 控制台删除存储桶复制规则。

在设置站点复制时,只能有一个站点具有数据。所有其他站点必须为空。

教程

配置站点复制

  1. 部署 两个或多个独立的 MinIO 站点,对每个站点使用相同的身份提供者

    只能有一个站点具有存储桶或对象。其他站点必须为空。

  2. 在浏览器中,访问具有数据的站点的控制台

    例如,https://<addressforsite>:9000

    <addressforsite> 替换为负载均衡器、反向代理或管理连接到 MinIO 部署的类似控制平面的主机名或 IP 地址。

  3. 选择 **设置**,然后选择 **站点复制**

  4. 选择 添加站点 +

  5. 完成所需的信息

    此站点

    • 站点名称:

      与站点关联的名称或其他识别文本。

    • 端点:

      (必填) 管理连接到站点的负载均衡器的主机名或 IP。

    • 访问密钥:

      (必填) 用于登录站点的 root 的用户名。

    • 密钥:

      (必填) 用于登录站点的 root 的密码。

    对等站点

    • 站点名称:

      与站点关联的名称或其他识别文本。

    • 端点:

      (必填) 管理连接到站点的负载均衡器的主机名或 IP。

    • 访问密钥:

      (必填) 用于登录站点的对等站点的 root 的用户名。

    • 密钥:

      (必填) 用于登录站点的对等站点的 root 的密码。

    指定站点的负载均衡器、反向代理或类似网络控制平面组件的 URL 或 IP 地址。请求会自动路由到部署中的节点。

    MinIO 建议不要对对等站点使用单个节点主机名。这会创建一个单点故障:如果该节点脱机,复制将失败。

    要添加两个以上站点,请选择站点条目旁边的一个 + 按钮。要删除先前添加的站点,请选择站点条目旁边的 - 按钮。

    站点复制会在每个站点的 root 用户下添加一个 svcacct,以执行复制活动。

  6. 选择 **保存**

  7. 选择 复制状态 按钮验证复制是否已在对等站点之间完成。

    任何存在的 可复制数据 应显示为已成功同步。

    有关查看站点复制的更多信息,请参见 站点复制状态教程

以下步骤为三个 分布式部署 创建新的站点复制配置。其中一个站点包含 可复制数据

三个站点使用别名 minio1minio2minio3,只有 minio1 包含任何数据。

  1. 部署 三个或多个独立的 MinIO 站点,使用相同的 IDP

    从空站点开始最多只有一个站点具有 可复制数据

  2. 为每个站点配置别名

    指定站点的负载均衡器、反向代理或类似网络控制平面组件的 URL 或 IP 地址。请求会自动路由到部署中的节点。

    MinIO 建议不要对对等站点使用单个节点主机名。这会创建一个单点故障:如果该节点脱机,复制将失败。

    例如,对于三个 MinIO 站点,您可能创建别名 minio1minio2minio3

    使用 mc alias set 定义管理连接到站点的负载均衡器的主机名或 IP。

    mc alias set minio1 https://minio1.example.com:9000 adminuser adminpassword
    mc alias set minio2 https://minio2.example.com:9000 adminuser adminpassword
    mc alias set minio3 https://minio3.example.com:9000 adminuser adminpassword
    

    或定义环境变量

    export MC_HOST_minio1=https://adminuser:[email protected]
    export MC_HOST_minio2=https://adminuser:[email protected]
    export MC_HOST_minio3=https://adminuser:[email protected]
    
  3. 添加站点复制配置

    mc admin replicate add minio1 minio2 minio3
    

    如果所有站点都为空,则别名的顺序无关紧要。如果其中一个站点包含任何 可复制数据,则必须先列出它。

    最多只有一个站点可以包含任何可复制数据。

  4. 查询站点复制配置以验证

    mc admin replicate info minio1
    

    您可以在站点复制配置中使用任何对等站点的别名。

  5. 查询站点复制状态以确认任何初始数据都已复制到所有对等站点。

    mc admin replicate status minio1
    

    您可以在站点复制配置中使用任何对等站点的别名。输出应显示所有 可复制数据 已同步。

    输出可能类似于以下内容

    Bucket replication status:
    ●  1/1 Buckets in sync
    
    Policy replication status:
    ●  5/5 Policies in sync
    
    User replication status:
    No Users present
    
    Group replication status:
    No Groups present
    

    有关查看站点复制的更多信息,请参见 站点复制状态教程

扩展站点复制

您可以将更多站点添加到现有的站点复制配置中。

新站点必须满足以下要求

  • 站点已完全部署,并且可以通过主机名或 IP 访问

  • 与配置中的所有其他站点共享 IDP 配置

  • 使用与其他已配置站点相同的根用户凭据

  • 不包含任何存储桶或对象数据

  1. 部署新的空 MinIO 站点

  2. 在浏览器中,访问一个已复制站点的控制台

    例如,https://<addressforsite>:9000

  3. 选择 **设置**,然后选择 **站点复制**

  4. 选择 添加站点 +

  5. 进行以下输入

    访问密钥:

    (必填) 用于登录每个站点的用户名。应在所有站点之间保持一致。

    密钥:

    (必填) 用于登录每个站点的用户名密码。应在所有站点之间保持一致。

    站点名称:

    用于站点名称的别名。

    端点:

    (必填) 管理连接到站点的负载均衡器的主机名或 IP。

    指定站点的负载均衡器、反向代理或类似网络控制平面组件的 URL 或 IP 地址。请求会自动路由到部署中的节点。

    MinIO 建议不要对对等站点使用单个节点主机名。这会创建一个单点故障:如果该节点脱机,复制将失败。

    要添加两个以上站点,请选择最后一个站点条目旁边的 + 按钮。

  6. 选择 保存

  1. 按照说明的要求部署新的 MinIO 对等站点

  2. 为新站点配置别名

    指定站点的负载均衡器、反向代理或类似网络控制平面组件的 URL 或 IP 地址。请求会自动路由到部署中的节点。

    MinIO 建议不要对对等站点使用单个节点主机名。这会创建一个单点故障:如果该节点脱机,复制将失败。

    要检查现有的别名,请使用 mc alias list

    使用 mc alias set 定义管理与新站点连接的负载均衡器的主机名或 IP 地址。

    mc alias set minio4 https://minio4.example.com:9000 adminuser adminpassword
    

    或定义环境变量

    export MC_HOST_minio4=https://adminuser:[email protected]
    
  3. 添加站点复制配置

    使用 mc admin replicate add 命令扩展站点复制配置以包含新的对等站点。指定所有现有对等站点的别名,然后指定要添加的新站点的别名。

    例如,以下命令将新的对等站点 minio4 添加到现有的站点复制配置中,该配置包含现有的站点 minio1minio2minio3

    mc admin replicate add minio1 minio2 minio3 minio4
    

    注意

    如果任何站点无法访问或永久丢失,您必须首先使用 mc admin replicate rm 删除无法访问的站点,然后才能扩展新的站点。

  4. 查询站点复制配置以验证

    mc admin replicate info minio1
    

修改站点的端点

如果对等站点更改其主机名,则可以修改复制配置以反映新的主机名。

  1. 在浏览器中,访问复制站点的控制台

    例如,https://<addressforsite>:9000

  2. 选择 **设置**,然后选择 **站点复制**

  3. 选择要更新的站点旁边的铅笔编辑图标

  4. 进行以下输入

    新的端点::

    (必需) 要使用的新的端点地址和端口。

    指定站点的负载均衡器、反向代理或类似网络控制平面组件的 URL 或 IP 地址。请求会自动路由到部署中的节点。

    MinIO 建议不要对对等站点使用单个节点主机名。这会创建一个单点故障:如果该节点脱机,复制将失败。

  5. 选择更新

  1. 使用 mc admin replicate info 获取站点的部署 ID

    mc admin replicate info <ALIAS>
    
  2. 使用 mc admin replicate update 更新站点的端点

    mc admin replicate update ALIAS --deployment-id [DEPLOYMENT-ID] --endpoint [NEW-ENDPOINT]
    

    将 [DEPLOYMENT-ID] 替换为要更新的站点的部署 ID。

    将 [NEW-ENDPOINT] 替换为站点的新的端点。

    指定站点的负载均衡器、反向代理或类似网络控制平面组件的 URL 或 IP 地址。请求会自动路由到部署中的节点。

    MinIO 建议不要对对等站点使用单个节点主机名。这会创建一个单点故障:如果该节点脱机,复制将失败。

从复制中删除站点

您可以随时从复制中删除站点。您可以稍后重新添加站点,但必须首先从站点中完全清除存储桶和对象数据。

  1. 在浏览器中,访问复制站点的控制台

    例如,https://<addressforsite>:9000

  2. 选择 **设置**,然后选择 **站点复制**

  3. 选择要更新的站点旁边的垃圾桶删除图标

  4. 在提示符处选择删除,确认站点删除

使用 mc admin replicate rm

mc admin replicate rm ALIAS PEER_TO_REMOVE --force
  • ALIAS 替换为复制配置中任何对等站点的 别名

  • PEER_TO_REMOVE 替换为要删除的对等站点的别名。

站点复制配置中的所有正常对等方都会自动更新以删除指定的对等方。

MinIO 需要 --force 标志才能从站点复制配置中删除对等方。

查看复制状态

MinIO 为用户、组、策略或存储桶提供有关跨站点的复制信息。

摘要信息包括每个类别已同步失败项目的数量。

  1. 在浏览器中,访问复制站点的控制台

    例如,https://<addressforsite>:9000

  2. 选择 **设置**,然后选择 **站点复制**

  3. 选择 复制状态

  4. (可选) 查看特定项目的复制状态

    查看以下项目的复制状态: 下拉菜单中选择要查看的项目类型

    指定要查看的特定存储桶、组、策略或用户的名称

  5. (可选) 选择 刷新 更新信息

使用 mc admin replicate status

mc admin replicate status <ALIAS> --<flag> <value>

例如:

  • mc admin replicate status minio3 --bucket images

    显示 minio3 站点上 images 存储桶的复制状态。

    输出类似于以下内容

    ●  Bucket config replication summary for: images
    
    Bucket          | MINIO2          | MINIO3          | MINIO4
    Tags            |                 |                 |
    Policy          |                 |                 |
    Quota           |                 |                 |
    Retention       |                 |                 |
    Encryption      |                 |                 |
    Replication     | ✔               | ✔               | ✔
    
  • mc admin replicate status minio3 --all

    显示 minio3 所属所有复制站点的复制状态摘要。

    输出类似于以下内容

    Bucket replication status:
    ●  1/1 Buckets in sync
    
    Policy replication status:
    ●  5/5 Policies in sync
    
    User replication status:
    ●  1/1 Users in sync
    
    Group replication status:
    ●  0/2 Groups in sync
    
    Group           | MINIO2          | MINIO3          | MINIO4
    ittechs         | ✗  in-sync      |                 | ✗  in-sync
    managers        | ✗  in-sync      |                 | ✗  in-sync