将对象从 MinIO 迁移到 S3

本页面上的步骤创建了一个新的对象生命周期管理规则，该规则将对象从 MinIO 桶迁移到 Amazon Web Services S3 存储后端上的远程存储层或与 S3 兼容的服务。此步骤支持用例，例如在特定时间段或日历日期之后将对象分层到低成本或归档存储中。

要求

安装和配置 `mc`

此步骤使用 mc 来执行 MinIO 集群上的操作。在具有到源和目标集群的网络访问权限的机器上安装 mc。有关下载和安装 mc 的说明，请参见 mc 的安装快速入门。

使用 mc alias set 命令为源 MinIO 集群创建别名。创建别名需要指定源和目标集群上用户的访问密钥。指定的用户必须具有权限来配置和应用迁移操作。

所需的 MinIO 权限

MinIO 需要以下权限，这些权限的作用域为您要为其创建生命周期管理规则的桶或桶。

MinIO 还需要在您为对象迁移生命周期管理规则创建远程层的集群上具有以下管理权限

例如，以下策略提供了在集群中的任何桶上配置对象迁移生命周期管理规则的权限：.

{
   "Version": "2012-10-17",
   "Statement": [
      {
            "Action": [
               "admin:SetTier",
               "admin:ListTier"
            ],
            "Effect": "Allow",
            "Sid": "EnableRemoteTierManagement"
      },
      {
            "Action": [
               "s3:PutLifecycleConfiguration",
               "s3:GetLifecycleConfiguration"
            ],
            "Resource": [
                        "arn:aws:s3:::*"
            ],
            "Effect": "Allow",
            "Sid": "EnableLifecycleManagementRules"
      }
   ]
}

所需的 S3 权限

对象迁移生命周期管理规则需要对远程存储层具有额外的权限。具体来说，MinIO 需要远程层凭据为远程桶提供读、写、列出和删除权限。

例如，以下策略提供了将对象迁移到远程层和从远程层迁移对象的必要权限

{
   "Version": "2012-10-17",
   "Statement": [
      {
            "Action": [
               "s3:ListBucket"
            ],
            "Effect": "Allow",
            "Resource": [
               "arn:aws:s3:::MyDestinationBucket"
            ],
            "Sid": ""
      },
      {
            "Action": [
               "s3:GetObject",
               "s3:PutObject",
               "s3:DeleteObject"
            ],
            "Effect": "Allow",
            "Resource": [
               "arn:aws:s3:::MyDestinationBucket/*"
            ],
            "Sid": ""
      }
   ]
}

修改 MinIO 将对象分层到的桶的 Resource。

有关配置所需权限的更完整指南，请参阅Amazon S3 权限文档。

远程存储桶必须存在

在使用该存储桶作为目标配置生命周期管理层级或规则之前，请先创建远程 S3 存储桶。

注意事项

生命周期管理对象扫描器

MinIO 使用扫描器进程来检查对象是否符合所有已配置的生命周期管理规则。由于高 I/O 工作负载或系统资源有限而导致的扫描速度慢可能会延迟生命周期管理规则的应用。有关详细信息，请参阅生命周期管理对象扫描器。

对远程数据的独占访问

MinIO需要对远程存储层级中已迁移数据的独占访问权。 “热” MinIO 源上的对象元数据与 “温/冷” 远程层级上的对象数据紧密相关。MinIO 无法在没有远程访问权的情况下检索对象数据，也无法使用远程存储来恢复源上的丢失元数据。

对已迁移对象的所有访问必须仅通过 MinIO 通过 S3 API 操作进行。手动修改已迁移对象（无论是 “热” MinIO 层级上的元数据还是远程 “温/冷” 层级上的对象数据）都可能导致该对象数据丢失。

MinIO 会忽略远程存储桶或存储桶前缀中任何未由 MinIO 部署显式管理的对象。自动迁移和透明对象检索取决于以下假设：

远程存储上的对象不会进行外部修改、迁移或删除。
远程存储桶上没有生命周期管理规则（例如，迁移或过期规则）。

MinIO 将所有已迁移对象存储在远程存储桶或资源中，位于每个部署的唯一前缀值下。此值并非用于支持从后端识别源部署。MinIO 在配置远程目标时支持额外的可选人性化可读前缀，这可能有助于与诊断、维护或灾难恢复相关的操作。

MinIO 建议为包含其他数据的远程存储层级指定此可选前缀，包括来自其他 MinIO 部署的已迁移对象。本教程包含设置此前缀所需的语法。

远程数据的可用性

MinIO 的分层行为取决于远程存储在请求时立即（毫秒到秒）返回对象。因此，MinIO无法支持需要重新水合、等待时间或手动干预的远程存储。

MinIO 为每个已迁移对象创建元数据，以标识其在远程存储上的位置。应用程序无法独立于 MinIO 轻松识别和访问已迁移对象。因此，已迁移数据的可用性取决于纠删码和分布式部署拓扑为 MinIO 部署上的所有对象提供的相同核心保护。使用对象迁移不会提供任何额外的业务连续性或灾难恢复优势。

需要BC/DR保护的工作负载应实施 MinIO服务器端复制。复制确保对象保留在远程复制站点上，以便您可以在部分或全部数据丢失的情况下从远程站点重新同步。有关使用复制在部分或全部数据丢失后进行恢复的更完整文档，请参阅重新同步（灾难恢复）。

流程

1) 为生命周期管理配置用户帐户和策略

此步骤在 MinIO 部署上创建用户和策略，以支持生命周期管理操作。如果部署已经拥有具有必要权限的用户，则可以跳过此步骤。

以下示例使用Alpha 作为 MinIO 部署的占位符别名。用 MinIO 部署的适当别名替换此值，您将在其上配置生命周期管理规则。用符合您的组织的密码生成最佳实践的较长、随机且安全的密钥替换密码LongRandomSecretKey。

wget -O - http://min-io.cn/docs/minio/linux/examples/LifecycleManagementAdmin.json | \
mc admin policy create Alpha LifecycleAdminPolicy /dev/stdin
mc admin user add Alpha alphaLifecycleAdmin LongRandomSecretKey
mc admin policy attach Alpha LifecycleAdminPolicy --user=alphaLifecycleAdmin

本示例假定指定的别名拥有在部署上创建策略和用户的必要权限。有关 MinIO 用户和策略的更完整文档，请分别参阅用户管理和MinIO 基于策略的访问控制。

2) 配置远程存储层级

使用mc ilm tier add命令添加 Amazon S3 服务作为新的远程存储层级。

mc ilm tier add s3 TARGET TIER_NAME  \
   --endpoint https://HOSTNAME       \
   --access-key ACCESS_KEY           \
   --secret-key SECRET_KEY           \
   --bucket BUCKET                   \
   --prefix PREFIX                   \
   --storage-class STORAGE_CLASS     \
   --region REGION

上面的示例使用了以下参数：

参数	描述
`TARGET`	要配置 S3 远程层级的 MinIO 部署的`别名`。
`TIER_NAME`	与新的 S3 远程存储层级关联的名称。以全部大写字母指定名称，例如 `S3_TIER`。此值在下一步中是必需的。
`HOSTNAME`	S3 存储后端的 URL 终结点。
`ACCESS_KEY`	MinIO 用于访问存储桶的 S3 访问密钥。访问密钥必须与具有必要权限的 IAM 用户相对应。
`SECRET_KEY`	指定`ACCESS_KEY` 的相应密钥。
`BUCKET`	S3 存储后端上 MinIO 将对象迁移到的存储桶名称。
`PREFIX`	MinIO 将对象迁移到的存储桶中可选的前缀。 MinIO 将所有已迁移对象存储在指定的 `BUCKET` 中，位于每个部署的唯一前缀值下。省略此参数仅使用该值来隔离和组织远程存储中的数据。 MinIO 建议为包含其他数据的远程存储层级指定此可选前缀，包括来自其他 MinIO 部署的已迁移对象。此前缀应提供清晰的参考，以便返回到源 MinIO 部署，以方便与诊断、维护或灾难恢复相关的操作。
`STORAGE_CLASS`	MinIO 将对象迁移到的 S3 存储类。 MinIO 的分层行为取决于远程存储在请求时立即（毫秒到秒）返回对象。因此，MinIO无法支持需要重新水合、等待时间或手动干预的远程存储。以下 S3 存储类满足 MinIO 作为远程层级的要求： `STANDARD` `STANDARD-IA` `STANDARD-ONEZONE` 省略此值以使用存储桶的默认存储类。指定此值将覆盖存储桶存储类。有关详细信息，请参阅使用 Amazon S3 存储类。
`REGION`	指定`BUCKET` 的 AWS S3 区域。如果`HOSTNAME` 包含区域，则可以安全地省略此选项。

3) 创建和应用迁移规则

使用mc ilm rule add命令为存储桶创建一个新的迁移规则。以下示例在指定数量的日历天数后配置迁移。

mc ilm rule add ALIAS/BUCKET \
--transition-tier TIERNAME \
--transition-days DAYS \
--noncurrent-transition-days NONCURRENT_DAYS
--noncurrent-transition-tier TIERNAME

上面的示例指定了以下参数：

参数	描述
`ALIAS`	指定要为其创建生命周期管理规则的 MinIO 部署的`别名`。
`BUCKET`	指定要为其创建生命周期管理规则的存储桶的完整路径。
`TIERNAME`	MinIO 将对象迁移到的远程存储层级。指定上一步中创建的远程存储层级名称。如果您想将非当前对象版本迁移到不同的远程层级，请为`--noncurrent-transition-tier`指定不同的层级名称。
`DAYS`	MinIO 将对象标记为可迁移的日历天数。以整数形式指定天数，例如 `30` 表示 30 天。
`NONCURRENT_DAYS`	MinIO 将非当前对象版本标记为可迁移的日历天数。MinIO 特别是测量自对象变为非当前状态以来的时间，而不是对象创建时间。以整数形式指定天数，例如 `90` 表示 90 天。省略此值以忽略非当前对象版本。此选项对非版本化存储桶无效。

4) 验证迁移规则

使用 mc ilm rule ls 命令来查看配置的迁移规则。

mc ilm rule ls ALIAS/PATH --transition

将 ALIAS 替换为 MinIO 部署的 alias。
将 PATH 替换为要检索配置的生命周期管理规则的存储桶名称。