将对象从 MinIO 迁移到 GCS

安装和配置 mc

此过程使用 mc 来对 MinIO 集群执行操作。在可以访问源集群和目标集群网络的机器上安装 mc。有关下载和安装 mc 的说明，请参阅 mc 的 安装快速入门。

使用 mc alias set 命令为源 MinIO 集群创建别名。别名创建需要为源和目标集群上的用户指定访问密钥。指定的用户必须具有 权限，用于配置和应用转换操作。

必需的 MinIO 权限

MinIO 需要以下权限，这些权限作用域为您正在为其创建生命周期管理规则的存储桶或存储桶。

• s3:PutLifecycleConfiguration

• s3:GetLifecycleConfiguration

MinIO 还需要以下管理权限，这些权限作用于您为对象转换生命周期管理规则创建远程层级的集群。

• admin:SetTier

• admin:ListTier

例如，以下策略提供对在集群中的任何存储桶上配置对象转换生命周期管理规则的权限：。

{
   "Version": "2012-10-17",
   "Statement": [
      {
            "Action": [
               "admin:SetTier",
               "admin:ListTier"
            ],
            "Effect": "Allow",
            "Sid": "EnableRemoteTierManagement"
      },
      {
            "Action": [
               "s3:PutLifecycleConfiguration",
               "s3:GetLifecycleConfiguration"
            ],
            "Resource": [
                        "arn:aws:s3:::*"
            ],
            "Effect": "Allow",
            "Sid": "EnableLifecycleManagementRules"
      }
   ]
}

必需的 GCS 权限

对象转换生命周期管理规则需要在远程存储层级上拥有其他权限。具体来说，MinIO 需要 GCS 凭据提供对远程存储桶的读、写、列出和删除权限。

请参阅 GCS IAM 权限 文档，以获取有关配置所需权限的更完整指南。

远程存储桶必须存在

在使用该存储桶作为目标配置生命周期管理层级或规则之前，请先创建远程 GCS 存储桶。

如果您设置了默认的 GCS 存储类别，则 MinIO 会使用该默认存储类别（如果您在定义远程层级时没有指定 storage class）。确保记录您的 GCS 存储桶和 MinIO 层级配置的设置，以避免任何潜在的混淆、错误配置或其他意外结果。

生命周期管理对象扫描程序

MinIO 使用 扫描程序进程 来检查对象是否符合所有配置的生命周期管理规则。由于高 IO 工作负载或系统资源有限而导致的扫描速度缓慢可能会延迟生命周期管理规则的应用。有关详细信息，请参阅 生命周期管理对象扫描程序。

对远程数据的独占访问权限

MinIO 需要对远程存储层级上的转换数据拥有独占访问权限。“热”MinIO 源上的对象元数据与“温/冷”远程层级上的对象数据紧密相关。MinIO 在没有访问远程层级的情况下无法检索对象数据，并且远程层级也不能用于恢复源上的丢失元数据。

对转换对象的访问必须通过 MinIO（仅通过 S3 API 操作）进行。手动修改转换的对象（无论是“热”MinIO 层级上的元数据还是远程“温/冷”层级上的对象数据）都可能会导致该对象数据的丢失。

MinIO 会忽略远程存储桶或存储桶前缀中未由 MinIO 部署明确管理的任何对象。自动转换和透明对象检索取决于以下假设：

• 远程存储上没有外部修改、迁移或删除对象。

• 远程存储桶上没有生命周期管理规则（例如，转换或过期）。

MinIO 将所有转换后的对象存储在远程存储桶或资源中的唯一每个部署前缀值下。此值不打算支持从后端识别源部署。MinIO 支持在配置远程目标时使用一个额外的可选人类可读前缀，这可能有助于与诊断、维护或灾难恢复相关的操作。

MinIO 建议为包含其他数据的远程存储层级指定此可选前缀，包括来自其他 MinIO 部署的转换后的对象。本教程包含为设置此前缀所需的语法。

远程数据的可用性

MinIO 的层级行为取决于远程存储在请求时立即返回对象（毫秒到秒）。因此，MinIO 不支持需要重新水化、等待时间或手动干预的远程存储。

MinIO 为每个转换后的对象创建元数据，以标识其在远程存储上的位置。应用程序无法独立于 MinIO 轻松识别和访问转换后的对象。因此，转换后的数据可用性取决于与 擦除编码 和分布式部署拓扑相同的基本保护措施，这些措施为 MinIO 部署上的所有对象提供保护。使用对象转换不会提供任何额外的业务连续性或灾难恢复优势。

需要 BC/DR 保护的工作负载应实施 MinIO 服务器端复制。复制确保对象保留在远程复制站点上，以便您可以在部分或全部数据丢失的情况下从远程站点重新同步。有关使用复制在部分或全部数据丢失后进行恢复的更完整文档，请参阅 重新同步（灾难恢复）。

1) 为生命周期管理配置用户帐户和策略

此步骤会在 MinIO 部署上创建用户和策略，以支持生命周期管理操作。如果部署已经拥有具有必要 权限 的用户，则可以跳过此步骤。

以下示例使用 Alpha 作为占位符 alias，用于 MinIO 部署。将此值替换为您正在为其配置生命周期管理规则的 MinIO 部署的适当别名。将密码 LongRandomSecretKey 替换为符合您组织密码生成最佳实践的长的、随机的、安全的密钥。

wget -O - https://min-io.cn/docs/minio/linux/examples/LifecycleManagementAdmin.json | \
mc admin policy create Alpha LifecycleAdminPolicy /dev/stdin
mc admin user add Alpha alphaLifecycleAdmin LongRandomSecretKey
mc admin policy attach Alpha LifecycleAdminPolicy --user=alphaLifecycleAdmin

此示例假设指定别名具有在部署上创建策略和用户的必要权限。有关 MinIO 用户和策略的更完整文档，请分别参阅 用户管理 和 MinIO 基于策略的访问控制。

2) 配置远程存储层级

使用 mc ilm tier add 命令添加一个新的 Google Cloud Storage 服务作为远程存储层级。

mc ilm tier add gcs TARGET TIER_NAME \
   --bucket BUCKET \
   --prefix PREFIX \
   --credentials-file CREDENTIALS \
   --storage-class STORAGE_CLASS

上面的示例使用以下参数。

3) 创建并应用过渡规则

使用 mc ilm rule add 命令为存储桶创建新的过渡规则。以下示例配置在指定日历天数后进行过渡

mc ilm rule add ALIAS/BUCKET \
--transition-tier TIERNAME \
--transition-days DAYS \
--noncurrent-transition-days NONCURRENT_DAYS
--noncurrent-transition-tier TIERNAME

以上示例指定了以下参数

4) 验证过渡规则

使用 mc ilm rule ls 命令查看配置的过渡规则

mc ilm rule ls ALIAS/PATH --transition

• 将 ALIAS 替换为 MinIO 部署的 alias。

• 将 PATH 替换为要检索配置的生命周期管理规则的存储桶名称。