文档

将对象从 MinIO 迁移到 Azure

本页面的步骤创建了一个新的对象生命周期管理规则,该规则将对象从 MinIO 存储桶迁移到 Azure 存储后端上的远程存储层。此步骤支持将老旧数据在特定时间段或日历日期后移动到低成本的公有云存储解决方案等用例。

需求

安装和配置 mc

此步骤使用 mc 在 MinIO 集群上执行操作。在具有网络访问源和目标集群两者的机器上安装 mc。有关下载和安装 mc 的说明,请参见 mc 安装快速入门

使用 mc alias set 命令创建源 MinIO 集群的别名。别名创建需要为源和目标集群上的用户指定访问密钥。指定的用户必须具有 权限 以配置和应用迁移操作。

所需的 MinIO 权限

MinIO 需要对您正在为其创建生命周期管理规则的存储桶或存储桶应用以下范围的权限。

MinIO 还需要在您正在为对象迁移生命周期管理规则创建远程层的集群中应用以下管理权限

例如,以下策略提供了在集群中的任何存储桶上配置对象迁移生命周期管理规则的权限:.

{
   "Version": "2012-10-17",
   "Statement": [
      {
            "Action": [
               "admin:SetTier",
               "admin:ListTier"
            ],
            "Effect": "Allow",
            "Sid": "EnableRemoteTierManagement"
      },
      {
            "Action": [
               "s3:PutLifecycleConfiguration",
               "s3:GetLifecycleConfiguration"
            ],
            "Resource": [
                        "arn:aws:s3:::*"
            ],
            "Effect": "Allow",
            "Sid": "EnableLifecycleManagementRules"
      }
   ]
}

所需的 Azure 权限

对象迁移生命周期管理规则需要在远程存储层上获得其他权限。具体来说,MinIO 需要 Azure 凭据提供远程存储帐户和容器的读、写、列出和删除权限。

有关配置所需权限的更完整指南,请参见 Azure RBAC 文档。

远程存储帐户和容器必须存在

在使用该资源作为目标配置生命周期管理层或规则之前,创建远程 Azure 存储帐户 和容器。在 创建 Azure 存储帐户 时,确保存储帐户对应于标准或高级 Blob 存储,并具有本地冗余存储 (LRS) 冗余选项。MinIO 使用的 Azure Go SDK API 不支持任何其他冗余选项。

如果您设置了存储帐户 默认访问层级,MinIO 将使用该默认层级,前提是您在定义远程层级时没有指定 storage class。确保您记录了 Azure 存储帐户和 MinIO 层级配置的设置,以避免任何潜在的混淆、错误配置或其他意外结果。

有关 Azure 存储帐户的更多信息,请参见 存储帐户

注意事项

对远程数据的独占访问

MinIO 需要对远程存储层级上过渡数据的独占访问权限。 “热” MinIO 源上的对象元数据与“暖/冷”远程层级上的对象数据紧密相关。 MinIO 无法在没有访问远程层级的情况下检索对象数据,远程层级也不能用于恢复源上的丢失元数据。

对过渡对象的所有访问必须仅通过 MinIO 进行 S3 API 操作。手动修改过渡对象——无论是“热” MinIO 层级上的元数据还是远程“暖/冷”层级上的对象数据——都可能导致该对象数据丢失。

MinIO 会忽略远程存储桶或存储桶前缀中未由 MinIO 部署明确管理的任何对象。自动过渡和透明对象检索取决于以下假设

  • 远程存储上的对象没有外部修改、迁移或删除。

  • 远程存储桶上没有生命周期管理规则(例如过渡或过期)。

MinIO 将所有过渡对象存储在远程存储桶或资源中的一个唯一的每个部署前缀值下。此值并非用于支持从后端识别源部署。 MinIO 在配置远程目标时支持一个额外的可选人类可读前缀,这可能有助于诊断、维护或灾难恢复相关的操作。

MinIO 建议为包含其他数据的远程存储层级指定此可选前缀,包括来自其他 MinIO 部署的过渡对象。本教程包含设置此前缀所需的语法。

重要

MinIO 不支持更改与 Azure 远程层级关联的帐户名称。 Azure 存储后端与帐户绑定,因此更改帐户将更改存储后端,并阻止访问过渡到原始帐户/后端的任何对象。

如果您需要有关配置 Azure 远程层级的特定于情况的指导,请联系 MinIO 支持

远程数据的可用性

MinIO 层级行为取决于远程存储在请求时立即(毫秒到秒)返回对象。因此,MinIO 不支持需要重新水合、等待时间或人工干预的远程存储。

MinIO 为每个过渡对象创建元数据,以标识其在远程存储上的位置。应用程序无法独立于 MinIO 轻松识别和访问过渡对象。因此,过渡数据的可用性取决于为 MinIO 部署上的所有对象提供相同核心保护的 擦除编码 和分布式部署拓扑。使用对象过渡不会提供任何额外的业务连续性或灾难恢复优势。

需要 BC/DR 保护的工作负载应实现 MinIO 服务器端复制。复制确保对象保留在远程复制站点上,以便您在发生部分或全部数据丢失时可以从远程站点重新同步。请参阅 重新同步(灾难恢复),以获取有关使用复制在发生部分或全部数据丢失后进行恢复的更完整文档。

步骤

1) 配置用于生命周期管理的用户帐户和策略

此步骤在 MinIO 部署上创建用户和策略,以支持生命周期管理操作。如果部署已拥有具有必要 权限 的用户,则可以跳过此步骤。

以下示例使用 Alpha 作为 MinIO 部署的占位符 alias。将此值替换为正在配置生命周期管理规则的 MinIO 部署的适当别名。将密码 LongRandomSecretKey 替换为符合您的组织密码生成最佳实践的长随机安全密钥。

wget -O - http://min-io.cn/docs/minio/linux/examples/LifecycleManagementAdmin.json | \
mc admin policy create Alpha LifecycleAdminPolicy /dev/stdin
mc admin user add Alpha alphaLifecycleAdmin LongRandomSecretKey
mc admin policy attach Alpha LifecycleAdminPolicy --user=alphaLifecycleAdmin

此示例假设指定的别名具有在部署上创建策略和用户的必要权限。请参阅 用户管理MinIO 基于策略的访问控制,以获取有关 MinIO 用户和策略的更完整文档。

2) 配置远程存储层级

使用 mc ilm tier add 命令添加一个新的远程存储层级

mc ilm tier add azure TARGET TIER_NAME \
   --account-name ACCOUNT \
   --account-key KEY \
   --bucket CONTAINER \
   --endpoint ENDPOINT \
   --prefix PREFIX \
   --storage-class STORAGE_CLASS

以上示例使用以下参数

参数

描述

TARGET

要配置远程层级的 MinIO 部署的 alias

TIER_NAME

与新的 Azure blob 远程存储层级关联的名称。以全大写字母指定名称,例如 AZURE_TIER。此值在下一步中是必需的。

ACCOUNT

用作远程存储资源的 存储帐户

创建层级后,您无法更改此帐户名称。

KEY

指定 ACCOUNT 的相应共享帐户密钥。

帐户密钥必须具有分配的 Azure 策略,该策略具有所需的 权限

有关更多信息,请参见 管理存储帐户访问密钥

CONTAINER

MinIO 将对象过渡到的 Azure 存储后端上的容器的名称。

ENDPOINT

(可选)MinIO 将对象过渡到的 Azure blob 存储后端的完整 URL。如果没有指定,则默认为 https://ACCOUNT.blob.core.windows.net

PREFIX

MinIO 将对象过渡到的容器中的可选前缀。

MinIO 将所有过渡对象存储在指定的 BUCKET 中的唯一每个部署前缀值下。省略此参数以仅使用该值来隔离和组织远程存储中的数据。

MinIO 建议为包含其他数据的远程存储层级指定此可选前缀,包括来自其他 MinIO 部署的过渡对象。此前缀应提供清晰的参考回到源 MinIO 部署,以方便诊断、维护或灾难恢复相关的操作。

STORAGE_CLASS

MinIO 应用于过渡到 Azure 容器的对象的 Azure 访问层级。

MinIO 层级行为取决于远程存储在请求时立即(毫秒到秒)返回对象。因此,MinIO 不支持需要重新水合、等待时间或人工干预的远程存储。

以下 Azure 访问层级符合 MinIO 作为远程层级的要求

有关更多信息,请参见 blob 数据的热、冷和归档访问层级

3) 创建并应用过渡规则

使用 mc ilm rule add 命令为存储桶创建一个新的过渡规则。以下示例在指定数量的日历日后配置过渡

mc ilm rule add ALIAS/BUCKET \
--transition-tier TIERNAME \
--transition-days DAYS \
--noncurrent-transition-days NONCURRENT_DAYS
--noncurrent-transition-tier TIERNAME

以上示例指定以下参数

参数

描述

ALIAS

指定正在为其创建生命周期管理规则的 MinIO 部署的 alias

BUCKET

指定正在为其创建生命周期管理规则的存储桶的完整路径。

TIERNAME

MinIO 将对象过渡到的远程存储层级。指定在步骤中创建的远程存储层级名称。

如果您想将非当前对象版本过渡到不同的远程层级,请为 --noncurrent-transition-tier 指定不同的层级名称。

DAYS

MinIO 将对象标记为符合过渡条件的日历天数。以整数形式指定天数,例如 30 表示 30 天。

NONCURRENT_DAYS

MinIO 将非当前对象版本标记为符合过渡条件的日历天数。MinIO 特别是测量对象变为非当前状态以来的时间,而不是对象创建时间。以整数形式指定天数,例如 90 表示 90 天。

省略此值以忽略非当前对象版本。

此选项对非版本化存储桶没有影响。

4) 验证过渡规则

使用 mc ilm rule ls 命令查看已配置的过渡规则

mc ilm rule ls ALIAS/PATH --transition
  • ALIAS 替换为 MinIO 部署的 alias

  • PATH 替换为要检索已配置生命周期管理规则的存储桶的名称。