批量复制

MinIO 版本新增： RELEASE.2022-10-08T20-11-00Z

批处理框架在 mc RELEASE.2022-10-08T20-11-00Z 中引入了 replicate 作业类型。

MinIO 批处理框架允许您使用 YAML 格式的作业定义文件（“批处理文件”）创建、管理、监控和执行作业。批处理作业直接在 MinIO 部署上运行，以利用服务器端处理能力，而不会受到运行 MinIO 客户端的本地机器的约束。

replicate 批处理作业将对象从一个 MinIO 部署（source 部署）复制到另一个 MinIO 部署（target 部署）。source 或 target 必须是本地部署。

MinIO 部署之间的批量复制比使用 mc mirror 具有以下优势

消除客户端到集群网络作为潜在瓶颈
用户只需要访问启动批处理作业，而无需其他权限，因为作业完全在集群的服务器端运行
作业提供重试尝试，以防对象未复制
批处理作业是一次性、精心策划的流程，允许精细控制复制
(仅 MinIO 到 MinIO) 复制过程将对象版本从源复制到目标

MinIO 版本更改： Server RELEASE.2023-02-17T17-52-43Z

通过指定 MINIO_BATCH_REPLICATION_WORKERS 环境变量，以并行方式使用多个工作程序运行批量复制。

从 MinIO 服务器 RELEASE.2023-05-04T21-44-30Z 版本开始，另一个部署可以是另一个 MinIO 部署，也可以是使用实时存储类的任何与 S3 兼容的位置。在复制 YAML 文件中使用过滤选项来排除存储在需要重新水合或其他恢复方法才能提供请求的对象的位置中的对象。对这些类型的远程的批量复制使用 mc mirror 行为。

行为

访问控制和要求

批量复制与桶复制具有类似的访问和权限要求。

“源”部署的凭据必须具有类似于以下的策略

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "admin:SetBucketTarget",
                "admin:GetBucketTarget"
            ],
            "Effect": "Allow",
            "Sid": "EnableRemoteBucketConfiguration"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetReplicationConfiguration",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:GetBucketLocation",
                "s3:GetBucketVersioning",
                "s3:GetObjectRetention",
                "s3:GetObjectLegalHold",
                "s3:PutReplicationConfiguration"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ],
            "Sid": "EnableReplicationRuleConfiguration"
        }
    ]
}

“远程”部署的凭据必须具有类似于以下的策略

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetReplicationConfiguration",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:GetBucketLocation",
                "s3:GetBucketVersioning",
                "s3:GetBucketObjectLockConfiguration",
                "s3:GetEncryptionConfiguration"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ],
            "Sid": "EnableReplicationOnBucket"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetReplicationConfiguration",
                "s3:ReplicateTags",
                "s3:AbortMultipartUpload",
                "s3:GetObject",
                "s3:GetObjectVersion",
                "s3:GetObjectVersionTagging",
                "s3:PutObject",
                "s3:PutObjectRetention",
                "s3:PutBucketObjectLockConfiguration",
                "s3:PutObjectLegalHold",
                "s3:DeleteObject",
                "s3:ReplicateObject",
                "s3:ReplicateDelete"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ],
            "Sid": "EnableReplicatingDataIntoBucket"
        }
    ]
}

有关在 MinIO 部署中添加用户、访问密钥和策略的更完整文档，请参见 mc admin user、mc admin user svcacct 和 mc admin policy。

配置为 Active Directory/LDAP 或 OpenID Connect 用户管理的 MinIO 部署可以创建专用的访问密钥来支持批量复制。

过滤复制目标

批量作业定义文件可以通过桶、前缀和/或过滤器来限制复制，仅复制某些对象。复制过程对对象和桶的访问可能受到你在 YAML 中为源或目标目的地提供的凭据的限制。

MinIO 版本变更: Server RELEASE.2023-04-07T05-28-58Z

您可以从远程 MinIO 部署复制到运行批量作业的本地部署。

例如，您可以使用批量作业执行一次性复制同步，将对象从本地部署上的 minio-local/invoices/ 中的桶推送到远程部署上的 minio-remote/invoices 中的桶。您也可以将对象从远程部署上的 minio-remote/invoices 拉取到本地部署上的 minio-local/invoices 中。

小文件优化

从 RELEASE.2023-12-09T18-17-51Z 版本开始，默认情况下，批量复制会自动将小于 5MiB 的对象进行批处理和压缩，以在源和远程之间高效地传输数据。远程 MinIO 部署可以检查并立即将生命周期管理分层规则应用于批处理的对象。此功能类似于 S3 雪球边缘小文件批处理所提供的功能。

您可以在复制作业配置中修改压缩设置。

复制批量作业参考

YAML **必须** 定义源和目标部署。如果*源*部署是远程的，则*目标*部署**必须**是 local。可选地，YAML 还可以定义标志来过滤要复制的对象、发送作业通知或定义作业重试次数。

MinIO 版本变更: RELEASE.2023-04-07T05-28-58Z

您可以从远程 MinIO 部署复制到运行批量作业的本地部署。

MinIO 版本变更: RELEASE.2024-08-03T04-33-23Z

此版本引入了批量作业复制 API 的新版本，v2。更新后的 API 允许您列出要从其复制的源上的多个前缀。要从源复制多个前缀，请将 replicate.apiVersion 指定为 v2。

replicate:
  apiVersion: v2
  source:
    type: minio
    bucket: mybucket
    prefix:
      - prefix1
      - prefix2
...

对于**源部署**

必需信息

类型

必须是 minio。

桶

部署上的桶。

可选信息

`前缀`	应该复制的对象的(s)前缀。从 MinIO 服务器 `RELEASE.2024-08-03T04-33-23Z` 版本开始，批量作业复制 API 的 v2 版本允许您列出多个前缀。将 `replicate.apiVersion` 指定为 `v2`，以便从多个前缀复制。
`端点`	用于复制批量作业的源或目标的部署位置。例如，`https://minio.example.net`。如果部署是为命令指定的别名，则省略此字段以指示 MinIO 使用该别名作为端点和凭据值。源部署或远程部署必须是 “本地” 别名。非“本地”部署必须指定 `endpoint` 和 `credentials`。
`路径`	指示 MinIO 使用桶的路径或虚拟样式 (DNS) 查找。 - 为路径样式指定 `on` - 为虚拟样式指定 `off` - 指定 `auto` 以让 MinIO 确定正确的查找样式。默认为 `auto`。
`凭据`	`accesskey:` 和 `secretKey:` 或 `sessionToken:`，它们授予对对象(s)的访问权限。仅为不是本地部署的部署指定。
`雪球`	版本添加: RELEASE.2023-12-09T18-17-51Z 用于控制批处理和压缩功能的配置选项。
`snowball.disable`	指定 `true` 以在复制期间禁用批处理和压缩功能。默认为 `false`。
`snowball.batch`	指定要批处理以进行压缩的最大整数对象数量。默认为 `100`。
`snowball.inmemory`	指定 `false` 以使用本地存储来暂存存档，或指定 `true` 以暂存到内存 (RAM)。默认为 `true`。
`snowball.compress`	指定 `true` 以使用 S2/Snappy 压缩算法生成压缩批处理对象。默认为 `false` 或不压缩。
`snowball.smallerThan`	指定 MinIO 应该对对象进行批处理的兆位 (MiB) 对象大小。默认为 `5MiB`。
`snowball.skipErrs`	指定 `false` 以指示 MinIO 在读取时遇到任何产生错误的对象时停止。默认为 `true`。

对于**目标部署**

必需信息

类型

必须是 minio。

桶

部署上的桶。

可选信息

`前缀`	要复制的对象(s)的前缀。
`端点`	目标部署的位置。如果目标是为命令指定的别名，则可以省略此字段和 `credentials` 字段。如果目标是“本地”，则源必须使用 `endpoint` 和 `credentials` 指定远程部署。
`凭据`	用于访问目标对象(s)的 `accesskey` 和 `secretKey` 或 `sessionToken`。

对于 过滤器

`newerThan`	以 `#d#h#s` 格式表示的时间长度的字符串。仅复制比指定时间长度更新的对象。例如，`7d`、`24h`、`5d12h30s` 是有效的字符串。
`olderThan`	以 `#d#h#s` 格式表示的时间长度的字符串。仅复制比指定时间长度更旧的对象。
`createdAfter`	以 `YYYY-MM-DD` 格式表示的日期。仅复制在该日期之后创建的对象。
`createdBefore`	以 `YYYY-MM-DD` 格式表示的日期。仅复制在该日期之前创建的对象。

对于通知

`端点`	用于发送通知事件的预定义端点。
`token`	用于访问 `endpoint` 的可选 JWT <JSON Web Token>。

对于 重试尝试

如果某些操作中断了作业，您可以定义重试作业批次的尝试次数。对于每次重试，您还可以定义两次尝试之间的等待时间。

`attempts`	在放弃之前完成批处理作业的尝试次数。
`delay`	每次尝试之间最短的等待时间。

示例 `replicate` 作业类型 YAML 描述文件

使用 mc batch generate 创建一个基本的 replicate 批处理作业，以便进一步定制。

对于本地部署，请勿指定端点或凭据。删除或注释掉源或目标部分中的这些行，具体取决于哪个是 本地。

replicate:
  apiVersion: v1
  # source of the objects to be replicated
  source:
    type: TYPE # valid values are "s3" or "minio"
    bucket: BUCKET
    prefix: PREFIX # 'PREFIX' is optional
    # If your source is the 'local' alias specified to 'mc batch start', then the 'endpoint' and 'credentials' fields are optional and can be omitted
    # Either the 'source' or 'remote' *must* be the "local" deployment
    endpoint: "http[s]://HOSTNAME:PORT" 
    # path: "on|off|auto" # "on" enables path-style bucket lookup. "off" enables virtual host (DNS)-style bucket lookup. Defaults to "auto"
    credentials:
      accessKey: ACCESS-KEY # Required
      secretKey: SECRET-KEY # Required
    # sessionToken: SESSION-TOKEN # Optional only available when rotating credentials are used
    snowball: # automatically activated if the source is local
      disable: false # optionally turn-off snowball archive transfer
      batch: 100 # upto this many objects per archive
      inmemory: true # indicates if the archive must be staged locally or in-memory
      compress: false # S2/Snappy compressed archive
      smallerThan: 5MiB # create archive for all objects smaller than 5MiB
      skipErrs: false # skips any source side read() errors

  # target where the objects must be replicated
  target:
    type: TYPE # valid values are "s3" or "minio"
    bucket: BUCKET
    prefix: PREFIX # 'PREFIX' is optional
    # If your source is the 'local' alias specified to 'mc batch start', then the 'endpoint' and 'credentials' fields are optional and can be omitted

    # Either the 'source' or 'remote' *must* be the "local" deployment
    endpoint: "http[s]://HOSTNAME:PORT"
    # path: "on|off|auto" # "on" enables path-style bucket lookup. "off" enables virtual host (DNS)-style bucket lookup. Defaults to "auto"
    credentials:
      accessKey: ACCESS-KEY
      secretKey: SECRET-KEY
    # sessionToken: SESSION-TOKEN # Optional only available when rotating credentials are used

  # NOTE: All flags are optional
  # - filtering criteria only applies for all source objects match the criteria
  # - configurable notification endpoints
  # - configurable retries for the job (each retry skips successfully previously replaced objects)
  flags:
    filter:
      newerThan: "7d" # match objects newer than this value (e.g. 7d10h31s)
      olderThan: "7d" # match objects older than this value (e.g. 7d10h31s)
      createdAfter: "date" # match objects created after "date"
      createdBefore: "date" # match objects created before "date"

      ## NOTE: tags are not supported when "source" is remote.
      # tags:
      #   - key: "name"
      #     value: "pick*" # match objects with tag 'name', with all values starting with 'pick'

      # metadata:
      #   - key: "content-type"
      #     value: "image/*" # match objects with 'content-type', with all values starting with 'image/'

    notify:
      endpoint: "https://notify.endpoint" # notification endpoint to receive job status events
      token: "Bearer xxxxx" # optional authentication token for the notification endpoint

    retry:
      attempts: 10 # number of retries for the job before giving up
      delay: "500ms" # least amount of delay between each retry

`类型`	必须是 `minio`。
`桶`	部署上的桶。

`类型`	必须是 `minio`。
`桶`	部署上的桶。