批处理过期

MinIO 版本新增功能: RELEASE.2023-12-02T10-51-33Z

MinIO 批处理框架允许您使用 YAML 格式的作业定义文件（“批处理文件”）创建、管理、监视和执行作业。批处理作业直接在 MinIO 部署上运行，以利用服务器端处理能力，而无需受运行 MinIO 客户端的本地机器的限制。

expire 批处理作业将自动对象过期行为应用于单个存储桶。该作业根据提供的配置确定过期资格，独立于任何已配置的过期规则。

行为

对象的立即过期

批处理过期作为批处理作业的一部分立即发生，与基于被动扫描程序的过期规则应用不同。具体来说，批处理过期不会屈服于应用程序 I/O，并且可能会影响部署上常规读/写操作的性能。

在批处理运行时确定过期资格

批处理过期按存储桶工作，并运行一次以完成。该作业在作业运行时确定过期资格，并且不会定期重新扫描或重新检查新对象。

要捕获任何有资格过期的新的对象，请重新运行批处理作业。

过期规则仅检查最新对象

批处理过期作业仅针对每个批处理过期规则检查每个对象的最新或“当前”版本。

过期批处理作业参考

字段	描述
`expire`	必需过期作业类型的顶级字段。
`apiVersion`	必需设置为 `v1`。
`bucket`	必需指定作业运行的存储桶名称。
`前缀`	可选指定作业运行的存储桶前缀。
`规则`	必需一个或多个应用于指定`bucket`和`prefix`（如果存在）中对象的过期规则数组。
`rules.[n].type`	必需支持以下两个值之一 `object` - 仅适用于当前版本不具有`DeleteMarker`的对象。 `deleted` - 仅适用于当前版本具有`DeleteMarker`的对象。有关`DeleteMarker`或版本化存储桶中删除操作的更完整文档，请参阅对象删除。
`rules.[n].name`	可选指定用于过滤对象的匹配字符串。支持glob风格的通配符（`*`，`?`）。
`rules.[n].olderThan`	可选指定用于过滤对象的物体年龄。该规则仅适用于比指定时间单位更旧的对象。例如，`72h`或`3d`选择三天以上的老对象。
`rules.[n].createdBefore`	可选指定用于过滤对象的ISO-8601时间戳。该规则仅适用于在指定时间戳之前创建的对象。
`rules.[n].tags`	可选指定一个键值对数组，描述用于过滤对象的物体标签。`value`条目支持glob风格的通配符（`*`，`?`）。例如，以下规则将过滤结果限制为仅具有匹配标签的对象 tags: - key: archive value: True 此键与`rules.[n].type: deleted`不兼容。
`rules.[n].metadata`	可选指定一个键值对数组，描述用于过滤对象的物体元数据。`value`键支持glob风格的通配符（``，`?`）。例如，以下规则将过滤结果限制为仅具有匹配元数据的对象 metadata: - key: content-type value: image/ 此键与`rules.[n].type: deleted`不兼容。
`rules.[n].size`	可选指定用于过滤对象的物体大小范围。 `lessThan` - 匹配大小小于指定数量（例如`MiB`，`GiB`）的对象。 `greaterThan` - 匹配大小大于指定数量（例如`MiB`，`GiB`）的对象。
`rules.[n].purge.retainVersions`	可选指定应用过期时要保留的对象版本数量。默认为`0`，删除所有对象版本（最快）。
`notify.endpoint`	可选用于发送通知事件的预定义端点。
`notify.token`	可选用于访问`notify.endpoint`的可选JSON Web令牌（JWT）。
`retry.attempts`	可选在放弃之前完成批处理作业的尝试次数。
`retry.delay`	可选每次尝试之间等待的时间量（`ms`）。

``expire`作业类型的YAML示例描述

使用mc batch generate创建基本的expire批处理作业以进行进一步自定义。

expire:
  apiVersion: v1
  bucket: mybucket # Bucket where this job will expire matching objects from
  prefix: myprefix # (Optional) Prefix under which this job will expire objects matching the rules below.
  rules:
    - type: object  # objects with zero ore more older versions
      name: NAME # match object names that satisfy the wildcard expression.
      olderThan: 70h # match objects older than this value
      createdBefore: "2006-01-02T15:04:05.00Z" # match objects created before "date"
      tags:
        - key: name
          value: pick* # match objects with tag 'name', all values starting with 'pick'
      metadata:
        - key: content-type
          value: image/* # match objects with 'content-type', all values starting with 'image/'
      size:
        lessThan: 10MiB # match objects with size less than this value (e.g. 10MiB)
        greaterThan: 1MiB # match objects with size greater than this value (e.g. 1MiB)
      purge:
          # retainVersions: 0 # (default) delete all versions of the object. This option is the fastest.
          # retainVersions: 5 # keep the latest 5 versions of the object.

    - type: deleted # objects with delete marker as their latest version
      name: NAME # match object names that satisfy the wildcard expression.
      olderThan: 10h # match objects older than this value (e.g. 7d10h31s)
      createdBefore: "2006-01-02T15:04:05.00Z" # match objects created before "date"
      purge:
          # retainVersions: 0 # (default) delete all versions of the object. This option is the fastest.
          # retainVersions: 5 # keep the latest 5 versions of the object including delete markers.

  notify:
    endpoint: https://notify.endpoint # notification endpoint to receive job completion status
    token: Bearer xxxxx # optional authentication token for the notification endpoint

  retry:
    attempts: 10 # number of retries for the job before giving up
    delay: 500ms # least amount of delay between each retry