文档

批量过期

MinIO 版本中的新增功能: RELEASE.2023-12-02T10-51-33Z

MinIO 批量框架允许您使用 YAML 格式的作业定义文件(“批处理文件”)来创建、管理、监控和执行作业。批处理作业直接在 MinIO 部署上运行,以利用服务器端处理能力,而不会受到运行 MinIO 客户端 的本地机器的限制。

expire 批处理作业应用 自动对象过期 行为到单个存储桶。该作业根据提供的配置确定过期资格,与任何配置的过期规则无关。

行为

对象的立即过期

批量过期作为批处理作业的一部分立即发生,与 基于被动扫描器的过期规则应用 相比。具体而言,批量过期不会屈服于应用程序 I/O,并且可能会影响部署上常规读写操作的性能。

在批处理运行时确定过期资格

批量过期按存储桶进行,并且运行一次以完成。该作业在作业运行时确定过期资格,并且不会定期重新扫描或重新检查新对象。

要捕获任何有资格过期的新的对象,请重新运行批处理作业。

过期规则仅检查最新对象

批量过期作业仅针对每个批处理过期规则检查每个对象的最新或“当前”版本。

过期批处理作业参考

字段

描述

expire

必需

过期作业类型的顶级字段。

apiVersion

必需

设置为 v1

bucket

必需

指定作业运行的存储桶的名称。

prefix

可选

指定作业运行的存储桶前缀。

rules

必需

一个或多个过期规则的数组,应用于指定 bucketprefix(如果有)中的对象。

rules.[n].type

必需

支持以下两个值之一

  • object - 仅适用于当前版本不具有 DeleteMarker 的对象。

  • deleted - 仅适用于当前版本具有 DeleteMarker 的对象。

有关 DeleteMarker 或版本化存储桶中删除操作的更完整文档,请参阅 对象删除

rules.[n].name

可选

指定用于筛选对象的匹配字符串。

支持 glob 风格的通配符(*?)。

rules.[n].olderThan

可选

指定用于筛选对象的过期时间。该规则仅适用于比指定时间单位更旧的对象。

例如,72h3d 选择比三天更旧的对象。

rules.[n].createdBefore

可选

指定用于筛选对象的 ISO-8601 时间戳。

该规则仅适用于在指定时间戳之前创建的对象。

rules.[n].tags

可选

指定一个键值对数组,描述用于过滤对象的标签。 value 条目支持通配符(*?)。

例如,以下规则只过滤与匹配标签的对象

tags:
  - key: archive
    value: True

此键与 rules.[n].type: deleted 不兼容。

rules.[n].metadata

可选

指定一个键值对数组,描述用于过滤对象的元数据。 value 键支持通配符(*?)。

例如,以下规则只过滤与匹配元数据的对象

metadata:
  - key: content-type
    value: image/*

此键与 rules.[n].type: deleted 不兼容。

rules.[n].size

可选

指定用于过滤对象的范围。

  • lessThan - 匹配大小小于指定大小(例如 MiBGiB)的对象。

  • greaterThan - 匹配大小大于指定大小(例如 MiBGiB)的对象。

rules.[n].purge.retainVersions

可选

指定应用过期时要保留的对象版本数量。

默认值为 0,用于删除所有对象版本(最快)。

notify.endpoint

可选

用于发送通知事件的预定义端点。

notify.token

可选

访问 notify.endpoint 的可选 JSON Web 令牌(JWT)。

retry.attempts

可选

在放弃之前完成批处理作业的尝试次数。

retry.delay

可选

每次尝试之间等待的时间(ms)。

关于 expire 作业类型的示例 YAML 描述

使用 mc batch generate 创建一个基本的 expire 批处理作业,以便进一步定制。

expire:
  apiVersion: v1
  bucket: mybucket # Bucket where this job will expire matching objects from
  prefix: myprefix # (Optional) Prefix under which this job will expire objects matching the rules below.
  rules:
    - type: object  # objects with zero ore more older versions
      name: NAME # match object names that satisfy the wildcard expression.
      olderThan: 70h # match objects older than this value
      createdBefore: "2006-01-02T15:04:05.00Z" # match objects created before "date"
      tags:
        - key: name
          value: pick* # match objects with tag 'name', all values starting with 'pick'
      metadata:
        - key: content-type
          value: image/* # match objects with 'content-type', all values starting with 'image/'
      size:
        lessThan: 10MiB # match objects with size less than this value (e.g. 10MiB)
        greaterThan: 1MiB # match objects with size greater than this value (e.g. 1MiB)
      purge:
          # retainVersions: 0 # (default) delete all versions of the object. This option is the fastest.
          # retainVersions: 5 # keep the latest 5 versions of the object.

    - type: deleted # objects with delete marker as their latest version
      name: NAME # match object names that satisfy the wildcard expression.
      olderThan: 10h # match objects older than this value (e.g. 7d10h31s)
      createdBefore: "2006-01-02T15:04:05.00Z" # match objects created before "date"
      purge:
          # retainVersions: 0 # (default) delete all versions of the object. This option is the fastest.
          # retainVersions: 5 # keep the latest 5 versions of the object including delete markers.

  notify:
    endpoint: https://notify.endpoint # notification endpoint to receive job completion status
    token: Bearer xxxxx # optional authentication token for the notification endpoint

  retry:
    attempts: 10 # number of retries for the job before giving up
    delay: 500ms # least amount of delay between each retry