文档

批处理框架

概览

MinIO 批处理框架允许您使用 YAML 格式的作业定义文件(“批处理文件”)来创建、管理、监控和执行作业。批处理作业直接在 MinIO 部署上运行,以利用服务器端的处理能力,而无需您运行 MinIO 客户端 的本地机器的限制。

批处理文件定义一项作业任务。

一旦开始,MinIO 就会开始处理作业。完成时间取决于部署可用的资源。

如果作业的任何部分失败,MinIO 会根据作业定义中定义的次数重试作业。

MinIO 批处理框架支持以下作业类型

作业类型

描述

复制

执行从一个 MinIO 位置到另一个 MinIO 位置的一次性复制过程。

密钥轮换

执行一次性过程,循环 sse-s3 或 sse-kms 对象上的加密密钥。

过期

对桶中的对象执行一次性立即过期。

MinIO 批处理 CLI

The mc batch commands include

mc batch generate

The mc batch generate command creates a basic YAML-formatted template file for the specified job type.

mc batch start

命令 mc batch start 从一个批处理作业 YAML 文件中启动一个批处理作业。

mc batch list

命令 mc batch list 输出部署中当前正在进行的批处理作业列表。

mc batch status

命令 mc batch status 输出 MinIO 服务器上作业事件的摘要。

Changed in version mc: RELEASE.2024-07-03T20-17-25Z

批处理状态显示活动、进行中的作业或过去三天(3 天)内完成的任何批处理作业的摘要。

mc batch describe

命令 mc batch describe 输出指定作业 ID 的作业定义。

mc batch cancel

命令 mc batch cancel 停止正在进行的批处理作业。

访问 mc batch

每个批处理作业使用批处理定义中指定的凭据执行。特定批处理作业的成功取决于这些凭据是否具有执行所有请求的操作的适当 权限

执行批处理作业的用户必须具有以下权限。您也可以通过阻止或限制对这些操作的访问来限制用户访问这些功能。

admin:ListBatchJobs

授予用户查看当前正在进行的批处理作业的能力。

admin:DescribeBatchJobs

授予用户查看当前正在进行的批处理作业的定义详细信息的能力。

admin:StartBatchJob

授予用户启动批处理作业的能力。该作业可能会进一步受到作业用于访问源部署或目标部署的凭据的限制。

admin:CancelBatchJob

允许用户停止当前正在进行的批处理作业。

您可以独立地或以任何组合将这些操作中的任何一个分配给用户。

内置 ConsoleAdmin 策略包含执行所有这些类型的批处理作业操作的足够访问权限。

Local 部署

您可以通过将一个 alias 传递给命令 mc batch 来针对特定部署运行批处理作业。您在命令中指定的部署在该批处理作业的上下文中成为 local 部署。