将事件发布到 Elasticsearch

MinIO 支持将存储桶通知事件发布到 Elasticsearch 服务端点。

MinIO 依赖于 https://github.com/elastic/go-elasticsearch v7 项目来实现 Elastic 连接。

将 Elasticsearch 端点添加到 MinIO 部署

以下步骤将为 MinIO 部署中支持存储桶通知添加一个新的 Elasticsearch 服务端点。

先决条件

Elasticsearch v7.0 及更高版本

MinIO 依赖于 https://github.com/olivere/elastic v7 项目来实现 Elastic 连接。 elastic/v7 库专门针对 Elasticsearch v7.0，与更早的 Elasticsearch 版本不兼容。

MinIO `mc` 命令行工具

此步骤使用 mc 命令行工具来执行某些操作。请参阅 mc 快速入门以获取安装说明。

1) 将 Elasticsearch 端点添加到 MinIO

您可以使用环境变量或设置运行时配置设置来配置新的 Elasticsearch 服务端点。

环境变量

MinIO 支持使用环境变量指定 Elasticsearch 服务端点和关联的配置设置。 minio server 进程在其下次启动时应用指定的设置。

以下示例代码设置了与配置 Elasticsearch 服务端点相关的所有环境变量。必需的最小变量是

set MINIO_NOTIFY_ELASTICSEARCH_ENABLE_<IDENTIFIER>="on"
set MINIO_NOTIFY_ELASTICSEARCH_URL_<IDENTIFIER>="<ENDPOINT>"
set MINIO_NOTIFY_ELASTICSEARCH_INDEX_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_FORMAT_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_USERNAME_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_PASSWORD_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_QUEUE_DIR_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_QUEUE_LIMIT_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_COMMENT_<IDENTIFIER>="<string>"

将 <IDENTIFIER> 替换为 TARGET 服务端点的唯一描述性字符串。对与新目标服务端点相关的所有环境变量使用相同的 <IDENTIFIER> 值。以下示例假设标识符为 PRIMARY。

如果指定的 <IDENTIFIER> 与 MinIO 部署上现有的 Elasticsearch 服务端点匹配，则新设置将覆盖该端点的任何现有设置。使用 mc admin config get notify_elasticsearch 查看 MinIO 部署上当前配置的 Elasticsearch 端点。
将 <ENDPOINT> 替换为 Elasticsearch 服务端点的 URL。例如

参见用于存储桶通知的 Elasticsearch 服务，了解每个环境变量的完整文档。

配置设置

MinIO 支持在运行的 minio server 进程中使用 mc admin config set 命令和 notify_elasticsearch 配置键添加或更新 Elasticsearch 端点。必须重启 minio server 进程以应用任何新的或更新的配置设置。

以下示例代码设置了与配置 Elasticsearch 服务端点相关的所有设置。必需的最小设置是

mc admin config set ALIAS/ notify_elasticsearch:IDENTIFIER \
   url="ENDPOINT" \
   index="<string>" \
   format="<string>" \
   username="<string>" \
   password="<string>" \
   queue_dir="<string>" \
   queue_limit="<string>" \
   comment="<string>"

将 IDENTIFIER 替换为 Elasticsearch 服务端点的唯一描述性字符串。本过程中的以下示例假设标识符为 PRIMARY。

如果指定的 IDENTIFIER 与 MinIO 部署上现有的 Elasticsearch 服务端点匹配，则新设置将覆盖该端点的任何现有设置。使用 mc admin config get notify_elasticsearch 查看 MinIO 部署上当前配置的 Elasticsearch 端点。
将 ENDPOINT 替换为 Elasticsearch 服务端点的 URL。例如

https://user:password@hostname:port

参见 Elasticsearch 存储桶通知配置设置，了解每个设置的完整文档。

2) 重启 MinIO 部署

必须重启 MinIO 部署以应用配置更改。使用 mc admin service restart 命令重启部署。

mc admin service restart ALIAS

将 ALIAS 替换为要重启的部署的别名。

在启动时，minio server 进程会为每个配置的 Elasticsearch 目标打印一行，类似于以下内容

SQS ARNs: arn:minio:sqs::primary:elasticsearch

在使用关联的 Elasticsearch 部署作为目标配置存储桶通知时，必须指定 ARN 资源。

识别存储桶通知的 ARN

在之前创建端点时，您定义了要分配给存储桶通知的目标 ARN 的 <IDENTIFIER>。以下步骤将返回在部署上配置的 ARN。通过查找您指定的 <IDENTIFIER> 来识别之前创建的 ARN。

查看 JSON 输出

复制并运行以下命令，将 ALIAS 替换为部署的别名。
```
mc admin info --json ALIAS
```
在 JSON 输出中，查找键 info.sqsARN。

您需要的 ARN 是与您指定的 <IDENTIFIER> 匹配的该键的值。

例如，arn:minio:sqs::primary:elasticsearch。

使用 jq 解析 JSON 获取值

安装 jq
复制并运行以下命令，将 ALIAS 替换为部署的别名。
```
mc admin info --json ALIAS | jq  .info.sqsARN
```
这将返回用于通知的 ARN，例如 arn:minio:sqs::primary:elasticsearch

3) 使用 Elasticsearch 端点作为目标配置存储桶通知

使用 mc event add 命令添加一个新的存储桶通知事件，并将配置的 Elasticsearch 服务作为目标

mc event add ALIAS/BUCKET arn:minio:sqs::primary:elasticsearch \
  --event EVENTS

将 ALIAS 替换为 MinIO 部署的别名。
将 BUCKET 替换为要配置事件的存储桶的名称。
将 EVENTS 替换为要为其触发 MinIO 通知的一系列事件（用逗号分隔）。

使用 mc event ls 查看给定通知目标的所有配置的存储桶事件

mc event ls ALIAS/BUCKET arn:minio:sqs::primary:elasticsearch

4) 验证配置的事件

对您为其配置新事件的存储桶执行操作，并检查 Elasticsearch 服务以获取通知数据。所需的特定操作取决于配置存储桶通知时指定的 events。

例如，如果存储桶通知配置包含 s3:ObjectCreated:Put 事件，则可以使用 mc cp 命令在存储桶中创建一个新对象，并触发通知。

mc cp ~/data/new-object.txt ALIAS/BUCKET

在 MinIO 部署中更新 Elasticsearch 端点

以下步骤将更新现有的 Elasticsearch 服务端点，以在 MinIO 部署中支持存储桶通知。

先决条件

Elasticsearch v7.0 及更高版本

MinIO 依赖于 https://github.com/olivere/elastic v7 项目来实现 Elastic 连接。 elastic/v7 库专门针对 Elasticsearch v7.0，与更早的 Elasticsearch 版本不兼容。

MinIO `mc` 命令行工具

此步骤使用 mc 命令行工具来执行某些操作。请参阅 mc 快速入门以获取安装说明。

1) 列出部署中配置的 Elasticsearch 端点

使用 mc admin config get 命令列出部署中当前配置的 Elasticsearch 服务端点

mc admin config get ALIAS/ notify_elasticsearch

将 ALIAS 替换为 MinIO 部署的别名。

命令输出类似于以下内容

notify_elasticsearch:primary  queue_dir="" queue_limit="0"  url="https://user:password@hostname:port" format="namespace" index=""
notify_elasticsearch:secondary queue_dir="" queue_limit="0"  url="https://user:password@hostname:port" format="namespace" index=""

键 notify_elasticsearch 是 Elasticsearch 通知设置的顶级配置键。键 url 指定了给定 notify_elasticsearch 键的 Elasticsearch 服务端点。 notify_elasticsearch:<IDENTIFIER> 后缀描述了该 Elasticsearch 服务端点的唯一标识符。

注意下一步要更新的 Elasticsearch 服务端点的标识符。

2) 更新 Elasticsearch 端点

使用命令 mc admin config set 来设置 Elasticsearch 服务端点的新的配置

mc admin config set ALIAS/ notify_elasticsearch:<IDENTIFIER> \
   url="https://user:password@hostname:port" \
   index="<string>" \
   format="<string>" \
   username="<string>" \
   password="<string>" \
   queue_dir="<string>" \
   queue_limit="<string>" \
   comment="<string>"

配置设置 notify_elasticsearch url 是 Elasticsearch 服务端点所需的最小配置。所有其他配置设置都是可选的。有关 Elasticsearch 配置设置的完整列表，请参见 Elasticsearch 通知设置。

3) 重新启动 MinIO 部署

必须重启 MinIO 部署以应用配置更改。使用 mc admin service restart 命令重启部署。

mc admin service restart ALIAS

将 ALIAS 替换为要重启的部署的别名。

在启动时，minio server 进程会为每个配置的 Elasticsearch 目标打印一行，类似于以下内容

SQS ARNs: arn:minio:sqs::primary:elasticsearch

4) 验证更改

对使用更新的 Elasticsearch 服务端点的事件配置的存储桶执行操作，并检查 Elasticsearch 服务中的通知数据。所需的行动取决于配置存储桶通知时指定的 events。

例如，如果存储桶通知配置包含 s3:ObjectCreated:Put 事件，则可以使用 mc cp 命令在存储桶中创建一个新对象，并触发通知。

mc cp ~/data/new-object.txt ALIAS/BUCKET

将事件发布到 Elasticsearch

将 Elasticsearch 端点添加到 MinIO 部署

先决条件

Elasticsearch v7.0 及更高版本

MinIO mc 命令行工具

1) 将 Elasticsearch 端点添加到 MinIO

2) 重启 MinIO 部署

3) 使用 Elasticsearch 端点作为目标配置存储桶通知

4) 验证配置的事件

在 MinIO 部署中更新 Elasticsearch 端点

先决条件

Elasticsearch v7.0 及更高版本

MinIO mc 命令行工具

1) 列出部署中配置的 Elasticsearch 端点

2) 更新 Elasticsearch 端点

3) 重新启动 MinIO 部署

4) 验证更改

MinIO `mc` 命令行工具

MinIO `mc` 命令行工具