将事件发布到 Elasticsearch

MinIO 支持将桶通知事件发布到Elasticsearch 服务端点。

MinIO 依赖于https://github.com/elastic/go-elasticsearch v7 项目用于 Elastic 连接。

将 Elasticsearch 端点添加到 MinIO 部署

以下步骤将为支持桶通知在 MinIO 部署中添加一个新的 Elasticsearch 服务端点。

先决条件

Elasticsearch v7.0 及更高版本

MinIO 依赖于https://github.com/olivere/elastic v7 项目用于 Elastic 连接。 elastic/v7 库专门针对 Elasticsearch v7.0，并且*与早期 Elasticsearch 版本不兼容*。

MinIO `mc` 命令行工具

本步骤使用mc 命令行工具来执行某些操作。请参见 mc 快速入门获取安装说明。

1) 将 Elasticsearch 端点添加到 MinIO

您可以使用环境变量*或*通过设置运行时配置设置来配置新的 Elasticsearch 服务端点。

环境变量

MinIO 支持使用环境变量指定 Elasticsearch 服务端点和相关的配置设置。 minio server 进程在下次启动时应用指定的设置。

以下示例代码设置与配置 Elasticsearch 服务端点相关的所有环境变量。必需的最小变量是

set MINIO_NOTIFY_ELASTICSEARCH_ENABLE_<IDENTIFIER>="on"
set MINIO_NOTIFY_ELASTICSEARCH_URL_<IDENTIFIER>="<ENDPOINT>"
set MINIO_NOTIFY_ELASTICSEARCH_INDEX_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_FORMAT_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_USERNAME_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_PASSWORD_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_QUEUE_DIR_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_QUEUE_LIMIT_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_COMMENT_<IDENTIFIER>="<string>"

将 <IDENTIFIER> 替换为 TARGET 服务端点的唯一描述性字符串。为与新目标服务端点相关的所有环境变量使用相同的 <IDENTIFIER> 值。以下示例假定标识符为 PRIMARY。

如果指定的 <IDENTIFIER> 与 MinIO 部署中的现有 Elasticsearch 服务端点匹配，则新设置将覆盖该端点的任何现有设置。使用 mc admin config get notify_elasticsearch 查看 MinIO 部署中当前配置的 Elasticsearch 端点。
将 <ENDPOINT> 替换为 Elasticsearch 服务端点的 URL。例如

请参阅用于存储桶通知的 Elasticsearch 服务，获取有关每个环境变量的完整文档。

配置设置

MinIO 支持使用 mc admin config set 命令和 notify_elasticsearch 配置键，在运行的 minio server 进程中添加或更新 Elasticsearch 端点。您必须重新启动 minio server 进程以应用任何新的或更新的配置设置。

以下示例代码设置与配置 Elasticsearch 服务端点相关的所有设置。必需的最小设置是

mc admin config set ALIAS/ notify_elasticsearch:IDENTIFIER \
   url="ENDPOINT" \
   index="<string>" \
   format="<string>" \
   username="<string>" \
   password="<string>" \
   queue_dir="<string>" \
   queue_limit="<string>" \
   comment="<string>"

将 IDENTIFIER 替换为 Elasticsearch 服务端点的唯一描述性字符串。此过程中的以下示例假定标识符为 PRIMARY。

如果指定的 IDENTIFIER 与 MinIO 部署中的现有 Elasticsearch 服务端点匹配，则新设置将覆盖该端点的任何现有设置。使用 mc admin config get notify_elasticsearch 查看 MinIO 部署中当前配置的 Elasticsearch 端点。
将 ENDPOINT 替换为 Elasticsearch 服务端点的 URL。例如

https://user:password@hostname:port

请参阅 Elasticsearch 存储桶通知配置设置，获取有关每个设置的完整文档。

2) 重新启动 MinIO 部署

您必须重新启动 MinIO 部署以应用配置更改。使用 mc admin service restart 命令重新启动部署。

mc admin service restart ALIAS

将 ALIAS 替换为要重新启动的部署的别名。

当 minio server 进程启动时，它将为每个配置的 Elasticsearch 目标打印一行，类似于以下内容

SQS ARNs: arn:minio:sqs::primary:elasticsearch

在使用关联的 Elasticsearch 部署作为目标配置存储桶通知时，您必须指定 ARN 资源。

确定存储桶通知的 ARN

您之前在创建端点时定义了要分配给存储桶通知目标 ARN 的 <IDENTIFIER>。以下步骤将返回部署中配置的 ARN。通过查找您指定的 <IDENTIFIER> 来确定之前创建的 ARN。

查看 JSON 输出

复制并运行以下命令，将 ALIAS 替换为部署的别名。
```
mc admin info --json ALIAS
```
在 JSON 输出中，查找键 info.sqsARN。

您需要的 ARN 是与您指定的 <IDENTIFIER> 匹配的该键的值。

例如，arn:minio:sqs::primary:elasticsearch。

使用 jq 解析 JSON 以获取该值

安装 jq
复制并运行以下命令，将 ALIAS 替换为部署的别名。
```
mc admin info --json ALIAS | jq  .info.sqsARN
```
这将返回用于通知的 ARN，例如 arn:minio:sqs::primary:elasticsearch

3) 使用 Elasticsearch 端点作为目标配置存储桶通知

使用 mc event add 命令添加一个新的存储桶通知事件，并将配置的 Elasticsearch 服务作为目标

mc event add ALIAS/BUCKET arn:minio:sqs::primary:elasticsearch \
  --event EVENTS

将 ALIAS 替换为 MinIO 部署的别名。
将 BUCKET 替换为要在其中配置事件的存储桶名称。
将 EVENTS 替换为事件的逗号分隔列表，对于这些事件，MinIO 将触发通知。

使用 mc event ls 查看为给定通知目标配置的所有存储桶事件

mc event ls ALIAS/BUCKET arn:minio:sqs::primary:elasticsearch

4) 验证配置的事件

对您为其配置了新事件的存储桶执行操作，并检查 Elasticsearch 服务以获取通知数据。所需的行动取决于在配置存储桶通知时指定的 事件。

例如，如果存储桶通知配置包含 s3:ObjectCreated:Put 事件，您可以使用 mc cp 命令在存储桶中创建一个新对象并触发通知。

mc cp ~/data/new-object.txt ALIAS/BUCKET

在 MinIO 部署中更新 Elasticsearch 端点

以下过程更新了现有的 Elasticsearch 服务端点，以支持 MinIO 部署中的存储桶通知。

先决条件

Elasticsearch v7.0 及更高版本

MinIO 依赖于https://github.com/olivere/elastic v7 项目用于 Elastic 连接。 elastic/v7 库专门针对 Elasticsearch v7.0，并且*与早期 Elasticsearch 版本不兼容*。

MinIO `mc` 命令行工具

本步骤使用mc 命令行工具来执行某些操作。请参见 mc 快速入门获取安装说明。

1) 列出部署中配置的 Elasticsearch 端点

使用 mc admin config get 命令列出部署中当前配置的 Elasticsearch 服务端点

mc admin config get ALIAS/ notify_elasticsearch

将 ALIAS 替换为 MinIO 部署的别名。

命令输出类似于以下内容

notify_elasticsearch:primary  queue_dir="" queue_limit="0"  url="https://user:password@hostname:port" format="namespace" index=""
notify_elasticsearch:secondary queue_dir="" queue_limit="0"  url="https://user:password@hostname:port" format="namespace" index=""

该 notify_elasticsearch 键是 Elasticsearch 通知设置的顶级配置键。该 url 键为给定的 notify_elasticsearch 键指定 Elasticsearch 服务端点。该 notify_elasticsearch:<IDENTIFIER> 后缀描述了该 Elasticsearch 服务端点的唯一标识符。

注意要为下一步更新的 Elasticsearch 服务端点的标识符。

2) 更新 Elasticsearch 端点

使用 mc admin config set 命令设置 Elasticsearch 服务端点的新的配置

mc admin config set ALIAS/ notify_elasticsearch:<IDENTIFIER> \
   url="https://user:password@hostname:port" \
   index="<string>" \
   format="<string>" \
   username="<string>" \
   password="<string>" \
   queue_dir="<string>" \
   queue_limit="<string>" \
   comment="<string>"

配置设置 notify_elasticsearch url 是 Elasticsearch 服务端点的最低要求。所有其他配置设置都是可选的。有关 Elasticsearch 配置设置的完整列表，请参见 Elasticsearch 通知设置。

3) 重新启动 MinIO 部署

您必须重新启动 MinIO 部署以应用配置更改。使用 mc admin service restart 命令重新启动部署。

mc admin service restart ALIAS

将 ALIAS 替换为要重新启动的部署的别名。

当 minio server 进程启动时，它将为每个配置的 Elasticsearch 目标打印一行，类似于以下内容

SQS ARNs: arn:minio:sqs::primary:elasticsearch

4) 验证更改

对使用更新的 Elasticsearch 服务端点的事件配置的存储桶执行操作，并检查 Elasticsearch 服务中的通知数据。所需的行动取决于在配置存储桶通知时指定了哪些 events。

例如，如果存储桶通知配置包含 s3:ObjectCreated:Put 事件，您可以使用 mc cp 命令在存储桶中创建一个新对象并触发通知。

mc cp ~/data/new-object.txt ALIAS/BUCKET

将事件发布到 Elasticsearch

将 Elasticsearch 端点添加到 MinIO 部署

先决条件

Elasticsearch v7.0 及更高版本

MinIO mc 命令行工具

1) 将 Elasticsearch 端点添加到 MinIO

2) 重新启动 MinIO 部署

3) 使用 Elasticsearch 端点作为目标配置存储桶通知

4) 验证配置的事件

在 MinIO 部署中更新 Elasticsearch 端点

先决条件

Elasticsearch v7.0 及更高版本

MinIO mc 命令行工具

1) 列出部署中配置的 Elasticsearch 端点

2) 更新 Elasticsearch 端点

3) 重新启动 MinIO 部署

4) 验证更改

MinIO `mc` 命令行工具

MinIO `mc` 命令行工具