硬件清单

网络

MinIO 建议使用高速网络来支持所连接存储的最大吞吐量（聚合驱动器、存储控制器和 PCIe 总线）。下表提供了给定物理或虚拟网络接口支持的最大存储吞吐量的通用指南。此表假设所有网络基础设施组件（如路由器、交换机和物理布线）也支持网卡带宽。

网络对 MinIO 性能的影响最大，其中每个主机的低带宽会人为地限制存储的潜在性能。以下网络吞吐量约束示例假设旋转磁盘具有约 100MB/S 的持续 I/O

• 1GbE 网络链路最多可支持 125MB/s，或一个旋转磁盘

• 10GbE 网络可支持约 1.25GB/s，可能支持 10-12 个旋转磁盘

• 25GbE 网络可支持约 3.125GB/s，可能支持约 30 个旋转磁盘

内存

内存主要限制每个节点上并发连接的数量。

您可以使用以下公式计算每个节点上的最大并发请求数

\(totalRam / ramPerRequest\)

要计算每个请求使用的 RAM 量，请使用以下公式

\(((2MiB + 128KiB) * driveCount) + (2 * 10MiB) + (2 * 1 MiB)\)

10MiB 是默认的擦除块大小 v1。1 MiB 是默认的擦除块大小 v2。

下表列出了基于主机驱动器数量和可用系统 RAM 的节点上的最大并发请求数

下表提供了根据节点上本地存储的总量分配 MinIO 使用内存的通用指南

存储

mkfs.xfs /dev/sdb -L MINIODRIVE1
mkfs.xfs /dev/sdc -L MINIODRIVE2
mkfs.xfs /dev/sdd -L MINIODRIVE3
mkfs.xfs /dev/sde -L MINIODRIVE4

$ nano /etc/fstab

# <file system>        <mount point>    <type>  <options>         <dump>  <pass>
LABEL=MINIODRIVE1      /mnt/drive-1     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE2      /mnt/drive-2     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE3      /mnt/drive-3     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE4      /mnt/drive-4     xfs     defaults,noatime  0       2

#!/bin/bash

for i in $(df -h | grep /mnt/drive | awk '{ print $1 }'); do
      mountPath="$(df -h | grep $i | awk '{ print $6 }')"
      deviceName="$(basename $i)"
      echo "Modifying xfs max_retries and retry_timeout_seconds for drive $i mounted at $mountPath"
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/EIO/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/ENOSPC/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/default/max_retries
done
exit 0

@reboot /opt/minio/xfs-retry-settings.sh

MinIO 诊断

运行内置的健康诊断工具。如果您有权访问SUBNET，您可以将结果上传到那里。

mc support diag ALIAS --airgap

将 ALIAS 替换为为部署定义的alias。

MinIO 支持诊断工具

对于在 MinIO SUBNET 上注册的部署，您可以运行内置的支持诊断工具。

运行三个mc support perf 测试。

这些服务器端测试验证网络、驱动器和对象吞吐量。使用默认选项运行所有三个测试。

1. 网络测试

   在别名为 minio1 的集群上运行网络吞吐量测试。

   mc support perf net minio1
   

2. 驱动器测试

   在别名为 minio1 的集群的所有节点上的所有驱动器上运行驱动器读/写性能测量。该命令使用默认的 4MiB 块大小。

   mc support perf drive minio1
   

3. 对象测试

   测量别名为 minio1 的对象上的 S3 读/写性能。MinIO 自动调整并发性以获得最大吞吐量和 IOPS（每秒输入/输出次数）。

   mc support perf object minio1
   

操作系统诊断工具

如果您无法运行mc support diag 或结果显示意外结果，您可以使用操作系统的默认工具。

在所有服务器上独立测试每个驱动器，以确保它们的性能相同。使用这些操作系统级工具的结果来验证存储硬件的功能。记录结果以供日后参考。

1. 测试驱动器在写入操作期间的性能

   此测试检查驱动器写入新数据（未缓存）到驱动器的能力，方法是创建指定数量的块，每次最多写入一定数量的字节，以模拟驱动器在写入未缓存数据时的功能。这使您可以看到具有持续文件 I/O 的实际驱动器性能。

   dd if=/dev/zero of=/mnt/driveN/testfile bs=128k count=80000 oflag=direct conv=fdatasync > dd-write-drive1.txt
   

   将 driveN 替换为您正在测试的驱动器的路径。

   dd	复制和粘贴数据的命令。
   if=/dev/zero	从 /dev/zero 读取，这是一个系统生成的无限的 0 字节流，用于创建指定大小的文件
   of=/mnt/driveN/testfile	写入 /mnt/driveN/testfile
   bs=128k	每次写入最多 128,000 字节
   count=80000	写入最多 80000 个数据块
   oflag=direct	使用直接 I/O 写入以避免数据缓存
   conv=fdatasync	在完成之前物理写入输出文件数据
   > dd-write-drive1.txt	将操作输出的内容写入当前工作目录中的 dd-write-drive1.txt

   该操作返回写入的文件数量、写入的总大小（以字节为单位）、操作的总持续时间（以秒为单位）以及写入速度（以每秒某些字节顺序为单位）。

2. 测试驱动器在读取操作期间的性能

   dd if=/mnt/driveN/testfile of=/dev/null bs=128k iflag=direct > dd-read-drive1.txt
   

   将 driveN 替换为您正在测试的驱动器的路径。

   dd	复制和粘贴数据的命令
   if=/mnt/driveN/testfile	从 /mnt/driveN/testfile 读取；替换为用于测试驱动器读取性能的文件的路径
   of=/dev/null	写入 /dev/null，这是一个虚拟文件，在操作完成后不会持久化
   bs=128k	每次写入最多 128,000 字节
   count=80000	写入最多 80000 个数据块
   iflag=direct	使用直接 I/O 读取并避免数据缓存
   > dd-read-drive1.txt	将操作输出的内容写入当前工作目录中的 dd-read-drive1.txt

   使用一个足够大的文件来模拟部署的主要用例，以获得准确的读取测试结果。

   以下指南可能在性能测试期间有所帮助

   • 小文件：< 128KB

   • 普通文件：128KB – 1GB

   • 大文件：> 1GB

   您可以使用 head 命令创建要使用的文件。以下命令示例创建了一个名为 testfile 的 10GB 文件。

   head -c 10G </dev/urandom > testfile
   

   该操作返回读取的文件数量、读取的总大小（以字节为单位）、操作的总持续时间（以秒为单位）以及读取速度（以每秒字节为单位）。

第三方诊断工具

IO 控制器测试

使用IOzone 测试输入/输出控制器和所有驱动器的组合。记录部署中每个服务器的性能数据。

iozone -s 1g -r 4m -i 0 -i 1 -i 2 -I -t 160 -F /mnt/sdb1/tmpfile.{1..16} /mnt/sdc1/tmpfile.{1..16} /mnt/sdd1/tmpfile.{1..16} /mnt/sde1/tmpfile.{1..16} /mnt/sdf1/tmpfile.{1..16} /mnt/sdg1/tmpfile.{1..16} /mnt/sdh1/tmpfile.{1..16} /mnt/sdi1/tmpfile.{1..16} /mnt/sdj1/tmpfile.{1..16} /mnt/sdk1/tmpfile.{1..16} > iozone.txt