硬件清单

网络

MinIO 建议使用高速网络来支持连接的存储（聚合驱动器、存储控制器和 PCIe 总线）的最大吞吐量。下表提供了给定物理或虚拟网络接口支持的最大存储吞吐量的通用指南。该表假设所有网络基础设施组件（如路由器、交换机和物理布线）也支持 NIC 带宽。

网络对 MinIO 性能的影响最大，低主机带宽会人为地限制存储的潜在性能。以下网络吞吐量限制示例假设旋转磁盘具有约 100MB/S 的持续 I/O

• 1GbE 网络链路最多可支持 125MB/s，或一个旋转磁盘

• 10GbE 网络可支持约 1.25GB/s，可能支持 10-12 个旋转磁盘

• 25GbE 网络可支持约 3.125GB/s，可能支持约 30 个旋转磁盘

内存

内存主要限制每个节点的并发连接数。

您可以使用以下公式计算每个节点的最大并发请求数

\(totalRam / ramPerRequest\)

要计算每个请求使用的 RAM 量，请使用以下公式

\(((2MiB + 128KiB) * driveCount) + (2 * 10MiB) + (2 * 1 MiB)\)

10MiB 是默认的擦除块大小 v1。1 MiB 是默认的擦除块大小 v2。

下表列出了基于主机驱动器数量和可用系统 RAM 的节点上的最大并发请求

下表提供了基于节点上的总本地存储量分配用于 MinIO 的内存的通用指南

存储

mkfs.xfs /dev/sdb -L MINIODRIVE1
mkfs.xfs /dev/sdc -L MINIODRIVE2
mkfs.xfs /dev/sdd -L MINIODRIVE3
mkfs.xfs /dev/sde -L MINIODRIVE4

$ nano /etc/fstab

# <file system>        <mount point>    <type>  <options>         <dump>  <pass>
LABEL=MINIODRIVE1      /mnt/drive-1     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE2      /mnt/drive-2     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE3      /mnt/drive-3     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE4      /mnt/drive-4     xfs     defaults,noatime  0       2

#!/bin/bash

for i in $(df -h | grep /mnt/drive | awk '{ print $1 }'); do
      mountPath="$(df -h | grep $i | awk '{ print $6 }')"
      deviceName="$(basename $i)"
      echo "Modifying xfs max_retries and retry_timeout_seconds for drive $i mounted at $mountPath"
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/EIO/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/ENOSPC/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/default/max_retries
done
exit 0

@reboot /opt/minio/xfs-retry-settings.sh

MinIO 诊断

运行内置的健康诊断工具。如果您有权访问 SUBNET，您可以将结果上传到那里。

mc support diag ALIAS --airgap

将 ALIAS 替换为为部署定义的 alias。

MinIO 支持诊断工具

对于已注册 MinIO SUBNET 的部署，您可以运行内置的支持诊断工具。

运行三个 mc support perf 测试。

这些服务器端测试验证网络、驱动器和对象吞吐量。使用默认选项运行所有三个测试。

1. 网络测试

   在别名为 minio1 的集群上运行网络吞吐量测试。

   mc support perf net minio1
   

2. 驱动器测试

   在别名为 minio1 的集群中，对所有节点上的所有驱动器运行驱动器读/写性能测量。该命令使用默认的 4MiB 块大小。

   mc support perf drive minio1
   

3. 对象测试

   测量别名为 minio1 的对象上的 S3 读/写性能。MinIO 自动调整并发性以获得最大吞吐量和 IOPS（每秒输入/输出操作）。

   mc support perf object minio1
   

操作系统诊断工具

如果您无法运行 mc support diag 或结果显示意外结果，您可以使用操作系统的默认工具。

独立测试所有服务器上的每个驱动器，以确保它们在性能上是相同的。使用这些操作系统级工具的结果来验证存储硬件的功能。记录结果以供将来参考。

1. 测试驱动器在写入操作期间的性能

   此测试通过创建指定数量的块（每次最多一定数量的字节）来模拟驱动器在写入未缓存数据时的功能，从而检查驱动器将新数据（未缓存）写入驱动器的能力。这使您可以看到驱动器在一致的文件 I/O 时的实际性能。

   dd if=/dev/zero of=/mnt/driveN/testfile bs=128k count=80000 oflag=direct conv=fdatasync > dd-write-drive1.txt
   

   将 driveN 替换为要测试的驱动器的路径。

   dd	用于复制和粘贴数据的命令。
   if=/dev/zero	从 /dev/zero 读取，这是一个系统生成的无限 0 字节流，用于创建指定大小的文件
   of=/mnt/driveN/testfile	写入 /mnt/driveN/testfile
   bs=128k	一次写入最多 128,000 字节
   count=80000	写入最多 80000 个数据块
   oflag=direct	使用直接 I/O 写入以避免数据来自缓存
   conv=fdatasync	在完成之前物理写入输出文件数据
   > dd-write-drive1.txt	将操作输出的内容写入当前工作目录中的 dd-write-drive1.txt

   该操作返回已写入的文件数量、已写入的总大小（以字节为单位）、操作的总持续时间（以秒为单位）以及写入速度（以每秒字节为单位）。

2. 测试驱动器在读取操作期间的性能

   dd if=/mnt/driveN/testfile of=/dev/null bs=128k iflag=direct > dd-read-drive1.txt
   

   将 driveN 替换为要测试的驱动器的路径。

   dd	用于复制和粘贴数据的命令
   if=/mnt/driveN/testfile	从 /mnt/driveN/testfile 读取；替换为要用于测试驱动器读取性能的文件的路径
   of=/dev/null	写入 /dev/null，这是一个虚拟文件，在操作完成后不会保留
   bs=128k	一次写入最多 128,000 字节
   count=80000	写入最多 80000 个数据块
   iflag=direct	使用直接 I/O 读取并避免数据来自缓存
   > dd-read-drive1.txt	将操作输出的内容写入当前工作目录中的 dd-read-drive1.txt

   使用一个足够大的文件来模拟部署的主要用例，以获得准确的读取测试结果。

   以下指南可能有助于性能测试

   • 小文件：< 128KB

   • 普通文件：128KB – 1GB

   • 大文件：> 1GB

   您可以使用 head 命令来创建一个要使用的文件。以下命令示例创建一个名为 testfile 的 10GB 文件。

   head -c 10G </dev/urandom > testfile
   

   该操作返回已读取的文件数量、已读取的总大小（以字节为单位）、操作的总持续时间（以秒为单位）以及读取速度（以每秒字节为单位）。

第三方诊断工具

IO 控制器测试

使用 IOzone 测试输入/输出控制器和所有驱动器组合。记录部署中每个服务器的性能数据。

iozone -s 1g -r 4m -i 0 -i 1 -i 2 -I -t 160 -F /mnt/sdb1/tmpfile.{1..16} /mnt/sdc1/tmpfile.{1..16} /mnt/sdd1/tmpfile.{1..16} /mnt/sde1/tmpfile.{1..16} /mnt/sdf1/tmpfile.{1..16} /mnt/sdg1/tmpfile.{1..16} /mnt/sdh1/tmpfile.{1..16} /mnt/sdi1/tmpfile.{1..16} /mnt/sdj1/tmpfile.{1..16} /mnt/sdk1/tmpfile.{1..16} > iozone.txt