硬件清单

网络

MinIO 建议使用高速网络以支持所连接存储的最大吞吐量（聚合驱动器、存储控制器和 PCIe 总线）。下表提供了一个关于给定物理或虚拟网络接口支持的最大存储吞吐量的通用指南。此表假设所有网络基础设施组件（如路由器、交换机和物理布线）也支持 NIC 带宽。

网络对 MinIO 性能的影响最大，其中每主机带宽较低会人为地限制存储的潜在性能。以下网络吞吐量约束示例假设旋转磁盘的持续 I/O 约为 100MB/S

• 1GbE 网络链路最多可支持 125MB/s，或一个旋转磁盘

• 10GbE 网络可支持约 1.25GB/s，可能支持 10-12 个旋转磁盘

• 25GbE 网络可支持约 3.125GB/s，可能支持约 30 个旋转磁盘

内存

内存主要限制每个节点的并发连接数。

您可以使用以下公式计算每个节点的最大并发请求数

\(totalRam / ramPerRequest\)

要计算每个请求使用的 RAM 量，请使用以下公式

\(((2MiB + 128KiB) * driveCount) + (2 * 10MiB) + (2 * 1 MiB)\)

10MiB 是默认的擦除块大小 v1。1 MiB 是默认的擦除块大小 v2。

下表列出了基于主机驱动器数量和可用系统 RAM 的节点上的最大并发请求数

下表提供了一些关于根据节点上的本地存储总量分配用于 MinIO 的内存的通用指南

存储

mkfs.xfs /dev/sdb -L MINIODRIVE1
mkfs.xfs /dev/sdc -L MINIODRIVE2
mkfs.xfs /dev/sdd -L MINIODRIVE3
mkfs.xfs /dev/sde -L MINIODRIVE4

$ nano /etc/fstab

# <file system>        <mount point>    <type>  <options>         <dump>  <pass>
LABEL=MINIODRIVE1      /mnt/drive-1     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE2      /mnt/drive-2     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE3      /mnt/drive-3     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE4      /mnt/drive-4     xfs     defaults,noatime  0       2

#!/bin/bash

for i in $(df -h | grep /mnt/drive | awk '{ print $1 }'); do
      mountPath="$(df -h | grep $i | awk '{ print $6 }')"
      deviceName="$(basename $i)"
      echo "Modifying xfs max_retries and retry_timeout_seconds for drive $i mounted at $mountPath"
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/EIO/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/ENOSPC/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/default/max_retries
done
exit 0

@reboot /opt/minio/xfs-retry-settings.sh

MinIO 诊断

运行内置的健康诊断工具。如果您有权访问 SUBNET，您可以将结果上传到那里。

mc support diag ALIAS --airgap

将 ALIAS 替换为为部署定义的 alias。

MinIO 支持诊断工具

对于已在 MinIO SUBNET 上注册的部署，您可以运行内置的支持诊断工具。

运行三个 mc support perf 测试。

这些服务器端测试验证网络、驱动器和对象吞吐量。使用默认选项运行所有三个测试。

1. 网络测试

   对别名为 minio1 的集群运行网络吞吐量测试。

   mc support perf net minio1
   

2. 驱动器测试

   对别名为 minio1 的集群，运行所有节点上所有驱动器的驱动器读写性能测量。该命令使用默认的 4MiB 块大小。

   mc support perf drive minio1
   

3. 对象测试

   测量别名为 minio1 的对象上的 S3 读写性能。MinIO 自动调整并发性以获得最大吞吐量和 IOPS（每秒输入/输出操作）。

   mc support perf object minio1
   

操作系统诊断工具

如果您无法运行 mc support diag 或结果显示意外结果，您可以使用操作系统的默认工具。

独立测试所有服务器上的每个驱动器，以确保它们的性能相同。使用这些操作系统级工具的结果来验证存储硬件的功能。记录结果以备将来参考。

1. 测试驱动器在写入操作期间的性能

   此测试通过创建指定数量的块（一次最多一定数量的字节）来模拟驱动器在写入未缓存数据时的工作方式，从而检查驱动器将新数据（未缓存）写入驱动器的能力。这使您能够看到具有持续文件 I/O 的实际驱动器性能。

   dd if=/dev/zero of=/mnt/driveN/testfile bs=128k count=80000 oflag=direct conv=fdatasync > dd-write-drive1.txt
   

   将 driveN 替换为您要测试的驱动器的路径。

   dd	用于复制和粘贴数据的命令。
   if=/dev/zero	从 /dev/zero 读取，这是一个系统生成的无限 0 字节流，用于创建指定大小的文件
   of=/mnt/driveN/testfile	写入 /mnt/driveN/testfile
   bs=128k	一次写入最多 128,000 字节
   count=80000	写入最多 80000 个数据块
   oflag=direct	使用直接 I/O 写入以避免数据从缓存中获取
   conv=fdatasync	在完成之前实际写入输出文件数据
   > dd-write-drive1.txt	将操作输出的内容写入当前工作目录中的 dd-write-drive1.txt

   该操作按字节返回写入的文件数量、总写入大小、操作的总持续时间（以秒为单位）以及写入速度（以每秒字节数为单位）。

2. 测试驱动器在读取操作期间的性能

   dd if=/mnt/driveN/testfile of=/dev/null bs=128k iflag=direct > dd-read-drive1.txt
   

   将 driveN 替换为您要测试的驱动器的路径。

   dd	用于复制和粘贴数据的命令
   if=/mnt/driveN/testfile	从 /mnt/driveN/testfile 读取；替换为用于测试驱动器读取性能的文件路径
   of=/dev/null	写入 /dev/null，这是一个虚拟文件，在操作完成后不会持久保存
   bs=128k	一次写入最多 128,000 字节
   count=80000	写入最多 80000 个数据块
   iflag=direct	使用直接 I/O 读取并避免数据从缓存中获取
   > dd-read-drive1.txt	将操作输出的内容写入当前工作目录中的 dd-read-drive1.txt

   使用足够大的文件来模拟您的部署的主要用例，以获得准确的读取测试结果。

   以下指南可能在性能测试期间有所帮助

   • 小文件：< 128KB

   • 普通文件：128KB – 1GB

   • 大文件：> 1GB

   您可以使用 head 命令创建一个要使用的文件。以下命令示例创建一个名为 testfile 的 10 GB 文件。

   head -c 10G </dev/urandom > testfile
   

   该操作返回读取的文件数量、总读取大小（以字节为单位）、操作的总持续时间（以秒为单位）以及读取速度（以每秒字节数为单位）。

第三方诊断工具

IO 控制器测试

使用 IOzone 测试输入/输出控制器和所有驱动器组合。记录部署中每个服务器的性能指标。

iozone -s 1g -r 4m -i 0 -i 1 -i 2 -I -t 160 -F /mnt/sdb1/tmpfile.{1..16} /mnt/sdc1/tmpfile.{1..16} /mnt/sdd1/tmpfile.{1..16} /mnt/sde1/tmpfile.{1..16} /mnt/sdf1/tmpfile.{1..16} /mnt/sdg1/tmpfile.{1..16} /mnt/sdh1/tmpfile.{1..16} /mnt/sdi1/tmpfile.{1..16} /mnt/sdj1/tmpfile.{1..16} /mnt/sdk1/tmpfile.{1..16} > iozone.txt