硬件清单

网络

MinIO 建议使用高速网络来支持所连接存储（聚合驱动器、存储控制器和 PCIe 总线）的最大可能吞吐量。下表提供了给定物理或虚拟网络接口支持的最大存储吞吐量的通用指南。此表假设所有网络基础设施组件（例如路由器、交换机和物理电缆）也支持网卡带宽。

网络对 MinIO 性能的影响最大，其中每主机带宽低会人为地限制存储的潜在性能。以下网络吞吐量约束示例假设旋转磁盘具有约 100MB/S 的持续 I/O

• 1GbE 网络链路最多可支持 125MB/s，或一个旋转磁盘

• 10GbE 网络可支持约 1.25GB/s，潜在地支持 10-12 个旋转磁盘

• 25GbE 网络可支持约 3.125GB/s，潜在地支持约 30 个旋转磁盘

内存

内存主要限制每个节点并发连接的最大数量。

您可以使用以下公式计算每个节点的最大并发请求数

\(totalRam / ramPerRequest\)

要计算每个请求使用的 RAM 量，请使用以下公式

\(((2MiB + 128KiB) * driveCount) + (2 * 10MiB) + (2 * 1 MiB)\)

10MiB 是默认的擦除块大小 v1。1 MiB 是默认的擦除块大小 v2。

下表列出了基于主机驱动器数量和可用系统 RAM 的节点上的最大并发请求

下表提供了根据节点上的本地存储总量分配 MinIO 使用内存的通用指南

存储

mkfs.xfs /dev/sdb -L MINIODRIVE1
mkfs.xfs /dev/sdc -L MINIODRIVE2
mkfs.xfs /dev/sdd -L MINIODRIVE3
mkfs.xfs /dev/sde -L MINIODRIVE4

$ nano /etc/fstab

# <file system>        <mount point>    <type>  <options>         <dump>  <pass>
LABEL=MINIODRIVE1      /mnt/drive-1     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE2      /mnt/drive-2     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE3      /mnt/drive-3     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE4      /mnt/drive-4     xfs     defaults,noatime  0       2

#!/bin/bash

for i in $(df -h | grep /mnt/drive | awk '{ print $1 }'); do
      mountPath="$(df -h | grep $i | awk '{ print $6 }')"
      deviceName="$(basename $i)"
      echo "Modifying xfs max_retries and retry_timeout_seconds for drive $i mounted at $mountPath"
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/EIO/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/ENOSPC/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/default/max_retries
done
exit 0

@reboot /opt/minio/xfs-retry-settings.sh

MinIO 诊断

运行内置的健康诊断工具。如果您有权访问SUBNET，您可以将结果上传到那里。

mc support diag ALIAS --airgap

将ALIAS替换为为部署定义的alias。

MinIO支持诊断工具

对于已在MinIO SUBNET上注册的部署，您可以运行内置的支持诊断工具。

运行三个mc support perf测试。

这些服务器端测试验证网络、驱动器和对象吞吐量。使用默认选项运行所有三个测试。

1. 网络测试

   在别名为minio1的集群上运行网络吞吐量测试。

   mc support perf net minio1
   

2. 驱动器测试

   在别名为minio1的集群的所有节点上的所有驱动器上运行驱动器读/写性能测量。该命令使用默认的4MiB块大小。

   mc support perf drive minio1
   

3. 对象测试

   测量别名为minio1的对象的S3读/写性能。MinIO自动调整并发性以获得最大吞吐量和IOPS（每秒输入/输出次数）。

   mc support perf object minio1
   

操作系统诊断工具

如果您无法运行mc support diag或结果显示意外结果，您可以使用操作系统的默认工具。

测试所有服务器上每个驱动器的独立性能，以确保它们的性能相同。使用这些操作系统级工具的结果来验证存储硬件的功能。记录结果以备后用。

1. 测试驱动器在写入操作期间的性能

   此测试检查驱动器写入新数据（未缓存）到驱动器的能力，方法是创建指定数量的块，每次最多创建一定数量的字节，以模拟驱动器在写入未缓存数据时的功能。这使您可以查看具有持续文件I/O的实际驱动器性能。

   dd if=/dev/zero of=/mnt/driveN/testfile bs=128k count=80000 oflag=direct conv=fdatasync > dd-write-drive1.txt
   

   将driveN替换为要测试的驱动器的路径。

   dd	复制粘贴数据的命令。
   if=/dev/zero	从/dev/zero读取，这是一个系统生成的无限的0字节流，用于创建指定大小的文件
   of=/mnt/driveN/testfile	写入/mnt/driveN/testfile
   bs=128k	一次写入最多128,000字节
   count=80000	写入最多80000个数据块
   oflag=direct	使用直接I/O写入以避免数据缓存
   conv=fdatasync	在完成之前物理写入输出文件数据
   > dd-write-drive1.txt	将操作输出的内容写入当前工作目录中的dd-write-drive1.txt

   该操作返回写入的文件数量、写入的总大小（以字节为单位）、操作的总持续时间（以秒为单位）以及写入速度（以每秒某个字节顺序为单位）。

2. 测试驱动器在读取操作期间的性能

   dd if=/mnt/driveN/testfile of=/dev/null bs=128k iflag=direct > dd-read-drive1.txt
   

   将driveN替换为要测试的驱动器的路径。

   dd	复制粘贴数据的命令
   if=/mnt/driveN/testfile	从/mnt/driveN/testfile读取；替换为用于测试驱动器读取性能的文件的路径
   of=/dev/null	写入/dev/null，一个虚拟文件，在操作完成后不会持久化
   bs=128k	一次写入最多128,000字节
   count=80000	写入最多80000个数据块
   iflag=direct	使用直接I/O读取并避免数据缓存
   > dd-read-drive1.txt	将操作输出的内容写入当前工作目录中的dd-read-drive1.txt

   使用一个足够大的文件来模拟部署的主要用例，以获得准确的读取测试结果。

   以下指南可能有助于性能测试

   • 小文件：< 128KB

   • 普通文件：128KB – 1GB

   • 大文件：> 1GB

   您可以使用head命令创建要使用的文件。以下命令示例创建一个名为testfile的10GB文件。

   head -c 10G </dev/urandom > testfile
   

   该操作返回读取的文件数量、读取的总大小（以字节为单位）、操作的总持续时间（以秒为单位）以及读取速度（以每秒字节为单位）。

第三方诊断工具

IO控制器测试

使用IOzone测试输入/输出控制器和所有驱动器的组合。记录部署中每台服务器的性能数据。

iozone -s 1g -r 4m -i 0 -i 1 -i 2 -I -t 160 -F /mnt/sdb1/tmpfile.{1..16} /mnt/sdc1/tmpfile.{1..16} /mnt/sdd1/tmpfile.{1..16} /mnt/sde1/tmpfile.{1..16} /mnt/sdf1/tmpfile.{1..16} /mnt/sdg1/tmpfile.{1..16} /mnt/sdh1/tmpfile.{1..16} /mnt/sdi1/tmpfile.{1..16} /mnt/sdj1/tmpfile.{1..16} /mnt/sdk1/tmpfile.{1..16} > iozone.txt