【经验】DapuStor针对FIO历史版本中固有问题进行修复的经验

时间： 2022-11-22 来源：DapuStor公众号

SSD性能测试第一神器——FIO，对于SSD性能测试来说，最好的工具莫过于FIO了。FIO是Jens Axboe开发的一个开源测试工具，功能非常强大，主流Linux发行版的软件仓库一般都有FIO，如果没有或者版本太老，可以通过https://github.com/axboe/FIO下载最新版本源代码编译安装。进入代码主目录，输入命令（./configure; make && make install）就编译安装完成了。

我们将简要介绍DapuStor在最近使用FIO过程中，发现并解决的一个FIO历史版本中存在的固有问题。该问题的解决方案已提交FIO github库，并成功被采纳，目前已合入：

下面我

（https://github.com/axboe/fio/pull/1479）

使用FIO测试PCIe 5.0 SSD性能过程中发现问题

我们日常的SSD性能测试过程中，一般会关闭CPU超线程和通过cpus_allowed参数绑定FIO测试进程的CPU，这样测试的结果会更加稳定和可复现。然而在使用过程中遇到了新的问题，在特定的系统环境下，设置cpus_allowed会导致FIO报错退出。

下图为某运行于Intel i9-12900K的Linux系统，设置关闭超线程以后的lscpu输出：

从上图中可以看出On-line CPU(s) list 为 0,2,4,6,8,10,12,14,16-19不连续的数字组成，总共12个可用CPU。

当设置参数cpus_allowed=14运行FIO时，FIO就会报错，无法启动测试，报错信息如下：

DapuStor工程师的解决方案

根据上图的报错信息，在FIO的代码中全局搜索too large，我们可以找到报错的代码位置为set_cpus_allowed这个函数。

进一步分析可以看出该函数使用sysconf(_SC_NPROCESSORS_ONLN) - 1作为CPU ID的最大值。

通过man sysconf查询文档，我们发现_SC_NPROCESSORS_ONLN并不适用，改用_SC_NPROCESSORS_CONF更适合用于cpus_allowed的参数校验逻辑。_SC_NPROCESSORS_ONLN指的是online CPUs个数，在当前Linux系统中只有12个online CPUs，但可用CPU ID为0,2,4,6,8,10,12,14,16-19中的任意值，所以存在CPU ID大于cpus_online - 1的个数的情况。而_SC_NPROCESSORS_CONF指的是操作系统可配置的最大CPU个数。

为了确认上述分析，我们写了简单的打印程序，可以看出当前系统的_SC_NPROCESSORS_ONLN对应的返回值为12，_SC_NPROCESSORS_CONF对应的返回值为20。

我们将sysconf参数_SC_NPROCESSORS_ONLN替换为_SC_NPROCESSORS_CONF之后，重新编译FIO，就可以正常使用参数cpus_allowed=14运行FIO了。

基于以上分析，我们的工程师对FIO的代码做了修改，向FIO提交了github pull request：https://github.com/axboe/FIO/pull/1479。经过社区讨论和历史遗留代码清理之后，该提交已经被合入。

DapuStor积极共建开源生态

DapuStor一直是开源技术的支持者，先后加入了阿里云PolarDB、openEuler等开源社区，开源的平台让我们享用了无数工程师们的成果分享和贡献，同时DapuStor也作为开源生态的参与者和贡献者，积极投入其中持续推动开放基础设施生态的发展，希望未来继续以领先的技术和开放的姿态拥抱数字时代的新价值，与行业擦出更多创新的火花，构建了繁荣的开放生态体系。