最近在处理 FPGA 与 BD Ring 交互时遇到了一个棘手的问题，即 FPGA 在某些情况下并没有按预期搬运描述符。进一步调查后，发现问题很可能与中断抑制策略有关。下面，我将分享一下排查和解决这个问题的过程，希望对遇到类似问题的开发者有所帮助。
背景
首先，先来了解一下主要术语：
FPGA（现场可编程门阵列），用于高性能计算和数据处理。
BD Ring（Buffer Descriptor Ring），用于管理内存中的缓冲区描述符。
中断抑制，一种优化策略，用于减少 CPU处理中断请求的频率，以提高系统的整体性能。
在高性能计算环境下，不当的中断抑制策略可能引发一些意外问题，比如 FPGA 在 BD Ring 上不搬运描述符。
排查步骤
1. 验证中断配置
首先，确保系统中针对 FPGA 的中断配置没有问题，包括中断向量、优先级。
2. 检查中断抑制策略
检查系统中的中断抑制策略是否合理，例如中断速率、NAPI（New API）配置等。
3. 验证 FPGA 固件
检查 FPGA 固件版本是否是最新的，并确定中断处理配置没有问题。
4. 使用调试工具
使用适当的调试工具查看中断的触发和处理情况。
排查方法
使用 /proc/interrupts 查看中断统计
通过查看系统当前的中断统计信息，我们可以了解是否存在中断抑制的问题。
cat /proc/interrupts
该命令输出的具体中断信息可以帮助识别是否存在中断抑制的问题，例如过高的中断计数或中断处理延迟。
检查中断速率控制
系统中的网卡设备可能已经配置了中断速率控制。我们可以使用 ethtool 工具来调整这些设置。
ethtool -C eth0 rx-usecs 0 rx-frames 0
上述命令禁用了网卡的中断抑制策略。
检查和调整系统参数
可以通过调整系统内核参数，适当缓解中断抑制对系统性能的影响。
sysctl -w net.core.netdev_budget=600
sysctl -w net.core.netdev_budget_usecs=5000
验证固件配置
确保 FPGA 固件配置正确；通常情况下，供应商会提供调试接口或工具查看具体配置，例如通过寄存器查看中断处理情况。
示例代码与伪代码
初始化中断处理
以下是初始化中断处理的伪代码示例：
void init_interrupt_handling() {
// 设置中断处理程序
setup_interrupt_handler();
// 启用中断 line 和 mask
enable_interrupt_line();
}
// 中断处理程序
void interrupt_handler(int irq, void *dev_id) {
if (irq == FPGA_IRQ) {
// 处理它
handle_fpga_interrupt();
}
}
检查和报告中断状态
以下是检查和报告中断状态的伪代码示例：
void check_interrupt_status() {
int interrupt_count = get_interrupt_count(FPGA_IRQ);
// 假设1000次是抑制的阈值
if (interrupt_count > 1000) {
fprintf(stderr, "High interrupt rate detected: %d\n", interrupt_count);
}
}
调节中断抑制策略
使用 ethtool 工具来配置网络设备的中断策略：
ethtool -C eth0 adaptive-rx off
ethtool -C eth0 rx-usecs 200
调试工具的使用
除了上述方法，还可以使用一些调试工具：
FPGA供应商工具：大多数FPGA供应商都会提供丰富的调试和诊断工具。
系统监控工具：如 top, htop, dstat 这些工具可以监控中断和系统负载。
网络工具：如 tcpdump, wireshark 可以监控网络流量。
结论
中断抑制问题需要从多个角度进行排查，包括系统配置、网络设置、中断策略以及硬件固件升级。通过合理配置和调试，可以解决FPGA在BD Ring上不搬运描述符的问题
