测验:Slurm 故障诊断
Munge decode failed: Expired credential 的原因和对策是?
- 节点时钟不一致——检查 NTP 同步
- 密钥不一致——重新部署密钥文件
- 权限问题——修正 munge.key 权限
- 网络问题——开放防火墙
节点状态 inval 表示什么?
- 配置的资源信息与节点报告的实际值不一致
- 节点无响应
- 管理员手工排除了节点
- 报告了硬件故障
作业在 squeue 中因 PartitionTimeLimit 等待。继续等会运行吗?
- 永远不会运行,必须修正请求时间后重新提交
- 资源空闲后运行
- 优先级提高后运行
- 下个调度周期运行
为什么 sinfo -R 很有用?
- 一览节点资源详情
- 同时显示整个作业队列
- 同时显示完整分区配置
- 只显示 DRAIN/DOWN 节点及其原因字符串
修改配置文件后必须做什么?
- 只重启 slurmctld
- 逐一重启所有计算节点
- 向所有节点部署同一文件并执行 scontrol reconfigure
- 取消所有运行中作业
修复原因后,用什么命令恢复 DRAIN 节点?
- scontrol reconfigure
- scontrol update NodeName=... State=RESUME
- sinfo -R
- systemctl restart slurmd