1. 环境准备:打造LSF集群的基石
部署IBM Spectrum LSF社区版的第一步,就是做好基础环境配置。这部分工作看似简单,但就像盖房子打地基一样,任何疏漏都会导致后续步骤出现问题。我在实际部署中遇到过不少因为环境配置不当引发的"灵异事件",比如节点间通信失败、权限拒绝等,往往都是这些基础工作没做到位。
1.1 系统安全配置调整
生产环境中,我们通常需要关闭SELinux和防火墙以确保集群节点间的无障碍通信。执行以下命令永久禁用SELinux:
bash复制sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
然后关闭并禁用firewalld服务:
bash复制systemctl stop firewalld
systemctl disable firewalld
这里有个小技巧:修改完SELinux配置后,建议直接重启系统而不是仅仅设置permissive模式。我遇到过系统在permissive模式下仍然拦截某些操作的情况,导致集群通信异常。
1.2 主机名与静态解析配置
集群中所有节点都需要正确配置主机名和静态解析。首先为每个节点设置主机名:
bash复制hostnamectl set-hostname master # 在主节点执行
hostnamectl set-hostname node01 # 在第一个计算节点执行
hostnamectl set-hostname node02 # 在第二个计算节点执行
然后在所有节点的/etc/hosts文件中添加如下内容:
code复制10.4.7.139 master
10.4.7.140 node01
10.4.7.141 node02
特别注意:在生产环境中,强烈建议使用DNS服务而不是静态hosts文件。但如果是测试环境或小型集群,静态解析更加简单直接。我在一个20节点的集群中就因为hosts文件不同步导致过节点无法识别的问题。
1.3 专用用户创建
为LSF创建专用管理用户是个好习惯:
bash复制useradd -m lsfadmin
这个用户将用于集群管理和作业提交。在实际项目中,我建议进一步设置用户组和权限,比如创建一个lsfusers组,把需要提交作业的用户都加入这个组。
1.4 SSH免密登录配置
集群节点间的SSH免密登录是必须的。首先生成SSH密钥:
bash复制ssh-keygen -t rsa -b 4096
然后将公钥复制到所有节点(包括本机):
bash复制ssh-copy-id lsfadmin@master
ssh-copy-id lsfadmin@node01
ssh
