RedHat+MPI+SSH科学集群安装指南

色胃康胶囊

　　1.系统配置
　　CPU --- AMD athlon 1G；AMD athlon 1.1G
　　RAM --- SDRAM 768M；DDR 256M
　　OS --- RedHat linux 7.3，2.4.18
　　MPI --- mpich 1.2.4，http://www-unix.mcs.anl.gov/mpi/mpich源码下载
　　网络 --- 100M realtek8139，百兆交换机
　　2.linux安装
　　安装过程就不多说了。唯一需要注意的是安装时，要把SSH选为可信赖的服务。安装以后，应该保证各节点之间能够用ssh相互登录。每个节点的sshd都应 该能正常提供服务。Redhat  7.x对各服务的控制其实是通过在ipchains里面对各个端口进行访问控制来实现的，而不是使用tcp-wrapper的hosts.allow和 hosts.deny文件来进行控制。如果安装系统后，别的机器无法用ssh登录，则可以用ipchains -L命令查看ipchains  rules，进行正确的配置，使得ssh服务正常工作。若你对系统安全不是太在乎，则可以使用ipchains -F命令将所有的规则清空。
　　主机名：shallow  sea
　　● 修改/etc/hosts文件，将所有节点名称及其ip地址填入。例如：
　　211.64.128.129 shallow
　　211.64.128.217 sea
　　每个节点都进行类似的配置。这样做的目的是使节点之间能够通过shallow和sea的名称相互访问。你可以通过ping noden 或 ssh noden进行测试。
　　● 修改(或创建)/etc/hosts.equiv文件
　　将所有你允许访问本机进行mpi计算的机器名填入，一行一个机器名。这一步是为了使节点对其它的节点放权。
　　例如，我的机器shallow的/etc/hosts.equiv文件是这样的：
　　shallow #给自己放权，这样在只有一台机器时也可以模拟并行计算环境
　　sea
　　在sea的/etc/hosts.equiv文件：
　　shallow #对shallow放权
　　sea
　　● 使用nfs共享文件
　　首先决定一个用于启动集群计算的用户名，不提倡使用root进行集群计算。这里在每个节点上建立新用户mpi，他们的主目录都是/home/mpi，假设用sea做为计算的服务节点，在sea上建立~/mirror，修改文件/etc/exports，在其中增加一行：
　　/home/mpi/mirror shallow(rw) sea(rw)
　　使得机器shallow和sea的用户可以使用/home/mpi/mirror。在其他节点shallow也建立/home/mpi/mirror，在/etc/fstab文件中增加一行：
　　sea:/home/mpi/mirror /home/mpi/mirror nfs rw,bg,soft 0 0
　　这样节点shallow即可使用mirror与sea共享文件。
　　● 修改~/.bash_profile文件
　　建议把将来计算程序放在相同的路径上，当然也可以不放在同一个目录下面，但是用起来比较麻烦，需要一一指定每个节点程序的路径。譬如你的程序为：fpi.f和a.out，把a.out放在~/mpi/mirror/下即可。
　　修改~/.bash_profile文件，主要是加入下列几行脚本：
　　export PATH=$PATH:/usr/local/mpich/bin
　　export MPI_USEP4SSPORT=yes
　　export MPI_P4SSPORT=22
　　export P4_RSHCOMMAND=ssh
　　这里我们预定了将来mpich的运行环境安装在目录/usr/local/mpich下面。其余的三个变量是用来通知mpi运行环境采用ssh来作为远程shell。
　　linux的运行环境到此就配置完毕了。
　　3.配置ssh
　　以设定的用于启动mpi计算的用户登录，运行ssh-keygen -t dsa(SSH2)或是ssh-keygen -t rsa1(SSH1)  ，这将生成一个私有/公开密钥对，分别存放在~/.ssh/id_dsa和~/.ssh/id_dsa.pub或是~/.ssh/identity和~ /.ssh/identity.pub文件中。然后进行访问授权，运行：
　　cp ~/.ssh/identity.pub ~/.ssh/authorized_keys 或是cp ~/.ssh/id-dsa.pub ~/.ssh/authorized_keys2
　　chmod go-rwx ~/.ssh/authorized_keys或是chmod go-rwx ~/.ssh/authorized_keys2
　　ssh-agent $SHELL
　　ssh-add
　　在每个节点干一遍。将所有节点的密钥authorized_keys或是authorized_keys2收集起来，放到一个密钥文件中，然后分发到各个 节点。这样做的目的是使各节点相互之间访问无需输入密码。在每个节点登录其它节点，ssh  shallow，则在~/.ssh/下生成一个known_hosts文件，里面记录登录用户密钥。
　　4.下载、编译、安装mpich 1.2.3
　　下载最新的mpich 1.2.4：ftp://ftp.mcs.anl.gov/pub/mpi/mpich.tar.gz。拷贝到一个临时目录下，我放在/home/mpi/mirror下了。
　　首先，用tar xvfz mpich.tar.gz解压。生成mpich-1.2.4目录。 切换到mpich-1.2.4目录。运行预处理：
　　./configure -c++=pgCC -cc=pgcc -fc=pgf77 -f90=pgf90 \
　　 -cflags="-Msignextend -tp athlon -DUSE_U_INT_FOR_XDR -DHAVE_RPC_RPC_H=1" \
　　 -fflags="-tp athlon" -c++flags="-tp athlon" -f90flags="-tp athlon"\
　　 -prefix=/usr/local/mpich -opt=-fast -rsh=ssh
　　我采用了Portland Group的编译器，因此需要在预处理时指定使用的编译器和常用的选项，-tp athlon为AMD  athlon产生代码。mpich的安装位置为/usr/local/mpich，运行环境的远程shell为ssh。 -DUSE_U_INT_FOR_XDR -DHAVE_RPC_RPC_H=1在有的系统上不需要。
　　有时候需要设置环境变量：
　　setenv LIBS "-L/usr/local/pgi/linux86/lib -lpgftnrtl -lpgc"
　　编译：make
　　安装：make install
　　修改文件/usr/local/mpich/share/util/machines/machines.LINUX。指定可供集群计算的节点，我的是这个样子的：
　　shallow
　　sea
　　若是多CPU计算机，需要在节点名称后用:num加以说明。
　　每个节点都这样干一遍。
　　5. 测试并行计算
　　以设定的用户登录(我的是mpi)sea，将mpich-1.2.4/examples/basic/fpi.f文件拷贝到~/mpi/mirror下，编译：mpif77 fpi.f，生成a.out文件，运行：
　　mpirun -np 2 a.out
　　这里采用2个节点进行计算。进行ssh连接后，程序等待输入，这时可以在节点机上用命令：
　　ps -A | grep aout
　　查看进程，应该能看到数个fpi进程，其中第一个是本机所执行的进程，其它的是异地进程镜像。在sea上输入一个整值，再次在各节点上执行
　　ps -A | grep a.out
　　可以发现计算时间在不断增长，表明计算的确是在多台主机上同时进行的。 至此，整个安装配置过程结束，如果有问题，多看看mpich手册都可以解决。