openfiler+vmware+oracle 11g rac 搭建
一、环境规划1、IP地址规划
IP地址
主机名
用途
实例名
192.168.12.54
oracle-rac01-db01
Public ip (节点1）
192.168.12.57
oracle-rac02-db02
Public ip(节点2）
192.168.12.70
rac01-db01-vip
vip(节点1）
racdb1 asm1
192.168.12.71
rac02-db02-vip
vip(节点2）
racdb2 asm1
192.168.12.72
SCANIP
Scan ip
racdb
172.168.12.54
rac01-db01-priv
Private ip (节点1）
172.168.12.57
rac02-db02-priv
Private ip (节点2）
172.168.12.76
Ip-san
存储ip
#Public ip
192.168.12.54oracle-rac01-db01
192.168.12.57oracle-rac02-db02
#vip
192.168.12.70rac01-db01-vip
192.168.12.71rac02-db02-vip
#private-vip
172.168.12.54 rac01-db01-priv
172.168.12.57 rac02-db02-priv
#Scan ip
192.168.12.72 SCANIP
2、操作系统版本
CentOS release 6.7
二、操作系统搭建
1、本地yum服务器搭建
a、安装createrepo包
b、修改配置文件（将文件上传服务器后修改权限）
2、配置时间同步（无需配置）
3、rpm检查
a、检查
rpm -q cloog-ppl compat-libcap1compat-libstdc++-33 cpp gcc gcc-c++ glibc-devel glibc-headers kernel-headersksh libXmu libXt libXv libXxf86dga libXxf86misc libXxf86vm libaio-devel libdmxlibstdc++-devel mpfr make ppl xorg-x11-utils xorg-x11-xauth
b、安装
yum install cloog-ppl compat-libcap1compat-libstdc++-33 cpp gcc gcc-c++ glibc-devel glibc-headers kernel-headersksh libXmu libXt libXv libXxf86dga libXxf86misc libXxf86vm libaio-devel libdmxlibstdc++-devel mpfr make ppl xorg-x11-utils xorg-x11-xauth
4、防火墙和selinux关闭
a、selinux关闭
root@ora ~]# vi /etc/sysconfig/selinux
SELINUX=disabled
# /usr/sbin/getenforce
Disabled
b、防火墙关闭
# serviceiptables stop
# chkconfig--level 123456 iptablesoff
5、linux连接vnc设置
一、服务器端设置
a、确定Linux已经安装了vnc-server
b、服务器需要开启vnc用户（注意每个用户都要运行vncpasswd)
#vncpasswd
# vi /etc/sysconfig/vncservers----（提前设置密码，否则报错）
VNCSERVERS="1:root 2:test"
VNCSERVERARGS="-geometry 800x600-nolisten tcp -localhost"
如果启用更多用户，则可以直接空格再继续同格式添加用户，
例，VNCSERVERS="1:root 2:test 3:user"
c、修改用户文件~/.vnc/xstartup注释掉最后一行：
#twm& 改为gnome-session &
d.重启vnc服务
servicevncserver restart
e.设置VNCServer自动启动
1).编辑/etc/sysconfig/vncservers配置文件：
取消VNCSERVERS所在行的注释，例如：VNCSERVERS="1:root"
其中，1表示桌面号，root表示启动用户，
如果要启动多个VNCServer，之间用空格隔开，例如：
VNCSERVERS="1:root2:oracle 3:grid"
f .自动启动vncserver服务
a).执行以下命令查看vncserver服务状态：
chkconfig--list vncserver
b).修改vncserver服务自动启动：
chkconfig--level 345 vncserver on
二、客户端连接
ip:端口号（5900+桌面号，密码为vncpasswd设置密码）
vncserver -kill :2
三、数据库集群安装与配置
1、新建操作系统相关用户
描述
OS 组名
分配给该组OS用户
Oracle 权限
Oracle 清单和软件所有者
oinstall
grid、oracle
Oracle 自动存储管理组
asmadmin
grid
SYSASM
ASM 数据库管理员组
asmdba
grid、oracle
ASM 的 SYSDBA
ASM 操作员组
asmoper
grid
ASM 的 SYSOPER
数据库管理员
dba
grid,oracle
SYSDBA
数据库操作员
oper
oracle
SYSOPER
新建组
/usr/sbin/groupadd -g 501 oinstall
/usr/sbin/groupadd -g 502 dba
/usr/sbin/groupadd-g 503 oper
/usr/sbin/groupadd -g 504 asmadmin
/usr/sbin/groupadd -g 505 asmoper
/usr/sbin/groupadd -g 506 asmdba
新建用户
/usr/sbin/useradd -g oinstall -G dba,asmdba,operoracle
/usr/sbin/useradd -g oinstall-G asmadmin,asmdba,asmoper,oper,dba grid
创建目录
mkdir -p /u01/app/grid
mkdir -p /u01/11.2.0/grid
mkdir -p /u01/app/oracle
mkdir -p /u01/app/oracle/product/11.2.0/db_1
chowngrid:oinstall /u01-R
chown -R oracle:oinstall /u01/app/oracle
chmod775 /u01/ -R
1、使用udev绑定方式，配置文件见文档
文件路径/etc/udev/rule.d/99-oracle-asmdevices.rules
/sbin/scsi_id --whitelisted--replace-whitespace --device=/dev/sdb-----盘符名称获取uuid
# /sbin/scsi_id--whitelisted --replace-whitespace --device=/dev/sdb
14f504e46494c450031556d7232542d4b416e362d4e624553
绑定格式
KERNEL=="sd*",BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted--replace-whitespace --device=/dev/$name",RESULT=="14f504e46494c45004272785573692d476441622d66676939",NAME="asm-diskdata1", OWNER="grid",GROUP="asmadmin", MODE="0660"
# ll /dev/sd*--------查看设备
# ll/dev/sd*
brw-rw----. 1 root disk 8, 0 May 30 08:13/dev/sda
brw-rw----. 1 root disk 8, 1 May 30 08:13/dev/sda1
brw-rw----. 1 root disk 8, 2 May 30 08:13/dev/sda2
brw-rw----. 1 root disk 8, 3 May 30 08:13/dev/sda3
# ll /dev/asm*-------查看绑定
brw-rw----. 1 grid asmadmin 8, 48 May 3008:13 /dev/asm-diskdata1
brw-rw----. 1 grid asmadmin 8, 80 May 30 08:13/dev/asm-diskdata3
brw-rw----. 1 grid asmadmin 8, 96 May 3008:13 /dev/asm-diskdata4
brw-rw----. 1 grid asmadmin 8, 64 May 3008:13 /dev/asm-diskdatar2
brw-rw----. 1 grid asmadmin 8, 32 May 3008:13 /dev/asm-fl
brw-rw----. 1 grid asmadmin 8, 16 May 3008:13 /dev/asm-ocr
scproot@192.168.12.54：/etc/udev/rule.d/99-oracle-asmdevices.rules
/etc/udev/rule.d/99-oracle-asmdevices.rules
修改环境变量
root
vi /etc/profile
#ORACLE SETTING
if [ $USER = "oracle" ] || [$USER = "grid" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
umask 022
fi
[root@rac02~]# source/etc/profile
2、配置用户环境变量
修改grid用户登录脚本
vi .bash_profile
#ORACLE_HOSTNAME=gzdb01;
#export ORACLE_HOSTNAME
ORACLE_BASE=/u01/app/grid;
export ORACLE_BASE
ORACLE_HOME=/u01/11.2.0/grid;
export ORACLE_HOME
ORACLE_SID=+ASM1;#<node2 为+ASM2>
export ORACLE_SID
PATH=$ORACLE_HOME/bin:$PATH;
export PATH
LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;
export LD_LIBRARY_PATH
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib;
export CLASSPATH
修改oracle用户登录脚本
#ORACLE_HOSTNAME=gzdb01;
#export ORACLE_HOSTNAME
ORACLE_UNQNAME=racdb;
export ORACLE_UNQNAME
ORACLE_BASE=/u01/app/oracle;
export ORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1;
export ORACLE_HOME
ORACLE_SID=racdb2; #<node2 为gzdb2>
export ORACLE_SID
PATH=$ORACLE_HOME/bin:$PATH;
export PATH
LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;
export LD_LIBRARY_PATH
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib;
export CLASSPATH
3、修改操作系统参
修改内核参数
vi /etc/sysctl.conf
#ORACLE SETTING
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 8388608
kernel.shmmax = 536870912
kernel.shmmax = 1073741824
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 900065500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586
在修改完内核参数后，确保运行以下命令，以使修改立即生效，否则可能在检查CRS可用性时，会检查失败。
#/sbin/sysctl -p
配置shell limit
vi /etc/security/limits.conf
添加以下内容
#ORACLE SETTING
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
vi /etc/pam.d/login
添加以下内容
#ORACLE SETTING
session required pam_limits.so
4、配置ssh五密码登陆
两台机器上分别要以oracle和grid用户执行
$ mkdir ~/.ssh
$ chmod 700 ~/.ssh
$ssh-keygen -t rsa
$ssh-keygen -t dsa
节点一上以oracle执行
$cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys
$cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys
$sshoracle-rac02-db02cat~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys
$sshoracle-rac02-db02cat~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys
$ scp~/.ssh/authorized_keysIAP-GZ-RACDB06:~/.ssh/authorized_keys
检查是否需要密码登陆（分别以oracle执行）
$sshIAP-GZ-RACDB05 date
$ssh IAP-GZ-RACDB06 date
$sshRAC05-privdate
$sshRAC06-privdate
切换至node2执行（分别以oracle执行）
$ssh node1 date
$ssh node2 date
$ssh node1-priv date
5、使用udev绑定方式配置存储并分区(可以绑定后分区）
6、环境验证
1、IP配置（注意机器名不要大写）
# cat/etc/hosts
2、内存空间大小
# free-m
3、操作系统用户、oracle和grid环境变量
4、免密码登录验证(oracle和grid用户）
sshiap-gz-rac05date
sshiap-gz-rac06date
sshrac05-priv date
sshrac06-priv date
5、其他（grid用户）
./runcluvfy.shstage -pre crsinst -nIAP-GZ-RACDB05, IAP-GZ-RACDB06-verbose
四、安装
1、gird软件安装（总共20步）
注意scan-name要和/etc/hosts一致，在 /etc/hosts 加入rac-cluter-scan不是本机IP是一个虚拟IP
添加另外一个节点，注意编辑vip
# ls-ltr
drwxr-xr-x. 3 rootoinstall 4096 May 30 07:59 11.2.0
drwxrwxr-x. 5 grid oinstall 4096 May 3009:41 app
2、安装后asm磁盘创建
3 、数据库软件安装（总共10步骤）
五、日常管理维护操作
查看集群服务
[grid@iap-gz-rac05~]$crsctl check cluster
iap-gz-rac05 ]$ crsctl stat resource -t
启停止服务
(1)、在本地服务器上停止OracleClusterware 系统：
@rac01 ~]# /u01/app/11.2.0/grid/bin/crsctl stop cluster
(1)、在本地服务器上停止OracleClusterware 系统：
[root@rac01~]# /u01/app/11.2.0/grid/bin/crsctl startcluster
注：在运行“crsctl stop cluster”命令之后，如果 Oracle Clusterware 管理的资源中有任何一个还在运行，则整个命令失败。使用 -f 选项无条件地停止所有资源并停止 Oracle Clusterware 系统。
另请注意，可通过指定 -all 选项在集群中所有服务器上停止 Oracle Clusterware 系统。如下所示，在rac01和rac02上停止oracle clusterware系统：
#/u01/app/11.2.0/grid/bin/crsctl stop cluster –all
在本地服务器上启动oralce clusterware系统：
#/u01/app/11.2.0/grid/bin/crsctl start cluster
注：可通过指定 -all 选项在集群中所有服务器上启动 Oracle Clusterware 系统。
#/u01/app/11.2.0/grid/bin/crsctl start cluster –all
页:
[1]