FastDFS集群部署

zhwz

集群部署
部署环境

IP地址	计算机名	部署的服务
172.16.10.10	node1.fastdfs	StorageGroup1
172.16.10.11	node2.fastdfs	StorageGroup1
172.16.10.12	node3.fastdfs	StorageGroup2
172.16.10.13	node4.fastdfs	StorageGroup2
172.16.10.17	node5.fastdfs	Tracker1
172.16.10.18	node6.fastdfs	Tracker2
172.16.10.14	node1.nginx	nginx HAProxy keepalived
172.16.10.15	node2.nginx	nginx HAProxy  keepalived
172.16.10.16（VIP）

　　服务器操作系统：CentOS Linux release 7.3.1611 (Core)
　　SELinux：关闭
　　Iptables：清空
　　时间：保持同步
　　FastDFS版本：v5.08（2016-02-14最新版本）
　　Hosts文件解析：
172.16.10.10 node1.fastdfs
172.16.10.11 node2.fastdfs
172.16.10.12 node3.fastdfs
172.16.10.13 node4.fastdfs
172.16.10.17 node5.fastdfs
172.16.10.18 node6.fastdfs
172.16.10.14 node1.nginx
172.16.10.15 node2.nginx　　使用的软件包：
　　FastDFS_v5.08.tar.gz
　　fastdfs-nginx-module_v1.16.tar.gz
　　libfastcommon-master.zip
　　nginx-1.6.2.tar.gz
　　ngx_cache_purge-2.3.tar.gz
　　所有软件下载地址：点这里
架构图如下所示

环境部署
在tracker节点和storage节点安装FastDFS
　　在tarcker节点和storage节点执行以下操作（172.16.10.10，172.16.10.11，172.16.10.12，172.16.10.13，172.16.10.17，172.16.10.18）
　　安装基础开发包
yum -y install gcc gcc-c++　　首先需要安装libfastcommon
　　下载地址：https://github.com/happyfish100/libfastcommon，在源码包的INSTALL文件有说明
　　下载完成后解压进入到解压后目录执行以下命令
./make.sh
./make.sh install　　安装成功后会生成一个文件：/usr/lib64/libfastcommon.so
　　我们需要创建软链接，因为FastDFS程序设置的目录不是这里
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so　　 安装FastDFS
　　下载完成后进入安装目录执行以下命令
./make.sh
./make.sh install　　安装完成后会配置文件在：/etc/fdfs
配置tracker节点
　　在tarcker节点执行下面命令（172.16.10.17，172.16.10.18）
　　创建的数据存储和日志存储目录
mkdir -pv /data/fastdfs-tracker　　重命名tarcker配置文件
cd /etc/fdfs && mv tracker.conf.sample tracker.conf　　修改tracker.conf配置文件
　　修改base_path的值为刚创建的目录
　　修改store_lookup的值为0
　　说明：store_lookup的值默认为2，2代表负载均衡模式，0代表轮询模式，1代表指定节点，为方便一会测试，我们选改为0。另外store_group这人选项只有当store_lookup值为1的时候才会生效
　　启动fdfs_trackerd服务
service fdfs_trackerd start　　 启动成功后在刚创建的目录下面会生成data和logs两个目录
/data/fastdfs-tracker
├── data
│   ├── fdfs_trackerd.pid
│   └── storage_changelog.dat
└── logs
└── trackerd.log　　日志输出内容大概如下图所示
　　
　　查看是否监听22122端口
　　配置开机自启动
chkconfig fdfs_trackerd on配置storage节点
　　在storage节点执行以下操作（172.16.10.10，172.16.10.11，172.16.10.12，172.16.10.13）
　　创建数据存储目录和日志存储目录
mkdir -p /data/fastdfs-storage　　重命名tarcker配置文件
cd /etc/fdfs/ && mv storage.conf.sample storage.conf　　修改配置文件
　　修改base_path路径为刚创建的路径
　　修改store_path0路径为刚创建的路径
　　修改tracker_server后面的IP的端口为tarcker服务器的IP和监听的端口，就算在同一台机器也不可以使用127.0.0.1，另外我们还需要再增加一个tarcker_server的选项，指定不同的tarcker，如下所示
base_path=/data/fastdfs-storage
store_path0=/data/fastdfs-storage
tracker_server=172.16.10.17:22122
tracker_server=172.16.10.18:22122　　注意：配置文件里面有一项为group_name，用于指定group名，我们有两个分组，这里需要注意不同的storage节点，这里的名称都不一样，其它都一样，默认为group1，如果在是在172.16.10.12节点和172.16.10.13节点安装这里需要改成group2
　　启动服务
service fdfs_storaged start　　启动成功后在刚创建的目录下面会生成data和logs两个目录，并且data目录里面会有很多子目录，最的会监听23000端口
　　日志说明：下面日志说明了客户端启动连接两台tracker server成功，选举172.16.10.13为leader，最后说明连接同一个group的storage server成功
　　
　　加入开机自启动
chkconfig fdfs_storaged on第一次测试
　　主要测试tracker server的高可用，我们可以试图关掉storage server选择出来的leader，这样正常情况下会触发重新选举出新的leader，并且会报错连接不上被关掉的tracker server，如果再把关掉的tracker server启动的话会提示连接成功的信息，这些都能在日志里面体现
　　在集群内任何的storage server节点执行以下命令
fdfs_monitor /etc/fdfs/storage.conf　　会输出同样的信息，信息中包含有两个group，并且会输出每个group内的storage信息
　　客户端上传图片测试
　　在任何一台tracker节点测试
　　重命名客户端配置文件
cd /etc/fdfs/ && mv client.conf.sample client.conf　　修改配置文件
　　修改base_path的值为tracker配置文件里面的base_path一样的路径
　　修改tracker_server为tracker监控的IP和端口，如果都在本机也不可以使127.0.0.1
　　如下所示
base_path=/data/fastdfs-tracker
tracker_server=172.16.10.17:22122
tracker_server=172.16.10.18:22122　　上传图片测试，执行下面命令
fdfs_upload_file client.conf test.png　　fdfs_upload_file     命令
　　client.conf          指定的客户端配置文件
　　test.png             指定图片路径
　　上传成功后会返回一个类似下面的路径
group1/M00/00/00/rBAKCloXyT2AFH_AAAD4kx1mwCw538.png　　group1      代表上传到了group1的内的storage节点
　　M00         代表磁盘目录，如果只有一个磁盘那么只有M00，多个就是M01……
　　00/00       代表磁盘目录，每个目录下又有00到FF共256个目录，两级目录就有256*256个目录
　　rBAKCloXyT2AFH_AAAD4kx1mwCw538.png         这是最终上传上去的文件
　　最终我们知道我们的图片被上传到了哪几台服务器的哪个目录，我们可以直接在服务器上找到我们上传的图片，同一个group内的图片一样的因为我们前面在配置tracker节点的时候我们配置的为0模式（轮询）因此我们上传的时候一次为group1一次为group2，如果有一个group宕机，那么就始终在另外的group如下图所示
　　
　　这时候我们的group1里面所有storage的M00号磁盘上面的00/00目录下面将有rBAKClobtG6AS0JKAANxJpb_3dc838.png和rBAKC1obtHCAEMpMAANxJpb_3dc032.png而group2里面所有storage的M00号磁盘上面的00/00目录下面将有rBAKDFobtG-AIj2EAANxJpb_3dc974.png和rBAKDVobtHGAJgzTAANxJpb_3dc166.png
　　如下图所示
　　
　　
　　说明：如果同一组的其中一台storage发生故障，那么上传的文件只能存放到同一组的其它设备上面，等故障恢复后会自动将数据同步到该故障设备上面，不需要人工干预
　　加入开机自启动
chkconfig fdfs_storaged on与Nginx结合
　　前面我们测试只是用客户端测试，我们需要使用http的方式来上传和下载，因此我们还需要搭建Nginx或apache，这里我们就使用，使用最多的Nginx
在所有的storage节点部署Nginx
　　将所有源码包复制到/usr/local/src目录下面，然后解压
　　进入到/usr/local/src/fastdfs-nginx-module/src/
cd /usr/local/src/fastdfs-nginx-module/src　　修改config文件里面的/usr/local/include/fastdfs为/usr/include/fastdfs
　　修改config文件里面的/usr/local/include/fastcommon/为/usr/include/fastcommon/
　　进入到Nginx解压后的目录执行下面命令
yum -y install zlib-devel openssl-devel
./configure --prefix=/usr/local/nginx --with-pcre --add-module=/usr/local/src/fastdfs-nginx-module/src
make
make install　　添加nginx可执行文件到环境变量
cat >> /etc/profile.d/nginx.sh