FastDFS集群部署
集群部署部署环境
IP地址
计算机名
部署的服务
172.16.10.10
node1.fastdfs
StorageGroup1
172.16.10.11
node2.fastdfs
StorageGroup1
172.16.10.12
node3.fastdfs
StorageGroup2
172.16.10.13
node4.fastdfs
StorageGroup2
172.16.10.17
node5.fastdfs
Tracker1
172.16.10.18
node6.fastdfs
Tracker2
172.16.10.14
node1.nginx
nginx HAProxy keepalived
172.16.10.15
node2.nginx
nginx HAProxykeepalived
172.16.10.16（VIP）
服务器操作系统：CentOS Linux release 7.3.1611 (Core)
SELinux：关闭
Iptables：清空
时间：保持同步
FastDFS版本：v5.08（2016-02-14最新版本）
Hosts文件解析：
172.16.10.10 node1.fastdfs
172.16.10.11 node2.fastdfs
172.16.10.12 node3.fastdfs
172.16.10.13 node4.fastdfs
172.16.10.17 node5.fastdfs
172.16.10.18 node6.fastdfs
172.16.10.14 node1.nginx
172.16.10.15 node2.nginx 使用的软件包：
FastDFS_v5.08.tar.gz
fastdfs-nginx-module_v1.16.tar.gz
libfastcommon-master.zip
nginx-1.6.2.tar.gz
ngx_cache_purge-2.3.tar.gz
所有软件下载地址：点这里
架构图如下所示
http://s1.运维网.com/images/20171213/1513149505582288.png
环境部署
在tracker节点和storage节点安装FastDFS
在tarcker节点和storage节点执行以下操作（172.16.10.10，172.16.10.11，172.16.10.12，172.16.10.13，172.16.10.17，172.16.10.18）
安装基础开发包
yum -y install gcc gcc-c++ 首先需要安装libfastcommon
下载地址：https://github.com/happyfish100/libfastcommon，在源码包的INSTALL文件有说明
下载完成后解压进入到解压后目录执行以下命令
./make.sh
./make.sh install 安装成功后会生成一个文件：/usr/lib64/libfastcommon.so
我们需要创建软链接，因为FastDFS程序设置的目录不是这里
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so 安装FastDFS
下载完成后进入安装目录执行以下命令
./make.sh
./make.sh install 安装完成后会配置文件在：/etc/fdfs
配置tracker节点
在tarcker节点执行下面命令（172.16.10.17，172.16.10.18）
创建的数据存储和日志存储目录
mkdir -pv /data/fastdfs-tracker 重命名tarcker配置文件
cd /etc/fdfs && mv tracker.conf.sample tracker.conf 修改tracker.conf配置文件
修改base_path的值为刚创建的目录
修改store_lookup的值为0
说明：store_lookup的值默认为2，2代表负载均衡模式，0代表轮询模式，1代表指定节点，为方便一会测试，我们选改为0。另外store_group这人选项只有当store_lookup值为1的时候才会生效
启动fdfs_trackerd服务
service fdfs_trackerd start 启动成功后在刚创建的目录下面会生成data和logs两个目录
/data/fastdfs-tracker
├── data
│ ├── fdfs_trackerd.pid
│ └── storage_changelog.dat
└── logs
└── trackerd.log 日志输出内容大概如下图所示
http://s1.运维网.com/images/20171128/1511873879759780.png
查看是否监听22122端口
配置开机自启动
chkconfig fdfs_trackerd on配置storage节点
在storage节点执行以下操作（172.16.10.10，172.16.10.11，172.16.10.12，172.16.10.13）
创建数据存储目录和日志存储目录
mkdir -p /data/fastdfs-storage 重命名tarcker配置文件
cd /etc/fdfs/ && mv storage.conf.sample storage.conf 修改配置文件
修改base_path路径为刚创建的路径
修改store_path0路径为刚创建的路径
修改tracker_server后面的IP的端口为tarcker服务器的IP和监听的端口，就算在同一台机器也不可以使用127.0.0.1，另外我们还需要再增加一个tarcker_server的选项，指定不同的tarcker，如下所示
base_path=/data/fastdfs-storage
store_path0=/data/fastdfs-storage
tracker_server=172.16.10.17:22122
tracker_server=172.16.10.18:22122 注意：配置文件里面有一项为group_name，用于指定group名，我们有两个分组，这里需要注意不同的storage节点，这里的名称都不一样，其它都一样，默认为group1，如果在是在172.16.10.12节点和172.16.10.13节点安装这里需要改成group2
启动服务
service fdfs_storaged start 启动成功后在刚创建的目录下面会生成data和logs两个目录，并且data目录里面会有很多子目录，最的会监听23000端口
日志说明：下面日志说明了客户端启动连接两台tracker server成功，选举172.16.10.13为leader，最后说明连接同一个group的storage server成功
http://s1.运维网.com/images/20171128/1511874286384747.png
加入开机自启动
chkconfig fdfs_storaged on第一次测试
主要测试tracker server的高可用，我们可以试图关掉storage server选择出来的leader，这样正常情况下会触发重新选举出新的leader，并且会报错连接不上被关掉的tracker server，如果再把关掉的tracker server启动的话会提示连接成功的信息，这些都能在日志里面体现
在集群内任何的storage server节点执行以下命令
fdfs_monitor /etc/fdfs/storage.conf 会输出同样的信息，信息中包含有两个group，并且会输出每个group内的storage信息
客户端上传图片测试
在任何一台tracker节点测试
重命名客户端配置文件
cd /etc/fdfs/ && mv client.conf.sample client.conf 修改配置文件
修改base_path的值为tracker配置文件里面的base_path一样的路径
修改tracker_server为tracker监控的IP和端口，如果都在本机也不可以使127.0.0.1
如下所示
base_path=/data/fastdfs-tracker
tracker_server=172.16.10.17:22122
tracker_server=172.16.10.18:22122 上传图片测试，执行下面命令
fdfs_upload_file client.conf test.png fdfs_upload_file 命令
client.conf 指定的客户端配置文件
test.png 指定图片路径
上传成功后会返回一个类似下面的路径
group1/M00/00/00/rBAKCloXyT2AFH_AAAD4kx1mwCw538.png group1 代表上传到了group1的内的storage节点
M00 代表磁盘目录，如果只有一个磁盘那么只有M00，多个就是M01……
00/00 代表磁盘目录，每个目录下又有00到FF共256个目录，两级目录就有256*256个目录
rBAKCloXyT2AFH_AAAD4kx1mwCw538.png 这是最终上传上去的文件
最终我们知道我们的图片被上传到了哪几台服务器的哪个目录，我们可以直接在服务器上找到我们上传的图片，同一个group内的图片一样的因为我们前面在配置tracker节点的时候我们配置的为0模式（轮询）因此我们上传的时候一次为group1一次为group2，如果有一个group宕机，那么就始终在另外的group如下图所示
http://s1.运维网.com/images/20171128/1511874582788564.png
这时候我们的group1里面所有storage的M00号磁盘上面的00/00目录下面将有rBAKClobtG6AS0JKAANxJpb_3dc838.png和rBAKC1obtHCAEMpMAANxJpb_3dc032.png而group2里面所有storage的M00号磁盘上面的00/00目录下面将有rBAKDFobtG-AIj2EAANxJpb_3dc974.png和rBAKDVobtHGAJgzTAANxJpb_3dc166.png
如下图所示
http://s1.运维网.com/images/20171128/1511874695551074.png
http://s1.运维网.com/images/20171128/1511874705697107.png
说明：如果同一组的其中一台storage发生故障，那么上传的文件只能存放到同一组的其它设备上面，等故障恢复后会自动将数据同步到该故障设备上面，不需要人工干预
加入开机自启动
chkconfig fdfs_storaged on与Nginx结合
前面我们测试只是用客户端测试，我们需要使用http的方式来上传和下载，因此我们还需要搭建Nginx或apache，这里我们就使用，使用最多的Nginx
在所有的storage节点部署Nginx
将所有源码包复制到/usr/local/src目录下面，然后解压
进入到/usr/local/src/fastdfs-nginx-module/src/
cd /usr/local/src/fastdfs-nginx-module/src 修改config文件里面的/usr/local/include/fastdfs为/usr/include/fastdfs
修改config文件里面的/usr/local/include/fastcommon/为/usr/include/fastcommon/
进入到Nginx解压后的目录执行下面命令
yum -y install zlib-devel openssl-devel
./configure --prefix=/usr/local/nginx --with-pcre --add-module=/usr/local/src/fastdfs-nginx-module/src
make
make install 添加nginx可执行文件到环境变量
cat >> /etc/profile.d/nginx.sh
页:
[1]