FastDFS 基础知识

198211401182

FastDFS是一个开源的轻量级分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用，不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。



他主要的功能包括：文件存储，同步和访问，设计基于高可用和负载均衡，fastfd非常适用于基于文件服务的站点，例如图片分享和视频分享网站。



     fastfds有两个角色：跟踪服务、存储服务

跟踪服务控制（Tracker server），调度文件以负载均衡的方式访问；

存储服务包括（Storage server）：文件存储，文件同步，提供文件访问接口，同时以key value的方式管理文件的元数据。





     跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。

     为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。

      在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

      当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。



安装目录

配置文件： /etc/fdfs

tracker.conf

http.conf

storage.conf

client.conf

安装路径：/usr/local/bin

修改%FastDFS%/tracker.conf 文件信息

#设置base_path 目录，根目录必须存在，子目录会自动创建

base_path=/home/<username>/FastDFS_Tracker

注：Tracker Server目录及文件结构：



tracker server目录及文件结构




${base_path}   |__data
|     |__storage_groups.dat：存储分组信息
|     |__storage_servers.dat：存储服务器列表  
|__logs
|__trackerd.log：Tracker Server日志文件


数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符（n）分隔，字段之间以西文逗号（,）分隔。

storage_groups.dat

各个参数如下

# group_name：组名

# storage_port：storage server端口号

storage_servers.dat

各个参数如下

# group_name：所属组名

# ip_addr：ip地址

# status：状态

# sync_src_ip_addr：向该storage server同步已有数据文件的源服务器

# sync_until_timestamp：同步已有数据文件的截至时间（UNIX时间戳）

# stat.total_upload_count：上传文件次数

# stat.success_upload_count：成功上传文件次数

# stat.total_set_meta_count：更改meta data次数

# stat.success_set_meta_count：成功更改meta data次数

# stat.total_delete_count：删除文件次数

# stat.success_delete_count：成功删除文件次数

# stat.total_download_count：下载文件次数

# stat.success_download_count：成功下载文件次数

# stat.total_get_meta_count：获取meta data次数

# stat.success_get_meta_count：成功获取meta data次数

# stat.last_source_update：最近一次源头更新时间（更新操作来自客户端）

# stat.last_sync_update：最近一次同步更新时间（更新操作来自其他storage server的同步）



storage server目录及文件结构




|__data
|     |__.data_init_flag：当前storage server初始化信息
|     |__storage_stat.dat：当前storage server统计信息
|     |__sync：存放数据同步相关文件
|     |     |__binlog.index：当前的binlog（更新操作日志）文件索引号
|     |     |__binlog.###：存放更新操作记录（日志）
|     |     |__${ip_addr}_${port}.mark：存放向目标服务器同步的完成情况
|     |
|     |__一级目录：256个存放数据文件的目录，目录名为十六进制字符，如：00, 1F
|           |__二级目录：256个存放数据文件的目录，目录名为十六进制字符，如：0A, CF
|__logs
|__storaged.log：storage server日志文件



.data_init_flag文件格式为ini配置文件方式

各个参数如下

# storage_join_time：本storage server创建时间

# sync_old_done：本storage server是否已完成同步的标志（源服务器向本服务器同步已有数据）

# sync_src_server：向本服务器同步已有数据的源服务器IP地址，没有则为空

# sync_until_timestamp：同步已有数据文件截至时间（UNIX时间戳）



storage_stat.dat文件格式为ini配置文件方式

各个参数如下：

# total_upload_count：上传文件次数

# success_upload_count：成功上传文件次数

# total_set_meta_count：更改meta data次数

# success_set_meta_count：成功更改meta data次数

# total_delete_count：删除文件次数

# success_delete_count：成功删除文件次数

# total_download_count：下载文件次数

# success_download_count：成功下载文件次数

# total_get_meta_count：获取meta data次数

# success_get_meta_count：成功获取meta data次数

# last_source_update：最近一次源头更新时间（更新操作来自客户端）

# last_sync_update：最近一次同步更新时间（更新操作来自其他storage server）



sync 目录及文件结构

　　binlog.index中只有一个数据项：当前binlog的文件索引号 binlog.###，
　　binlog.###为索引号对应的3位十进制字符，不足三位，前面补0。索引号基于0，最大为999。
　　一个binlog文件最大为1GB。记录之间以换行符（n）分隔，字段之间以西文空格分隔。
　　字段依次为：
　　1. timestamp：更新发生时间（Unix时间戳）
　　2. op_type：操作类型，一个字符
　　3. filename：操作（更新）的文件名，包括相对路径，如：5A/3D/FE_93_SJZ7pAAAO_BXYD.S
　　${ip_addr}_${port}.mark：
　　ip_addr为同步的目标服务器IP地址，port为本组storage server端口。例如：10.0.0.1_23000.mark。
　　各个参数如下：
　　# binlog_index：已处理（同步）到的binlog索引号
　　# binlog_offset：已处理（同步）到的binlog文件偏移量（字节数）
　　# need_sync_old：同步已有数据文件标记，0表示没有数据文件需要同步
　　# sync_old_done：同步已有数据文件是否完成标记，0表示未完成，1表示已完成
　　# until_timestamp：同步已有数据截至时间点（UNIX时间戳）
　　# scan_row_count：已扫描的binlog记录数
　　# sync_row_count：已同步的binlog记录数




启动tracker服务器，执行

(1) fdfs_trackerd %FastDFS%/tracker.conf

(2) 编写shell脚本




1 vim start-tracker.sh (创建脚本)
2 /usr/local/bin/fdfs_trackerd /%FastDFS%tracker.conf
3 chmod +x start-tracker.sh
4 ./start-tracker.sh (执行脚本即可启动track服务器)



停止fastDFS服务

直接kill即可让server进程正常退出，可以使用killall命令，如：




killall fdfs_trackerd
killall fdfs_storaged

也可以使用FastDFS自带的脚本




/usr/local/bin/stop.sh  /
/usr/local/bin/restart.sh
　　


fastDFS数据清空重整

停止storage server和tracker server,删除base_path下的data子目录即可。