基于linux下分布式文件系统方案前言 ：关于分布式文件系统MFS MFS 特性 mfs 系统的组成部分: 以下是具体得安装步骤 ：主控服务器Master server 安装 当我们安装主控服务器时，在配置过程中 ( ) ，可以取消安装 chunk server （ ）以及 MooseFS 客户端（ ） . 安装 主控服务器 master 的具体步骤为： 、添加 组 、新增系统用户 、切换目录 、解包归档文件 、进入安装目录 、配置 、编译并安装 成功安装 master 以后，系统会在 /etc 目录自动生成样例配置文件，这些样例文件是以 后缀命名。这里我们将借用这些样例文件作为 MooseFS 主控服务器的目标配置文件： 、切换目录 、复制样例文件，以得到 所需的配置文件 如果我们打算更改这些配置文件中的某些项目的值，则需要打开特定配置文件相关文本行前的注释，然后修改跟随其后的值。因为被注释掉的行，即是 MooseFS 内置的缺省值。 [root@nas etc]# cp mfsmaster.cfg.dist mfsmaster.cfg [root@nas etc]# vi mfsmaster.cfg # WORKING_USER = mfs 运行master server 的用户 # WORKING_GROUP = mfs 运行master server 的组 # SYSLOG_IDENT = mfsmaster master server 在syslog中的标识，说明是由master serve 产生的 # LOCK_MEMORY = 0 是否执行mlockall()以避免mfsmaster 进程溢出（默认为0） # NICE_LEVEL = -19 运行的优先级(如果可以默认是-19; 注意: 进程必须是用root启动) # EXPORTS_FILENAME = /usr/local/mfs/etc/mfsexports.cfg 被挂接目录及其权限控制文件的存放位置 # DATA_PATH = /usr/local/mfs/var/mfs 数据存放路径，此目录下大致有三类文件，changelog，sessions和stats； # BACK_LOGS = 50 metadata 的改变log 文件数目(默认是50); # REPLICATIONS_DELAY_INIT = 300 延迟复制的时间（默认是300s） ; # REPLICATIONS_DELAY_DISCONNECT = 3600 chunkserver 断开的复制延迟（默认是3600）； # MATOML_LISTEN_HOST = * metalogger 监听的IP 地址(默认是*，代表任何IP)； # MATOML_LISTEN_PORT = 9419 metalogger 监听的端口地址(默认是9419) ； # MATOCS_LISTEN_HOST = * 用于chunkserver 连接的IP 地址（默认是*，代表任何IP）； # MATOCS_LISTEN_PORT = 9420 用于chunkserver 连接的端口地址（默认是9420）； # MATOCU_LISTEN_HOST = * 用于客户端挂接连接的IP 地址(默认是*，代表任何IP)； # MATOCU_LISTEN_PORT = 9421 用于客户端挂接连接的端口地址（默认是9421）； # CHUNKS_LOOP_TIME = 300 chunks 的回环频率（默认是：300 秒）； 注：原文为Chunks loop frequency in seconds (default is 300) # CHUNKS_DEL_LIMIT = 100 # CHUNKS_WRITE_REP_LIMIT = 1 在一个循环里复制到一个chunkserver 的最大chunk数目（默认是1） # CHUNKS_READ_REP_LIMI T = 5 在一个循环里从一个chunkserver 复制的最大chunk数目（默认是5） # REJECT_OLD_CLIENTS = 0 弹出低于1.6.0 的客户端挂接（0 或1，默认是0） 注意mfsexports 访问控制对于那些老客户是没用的 需要注意的是，凡是用#注释掉的变量均使用其默认值。 以上是对master server 的mfsmaster.cfg 配置文件的解释，对于这个文件不需要做任何修改就可以工作。 配置文件mfsexports.cfg 指定那些客户端主机可以远程挂接MooseFS 文件系统，以及授予挂接客户端什么样的访问权限。例如，我们指定只有192.168.2.x 网段的主机可以以读写模式访问MooseFS 的整个共享结构资源（/）。在配置文件mfsexports.cfg 文件的第一行，先取消注释，然后把星号（*）改成192.168.2.0/24,以便我们可以得到下面的文本行： 192.168.2.0/24 / rw,alldirs,maproot=0 [root@nas etc]# vi mfsexports.cfg #* / ro #192.168.1.0/24 / rw #192.168.1.0/24 / rw,alldirs,maproot=0,password=passcode #10.0.0.0-10.0.0.5 /test rw,maproot=nobody,password=test * . rw #* / rw,alldirs,maproot=0 192.168.3.98 /tt rw,alldirs,maproot=0 192.168.3.139 / rw,alldirs,maproot=0 192.168.3.138 / rw,alldirs,maproot=0,password=111111 该文件每一个条目分为三部分： 第一部分：客户端的ip 地址 第二部分：被挂接的目录 第三部分：客户端拥有的权限 地址可以指定的几种表现形式： * 所有的ip 地址 n.n.n.n 单个ip 地址 n.n.n.n/b IP 网络地址/位数掩码 n.n.n.n/m.m.m.m IP 网络地址/子网掩码 f.f.f.f-t.t.t.t IP 段 目录部分需要注意两点： / 标识MooseFS 根; . 表示MFSMETA 文件系统 权限部分： ro 只读模式共享 rw 读写的方式共享 alldirs 许挂载任何指定的子目录 maproot 映射为root，还是指定的用户 password 指定客户端密码 二进制文件metadata 和文本文件changelog 将被保存在目录/var/lib/mfs,这是因为我们安装过程的configure 步骤使用了选项 --localstatedir=/var/lib 。首次安装master 时，会自动生成一个名为metadata.mfs.empty 的元数据文件metadata,该文件是空的。MooseFSmaster 运必须有文件metadata.mfs,这个文件是从metadata.mfs.empty 改名而来： 1 、切换目录 #cd /var/lib/mfs 2 、重命名文件 #cp metadata.mfs.empty metadata.mfs [ 译者注] MooseFS master 运行以后，metadata.mfs 文件大小将发生变化，肯定不会是 空文件了。 这个时候，我们可以试着运行master 服务（服务将以安装配置configure 指定的用户运行，这我们的案例里，它是mfs）: #/usr/sbin/mfsmaster start 在一个生产环境里，我们应当设置自动启动脚本，以便操作系统重新启动时，MooseFS master也能自动运行。 为了监控MooseFS 当前运行状态，我们可以运行CGI 监控服务，这样就可以用浏览器查看整个MooseFS 的运行情况: #/usr/sbin/mfscgiserv 现在，我们在浏览器地址栏输入http://ip 地址:9425 即可查看master 的运行情况（这个时候，是不能看见chunk server 的数据）。 可通过命令检查如下： [root@nas etc]# ps -ef|grep mfs mfs 12327 1 0 08:38 ? 00:00:00 /usr/local/mfs/sbin/mfsmaster start 停止master server 安全停止master server 是非常必要的，最好不要用kill。利用mfsmaster –s 来安全停止master serve。 备份服务器Backup server (metalogger) 安装 用来安装metalogger 的主机，在性能上应该比master 强大（至少有更多的内存）。一旦主控服务器master 失效，只要导入changelogs 到元数据文件,备份服务器metalogger 将能接替发生故障的master，行使管理服务器的职能。 备份服务器Metalogger 安装跟主控服务器master 安装非常类似。其安装命令如下： 1 、 创建组mfs #groupadd mfs 2 、创建用户mfs #useradd -g mfs mfs 3 、切换目录 #cd /usr/src 4 、解包归档文件 #tar -zxvf mfs-1.6.15.tar.gz 5 、切换目录 #cd mfs-1.6.15 6 、配置 #./configure --prefix=/usr --sysconfdir=/etc \ --localstatedir=/var/lib --with-default-user=mfs \ --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount 7 、编译及安装 #make #make install 8 、产生配置文件 #cd /etc #cp mfsmetalogger.cfg.dist mfsmetalogger.cfg 该服务只有一个配置文件，那就是mfsmetalogger.cfg。 [root@mail etc]# vi mfsmetalogger.cfg # WORKING_USER =mfs # WORKING_GROUP = mfs # SYSLOG_IDENT =mfsmetalogger # LOCK_MEMORY = 0 # NICE_LEVEL = -19 # DATA_PATH = /usr/local/mfs/var/mfs # BACK_LOGS = 50 # META_DOWNLOAD_FREQ = 24 元数据备份文件下载请求频率。默认为２４小时，即每隔一天从元数据服务器(MASTER)下载一个metadata.mfs.back 文件。当元数据服务器关闭或者出故障时，matedata.mfs.back 文件将消失，那么要恢复整个mfs,则需从metalogger 服务器取得该文件。请特别注意这个文件，它与日志文件一起，才能够恢复整个被损坏的分布式文件系统。 # MASTER_RECONNECTION_DELAY = 5 MASTER_HOST = 192.168.3.34 # MASTER_PORT = 9419 # MASTER_TIMEOUT = 60 # deprecated, to be removed in MooseFS 1.7 # LOCK_FILE = /var/run/mfs/mfsmetalogger.lock 这个文件中需要修改的是MASTER_HOST 变量，这个变量的值是master server 的IP 地址。 现在，我们来试着运行备份服务 mfsmetaloger: ./mfsmetalogger start 这说明metalogger 服务正常启动了。利用命令检查： 通过进程： [root@mail sbin]# ps -ef |grepmfs mfs 12254 1 0 15:25 ? 00:00:00 ./mfschunkserver start 通过端口检查： [root@mail sbin]# lsof -i:9419 COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME mfsmetalo 12292 mfs 7u IPv4 1395372 TCP mail.tt.com:52456->192.168.3.34:9419 (ESTABLISHED) 在一个生产环境里，我们应当设置自动启动脚本，以便操作系统重新启动时， MooseFS mfsmetalogger 服务也能自动运行。 查看日志服务器的工作目录 [root@mail mfs]# pwd /var//lib/mfs [root@mail mfs]# ll total 8 -rw-r----- 1 mfs mfs 249 Jan 13 15:39 changelog_ml.1.mfs -rw-r----- 1 mfs mfs 519 Jan 13 15:40 sessions_ml.mfs 这是运行18 小时后： [root@mail mfs]# ll total 1808 -rw-r----- 1 mfs mfs 0 Jan 14 08:40 changelog_ml.0.mfs -rw-r----- 1 mfs mfs 4692 Jan 13 23:39 changelog_ml.10.mfs -rw-r----- 1 mfs mfs 4692 Jan 13 22:39 changelog_ml.11.mfs -rw-r----- 1 mfs mfs 4692 Jan 13 21:39 changelog_ml.12.mfs -rw-r----- 1 mfs mfs 4692 Jan 13 20:39 changelog_ml.13.mfs -rw-r----- 1 mfs mfs 4692 Jan 13 19:39 changelog_ml.14.mfs -rw-r----- 1 mfs mfs 4692 Jan 13 18:39 changelog_ml.15.mfs -rw-r----- 1 mfs mfs 4692 Jan 13 17:39 changelog_ml.16.mfs -rw-r----- 1 mfs mfs 4722 Jan 13 16:39 changelog_ml.17.mfs -rw-r----- 1 mfs mfs 249 Jan 13 15:39 changelog_ml.18.mfs -rw-r----- 1 mfs mfs 4692 Jan 14 08:39 changelog_ml.1.mfs -rw-r----- 1 mfs mfs 4692 Jan 14 07:39 changelog_ml.2.mfs -rw-r----- 1 mfs mfs 4692 Jan 14 06:39 changelog_ml.3.mfs -rw-r----- 1 mfs mfs 4692 Jan 14 05:39 changelog_ml.4.mfs -rw-r----- 1 mfs mfs 4692 Jan 14 04:39 changelog_ml.5.mfs -rw-r----- 1 mfs mfs 4692 Jan 14 03:39 changelog_ml.6.mfs -rw-r----- 1 mfs mfs 4692 Jan 14 02:39 changelog_ml.7.mfs -rw-r----- 1 mfs mfs 4692 Jan 14 01:39 changelog_ml.8.mfs -rw-r----- 1 mfs mfs 4692 Jan 14 00:39 changelog_ml.9.mfs -rw-r----- 1 mfs mfs 915016 Jan 14 09:00 csstats.mfs -rw-r----- 1 mfs mfs 777640 Jan 14 08:10 metadata_ml.mfs.back -rw-r----- 1 mfs mfs 519 Jan 14 09:16 sessions_ml.mfs 停止metalogger服务 [root@mail sbin]# ./mfsmetalogger -s working directory: /usr/local/mfs/var/mfs sending SIGTERM to lock owner (pid:12284) waiting for termination ... terminated 如果没有启动metalogger 服务，在master server 则会有如下提示信息产生： tail -f /var/log/messages Dec 30 16:53:00 nas mfsmaster[14291]: no meta loggers connected !!! 存储块服务器Chunk servers 安装 在每个chunk server 主机上执行下面的命令: #groupadd mfs #useradd -g mfs mfs #cd /usr/src #tar -zxvf mfs-1.6.15.tar.gz #cd mfs-1.6.15 6 #./configure --prefix=/usr --sysconfdir=/etc \ --localstatedir=/var/lib --with-default-user=mfs \ --with-default-group=mfs --disable-mfsmaster #make #make install 准备chunk server 服务所需的配置文件: #cd /etc/ #cp mfschunkserver.cfg.dist mfschunkserver.cfg #cp mfshdd.cfg.dist mfshdd.cfg mfschunkserver.cfg 的配置 [root@mail etc]# vi mfschunkserver.cfg # WORKING_USER = mfs # WORKING_GROUP = mfs # DATA_PATH = /usr/local/mfs/var/mfs # LOCK_FILE = /var/run/mfs/mfschunkserver.pid # SYSLOG_IDENT = mfschunkserver # BACK_LOGS = 50 # MASTER_RECONNECTION_DELAY = 30 MASTER_HOST = 192.168.3.34 元数据服务器的名称或地址，可以是主机名，也可以是ip 地址 MASTER_PORT = 9420 # MASTER_TIMEOUT = 60 # CSSERV_LISTEN_HOST = * # CSSERV_LISTEN_PORT = 9422 这个监听端口用于与其它数据存储服务器间的连接，通常是数据复制 # CSSERV_TIMEOUT = 60 # CSTOCS_TIMEOUT = 60 # HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg 分配给MFS 使用的磁盘空间配置文件的位置 在配置文件mfshdd.cfg 中，我们给出了用于客户端挂接MooseFS 分布式文件系统根分区所使用的共享空间位置。建议在chunk server 上划分单独的空间给 MooseFS 使用，这样做的好处是便于管理剩余空间。此处我们假定要使用两个共享点/mnt/mfschunks1 和/mnt/mfschunks2，为此，我们在mfshdd.cfg 加入下面的文本行： /mnt/mfschunks1 /mnt/mfschunks2 在启动chunk server 前，需确保用户mfs 有权限读写将要被挂接的分区（因为chunk server 运行时要在此创建一个.lock 的文件）： #chown -R mfs:mfs /mnt/mfschunks1 #chown -R mfs:mfs /mnt/mfschunks2 启动mfschunkserver #/usr/sbin/mfschunkserver start 检查如下： [root@nas etc]# ps -ef|grep mfs mfs 12327 1 0 08:38 ? 00:00:00 /usr/local/mfs/sbin/ mfschunkserver start 停止mfschunkserver 停止mfschunkserver，利用mfschunkserver–s 来安全停止mfschunkserver。 现在再通过浏览器访问 http://ip 地址:9425/ 应该可以看见这个MooseFS 系统的全部信息，包括主控master 和存储服务chunkserver 。 MFS 客户端的安装及配置 为了挂接基于MooseFS 分布式文件，客户端主机必须安装FUSE 软件包（ fuse 版本号至少2.6，推荐使用版本号大于2.7.2 的fuse）。如果系统没有安装fuse,你必须手动对其进行安装。一种常见的安装方式是从源码进行编译安装： #cd /usr/src #tar -zxvf fuse-2.8.3.tar.gz #cd fuse-2.8.3 #./configure #make #make install 安装客户端软件 mfsmount 的步骤: #groupadd mfs #useradd -g mfs mfs #cd /usr/src #tar -zxvf mfs-1.6.15.tar.gz #cd mfs-1.6.15 #./configure --prefix=/usr --sysconfdir=/etc \ --localstatedir=/var/lib --with-default-user=mfs \ --with-default-group=mfs --disable-mfsmaster \ --disable-mfschunkserver --enable-mfsmount #make #make install 注意： 在这个过程中，当执行到–enable-mfsmount 时可能出现”checking for FUSE… no configure: error: mfsmount build was forced, but fuse development package is not installed ”这样的错误， ........ checking for FUSE... no ******************************** mfsmount disabled ******************************** * fuse library is too old or not installed - mfsmount needs version 2.6 or higher * *********************************************************************************** ...... 而不能正确安装MFS 客户端程序，这是因为环境变量没有设置，先编辑/etc/profile 在此文件中加 入如下条目： export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH 然后再利用source 命令/etc/profile 使修改生效：source /etc/profile 即可，也可直接在命令行中直 接执行： export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH 挂接MFS文件系统 （1）、创建挂接点mkdir /mnt/mfs （2）、加载fuse 模块到内核：modprobe fuse （3）、挂接MFS /usr/bin/mfsmount /mnt/mfs -H 192.168.3.34 -p 然后在输入密码就可以了。 特别需要注意的是，所有的MFS 都是挂接同一个元数据服务器master 的IP,而不是其他数据存储服务器chunkserver 的IP。 root@bzd mfs]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/VolGroup00-LogVol00 73G 25G 45G 36% / /dev/sda1 99M 13M 82M 13% /boot none 247M 0 247M 0% /dev/shm MFS 45G 204M 45G 1% /mnt/mfs MFSMETA 72K 72K 0 100% /mnt/mfsmeta [root@www ~]# mount mfsmeta#192.168.3.34:9421 on /mnt/mfsmeta type fuse (rw,nosuid,nodev,allow_other,default_permissions) mfs#192.168.3.34:9421 on /mnt/mfs type fuse (rw,nosuid,nodev,allow_other,default_permissions MFS 文件系统管理 编译和安装 MooseFS 部署的首选方法是从源代码安装,源代码包安装支持标准./configure && make && make install 的步骤，重要的配置选项有： --disable-mfsmaster 不创建成管理服务器（用于纯节点的安装） --disable-mfschunkserver 不创建成数据存储chunkserver 服务器 --disable-mfsmount 不创建mfsmount 和m fstools（如果用开发包安装，他们会被默认创建的） --enable-mfsmount 确定安装mfsmount 和mfstools --prefix=DIRECTORY 锁定安装目录（默认是/usr/local） --sysconfdir=DIRECTORY 选择配置文件目录（默认是${prefix}/etc) --localstatedir=DIRECTORY 选择变量数据目录（默认是${prefix}/var，MFS 元数据被存储在mfs 的子目录下，默认是${prefix}/var/mfs ） --with-default-user 运行守护进程的用户，如果配置文件中没有设定用户，默认为nobody用户 --with-default-group=GROUP 运行守护进程的用户组，如果配置文件中没有设定用户组，默认为nogroup 用户组
运维网声明
1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003运维网
QQ群⑧：
窥视卡
雷达卡
发表于 2019-2-1 09:09:59
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡