海量图片存储
分布式存储当下互联网飞速发展，海量并发所产生的数据量以几何方式增长，随着信息链接方式日益多样化，数据存储的结构也发生了变化，在这样的压力下我们不得不重新审视大量数据的存储所带来的挑战，比如：数据采集、数据存储、数据搜索、数据共享、数据传输、数据分析、数据可视化等一些列问题
传统存储在面对海量数据存储时已经力不从心，比如纵向扩展受阵列空间限制、横向扩展受交换设备限制、节点受文件系统限制
分布式存储的出现在在一定程度上缓解了这一问题
分布式存储基础介绍
（一）多线程与进程的执行模式
#互不通信的多线程模式；
#基于共享容器协同的多线程模式；
#通过事件协同的多线程模式；
（二）基于输入设备变化、运算器的变化、存储器的变化分类
1）控制器的变化
# 透明模式
# 旁路模式
# 名称模式
# 规则服务器
2）存储器的变化
#代理模式
#名称服务
#规则服务器
#master模型：前段节点存放元数据（name node），后端节点存放数据（data node）
（三）分布式系统的难点
# 缺乏全局时钟
# 面对故障的独立性
# 处理单点故障：①做冗余②降低单点故障的影响范围
#事务的挑战（ACID）：①2pc两端式提交、②最终一致③BASE方法④CAP理论⑤Paxos
（四）分布式文件系统的设计目标
# 访问透明
# 位置透明
# 并发透明
# 失效透明
# 硬件透明
# 可拓展性
# 复制透明
# 迁移透明
（五）分布式文件系统的注重的特性
# Scalable 伸缩性
# Reliable 可靠性
# Cheap 性价比
（六）分布式事务的模型及规范
X/open: XA-----XA规范是开放群组关于分布式事务处理 (DTP)的规范
#DTP:Distributed Transaction Processing Reference Model 分布式事务处理
XA规范 定义了三个组件
#AP :Appliacation Program 应用程序
#RM :Resource Manager 资源管理器
#TM ：Transaction Manager 事务管理器
简单来讲：AP通过RM来实现资源操作，如果AP当中执行一个完整的事务，则通过TM控制事务都执行或者不执行，如果事务执行失败则回滚；
其中TM管理哪些资源的事务需要事先向RM资源管理器注册申请
（七）面对事务挑战（ACID）的协调方式
#2PC（两段式提交）：事务管理中双方都完成，或者都不完成
#CAP理论：C代表一致性，A代表可用性，P代表分区容错性
CAP理论一般满足以上两者，无法保证三者都满足；其中关系型数据库属于AC，其他环境一般为AP
#BASE ：BA（Basically）表示基本可用，S(Soft state)表示接受一段时间内的状态不同步,E(Eventually consistent)最终一致性
#Paxos ： 比2PC提交更轻量级的分布式事务的协调方式
分布式事务处理的一致性问题
强一致性
#ACID
#在单机环境中，强一致性可以由数据库的事务来保证
#在多级环境中，强一致性很难做到
#分布式事务：性能太差，在化联网的应用中不适合
弱一致性（包括最终一致性）
#通过提交处理的半同步、半异步或全异步，取得最终一致性效果
#最终一致性使得数据的提交具有延时性，而在一定范围时的延时性范围内（比如一秒），应用的可用性时正常的
集群内一致性算法实施过程案例
#基于合法票数（Quorum）和向量时钟（Vector Clock）
Quorum算法
#N :数据复制的节点量
#R ：成功读取所依赖的最少节点数
#W ：成功写操作所依赖的最少节点数
#W+R>N 表示强一致性 ；W+R grant all on *.* to root@'172.16.%.%' identified by '123456';
2）授权moguser用户
#MariaDB [(none)]> grant all on mogdb.* to 'moguser'@'172.16.%.%' identified by 'mogpass';
3）冲刷授权表
#MariaDB > flush privileges;
2、172.16.13.2服务器安装tracker和mystore
1）下载程序包：
MogileFS-Utils-2.19-1.el6.noarch.rpm
perl-MogileFS-Client-1.14-1.el6.noarch.rpm
perl-Net-Netmask-1.9015-8.el6.noarch.rpm
perl-Perlbal-1.78-1.el6.noarch.rpm
MogileFS-Server-2.46-2.el6.noarch.rpm
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm
同时将所有rpm包 放到另外两个服务器上一份
#scp*.rpm 172.16.13.3:/root
#scp *.rpm 172.16.13.4:/root
2）安装
#yum-y install*.rpm perl-IO-AIO
3）配置tracker
# chown -R mogilefs.mogilefs /var/run/mogilefsd/ 指定为mogilefs用户和组
# mogdbsetup --dbhost=172.16.249.39 --dbport=3306 --dbname=mogdb --dbrootuser=root --dbrootpass=123456 --dbuser=moguser --dbpass=mogpass --yes 数据库初始化
MySQL服务器查看生成的数据库
#MariaDB [(none)]> show databases;
http://s3.运维网.com/wyfs02/M00/26/CD/wKioL1NthiigMGNNAACf0Bshkqw247.jpg
编辑tracker的配置文件
#cd /etc/mogilefs
#vim mogilefsd.conf 修改一下内容
db_dsn = DBI:mysql:mogdb:host=172.16.249.39
db_user = moguser
db_pass = mogpass
listen = 0.0.0.0:7001
#chmod -R mogilefs.mogilefs mogilefsd.conf
#service mogilefsd start启动mogilefsd服务
#ss -ntl | grep 7001
http://s3.运维网.com/wyfs02/M02/26/CD/wKioL1Nthqizk9JEAABPxqONyQA177.jpg
4）配置mogstore
# mkdir /dfs/mogdata/dev1
# chown -R mogilefs.mogilefs /dfs/mogdata/dev1
# cd /etc/mogilefs
# vim mogstored.conf修改如下内容
docroot = /dfs/mogdata
# chown -R mogilefs.mogilefs mogstored.conf
# service mogstored start启动服务
# ss -tnlp
http://s3.运维网.com/wyfs02/M01/26/CC/wKiom1Nth8bC8FrSAAAmi7Yscdo950.jpg
在trakers 中添加 mogstore存储主机
#mogadm --trackers=172.16.13.2:7001 host add 172.16.13.2 --ip=172.16.13.2 --status=alive
# mogadm --trackers=172.16.13.2:7001 host listhttp://s3.运维网.com/wyfs02/M00/26/CD/wKioL1NtiDbydDFcAAAsT3JsUXE420.jpg
此时已经实现172.16.13.2服务器即是tracker，也是mogstore存储
将配置文件mogilefsd.confmogstored.conf 复制到 172.16.13.3 与172.16.13.4 上
#cd /etc/mogilefs
#scp * 172.16.13.3:/etc/mogilefs
#scp * 172.16.13.4:/etc/mogilefs
3、172.16.13.3服务器配置
1） 安装
# cd /root(该目录已经有从 172.16.13.2传送的所有rpm包)
# yum -y install*.rpmperl-IO-AIO
2） 配置cheker
# service mogilefsd start
# ss -ntl | grep 7001
3）配置mogstore
# mkdir -pv /dfs/mogdata/dev2
# chown -R mogilefs.mogilefs /dfs/mogdata/dev2
# service mogstored start
# ss -ntlp查看 7500 7501端口侦听
4）tracker中添加mogstore存储主机
# mogadm --trackers=172.16.13.3:7001 host add 172.16.13.3 --ip=172.16.13.3 --status=alive
# mogadm --trackers=172.16.13.3:7001 host listhttp://s3.运维网.com/wyfs02/M01/26/CD/wKiom1NtiZPil1i7AACX7V6heCY780.jpg
4、172.16.13.4服务器配置
1）安装
#cd/root
#yum -y install *.rpm perl-IO-AIO
2）配置tracker
#servicemogilefsd start
#ss -ntl | grep 7001
配置文件无需更改
3）配置mogstore
#mkdir -pv /dfs/mogdata/dev3
#chown -R mogilefs.mogilefs /dfs/mogdata/dev3创建mogstore数据目录
#service mogstored start
# ss -ntlp查看7500 7501端口
4）添加mystore存储主机
# mogadm --trackers=172.16.13.4:7001 host add 172.16.13.4 --ip=172.16.13.4 --status=alive
# mogadm --trackers=172.16.13.4:7001 host list
http://s3.运维网.com/wyfs02/M01/26/CD/wKioL1NtigviQINlAACly1pzuZE540.jpg
以上三个节点全部配置完 trackers 与 mystore ，接下来我们添加三个节点上的设备、添加域、添加类文件
5）添加存储设备
在172.16.13.4 tracker服务器配置即可
# mogadm --trackers=172.16.13.4:7001 device add 172.16.13.2 1
# mogadm --trackers=172.16.13.4:7001 device add 172.16.13.3 2
# mogadm --trackers=172.16.13.4:7001 device add 172.16.13.4 3
# mogadm --trackers=172.16.13.4:7001 device list http://s3.运维网.com/wyfs02/M00/26/CD/wKiom1NtixzCp8YWAAEFgyezmZU111.jpg
6）分布式系统添加domain 域
# mogadm --trackers=172.16.13.4:7001 domain add files
# mogadm --trackers=172.16.13.4:7001 domain add images
# mogadm --trackers=172.16.13.4:7001 domain listhttp://s3.运维网.com/wyfs02/M00/26/CD/wKioL1Nti6iQUfKdAACI0eMYfl0595.jpg
7）在域（domain）中添加类（class）文件
### class 是在mystore中最小存储与复制单元
为images域创建几个class文件
# mogadm --trackers=172.16.13.4:7001 class add images class0 --mindevcount=2至少2个副本
# mogadm --trackers=172.16.13.4:7001 class add images class1 --mindevcount=2
# mogadm --trackers=172.16.13.4:7001 class add images class2 --mindevcount=2
# mogadm --trackers=172.16.13.4:7001 class add images class3 --mindevcount=2
# mogadm --trackers=172.16.13.4:7001 class list 查看创建的类文件http://s3.运维网.com/wyfs02/M02/26/CD/wKioL1NtjJDwkSSWAAFSmhkGqh0894.jpg
现在为止，终于将mogilefs 集群搭建完毕，接下来我们配置nginx反向代理服务器
5、Nginx服务器配置
基于第三方模块ningx-mogilefs-mudule=master 实现http反向代理
1）下载源码包nginx-1.4.7.tar.bz （自行官网下载即可）
下载nginx支持mogfile的第三方模块 nginx-mogilefs-module-master.zip
2）编译安装
# tar -xfnginx-1.4.7.tar.bz
# unzip nginx-mogilefs-module-master.zip
创建nginx用户与组
# gourpadd -r nginx
# useradd -r -g nginx nginx
开始编译安装
#cdnginx-1.4.7
#./configure --prefix=/usr --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --with-debug --add-module=../nginx-mogilefs-module-master
# make && make install
3) 为nginx 提供服务脚本
# vim /etc/rc.d/init.d/nginx
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description:Nginx is an HTTP(S) server, HTTP(S) reverse \
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# config: /etc/sysconfig/nginx
# pidfile: /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
options=`$nginx -V 2>&1 | grep 'configure arguments:'`
for opt in $options; do
if [ `echo $opt | grep '.*-temp-path'` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}
start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
configtest || return $?
stop
sleep 1
start
}
reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}
force_reload() {
restart
}
configtest() {
$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
status $prog
}
rh_status_q() {
rh_status >/dev/null 2>&1
}
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac
为此脚本赋予执行权限：
# chmod +x /etc/rc.d/init.d/nginx
添加至服务管理列表，并让其开机自动启动：
# chkconfig --add nginx
# chkconfig nginx on
启动服务并测试：
# service nginx start
# ss -ntl | grep 80
4 ）在分布式集群系统上上传几个图片和文件
172.16.13.2服务器上操作即可因为它是三个trackers之一
# mogupload --trackers=172.16.13.2:7001 --domain=images --key='/images/1.png' --file='/usr/share/backgrounds/default_1920x1200.png'
# mogupload --trackers=172.16.13.2:7001 --domain=images --key='/images/2.png' --file='/usr/share/backgrounds/default_1920x1440.png'
# mogupload --trackers=172.16.13.2:7001 --domain=files --key='/file/fstab.html --file='/etc/fstab'
# moglistkeys --trackers=172.16.13.2:7001 --domain=images
http://s3.运维网.com/wyfs02/M00/26/CD/wKioL1NtjjOS2F6fAAAaVqyHzSU187.jpg
# mogfileinfo --trackers=172.16.13.3:7001 --domain=images --key='/images/1.png'查看图片信息http://s3.运维网.com/wyfs02/M00/26/CD/wKiom1NtjuXjwqaqAADLUqOY8-k044.jpg
5） 编辑nginx配置文件
在server段添加两个location，一个负责图片文件的访问，一个负责文本文件的访问控制
location ~* ^(/images/.*)${
mogilefs_tracker 172.16.13.3:7001;
mogilefs_domain images;
mogilefs_pass $1 {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
location ~* ^(/file/.*)$ {
mogilefs_tracker 172.16.13.2:7001;
mogilefs_domain files;
mogilefs_pass $1 {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
# service nginx restart 重读配置文件
客户端测试：文本文件
http://s3.运维网.com/wyfs02/M01/26/CD/wKioL1Ntj6TA-Yp8AAEJ2qcDupg750.jpg
客户端测试：图片文件
http://s3.运维网.com/wyfs02/M00/26/CD/wKiom1NtkFXgU1ImAAB9XO9ciYQ874.jpg
http://s3.运维网.com/wyfs02/M02/26/CD/wKioL1NtkDbyUws1AABYRtc4lbo446.jpg
nginx的反向代理实现
6）nginx 实现负载均衡调度
http段添加一个upstream，server中调用即可
#vim/etc/nginx/nginx.conf 重新编辑配置文件增加如下内容
upstream mogcluster {
server 172.16.13.2:7001;
server 172.16.13.3:7001;
server 172.16.13.4:7001;
}
其中一个location调用定义好的upstream
location ~* ^(/images/.*)${
mogilefs_tracker mogcluster;
mogilefs_domain images;
mogilefs_pass $1 {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
#service nginxrestart
客户端测试
http://s3.运维网.com/wyfs02/M01/26/CD/wKiom1NtkZuisKFQAABi9pkGO04177.jpg
nginx负载均衡调度实现
PS：已实现nginx对后端mogileFS分布式集群的反向代理与负载均衡调度,水平有限，项目并不复杂，还需完善（mysql可以实现主从复制和读写分离，nginx服务器存在单点故障）如有错误之处请指出！
页:
[1]