openstack装B之路------http协议

civilvar

一 为何要学习HTTP协议
　　http协议就是通信的双方共同遵守的标准，就好比要合伙办事的两家公司签署的合同。
　　openstack中各组件是基于restful api通信的，restful api可以单纯的理解为一个url地址:http://www.egon.com/index.html
　　因而不管研究openstack内的任何组件，都离不开http协议，要想成为一名合格的架构师，这些必须搞明白

二 用户上网过程
　　用户从打开浏览器输入网址到看到页面经历了什么？
　　1.首先必须web服务器运行
　　2.客户端运行浏览器软件
　　3.用户输入http://www.sina.com.cn/
　　4.客户端浏览器处理http://www.sina.com.cn/,发起查询本地DNS操作，将www.sina.com.cn->202.103.0.33
　　5.客户端浏览器发送http请求http://202.103.0.33:80/index.html   (注意：80是web服务器的默认端口,index.html是默认的请求的资源)
　　6.服务端web服务收到该http的request请求头，从请求头中获取客户端的方法GET/POST.../index.html这个路径，及客户端请求的其他相关信息
　　7.服务端web服务根据取得的信息,回复respone响应头
　　响应头中包含：
　　响应代码：200表示成功，3xx表示重定向，4xx表示客户端发送的请求有错误，5xx表示服务器端处理时发生了错误；
　　响应类型：由Content-Type指定；
　　以及其他相关的Header；
　　通常服务器的HTTP响应会携带内容，也就是有一个Body，包含响应的内容，网页的HTML源码就在Body中，压缩后返回给客户端。
　　8.客户端浏览器收到服务端发来的数据,解压后解析html内容，用户就看到网页内容了
　　9.html内可能嵌套其他的链接，比方说图片、视频、javascript脚本，flash等，客户端浏览器会继续发起http请求来获取它们。这样来自图片和视频的压力就被分散到各个服务器，一个站点由无数个站点相互连接起来，就形成了World Wide Web，简称WWW。
　　综上，其实就是一次http请求-响应的流程

三  HTTP协议
　　web服务器即socket服务端，浏览器即socket客户端，这叫B/S架构，B与S之间通信的标准是HTTP协议（目前版本1.1，比1.0好在可以允许多个http请求复用一个TCP连接）

（1）http协议概述

HTTP（hypertext transport protocol），即超文本传输协议。这个协议详细规定了浏览器和万维网服务器之间互相通信的规则。
HTTP就是一个通信规则，通信规则规定了客户端发送给服务器的内容格式，也规定了服务器发送给客户端的内容格式。其实我们要学习的就是这个两个格式！客户端发送给服务器的格式叫“请求协议”；服务器发送给客户端的格式叫“响应协议”。
特点：

• HTTP叫超文本传输协议，基于请求/响应模式的！
  
• HTTP是无状态协议，FTP是有状态。
  

URL：统一资源定位符，就是一个网址：协议名://域名:端口/路径，例如：http://www.oldboy.cn:80/index.html

请求协议

HTTP协议的请求方法有GET、POST、HEAD、PUT、DELETE、OPTIONS、TRACE、CONNECT。
　　1).GET
　　最常见的一种请求方式，当客户端要从服务器中读取文档时，当点击网页上的链接或者通过在浏览器的地址栏输入网址来浏览网页的，使用的都是GET方式。GET方法要求服务器将URL定位的资源放在响应报文的数据部分，回送给客户端。使用GET方法时，请求参数和对应的值附加在URL后面，利用一个问号（“?”）代表URL的结尾与请求参数的开始，传递参数长度受限制。例如，/index.jsp?id=100&op=bind,这样通过GET方式传递的数据直接表示在地址中，所以我们可以把请求结果以链接的形式发送给好友。以用google搜索domety为例，Request格式如下：



GET /search?hl=zh-CN&source=hp&q=domety&aq=f&oq= HTTP/1.1  
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-excel, application/vnd.ms-powerpoint,
application/msword, application/x-silverlight, application/x-shockwave-flash, */*  
Referer: <a href="http://www.google.cn/">http://www.google.cn/</a>  
Accept-Language: zh-cn  
Accept-Encoding: gzip, deflate  
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; TheWorld)  
Host: <a href="http://www.google.cn">www.google.cn</a>  
Connection: Keep-Alive  
Cookie: PREF=ID=80a06da87be9ae3c:U=f7167333e2c3b714:NW=1:TM=1261551909:LM=1261551917:S=ybYcq2wpfefs4V9g;
NID=31=ojj8d-IygaEtSxLgaJmqSjVhCspkviJrB6omjamNrSm8lZhKy_yMfO2M4QMRKcH1g0iQv9u-2hfBW7bUFwVh7pGaRUb0RnHcJU37y-
FxlRugatx63JLv7CWMD6UB_O_r

• GET /  HTTP/1.1：GET请求，请求服务器路径为  http://www.sina.com.cn/ ，协议为1.1；
  
• Host:www.goole.cn 请求的主机名为www.goole.cn；
  
• Connection: keep-alive：客户端支持的链接方式，保持一段时间链接，默认为3000ms；
  
• User-Agent:.......：与浏览器和OS相关的信息。有些网站会显示用户的系统版本和浏览器版本信息，这都是通过获取User-Agent头信息而来的；
  
• Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8：告诉服务器，当前客户端可以接收的文档类型，其实这里包含了*/*，就表示什么都可以接收；
  
• Accept-Encoding: gzip, deflate,sdch：支持的压缩格式。数据在网络上传递时，可能服务器会把数据压缩后再发送；
  
• Accept-Language: zh-cn,zh;q=0.5：当前客户端支持的语言，可以在浏览器的工具选项中找到语言相关信息；
  
• 　　Cookie: PREF=ID=80a06da87be9ae3c:U=f7167333e2c3b714:NW=1:TM=1261551909:LM=1261551917:S=ybYcq2wpfefs4V9g;
  
  因为不是第一次访问这个地址，所以会在请求中把上一次服务器响应中发送过来的Cookie在请求中一并发送去过；这个Cookie的名字为SINAGLOBAL
  

　　可以看到，GET方式的请求一般不包含”请求内容”部分，请求数据以地址的形式表现在请求行。地址链接如下：



<a href="http://www.google.cn/search?hl=zh-CN&source=hp&q=domety&aq=f&oq=">http://www.google.cn/search?hl=zh-CN&source=hp
&q=domety&aq=f&oq=</a>
　　地址中”?”之后的部分就是通过GET发送的请求数据，我们可以在地址栏中清楚的看到，各个数据之间用”&”符号隔开。显然，这种方式不适合传送私密数据。另外，由于不同的浏览器对地址的字符限制也有所不同，一般最多只能识别1024个字符，所以如果需要传送大量数据的时候，也不适合使用GET方式。
　　2).POST
　　对于上面提到的不适合使用GET方式的情况，可以考虑使用POST方式，因为使用POST方法可以允许客户端给服务器提供信息较多。POST方法将请求参数封装在HTTP请求数据中，以名称/值的形式出现，可以传输大量数据，这样POST方式对传送的数据大小没有限制，而且也不会显示在URL中。还以上面的搜索domety为例，如果使用POST方式的话，格式如下：



POST /search HTTP/1.1  
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-excel, application/vnd.ms-powerpoint,
application/msword, application/x-silverlight, application/x-shockwave-flash, */*  
Referer: <a href="http://www.google.cn/">http://www.google.cn/</a>  
Accept-Language: zh-cn  
Accept-Encoding: gzip, deflate  
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; TheWorld)  
Host: <a href="http://www.google.cn">www.google.cn</a>  
Connection: Keep-Alive  
Cookie: PREF=ID=80a06da87be9ae3c:U=f7167333e2c3b714:NW=1:TM=1261551909:LM=1261551917:S=ybYcq2wpfefs4V9g;
NID=31=ojj8d-IygaEtSxLgaJmqSjVhCspkviJrB6omjamNrSm8lZhKy_yMfO2M4QMRKcH1g0iQv9u-2hfBW7bUFwVh7pGaRUb0RnHcJU37y-
FxlRugatx63JLv7CWMD6UB_O_r  
hl=zh-CN&source=hp&q=domety
　　可以看到，POST方式请求行中不包含数据字符串，这些数据保存在”请求内容”部分，各数据之间也是使用”&”符号隔开。POST方式大多用于页面的表单中
　　关于HTTP请求GET和POST的区别
　　1.GET提交，请求的数据会附在URL之后（就是把数据放置在HTTP协议头＜request-line＞中），以?分割URL和传输数据，多个参数用&连接;例如：login.action?name=hyddd&password=idontknow&verify=%E4%BD%A0 %E5%A5%BD。如果数据是英文字母/数字，原样发送，如果是空格，转换为+，如果是中文/其他字符，则直接把字符串用BASE64加密，得出如： %E4%BD%A0%E5%A5%BD，其中％XX中的XX为该符号以16进制表示的ASCII。
　　POST提交：把提交的数据放置在是HTTP包的包体＜request-body＞中。上文示例中红色字体标明的就是实际的传输数据
　　因此，GET提交的数据会在地址栏中显示出来，而POST提交，地址栏不会改变
　　2.传输数据的大小：
　　首先声明,HTTP协议没有对传输的数据大小进行限制，HTTP协议规范也没有对URL长度进行限制。 而在实际开发中存在的限制主要有：
　　GET:特定浏览器和服务器对URL长度有限制，例如IE对URL长度的限制是2083字节(2K+35)。对于其他浏览器，如Netscape、FireFox等，理论上没有长度限制，其限制取决于操作系统的支持。
　　因此对于GET提交时，传输数据就会受到URL长度的限制。
　　POST:由于不是通过URL传值，理论上数据不受限。但实际各个WEB服务器会规定对post提交数据大小进行限制，Apache、IIS6都有各自的配置。
　　3.安全性：
　　POST的安全性要比GET的安全性高。注意：这里所说的安全性和上面GET提到的“安全”不是同个概念。上面“安全”的含义仅仅是不作数据修改，而这里安全的含义是真正的Security的含义，比如：通过GET提交数据，用户名和密码将明文出现在URL上，因为(1)登录页面有可能被浏览器缓存， (2)其他人查看浏览器的历史纪录，那么别人就可以拿到你的账号和密码了

响应协议

3.1 响应内容
响应内容是由服务器发送给浏览器的内容，浏览器会根据响应内容来显示。遇到<img src=''>会开一个新的线程加载，所以有时图片多的话，内容会先显示出来，然后图片才一张张加载出来。



HTTP/1.1 200 OK
Date: Sat, 31 Dec 2005 23:59:59 GMT
Content-Type: text/html;charset=ISO-8859-1
Content-Length: 122
＜html＞
＜head＞
＜title＞Wrox Homepage＜/title＞
＜/head＞
＜body＞
＜!-- body goes here --＞
＜/body＞
＜/html＞

• HTTP/1.1 200 OK：响应协议为HTTP1.1，状态码为200，表示请求成功，OK是对状态码的解释；
  
• Server:WSGIServer/0.2 CPython/3.6.0：服务器的版本信息；
  
• Content-Type: text/html;charset=UTF-8：响应体使用的编码为UTF-8；
  
• Content-Length: 122：响应体为122字节；
  
• Set-Cookie: JSESSIONID=C97E2B4C55553EAB46079A4F263435A4; Path=/hello：响应给客户端的Cookie；
  
• Date: Sat, 31 Dec 2005 23:59:59 GMT：响应的时间，这可能会有8小时的时区差；
  

状态码：
　　HTTP-Version表示服务器HTTP协议的版本；Status-Code表示服务器发回的响应状态代码；Reason-Phrase表示状态代码的文本描述。状态代码由三位数字组成，第一个数字定义了响应的类别，且有五种可能取值。

• 1xx：指示信息--表示请求已接收，继续处理。
  
• 2xx：成功--表示请求已被成功接收、理解、接受。
  
• 3xx：重定向--要完成请求必须进行更进一步的操作。
  
• 4xx：客户端错误--请求有语法错误或请求无法实现。
  
• 5xx：服务器端错误--服务器未能实现合法的请求。
  

　　常见状态代码、状态描述的说明如下。

• 200 OK：客户端请求成功。
  
• 400 Bad Request：客户端请求有语法错误，不能被服务器所理解。
  
• 401 Unauthorized：请求未经授权，这个状态代码必须和WWW-Authenticate报头域一起使用。
  
• 403 Forbidden：服务器收到请求，但是拒绝提供服务。
  
• 404 Not Found：请求资源不存在，举个例子：输入了错误的URL。
  
• 500 Internal Server Error：服务器发生不可预期的错误。
  
• 503 Server Unavailable：服务器当前不能处理客户端的请求，一段时间后可能恢复正常，举个例子：HTTP/1.1 200 OK（CRLF）。
  

　　3.3 其他响应头
告诉浏览器不要缓存的响应头：

• Expires: -1；
  
• Cache-Control: no-cache；
  
• Pragma: no-cache；
  

自动刷新响应头，浏览器会在3秒之后请求http://www.baidu.com：

• Refresh: 3;url=http://www.baidu.com
  

　　3.4 HTML中指定响应头
　　在HTMl页面中可以使用<meta http-equiv="" content="">来指定响应头，例如在index.html页面中给出<meta http-equiv="Refresh" content="3;url=http://www.baidu.com">，表示浏览器只会显示index.html页面3秒，然后自动跳转到http://www.baidu.com.

四 抓包分析HTTP协议
　　我们可以打开浏览器在菜单中选择”视图“，“开发者”，"开发者工具"，选择Network来监控浏览器与web服务器之间做的事情。
　　web服务器收到的客户端发来的请求头
　　
　　web服务器发给客户端的响应头（返回body就是html了）