高并发网站存储架构设计

ABKYH

　　一、什么是互联网架构？

　　二、服务.


　　三、传统行业VS互联网行业。

　　四、


　　
On-Line Transaction Processing联机事务处理系统(OLTP)               UGC（User Generated Content）用户原创内容.
五、架构演进。<1>

　　
　　<2>

　　<3>mysql读写分离.


　　<4>有cache层了(memcache/ redis)   90%交给cache,剩余的10%留给DB.


　　<5>搜索场景的需要.(cache和数据库不能解决,需要用到索引---->lucene/solr/)
　　
Open Source Search Server
　　

　　<6>  有API接口了(对象的抽象化)


　　<7>LVS/F5.

　　六、互联网架构组件。


　　
          Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另一个位置，当中央存储系统恢复后，scribe会将转存的日志重新传输给中央存储系统。其通常与Hadoop结合使用，scribe用于向HDFS中push日志，而Hadoop通过MapReduce作业进行定期处理。
         scribe为日志收集提供了一种容错且可扩展的方案。scribe可以从不同数据源，不同机器上收集日志，然后将它们存入一个中央存储系统，以便于进一步处理。当采用HDFS作为中央系统时，可以进一步利用Hadoop进行处理数据，于是scribe&#43;HDFS&#43;MapReduce方案便诞生了。
七、Facebook架构。