分布式搜索elasticsearch 基本概念

忧郁者

　　分布式搜索elasticsearch 基本概念
　　ElasticSearch官网：http://www.elasticsearch.org/
　　先上一张elasticsearch的总体框架图：

　　ElasticSearch是基于Lucene开发的分布式搜索框架，包含如下特性：
　　分布式索引、搜索
　　索引自动分片、负载均衡
　　自动发现机器、组建集群
　　支持Restful 风格接口
　　配置简单等。
　　下图是ElasticSearch的第三方插件管理工具，通过它可以很清晰的看到它索引分布的情况：哪块分布在那里，占用空间多少都可以看到，并且可以管理索引。

　　当一台机挂了时，整个系统会对挂机里的内容重新分配到其它机器上，当挂掉的机重新加入集群时，又会重新把索引分配给它。当然，这些规则都是可以根据参数进行设置的，非常灵活。ElasticSearch是先把索引的内容保存到内存之中，当内存不够时再把索引持久化到硬盘中，同时它还有一个队列，是在系统空闲时自动把索引写到硬盘中。
　　的后端存储方式可以有一下四种：
　　1. 像普通的 Lucene 索引，存储在本地文件系统中;
　　2. 存储在分布式文件系统中，如 freeds;
　　3. 存储在 Hadoop 的 hdfs中;
　　4. 存储在亚马逊的 S3 云平台中。
　　它支持插件机制，有丰富的插件。比如和 MongoDB、couchDB 同步的river 插件，分词插件，Hadoop 插件，脚本支持插件等。
下面介绍elasticsearch的几个概念：
　　cluster
　　代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es 的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看 es 集群，在逻辑上是个整体，与任何一个节点的通信和与整个 es 集群通信是等价的。在配置文件中可以配置集群的名字，在同一局域网内的机器，配置相同的cluster名字，将会自动组建集群，不需要其它特殊配置。
　　shards
　　代表索引分片，es 可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上，构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。
　　replicas
　　代表索引副本，es 可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es 会自动对搜索请求进行负载均衡。
　　recovery
　　代表数据恢复或叫数据重新分布，es 在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。
　　river
　　代表 es 的一个数据源，也是其它存储方式（如：数据库）同步数据到es的一个方法。它是以插件方式存在的一个 es 服务，通过读取 river 中的数据并把它索引到 es 中，官方的 river 有 couchDB、RabbitMQ、Twitter、Wikipedia。
　　gateway
　　代表 es 索引的持久化存储方式，es默认是先把索引存放到内存中，当内存满了时再持久化到硬盘。当这个 es 集群关闭再重新启动时就会从 gateway 中读取索引数据。es 支持多种类型的 gateway，有本地文件系统（默认），分布式文件系统，Hadoop 的 HDFS 和 amazon 的 s3 云存储服务。
　　discovery.zen
　　代表 es 的自动发现节点机制，es是一个基于 p2p 的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。
　　Transport
　　代表es 内部节点或集群与客户端的交互方式，默认内部是使用 tcp 协议进行交互，同时它支持 http 协议（json格式）、thrift、servlet、memcached、zeroMQ等的传输协议（通过插件方式集成）。