ES(2): Build ES Cluster on Azure VM

慧9建

　　目录：

• 系统环境准备
  
• 安装ES集群
  
• 安装Kibana
  
• 安装x-pack
  
• 安装head
  

　　系统环境准备

• 参见： HDP2.4安装(二)：Centos7配置
  
• 修改network：
  
• 修改hosts:      
  
• 配置ssh ：
  
• 配置ntp服务
  
• 配置selinux
  
• 安装java jdk
  
• 文件数与虚拟内存配置
  
  
  
  • 命令：vim /etc/sysctl.conf   打开编辑器中增加如下配置
    
    
    fs.file-max=655350
    vm.max_map_count=655360
    
  • 执行命令：sysctl -p
    
  • 命令： vim /etc/security/limits.conf  添加下面配置：
    
    
    * soft nofile 655350
    * hard nofile 655350
    
  
  
• 命令：reboot （重启机器）
  
• 测试集群节点：
  
• 10.0.0.5  JNES01 (A2系列)
  
• 10.0.0.6  JNES02 (A2系列）  
  

　　安装ES集群

• ES5.1下载地址： https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.tar.gz
  
• 解压： tar -zxvf elasticsearch-5.1.1.tar.gz
  
• 新建存储目录： mkdir -p /mnt/data/esdata
  
• 目录权限：chmod -R 777 /mnt/data/esdata/
  
• 修改配置：vim elasticsearch.yml
  
  
  # ---------------------------------- Cluster -----------------------------------
  cluster.name: JNES
  http.cors.enabled: true
  http.cors.allow-origin: "*"
  thread_pool:
  bulk:
  size: 3
  queue_size: 1000
  # ------------------------------------ Node ------------------------------------
  node.name: JNES01
  # ----------------------------------- Paths ------------------------------------
  path.data: /mnt/data/esdata
  # ----------------------------------- Memory -----------------------------------
  bootstrap.memory_lock: false
  indices.fielddata.cache.size: 25%
  # ---------------------------------- Network -----------------------------------
  network.host: 10.0.0.5
  http.port: 12000
  transport.tcp.port: 12300
  # --------------------------------- Discovery ----------------------------------
  discovery.zen.ping.unicast.hosts: ["10.0.0.5", "10.0.0.6"]
  discovery.zen.minimum_master_nodes: 1
  discovery.zen.ping_timeout: 20s
  # ---------------------------------- Various -----------------------------------
  action.auto_create_index: true
  xpack.security.enabled: false
  
• 将文件scopy至JNES02，然后修改node节点名
  
• 命令：vim jvm.options  A2的机器更改配置：-Xms1g
  
• teld用户下运行elastic，需更改root安装文件的权限，并确保teld具有es数据目录的读写权限，命令：sudo chmod -R 777 /zhu/elasticsearch-5.1.1
  
• 切换目录至： cd /zhu/elasticsearch-5.1.1/bin
  
• 后台启动ES： ./elasticsearch -d   (-d: 参数表示后台启动，不带该参数表示前台启动）
  
• 检测命令：curl 10.0.0.5:12000  如下图则ok
  
• 
  
• 命令： jps 查看es进程号，停止服务通过 kill 进程号来处理
  
• 命令： ./elasticsearch help （查看命令行帮助）
  
• 
  

　　安装Kibana

• 下载地址：https://artifacts.elastic.co/downloads/kibana/kibana-5.1.1-linux-x86_64.tar.gz
  
• 解压： tar -zxvf kibana-5.1.1-linux-x86_64.tar.gz
  
• 配置修改： vim kibana.yml
  
  
  server.port: 5500
  server.host: "10.0.0.5"
  elasticsearch.url: "http://10.0.0.5:12000"
  elasticsearch.requestTimeout: 180000
  elasticsearch.pingTimeout: 15000
  xpack.security.enabled: false
  
• 　　切换至kibana目录： cd /zhu/kibana-5.1.1-linux-x86_64/
  
  
• 启动服务： ./kibana
  
• 后台启动服务：nohup ./kibana &  （简单而有用的nohup命令在UNIX/LINUX中，普通进程用&符号放到后台运行，用nohup命令启动程序：nohup <程序名> & ）
  
• 查看服务：netstat -pan |grep 5500
  
• 
  
• 停止进程：kill -9 63890
  
• 配置端口映射，如下图
  
• 
  
• 外网访问kibana,如下图：
  
• 
  
• 之前版本ES和Kibana配合还需要使用plugin安装一些Marvel，sense等，现在都不需要了，DevTools就是之前的Sense
  

　　安装x-pack

• X-pack插件:  x-pack是elasticsearch的一个扩展包，将安全，警告，监视，图形和报告功能捆绑在一个易于安装的软件包中，包含功能如下：
  
• 
  
• 当安装X-pack在群集上，监控代理运行在每个节点上收集和指数指标从Elasticsearch。
  
• 安装在X-pack在Kibana上，可以查看通过一套专门的仪表板监控数据
  
• 命令： ./elasticsearch-plugin install x-pack  如下图（切换到es安装bin目录下，所有ES节点都需安装）
  
• 
  
• 命令： ./kibana-plugin install file:///zhu/x-pack-5.1.1.zip   （切至kibana解压bin目录，zip文件需从网上下载，只需在安装kibana的机器上安装即可）
  
• 
  
• 通过kibana查看集群信息，如下图：
  
• 
  

　　安装head

• head插件可以用来快速查看elasticsearch中的数据概况以及非全量的数据，也支持控件化查询和rest请求，但是体验都不是很好。一般就用它来看各个索引的数据量以及分片的状态
  
• 下载安装head插件，下载地址： https://codeload.github.com/mobz/elasticsearch-head/zip/master 下载至本地后上传 （任选一台机器上安装即可）
  
• 命令：unzip elasticsearch-head-master.zip
  
• 下载安装nodejs, 下载地址：https://nodejs.org/dist/v6.9.2/node-v6.9.2-linux-x64.tar.xz   下载至本地后上传
  
• 命令：xz -d node-v6.9.2-linux-x64.tar.xz
  
• 命令：tar -xvf node-v6.9.2-linux-x64.tar
  
• 命令：mv node-v6.9.2-linux-x64 /zhu/node
  
• 配置node环境变量： vim /etc/profile  加如下配置
  
  
  export NODE_HOME=/zhu/node
  export PATH=$PATH:$NODE_HOME/bin
  
• 　　命令：source /etc/profile
  
  
• 验证命令：node -v
  
• 验证命令：npm -v
  
• 
  
• grunt是一个很方便的构建工具，可以进行打包压缩、测试、执行等等的工作，head插件就是通过grunt启动的。因此需要安装一下
  
• 安装grunt，切换至目录： cd elasticsearch-head-master
  
• 命令： npm install grunt
  
• 测试： 切换至目录：cd elasticsearch-head-master/node_modules/grunt/bin
  
• 命令：./grunt
  
• 
  
• 按提示安装如下包,切换至如下目录： cd /zhu/elasticsearch-head-master
  
• 命令：npm install grunt-contrib-clean --registry=https://registry.npm.taobao.org
  
• 命令：npm install grunt-contrib-concat --registry=https://registry.npm.taobao.org
  
• 命令：npm install grunt-contrib-watch --registry=https://registry.npm.taobao.org
  
• 命令：npm install grunt-contrib-connect --registry=https://registry.npm.taobao.org
  
• 命令：npm install grunt-contrib-copy --registry=https://registry.npm.taobao.org
  
• 命令：npm install grunt-contrib-jasmine --registry=https://registry.npm.taobao.org
  
• 安装完成后检查：./grunt -version
  
• 
  
• head直接执行有很多限制，比如无法跨机器访问等，因此需要用户修改如下两个地方：
  
• 修改head目录下Gruntfile.js配置, 添加hostname: '10.0.0.5' 或 "*"
  
• 
  
• 修改连接地址：目录：head/_site/app.js, 把localhost修改成你es的服务器地址,如下：
  
• 把localhost修改成你es的服务器地址，如:  this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://10.0.0.5:12000";
  
• 切换目录至：cd /zhu/elasticsearch-head-master
  
• 运行：node_modules/grunt/bin/grunt server  如下图
  
• 
  
• 后台运行：nohup node_modules/grunt/bin/grunt server &
  
• 查看命令：netstat -pan |grep 9100
  
• 
  
• 访问示例图如下：
  
•