阿里云Elasticsearch的Apache日志分析实践
阿里云Elasticsearch采集上游数据的方式有很多种，其中有一个与开源完全兼容的方案：通过logstash及logstash周围的强大的plugin实现数据采集。首先我们需要在ECS中来安装部署logstash，购买阿里云ECS服务，准备1.8以上版本的JDK。
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.3.tar.gz 解压安装
tar -xzvf logstash-5.5.3.tar.gz 通过logstash来做数据写elasticsearch的方案，我们需要创建一个logstash的管道，logstash的管道分为三个部分：
input {
}
# 该部分被注释，表示filter是可选的
filter {
}
output {
}
[*]其中input中配置数据源；
[*]output中配置目标源；
[*]filter是可选配的部分，一般会配置数据过滤的逻辑；
这部分配置很简单，在logstash的目录下创建一个.conf的文件，按照上述的格式配置input和output：
input { file {
path => "/usr/local/demoData/*.log"
start_position => beginning
}
}
output {
elasticsearch {
hosts => ["http://*******************:9200"]
user => "*******"
password => "***********"
}
}
注：阿里云elasticsearch由于预置了X-Pack插件，所有的访问均需要做认证，您的output中需要配置username和password信息。
这次我希望将阿里云ECS上经常产生的Apache日志indexing到elasticsearch中，可以将logstash直接部署在web server所在的ECS中，如果担心影响业务，可以部署在网络可达的另一台ECS中。
注：logstash的input支持很多输入形式，如果将logstash部署在网络可达的另一台ECS中，则需要配置http的input格式模板，具体可以参考文档：
input { http {
host => "**********"
port => "**********"
}
}
由于阿里云Elasticsearch部署在VPC环境内，如果部署logstash的ECS处于经典网络，需要通过Classiclink的方式与VPC做打通，可以参考《经典网络访问常见问题》。
接下来介绍如何通过logstash的filter快速解析Apache日志
Apache日志中一般会包含如下信息：
Information
Field Name
IP Address
clientip
User> ident
User Authentication
auth
timestamp
timestamp
HTTP Verb
verb
Request body
request
HTTP Version
httpversion
HTTP Status Code
response
Bytes served
bytes
Referrer URL
referrer
User agent
agent
假设我们希望从日志中发觉一些用户分布的信息，并且让不关系技术的运营同学可以直观的感受到，我们选择用Gork过滤器来解析Apache网络日志。
filter { grok {
match => { "message" => "%{COMBINEDAPACHELOG}"}
}
}
可以将原始的日志信息：
66.249.73.135 - - "GET /blog/web/firefox-scrolling-fix.html HTTP/1.1" 200 8956 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
过滤成标准的Json结构：
{
"clientip" : "66.249.73.135",
"ident" : ,
"auth" : ,
"timestamp" : "04/Jan/2015:05:30:06 +0000",
"verb" : "GET",
"request" : "/blog/web/firefox-scrolling-fix.html",
"httpversion" : "HTTP/1.1",
"response" : "200",
"bytes" : "8956",
"referrer" : "http://www.google.com/bot.html",
"agent" : "Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25"
}
其中，我们可以通过IP来解析用户访问地址信息(当然这个是不准确的)，方式是使用 geoip 插件来完成。
filter { geoip {
source => "clientip"
}
}
根据IP查对应的地址信息，并将地址信息作为 geoip 字段写入日志信息中。
geoip可以查询IP，获取如下的描述信息：
"geoip":{ "timezone":"America/Los_Angeles",
"ip":"66.249.73.135",
"latitude":37.419200000000004,
"continent_code":"NA",
"city_name":"Mountain View",
"country_name":"United States",
"country_code2":"US",
"dma_code":807,
"country_code3":"US",
"region_name":"California",
"location":{
"lon":-122.0574,
"lat":37.419200000000004
},
"postal_code":"94043",
"region_code":"CA",
"longitude":-122.0574
},
我们可以通过geoip中的坐标信息，如location，在Kibana中做基于地图的访问人群分布的可视化展现了。
https://private-alipayobjects.alipay.com/alipay-rmsdeploy-image/skylark/png/b50e2cc0-ca33-4a08-ad35-d09c14b8bc5f.png
通过上述描述的方式，我们可以批量的处理ECS中的日志信息，并在Kibana中完成配置，最终获取如下的展示效果：
https://private-alipayobjects.alipay.com/alipay-rmsdeploy-image/skylark/png/35d4bd81-8d14-483b-8272-bc2d7548aafb.png
参考文档《Configuring Logstash》
页:
[1]