AWS Athena 分析日志
AWS里面可以用Athena来分析S3里面保存的日志，他把日志转换成数据库表的格式，这样就可以通过sql语句进行查询了。这个功能和在windows服务器上用logparser来分析Exchange或者IIS的日志很相似。下面做个演示，通过Cloudtrail记录管理日志，然后通过Athena来查询日志内容。
首先选择CloudTrail, CloudTrail 是一个日志记录的服务，他和cloudwatch的区别在于这个服务更多是侧重于审计，他的内容都是关于什么时候，什么账号，从什么IP上进行了什么操作。
https://s1.运维网.com/images/blog/201901/02/d234fbd06c5f2f77a03227ae0c2c322b.png
点击 Create Trail
https://s1.运维网.com/images/blog/201901/02/f0b10be52fdf9361136efb0a926d241b.png
取个名字， 创建一个新的S3 bucket来保存日志
https://s1.运维网.com/images/blog/201901/02/b949818ca156eac743818038bd26eb58.png
创建好之后可以看见他自动已经在记录最新的日志了
https://s1.运维网.com/images/blog/201901/02/b4e962c8c53e07f0382926ba9f40a2ce.png
然后选择 Athena
https://s1.运维网.com/images/blog/201901/02/f88244855813af1ec69f7faa0c80faeb.png
跳过向导，直接进入查询器的编辑器，这里是编辑SQL语句的地方。这里我直接创建一个的数据库
https://s1.运维网.com/images/blog/201901/02/eda6e2206a37d58e2d3f1aeae5a37014.png
下面来创建一个表，从指定的S3 Bucket里面获取数据。
我们可以通过向导创建，但是比较繁琐
https://s1.运维网.com/images/blog/201901/02/efc5e7a904e768112e87d04707646180.png
比较容易的是通过脚本创建，注意最后一行S3存储桶的地址
CREATE EXTERNAL TABLE cloudtrail_logs (
eventversion STRING,
useridentity STRUCT<
type:STRING,
principalid:STRING,
arn:STRING,
accountid:STRING,
invokedby:STRING,
accesskeyid:STRING,
userName:STRING,
sessioncontext:STRUCT<
attributes:STRUCT<
mfaauthenticated:STRING,
creationdate:STRING>,
sessionissuer:STRUCT<
type:STRING,
principalId:STRING,
arn:STRING,
accountId:STRING,
userName:STRING>>>,
eventtime STRING,
eventsource STRING,
eventname STRING,
awsregion STRING,
sourceipaddress STRING,
useragent STRING,
errorcode STRING,
errormessage STRING,
requestparameters STRING,
responseelements STRING,
additionaleventdata STRING,
requestid STRING,
eventid STRING,
resources ARRAY>,
eventtype STRING,
apiversion STRING,
readonly STRING,
recipientaccountid STRING,
serviceeventdetails STRING,
sharedeventid STRING,
vpcendpointid STRING
)
ROW FORMAT SERDE 'com.amazon.emr.hive.serde.CloudTrailSerde'
STORED AS INPUTFORMAT 'com.amazon.emr.cloudtrail.CloudTrailInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://mycloudtrailbucket-faye/AWSLogs/757250003982/';
https://s1.运维网.com/images/blog/201901/02/2ca6bc98d56973664c36c83825fd67ab.png
创建表成功的样子
https://s1.运维网.com/images/blog/201901/02/ff4bd4816ec8301a17d50c26dbd0917e.png
下面我们可以进行一个简单的查询，结果如下。
https://s1.运维网.com/images/blog/201901/02/8a84e39304a91647c90d924869c86ca9.png
页:
[1]