一、介绍
1. Fluentd 是一个开源收集事件和日志系统,用与各node节点日志数据的收集、处理等等。详细介绍移步-->官方地址:http://fluentd.org/
2. Elasticsearch 是一个开源的,基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。详细介绍移步-->官方地址:http://www.elasticsearch.org/overview/
3. Kibana 开源的用于数据可视化的web ui工具,可使用它对日志进行高效的搜索、可视化、分析等各种操作。详细介绍移步-->官方地址http://www.elasticsearch.org/overview/kibana/
二、流程
每个node节点上面的fluentd监控并收集该节点上面的系统日志,并将处理过后的日志信息发送给Elasticsearch,Elasticsearch汇总各个node节点的日志信息,最后结合Kibana 实现web ui界面的数据展示。
三、安装实现
1.确保k8s集群正常工作(当然这是必须的....)
2.fluentd.yaml文件编写,这里要实现每个节点都能有fluentd跑起来,只需要将kind设置为DaemonSet即可。
extensions/v1beta1
DaemonSet
fluentd-elasticsearch
kube-system
k8s- fluentd-logging
fluentd-elasticsearch
- fluentd-elasticsearch
gcr.io/google-containers/fluentd-1.20
200Mi
100m
200Mi
- varlog
/var/log
- varlibdockercontainers
/var/lib/docker/containers
true
30
- varlog
/var/log
- varlibdockercontainers
/var/lib/docker/containers
3.elasticsearch-rc.yaml&elasticsearch-svc.yaml
v1
ReplicationController
elasticsearch-logging-v1
kube-system
k8s- elasticsearch-logging
v1
kubernetes.io/cluster- "true"
2
k8s- elasticsearch-logging
v1
k8s- elasticsearch-logging
v1
kubernetes.io/cluster- "true"
- gcr.io/google-containers/v2.4.1
elasticsearch-logging
# need more cpu upon initialization, therefore burstable> 1000m
100m
- 9200
db
TCP
- 9300
transport
TCP
- es-persistent-storage
/data
- es-persistent-storage
{}
v1
Service
elasticsearch-logging
kube-system
k8s- elasticsearch-logging
kubernetes.io/cluster- "true"
kubernetes.io/ "Elasticsearch"
- 9200
TCP
db
k8s- elasticsearch-logging
4.kibana-rc.yaml&kibana-svc.yaml
extensions/v1beta1
Deployment
kibana-logging
kube-system
k8s- kibana-logging
kubernetes.io/cluster- "true"
1
k8s- kibana-logging
k8s- kibana-logging
- kibana-logging
gcr.io/google-containers/v4.6.1
# keep request = limit to keep this container in guaranteed> 100m
100m
- "ELASTICSEARCH_URL"
"http://elasticsearch-logging:9200"
- "KIBANA_BASE_URL"
"/api/v1/proxy/namespaces/kube-system/services/kibana-logging"
- 5601
ui
TCP
v1
Service
kibana-logging
kube-system
k8s- kibana-logging
kubernetes.io/cluster- "true"
kubernetes.io/ "Kibana"
- 5601
TCP
ui
k8s- kibana-logging
5.kubectl create -f ****** ,这里就自己发挥吧。
镜像推荐使用最新的iamge,多去github/kubernetes看看 里面有详细的说明
运维网声明
1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网 享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com