任务

任务
管理集群
Debug DNS 方案
Enabling Service Topology (EN)
IP Masquerade Agent 用户指南
Kubernetes 云管理控制器
Safely Drain a Node while Respecting the PodDisruptionBudget (EN)
为 Kubernetes 运行 etcd 集群
为系统守护进程预留计算资源
为节点发布扩展资源
使用 CoreDNS 进行服务发现
使用 KMS 提供商进行数据加密
使用 Kubernetes API 访问集群
关键插件 Pod 的调度保证
启用端点切片
命名空间演练
在 Kubernetes 集群中使用 NodeLocal DNSCache
在 Kubernetes 集群中使用 sysctl
在实时集群上重新配置节点的 Kubelet
声明网络策略
开发云控制器管理器
控制节点上的 CPU 管理策略
控制节点上的拓扑管理策略
搭建高可用的 Kubernetes Masters
改变默认 StorageClass
更改 PersistentVolume 的回收策略
自定义 DNS 服务
访问集群上运行的服务
通过命名空间共享集群
通过配置文件设置 Kubelet 参数
配置 API 对象配额
配置多个调度器
配置资源不足时的处理方式
限制存储消耗
集群 DNS 服务自动伸缩
集群安全
集群管理
静态加密 Secret 数据
用插件扩展 kubectl
管理巨页(HugePages)
调度 GPUs

Edit This Page

使用 ElasticSearch 和 Kibana 进行日志管理

在 Google Compute Engine (GCE) 平台上,默认的日志管理支持目标是 Stackdriver Logging,在 使用 Stackdriver Logging 管理日志中详细描述了这一点。

本文介绍了如何设置一个集群,将日志导入Elasticsearch,并使用 Kibana 查看日志,作为在 GCE 上运行应用时使用 Stackdriver Logging 管理日志的替代方案。

注意:

您不能在 Google Kubernetes Engine 平台运行的 Kubernetes 集群上自动的部署 Elasticsearch 和 Kibana。您必须手动部署它们。

要使用 Elasticsearch 和 Kibana 处理集群日志,您应该在使用 kube-up.sh 脚本创建集群时设置下面所示的环境变量:

KUBE_LOGGING_DESTINATION=elasticsearch

您还应该确保设置了 KUBE_ENABLE_NODE_LOGGING=true (这是 GCE 平台的默认设置)。

现在,当您创建集群时,将有一条消息将指示每个节点上运行的 Fluentd 日志收集守护进程以 ElasticSearch 为日志输出目标:

$ cluster/kube-up.sh
...
Project: kubernetes-satnam
Zone: us-central1-b
... calling kube-up
Project: kubernetes-satnam
Zone: us-central1-b
+++ Staging server tars to Google Storage: gs://kubernetes-staging-e6d0e81793/devel
+++ kubernetes-server-linux-amd64.tar.gz uploaded (sha1 = 6987c098277871b6d69623141276924ab687f89d)
+++ kubernetes-salt.tar.gz uploaded (sha1 = bdfc83ed6b60fa9e3bff9004b542cfc643464cd0)
Looking for already existing resources
Starting master and configuring firewalls
Created [https://www.googleapis.com/compute/v1/projects/kubernetes-satnam/zones/us-central1-b/disks/kubernetes-master-pd].
NAME                 ZONE          SIZE_GB TYPE   STATUS
kubernetes-master-pd us-central1-b 20      pd-ssd READY
Created [https://www.googleapis.com/compute/v1/projects/kubernetes-satnam/regions/us-central1/addresses/kubernetes-master-ip].
+++ Logging using Fluentd to elasticsearch

每个节点的 Fluentd pod、Elasticsearch pod 和 Kibana pod 都应该在集群启动后不久运行在 kube-system 命名空间中。

$ kubectl get pods --namespace=kube-system
NAME                                           READY     STATUS    RESTARTS   AGE
elasticsearch-logging-v1-78nog                 1/1       Running   0          2h
elasticsearch-logging-v1-nj2nb                 1/1       Running   0          2h
fluentd-elasticsearch-kubernetes-node-5oq0     1/1       Running   0          2h
fluentd-elasticsearch-kubernetes-node-6896     1/1       Running   0          2h
fluentd-elasticsearch-kubernetes-node-l1ds     1/1       Running   0          2h
fluentd-elasticsearch-kubernetes-node-lz9j     1/1       Running   0          2h
kibana-logging-v1-bhpo8                        1/1       Running   0          2h
kube-dns-v3-7r1l9                              3/3       Running   0          2h
monitoring-heapster-v4-yl332                   1/1       Running   1          2h
monitoring-influx-grafana-v1-o79xf             2/2       Running   0          2h

fluentd-elasticsearch pod 从每个节点收集日志并将其发送到 elasticsearch-logging pods,该 pod 是名为 elasticsearch-logging服务的一部分。 这些 ElasticSearch pod 存储日志,并通过 REST API 将其公开。 kibana-logging pod 提供了一个用于读取 ElasticSearch 中存储的日志的 Web UI,它是名为 kibana-logging 的服务的一部分。

Elasticsearch 和 Kibana 服务都位于 kube-system 命名空间中,并且没有通过可公开访问的 IP 地址直接暴露。 要访问它们,请参照访问集群中运行的服务的说明进行操作。

如果你想在浏览器中访问 elasticsearch-logging 服务,你将看到类似下面的状态页面:

Elasticsearch Status

现在你可以直接在浏览器中输入 Elasticsearch 查询,如果你愿意的话。 请参考 Elasticsearch 的文档 以了解这样做的更多细节。

或者,您可以使用 Kibana 查看集群的日志(再次使用访问集群中运行的服务的说明)。 第一次访问 Kibana URL 时,将显示一个页面,要求您配置所接收日志的视图。 选择时间序列值的选项,然后选择 @timestamp。 在下面的页面中选择 Discover 选项卡,然后您应该能够看到所摄取的日志。 您可以将刷新间隔设置为 5 秒,以便定期刷新日志。

以下是从 Kibana 查看器中摄取日志的典型视图:

Kibana logs

接下来

Kibana 为浏览您的日志提供了各种强大的选项!有关如何深入研究它的一些想法,请查看 Kibana 的文档

反馈