最近一直在思考如何对线上服务做深度监控。基础的服务可用性监控很简单，定期Ping即可。但是怎样才能监控服务器的一些更加关键的数据呢？比如，每一个API Point的请求次数（QPS），最大响应时间，平均响应时间等。最终我希望实现的效果是有一个Dashboard，我可以清楚地看到各种参数曲线，对服务器的运行情况了然于胸。 绘制Dashboard不难，目前提供数据可视化的工具很多，随便选一个都能满足需要。关键问题是，怎样将整个流程打通？ 服务器该以怎样的形式暴露出数据？ 数据怎样被收集和存储起来？ 存储起来的数据怎样提供给数据可视化工具？ 怎样做到足够灵活，可以可视化自己感兴趣的任意数据？ Prometheus 像QPS和响应时间这些数据，外部工具是没办法直接拿到的，必须要服务器以某种方式将数据...阅读全文
一、前言 第一版的接口响应时长分布统计图表是根据 Prometheus Counter 数据类型制作的折线图,它大概长下面这个样子。 原理其实也非常简单,我就是将请求分组进行统计。大致的代码就是下面这个样子 // UploadAPIRequestDurationCounter 上报接口请求时长 func (s *apiMetrics) UploadAPIRequestDurationCounter(method, endpoint string, duration time.Duration) { getDurationLabel := func(duration time.Duration) string { d := duration.Milliseconds() switch { ca...阅读全文
目录一、概述二、Grafana Alerting 模块介绍三、配置图表四、告警告警规则五、配置告警通道（Contact points）1）Email1、配置smtp（grafana.ini）2、配置消息模板3、配置告警通道2）WebHook1、编写webhook api服务2、在grafana页面上配置3）Alertmanager 一、概述 在版本4.0+ grafana中增加了Alerting 告警模块，丰富了grafana功能，以前告警需要借助AlertManager，但是有grafana告警模块之后就可以不使用AlertManager告警了，但是grafana也支持对接AlertManager，所以还是非常方面，又可以省区一个组件的维护和资源开销。 下图概述了 Grafana 告警的工...阅读全文
背景 grafana从版本6.3升级到7.2.1，通过chrome浏览器无法登录，需要清除浏览器缓存会话才可以正常登录，这样用户体验并不好，不可能使得所有用户都要在登录前都清除一下浏览器缓存会话。 chrome 版本信息 Google Chrome86.0.4240.198 (正式版本) （64 位） (cohort: Stable)修订版本d8a506935fc2273cfbac5e5b629d74917d9119c7-refs/branch-heads/4240@{#1431}操作系统Windows 10 OS Version 1909 (Build 18363.1198)JavaScriptV8 8.6.395.25Flash32.0.0.453 服务端报错信息 t=2020-11-2...阅读全文
详细解释Prometheus range query中的step参数的作用。 Prometheus有两种query：instant query、range query。本文要讲的就是range query中的step参数。 range query是非常常见的一种query，看看它有哪些参数： query=
这篇文章介绍如何使用 PromQL 查询 Prometheus 里面的数据。包括如何使用函数，理解这些函数，Metrics 的逻辑等等，因为看了很多教程试图学习 PromQL，发现这些教程都直说有哪些函数、语法是什么，看完之后还是很难理解。比如 [1m] 是什么意思？为什么有的函数需要有的函数不需要？它对 Grafana 上面展示的数据有什么影响？rate 和 irate 的区别是什么？sum 和 rate 要先用哪个后用哪个？经过照葫芦画瓢地写了很多 PromQL 来设置监控和告警规则，我渐渐对 PromQL 的逻辑有了一些理解。这篇文章从头开始，通过介绍 PromQL 里面的逻辑，来理解这些函数的作用。本文不会一一回答上面这些问题，但是我的这些问题都是由于之前对 PromQL 里面的逻辑...阅读全文
 一、Prometheus的概念和发展史 Prometheus是一个开源的完整监控解决方案，本文将从指标抓取到查询及可视化展示，以及最后的监控告警，对Prometheus做一个基本的认识。 Prometheus发展速度很快，12年开发完成，16年加入CNCF，成为继K8s之后第二个CNCF托管的项目，目前Github 42k的 ，而且社区很活跃，维护频率很高，基本稳定在 1个月1个小版本的迭代速度。 二、Prometheus的特点 多维数据模型：由度量名称和键值对标识的时间序列数据 时序数据，是在一段时间内通过重复测量（me...阅读全文
Prometheus入门与进阶实践（2024最新） 分享一套课程——Prometheus入门与进阶实践（2024最新），附PDF课件+源码下载。 1、什么是Prometheus Prometheus 是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheus server会定期从静态配置的监控目标或者基于服务发现自动配置的自标中进行拉取数据，当新拉取到的数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。 1.每个被监控的主机都可以通过专用的exporter 程序提供输出监控数据的接口，它会在目标处收集监控数据，并暴露出一个HTTP接口供Prometheus server查询，Prometheus通过基于HTTP的pul...阅读全文
背景介绍饿了么监控系统 EMonitor ：是一款服务于饿了么所有技术部门的一站式监控系统，覆盖了系统监控、容器监控、网络监控、中间件监控、业务监控、接入层监控以及前端监控的数据存储与查询。每日处理总数据量近 PB ，每日写入指标数据量百T，每日指标查询量几千万，配置图表个数上万，看板个数上千。CAT：是基于 Java 开发的实时应用监控平台，为美团点评提供了全面的实时监控告警服务。本文通过对比分析下两者所做的事情为契机讨论监控系统或许该有的面貌，以及浅谈下监控系统发展的各个阶段。CAT 做的事情（开源版）首先要强调的是这里我们只能拿到 GitHub 上开源版 CAT 的最新版 3.0.0 ，所以是基于此进行对比。接下来说说 CAT 做了哪些事情？抽象出监控模型抽象出 Transaction...阅读全文
