PROMETHEUS

概述

Prometheus 是一套开源的系统监控和警报工具包，由前 Google 工程师在 SoundCloud 于 2012 年创建。它的设计灵感来源于 Google 内部的 Borgmon 监控系统，专为微服务和容器化环境设计。

2016 年，Prometheus 加入 Cloud Native Computing Foundation (CNCF)，成为继 Kubernetes 之后的第二个托管项目，2018 年正式毕业，标志着其成为云原生监控的事实标准。

核心设计目标

• 多维数据模型：通过指标名称和键值对标签区分时间序列数据，支持灵活的多维查询。
• 灵活的查询语言：PromQL 允许对收集的数据进行切片和切块，以生成图表、表格和警报。
• 不依赖分布式存储：单个服务器节点是自治的，降低了部署和运维复杂度。
• 基于 Pull 的采集：通过 HTTP 协议主动拉取指标数据，便于调试和服务发现。
• 服务发现：原生支持 Kubernetes、Consul、DNS 等多种服务发现机制。
• 高效存储：内置时间序列数据库，采用压缩算法实现高效存储。

关键组件解析

• Prometheus Server：核心组件，负责定期从配置的目标（Targets）拉取数据，处理并存储到本地的时间序列数据库（TSDB）。
• Exporters：运行在被监控节点上，将非 Prometheus 格式的指标转换为 Prometheus 可识别的格式。
• Pushgateway：用于接收短生命周期作业（Short-lived jobs）推送的指标，Prometheus Server 再从中拉取。
• Alertmanager：处理由 Server 推送的警报，进行去重、分组，并路由到正确的接收端（如 Email, Slack, PagerDuty）。
• Client Libraries：官方提供 Go、Java、Python、Ruby 等语言的客户端库，方便应用程序暴露指标。
• Service Discovery：支持 Kubernetes、Consul、DNS、EC2 等多种服务发现机制。

常用 Exporters

四种核心指标类型

Histogram vs Summary

数据类型

• 标量 (Scalar)：单一的数值，如 42。
• 即时向量 (Instant Vector)：一组时间序列，每个序列包含一个样本，如 http_requests_total{job="api"}。
• 范围向量 (Range Vector)：一组时间序列，每个序列包含一段时间内的样本，如 http_requests_total{job="api"}[5m]。
• 字符串 (String)：用于表示文本数据，但在实际中很少使用。

操作符

常用函数

查询示例

警报规则示例

groups:
- name: example
  rules:
  - alert: HighErrorRate
    expr: rate(http_requests_total{status="5xx"}[5m]) > 0.5
    for: 10m
    labels:
      severity: critical
    annotations:
      summary: "High error rate on {{ $labels.instance }}"
      description: "{{ $labels.instance }} has a 5xx error rate of {{ $value | humanizePercentage }} for more than 10 minutes."

Alertmanager 配置示例

global:
  smtp_smarthost: 'smtp.example.com:587'
  smtp_from: 'alertmanager@example.com'

route:
  group_by: ['alertname', 'cluster']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  receiver: 'team-email'
  routes:
  - match:
      severity: critical
    receiver: 'pagerduty'

receivers:
- name: 'team-email'
  email_configs:
  - to: 'team@example.com'
- name: 'pagerduty'
  pagerduty_configs:
  - service_key: '<service-key>'

服务发现方式

Kubernetes 集成

Prometheus 与 Kubernetes 完美集成，支持多种资源类型的自动发现：

scrape_configs:
- job_name: 'kubernetes-pods'
  kubernetes_sd_configs:
  - role: pod
  relabel_configs:
  # 只监控带有 prometheus.io/scrape 注解的 Pod
  - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
    action: keep
    regex: true
  # 从注解获取抓取路径
  - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
    action: replace
    target_label: __metrics_path__
    regex: (.+)
  # 从注解获取抓取端口
  - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port]
    action: replace
    regex: ([^:]+)(?::\d+)?;(\d+)
    replacement: $1:$2
    target_label: __address__

Kubernetes 服务发现角色

Relabeling 配置

Relabeling 是 Prometheus 强大的标签重写机制，允许在抓取前后修改标签：

本地存储 (TSDB)

# 存储相关启动参数
./prometheus \
  --storage.tsdb.path=/data/prometheus \
  --storage.tsdb.retention.time=30d \
  --storage.tsdb.retention.size=50GB \
  --storage.tsdb.wal-compression

远程存储

Prometheus 支持通过远程写入/读取接口集成外部存储系统：

# 远程写入配置示例
remote_write:
  - url: "http://remote-storage:9201/write"
    queue_config:
      max_samples_per_send: 1000
      batch_send_deadline: 5s

# 远程读取配置示例
remote_read:
  - url: "http://remote-storage:9201/read"
    read_recent: true

联邦集群 (Federation)

联邦允许一个 Prometheus 服务器从另一个 Prometheus 服务器抓取选定的时间序列，用于实现：

• 分层联邦：上层 Prometheus 抓取下层的聚合数据
• 跨数据中心查询：全局视图查看多个集群的数据

# 联邦配置示例
scrape_configs:
  - job_name: 'federate'
    honor_labels: true
    metrics_path: '/federate'
    params:
      'match[]':
        - '{job="prometheus"}'
        - '{__name__=~"job:.*"}'
    static_configs:
      - targets:
        - 'prometheus-dc1:9090'
        - 'prometheus-dc2:9090'

二进制文件安装

# 下载最新版本
wget https://github.com/prometheus/prometheus/releases/download/v2.50.0/prometheus-2.50.0.linux-amd64.tar.gz

# 解压
 tar -xzf prometheus-2.50.0.linux-amd64.tar.gz
cd prometheus-2.50.0.linux-amd64

# 运行 Prometheus
./prometheus --config.file=prometheus.yml

Docker 安装

docker run -d \
                  -p 9090:9090 \
                  -v ./prometheus.yml:/etc/prometheus/prometheus.yml \
                  prom/prometheus

基础配置文件示例

global:
  scrape_interval:     15s # 全局抓取间隔
  evaluation_interval: 15s # 全局规则评估间隔

# Alertmanager 配置
alerting:
  alertmanagers:
  - static_configs:
    - targets: ['localhost:9093']

# 规则文件
rule_files:
  - "alert.rules.yml"

# 抓取配置
scrape_configs:
  # 监控 Prometheus 自身
  - job_name: 'prometheus'
    static_configs:
    - targets: ['localhost:9090']
  
  # 监控 Node Exporter
  - job_name: 'node'
    static_configs:
    - targets: ['localhost:9100']

不适用场景

• ❌ 日志收集：Prometheus 专注于指标，不适合日志存储（推荐 Loki/ELK）。
• ❌ 100% 准确性计费：采样机制可能丢失部分数据点。
• ❌ 年级长期存储：本地存储有限，需要集成 Thanos/Cortex。
• ❌ 事件驱动监控：Pull 模型不适合事件驱动架构。