介绍

Thanos 是一套基于 Prometheus 的服务监控方案，它为 Prometheus 扩展了中心化查询与长期存储的能力。通过 Thanos，我们可以将一个或多个 Prometheus 收集到的指标数据同步到对象存储（如 S3 兼容的对象存储）中，并通过连接到对象储存进行全局的 PromQL 查询。Thanos 有多个微服务组件，这里我们用到 Thanos Sidecar、Thanos Store 和 Thanos Query：

Thanos Sidecar: 在运行 Prometheus 的主机上运行，连接对象存储，将 Prometheus 的时序数据库产生的每个块自动上传到对象存储中；
Thanos Store: 连接对象存储，对对象存储中的数据进行查询；
Thanos Query: 将多个 Thanos 组件作为数据源组合起来，对整体数据进行查询。
Thanos Query Frontend: 提升查Query询性能
Thanos Compactor: 对对象存储中的数据进行压缩采样
Thanos Ruler: 配置管理告警规则
Thanos Receive: 接收 Prometheus Remote Write 的数据

每个 Thanos 组件都会同时暴露 PromQL HTTP 接口和 Thanos StoreAPI gRPC 接口，所以既可以将 Thanos 组件用 Thanos Query 进行级联，也可以将任意一个 Thanos 组件实例接入 Grafana。

部署

【注】在 release-0.11 版本之后新增了 NetworkPolicy 默认是允许自己访问。如果了解 NetworkPolicy 可以修改一下默认的规则。可以用查看 ls manifests/*networkPolicy*。如果不修改的话则会影响到修改 NodePort 类型也无法访问，如果不会 Networkpolicy 可以直接删除就行。

修改镜像源

# 查找
grep -rn 'quay.io' *
# 批量替换
sed -i 's/quay.io/quay.mirrors.ustc.edu.cn/g' `grep "quay.io" -rl *`
# 再查找
grep -rn 'quay.io' *
grep -rn 'image: ' *

修改 prometheus 的 service

# 设置对外访问端口，增加如下两行，完整配置也贴出来了。
# type: NodePort
# nodePort: 30090

vi manifests/prometheus-service.yaml

apiVersion: v1
kind: Service
metadata:
  labels:
    app.kubernetes.io/component: prometheus
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/name: prometheus
    app.kubernetes.io/part-of: kube-prometheus
    app.kubernetes.io/version: 2.53.0
  name: prometheus-k8s
  namespace: monitoring
spec:
  type: NodePort
  ports:
  - name: web
    port: 9090
    targetPort: web
    nodePort: 30090
  - name: reloader-web
    port: 8080
    targetPort: reloader-web
  selector:
    app.kubernetes.io/component: prometheus
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/name: prometheus
    app.kubernetes.io/part-of: kube-prometheus
  sessionAffinity: ClientIP

修改 grafana 的 service

# 设置对外访问端口，增加如下两行，完整配置也贴出来了。
# type: NodePort
# nodePort: 30300
vi manifests/grafana-service.yaml


apiVersion: v1
kind: Service
metadata:
  labels:
    app.kubernetes.io/component: grafana
    app.kubernetes.io/name: grafana
    app.kubernetes.io/part-of: kube-prometheus
    app.kubernetes.io/version: 11.1.0
  name: grafana
  namespace: monitoring
spec:
  type: NodePort
  ports:
  - name: http
    port: 3000
    targetPort: http
    nodePort: 30300
  selector:
    app.kubernetes.io/component: grafana
    app.kubernetes.io/name: grafana
    app.kubernetes.io/part-of: kube-prometheus

修改 alertmanager 的 service

apiVersion: v1
kind: Service
metadata:
  labels:
    app.kubernetes.io/component: alert-router
    app.kubernetes.io/instance: main
    app.kubernetes.io/name: alertmanager
    app.kubernetes.io/part-of: kube-prometheus
    app.kubernetes.io/version: 0.27.0
  name: alertmanager-main
  namespace: monitoring
spec:
  type: NodePort
  ports:
  - name: web
    port: 9093
    targetPort: web
    nodePort: 30093
  - name: reloader-web
    port: 8080
    targetPort: reloader-web
  selector:
    app.kubernetes.io/component: alert-router
    app.kubernetes.io/instance: main
    app.kubernetes.io/name: alertmanager
    app.kubernetes.io/part-of: kube-prometheus
  sessionAffinity: ClientIP

为了降低成本，使用自建的 MinIO 代替 S3 / OSS 服务作为对象存储。这边不在赘述 Minio 部署

git clone https://github.com/Yuri-NagaSaki/Prometheus-Operator-Thanos.git
cd Prometheus-Operator-Thanos

CRD 创建

kubectl create -f setup/

创建所有基础组件

kubectl apply -f .

创建完毕后会提供如下新增Kind

Alertmanager
PodMonitor
Probe
Prometheus
PrometheusRule
ServiceMonitor
ThanosRuler

更新prometheus配置

kubectl create -f thanos/

创建 Thanos 模块（选择你要使用的 Thanos 模式）

kubectl create -f thanos/thanos-sidecar
kubectl create -f thanos/thanos-receive

根据需要创建 Rules

kubectl create -f thanos/rules

注意事项

reading meta file failed, will override it” err=”failed to read /prometheus/thanos.shipper.json: open /prometheus/thanos.shipper.json: no such file or directory”

解决方案:
使用thanos sidecar模式时，sidecar 会读取prometheus数据目录下的thanos.shipper.json文件，文件主要作用是当sidecar上传到对象存储时，会更新记录到此文件中。
出现上面的原因是thanos.shipper.json文件的权限是root，sidecar权限不够没法读取和写入，sidecar自身又没有重试读取的机制所以就算进入容器将这个文件重新授权为可写入和读取都不行，只能将prometheus进行持久化后进行这个文件授权777，然后重启prometheus整个pod

介绍

部署