失眠网 > prometheus +granfana监控告警

prometheus +granfana监控告警

时间：2018-08-06 12:45:50

一、准备工作

修改主机名配置hosts解析文件关闭防火墙SElinux# hostnamectl set-hostname prometheus# vim /etc/hosts192.168.10.102 prometheus 192.168.10.103 agent 192.168.10.104 grafana# hostnamectl set-hostnameagent# vim /etc/hosts192.168.10.102 prometheus 192.168.10.103 agent 192.168.10.104 grafana# hostnamectl set-hostnamegrafana# vim /etc/hosts192.168.10.102 prometheus 192.168.10.103 agent 192.168.10.104 grafana每个节点全部关闭systemctl stop firewalldsystemctl disable firewalldsetenforce 0sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config节点上安装 NTP 服务，以免因时钟漂移导致故障# sudo yum install ntp ntpdate ntp-docNTP服务端配置1.检查系统是否安装了NTP包，没有安装我们直接使用yum命令安装2.NTP服务端配置文件编辑： vim /etc/ntp.conf# @3新增-权限配置restrict *IP* mask 255.255.255.0 nomodify notrap# @3改动-注释掉上级时间服务器地址#server 0.centos. iburst#server 1.centos. iburst#server 2.centos. iburst#server 3.centos. iburst# 新增上级时间服务器server *IP* iburst3.启动NTP时间服务器：systemctl start ntpd4.查看NTP是否正常运行：netstat -tlunp | grep ntp

二、安装普鲁米修斯

下载prometheus安装包

wget /prometheus/prometheus/releases/download/v2.23.0/prometheus-2.23.0.linux-amd64.tar.gz

一、安装普鲁米修斯服务端

1、解压安装包，移动位置[root@prometheus local]# tar zxvf prometheus-2.23.0.linux-amd64.tar.gz -C /usr/local/[root@prometheus local]# mv /usr/local/prometheus-2.23.0.linux-amd64/ /usr/local/prometheus2、查看解压目录下文件[root@prometheus local]# cd /usr/local/prometheus/[root@prometheus prometheus]# ll总用量 162452drwxr-xr-x 2 3434 3434 38 11月 26 20:47 console_librariesdrwxr-xr-x 2 3434 3434173 11月 26 20:47 consoles-rw-r--r-- 1 3434 3434 11357 11月 26 20:47 LICENSE-rw-r--r-- 1 3434 34343420 11月 26 20:47 NOTICE-rwxr-xr-x 1 3434 3434 88153522 11月 26 18:58 prometheus-rw-r--r-- 1 3434 3434926 11月 26 20:47 prometheus.yml-rwxr-xr-x 1 3434 3434 78172790 11月 26 19:00 promtool3、启动Prometheus服务[root@prometheus prometheus]# nohup /usr/local/prometheus/prometheus &[root@prometheus prometheus]# netstat -ntpl | grep 9090tcp6 00 :::9090 :::*LISTEN12801/prometheus

二、访问Prometheus的dashboard界面

1、访问地址： http://192.168.10.102:9090

2、查看监控主机（默认监控普罗米修斯本机）

3、查看监控获取到的数据

192.168.10.102:9090/metrics

三、安装node_exporter

下载node_exporter安装包

wget /prometheus/node_exporter/releases/download/v1.0.1/node_exporter-1.0.1.linux-amd64.tar.gz

1、安装监控节点插件

1、解压安装包，移动位置[root@agent node_exporter]# tar zxvf node_exporter-1.0.1.linux-amd64.tar.gz -C /usr/local/[root@agent node_exporter]# mv /usr/local/node_exporter-1.0.1.linux-amd64/ /usr/local/node_exporter2、查看解压目录[root@agent node_exporter]# cd /usr/local/node_exporter/[root@agent node_exporter]# ll总用量 19216-rw-r--r-- 1 3434 3434 11357 6月 16 21:19 LICENSE-rwxr-xr-x 1 3434 3434 19657731 6月 16 20:44 node_exporter-rw-r--r-- 1 3434 3434463 6月 16 21:19 NOTICE3、启动node_export[root@agent node_exporter]# nohup /usr/local/node_exporter/node_exporter &注释：使用nohup 可以查看启动时目录下产生的后缀名为out的日志文件， & 后台运行4、查看9100端口进程是否存在[root@agent node_exporter]# netstat -ntpl | grep 9100tcp6 00 :::9100 :::*LISTEN11743/node_exporter

2、将node_exporter链接信息IP：port 添加至普鲁米修斯配置文件能够获取到客户端监控数据

（在Prometheus服务端操作）

[root@prometheus prometheus]# cd /usr/local/prometheus/[root@prometheus prometheus]# vim prometheus.yml ###添加的新节点node_exporter节点的配置- job_name: 'node_exporter.agent'static_configs:- targets: ['192.168.10.103:9100']注释：本文件是yml的 yaml格式的文件格式不能错。一个空格都不能错.完全按照普鲁米修斯监控本机的配置格式配置上下对齐

3、修改配置文件之后需要需要重启Prometheus服务 .

1、先关闭普鲁米修斯服务进程[root@prometheus prometheus]# netstat -ntpl | grep 9090tcp6 00 :::9090 :::*LISTEN12801/prometheus [root@prometheus prometheus]# kill 12801[root@prometheus prometheus]# netstat -ntpl | grep 90902、再次启动服务[root@prometheus prometheus]# nohup /usr/local/prometheus/prometheus &

4、查看web界面监控节点信息

http://192.168.10.102:9090/targets

查看监控节点收集到的数据 http://192.168.10.103:9100/metrics

5、登录创建监控信息普罗米修斯自建的监控图形

http://192.168.10.102:9090/

可以进行搜一下自己想要的数据成图

四、安装grafana

下载grafana

wget /oss/release/grafana-7.3.4-1.x86_64.rpm

1、安装grafana[root@grafana ~]# yum -y install grafana-5.3.4-1.x86_64.rpm[root@192 ~]# systemctl daemon-reload[root@grafana ~]# systemctl start grafana-server[root@grafana ~]# systemctl enable grafana-serverCreated symlink from /etc/systemd/system/multi-user.target.wants/grafana-server.service to /usr/lib/systemd/system/grafana-server.service.2、查看3000端口的进程是否存在[root@grafana ~]# netstat -ntpl | grep 3000tcp6 00 :::3000 :::*LISTEN12042/grafana-serve

3、访问grafana界面

http://192.168.10.104:3000

登录grafana

首次登陆，需要跟改密码

用户名：admin

密码：admin

第一步、添加数据源设置---->data sources-----Add data source

第二步、添加普罗米修斯数据源

第三步、设置名称，类型，url

第四步、测试并保存

第五步、添加完数据源之后创建dashborad 图形界面

第六步、添加图形界面

第七步、选择添加的图形监控指标并保存

第八步、如果有多台机器可以筛选某台

五、设置grafana的邮箱告警功能监控报警

1、添加告警发送邮箱

[root@grafana ~]# vi /etc/grafana/grafana.ini

#在文件末尾添加[smtp]enabled = true #开启stmphost = :25 #邮箱服务器加端口user = 2669160151@#发送邮箱的的邮箱地址password = lbbtdsijoviidjaa #此处用的qq邮箱需要开启pop3协议密码为验证中后的授权码

skip_verify = truefrom_address = 2669160151@#邮箱发送者from_name = Grafana #发送用户名ehlo_identity = 重启grafana[root@grafana ~]# systemctl restart grafana-server

注释：host=邮箱服务器地址 +端口如果不加端口测试告警报错