Nagios/prometheus 这类监控体系折腾久了以后,你会发现一个特别真实的问题:监控平台本身不缺,缺的恰恰是被监控主机上的“耳朵”和“手”。很多团队最开始的监控状态是 Nagios Core 能 ping 通主机、能探到服务端口,就以为一切都稳了。可一旦 KeyarchOS(浪潮信息KOS)这台服务器上的磁盘写满、负载飙起来,光靠外部端口探测根本什么都看不见。这就是标题里说的“监控盲区”。要补上这个盲区,普遍、成熟的做法是给被监控主机装 nrpe-3.2.1-8,让监控服务器通过 NRPE 去远程采集主机内部指标。我这次就在浪潮信息KOS 环境下完整跑了一遍,把过程、配置点和踩过的坑都记下来,给同样准备把 Nagios 体系往下铺的人做个参考。
1. 监控盲区往往不是缺监控平台,而是主机侧少了一个“本地执行代理”
1.1 一次磁盘写满事故让我决定补上这套采集链路
之前维护过一批跑内部业务服务的 Linux 主机,Nagios 上配置了不少服务,端口检测、HTTP 状态码检测都有,看起来覆盖面还行。结果有一天凌晨业务方打电话说服务“变慢了”,页面打开要十几秒。我登上去一看,根分区使用率已经到 98%,大量 IO 排队,负载 30 多。
最尴尬的是,当时 Nagios 界面上一片绿色,因为所有从外部探测的检查项都是通过的。端口还开着,HTTP 还能返回 200,进程也活着,但系统内部的健康度已经一团糟。一个“外部可达”和“内部真正健康”之间存在一个巨大的信息差,这就是监控盲区。
后来复盘时,根因很简单:我们没有在被监控主机内部部署任何采集代理。Nagios 只能从监控服务器这个“外部视角”去探测,看不到磁盘分区使用率、内存余量、CPU 负载这些只有登录到主机内部才能拿到的指标。这也是我后来专门把 NRPE 纳入标准部署流程的原因:不是监控平台不够强,而是主机侧少了一个能被远程安全调用、执行本地检查的“本地执行代理”。
1.2 NRPE 采集链路里的三张牌:check_nrpe、nrpe 守护进程、插件脚本
NRPE 的全名是 Nagios Remote Plugin Executor,名字已经把它的作用说得很透:帮 Nagios 远程执行插件。这套机制通常由三部分组成:
- 监控服务器端安装
check_nrpe插件; - 被监控的 KeyarchOS 主机上安装
nrpe守护进程; - 守护进程按配置调用本地已经装好的 Nagios 插件,比如
check_disk、check_load、check_mem。
一次标准采集的流程是这样:Nagios Core 把检测任务交给监控服务器上的 check_nrpe,check_nrpe 通过 TCP 请求连接被监控主机的 5666 端口,nrpe 守护进程收到请求后,去查自己的配置文件里有没有对应的 command[xxx] 定义。如果有,就执行这个定义后面的本地插件命令,再把插件的标准输出和状态码返回给监控服务器,最终由 Nagios 把它翻译成 OK、WARNING 或 CRITICAL。
这里有一个特别容易误解的点:NRPE 本身不做任何“检测”,它只是一个远程执行框架或者说调度器,真正出检测结果的是一堆 check_ 开头的插件。所以装 NRPE 时,如果不同时把 nagios-plugins 组件装好,监控服务器再努力也只能收到“Command not defined”这类报错。可以拿食堂来打比方,Nagios 是等菜的顾客,NRPE 是传菜的服务员,check_disk 这些插件才是后厨真正炒菜的师傅,少一环都上不了菜。
理解这条链路后,你再看网络上各种五花八门的错误提示,思路会清晰很多:报错要么出在连接层,要么出在命令定义层,要么出在插件本身。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. KeyarchOS 预检三件事:版本、架构、基础依赖
2.1 先跑三个命令确认环境,别让安装脚本猜
很多人习惯性地拿到 Linux 系统先执行安装命令,结果要么源里没有这个包,要么编译时缺头文件,最后白白浪费时间。我在 KeyarchOS 上动手之前,习惯先花一分钟跑三个命令确认环境基线。
第一个命令是 cat /etc/os-release,确认当前操作系统的具体版本与发布标识。
第二个命令是 uname -m,确认 CPU 架构。KeyarchOS 常见的部署架构是 x86_64,也有人在 ARM 架构机器上尝试,这两个平台在软件包和编译参数上并不完全一样。
第三个命令是 dnf repolist(或 yum repolist),确认当前系统能用的软件仓库有哪些,判断是否存在现成的 nrpe 包。我之前见过一上来就先 dnf install nrpe,结果提示找不到包,最后花半天排查才发现仓库没配置好。
这三个命令输出信息量不大,但能帮你避免“装了一个不匹配架构的包”“仓库缺依赖”“Linux 版本跟安装包要求差太远”这类低级问题。KeyarchOS 的软件生态与主流 RHEL 系发行版有很高兼容度,大部分包可以通过 dnf 从已配置仓库获取,但这不等于所有包都默认躺在仓库里,NRPE 就经常不在默认源里,需要额外处理。
2.2 依赖装的不是越全越好,要按 NRPE 的编译和运行需求来
先跑 dnf install -y gcc glibc-devel make openssl-devel 这类编译基础包。为什么特别强调 openssl-devel?因为 NRPE 的通信默认要启用 SSL,如果编译时找不到 openssl 头文件,config 阶段会主动把 SSL 功能禁用或者直接报错,装好后跟监控服务器通信会出现握手失败。新手容易在这个问题上栽跟头,以为补装服务端就行,其实根源是编译机器上缺开发库。
同时还要安装监控插件组件,因为 NRPE 守护进程只是执行框架。一般可以安装 nagios-plugins 这个基础包,或按需选装 nagios-plugins-disk、nagios-plugins-load、nagios-plugins-procs、nagios-plugins-users 等细分插件。我建议在商业环境里尽量按需安装,不要一个装插件全家桶,因为多一个插件就多一个潜在的攻击面,毕竟这些 check 脚本会被 NRPE 以一定的权限调用。
如果当前仓库没有现成的插件包,也可以自己在目标主机上编译,依赖不外乎 gcc、make、openssl-devel。整体来说,KeyarchOS 上准备好“编译工具链 + 开发库 + check 插件”这三类依赖后,NRPE 无论是用系统包还是源码编译,都不会再出现中途卡住的情况。
3. nrpe-3.2.1-8 上机部署:账号规划、安装包选择与目录确认
3.1 为什么我先建 nrpe 账号再装包
即便是用 RPM 形式安装 nrpe-3.2.1-8,部分打包版本也不会自动把运行账号创建好,或者创建得跟你的安全基线不一致。我一般在安装包落地之前先做一次账号规划,保证后续不管用什么安装形式,守护进程都以一个低权限专用账号运行。
code复制getent passwd nrpe || useradd -r -s /sbin/nologin -d /var/lib/nrpe nrpe
这个命令的含义是:先检查系统里有没有叫 nrpe 的用户;如果没有,就创建一个系统用户,shell 设为 nologin,主目录放在 /var/lib/nrpe。为什么要这么做?因为 nrpe 守护进程要响应来自网络的检查请求,它本身不能是一个能登录系统的普通账号,否则安全边界就破了。把 shell 设置成 /sbin/nologin 后,即便有人通过其他漏洞拿到了这个账号的上下文,也无法直接交互登录。
还要注意用户组。有些发行版把 NRPE 放在 nagios 组里,有些则单独建 nrpe 组,如果安装时发现 uid 或 gid 跟监控端不一致,大多数情况下并不影响通信,因为通信判断依据是 IP 白名单和插件返回值,而不是 uid。这个账号只是运行时身份,别在这上面过度纠结。
3.2 包安装和源码安装怎么选:我这次的实际路径
我的处理顺序是“优先使用可获取的现成安装包,再决定是否源码编译”。如果你能拿到跟 KeyarchOS 兼容的 nrpe-3.2.1-8 RPM 包,直接使用本地安装是效率最高的:
code复制rpm -ivh nrpe-3.2.1-8.el9.x86_64.rpm
或者用 dnf localinstall ./nrpe-3.2.1-8.el9.x86_64.rpm,它能顺带帮你解决依赖关系。之所以优先用 RPM,一方面是因为 NRPE 本身是一个 C 语言写的守护进程,版本差异对功能影响不像 Web 框架那么敏感,用发行版或兼容仓库里的 RPM 就能得到合理的默认配置;另一方面,RPM 方式会把 systemd service 文件、默认目录、配置文件都放到该放的地方,省去手工整理。
如果仓库里没有现成包,或者你需要调整一些编译选项,那就走源码编译路线。NRPE 3.2.1 源码包解压后,我使用的 configure 参数大致如下:
code复制./configure \
--prefix=/usr \
--sysconfdir=/etc/nrpe \
--libexecdir=/usr/lib64/nagios/plugins \
--localstatedir=/var \
--with-nrpe-user=nrpe \
--with-nrpe-group=nrpe \
--enable-command-args \
--with-ssl=/usr/bin/openssl \
--with-ssl-lib=/usr/lib64
然后执行 make all 和 make install。这一步有几个细节必须盯住。第一,libexecdir 决定了 NRPE 执行命令时以哪个路径去拼接插件,如果编译时写错,后面配置 command[check_disk]=/usr/lib64/nagios/plugins/check_disk ... 就会找不到文件。第二,enable-command-args 是否启用决定了被监控端能不能在请求里携带参数,我个人习惯开启,但要配合 dont_blame_nrpe=1 来用,安全性要求高的场景可以关闭,这时所有命令参数只能写在固定命令定义里。
安装完成后,务必用 rpm -ql nrpe 或 which nrpe && which check_disk 这类命令确认一下目录归属。我在实际工作中见过太多“编译好了但插件目录对不上”的情况,最典型的就是 NRPE 默认去找 /usr/local/nagios/libexec 下的插件,而插件实际装在 /usr/lib64/nagios/plugins,结果返回的永远是 No such file or directory。
3.3 用户权限与目录归属的边界
装完后,我还会专门检查 NRPE 的可执行文件和相关配置文件的权限。正常情况下,NRPE 主程序应该允许 root 读取和执行,nrpe 用户不应对配置文件有写权限,防止被远程利用时篡改命令定义。插件目录建议保持 root 属主,nrpe 用户只读、执行。
有个常见问题是有些人会把插件目录整个 chown 给 nrpe,理由是“NRPE 要执行插件”。其实大多数插件只需要读和执行权限,不需要写插件目录。真要调整,应该检查的是某个具体插件运行时是否需要写临时文件。例如部分自定义 check 脚本需要写临时状态文件时,单独给对应文件开权限就行,不要图省事把大目录权限放开。
4. nrpe.cfg 按这四条改,监控才谈得上“开箱即用”
4.1 allowed_hosts:把监控服务器 IP 写明确,别写 0.0.0.0
nrpe.cfg 里最容易被忽略也最致命的就是 allowed_hosts 字段。它表示:允许哪些 IP 来连接 5666 端口并请求执行命令。这里的逻辑需要反着想:NRPE 不会主动连接监控服务器,它只会被动等请求,所以如果你把 allowed_hosts 写错,远端检查会直接超时或者被拒绝。
命名参考:
code复制allowed_hosts=127.0.0.1,10.10.10.6
127.0.0.1 用于本机调试,10.10.10.6 是实际 Nagios 监控服务器的 IP。如果有多个 Nagios 节点,用英文逗号分隔往下加即可。我见过有人图省事直接写 0.0.0.0,这么做的后果是任何能访问 5666 端口的机器都可以向这台主机发检查请求,等于把命令执行能力暴露给了整个网络。哪怕 NRPE 只能执行 config 里写死的那几条命令,这个风险也不值得冒。
4.2 command[]:上报的指标是靠这里的“命令字典”执行的
nrpe.cfg 中间部分有大量 command[xxx]=... 的例子,默认配置一般会把 check_users、check_load、check_disk 等列出来,你只要按实际去掉注释。这里的职责定位就是之前说过的“命令字典”:监控服务器传一个命令名过来,NRPE 在本机上找到相同名字的定义并执行它后面的完整命令行。
例如我通常这样配:
code复制command[check_disk]=/usr/lib64/nagios/plugins/check_disk -w 15% -c 5% -p /
command[check_load]=/usr/lib64/nagios/plugins/check_load -w 5.0,4.0,3.0 -c 8.0,6.0,4.0
command[check_procs]=/usr/lib64/nagios/plugins/check_procs -w 150 -c 200
这里的阈值仅作参考,实际要根据业务负载来调整。注意 check_disk 名字后面的 -p /,如果你只写 check_disk -w 20% -c 10%,很多插件默认只统计根分区,并不包括业务数据分区。我遇到过一台业务主机数据盘快满了,NRPE 远程检查还返回 OK,就是因为命令定义里没有显式指定数据盘挂载点。排查时先别怀疑监控链路,先把 command 后面的命令手动在主机上跑一遍。
4.3 server_port、pid_file 与 command_timeout 的影响
如果你手动编译安装,NRPE 默认监听 5666 端口,这个端口号是 Nagios 社区默认约定,和 NRPE 官方资料一致。除非特定环境有端口冲突,否则不建议改,因为你改了端口后,监控服务器和每个配置都得跟着改,排查问题时等于多引入一个变量。
pid_file 指向 nrpe 运行时的 pid 文件路径。RPM 包通常自动处理,源码安装时容易出现 pid 目录不存在的情况,导致启动失败。如果你自定义安装了 --localstatedir=/var,pid 通常会落在 /var/run/nrpe.pid 或 /run/nrpe.pid,这个没什么标准答案,关键是 systemd 文件里的配置要一致。
command_timeout 和 connection_timeout 两个超时参数也要关注。NRPE 默认的 command_timeout 一般是 60 秒,如果你的自定义检查脚本本身要跑很久,比如调用外部 API、采集历史大数据,它可能会被 NRPE 主动杀掉并返回超时。遇到这类脚本,要么优化脚本本身,要么在配置里适当调大 command_timeout,但不要无脑调到 300 秒以上,否则一个卡死的脚本就能让 NRPE 主进程背上大量线程。
4.4 每次改完配置先做“本地手工执行”
永远要记住一句话:远程采集问题先本地验证。改完 nrpe.cfg 后,我第一步不是到监控服务器上敲 check_nrpe,而是直接在 KeyarchOS 本机上手工跑一遍要配置的插件命令:
code复制/usr/lib64/nagios/plugins/check_disk -w 15% -c 5% -p /
/usr/lib64/nagios/plugins/check_load -w 5.0,4.0,3.0 -c 8.0,6.0,4.0
如果本地跑出来的结果都不正常,那后续远程检查一定不会好。本地命令正常后,再重启 nrpe 服务,让新配置生效。因为 NRPE 不是那种平滑 reload 友好的守护进程,很多时候 systemctl restart nrpe 比发 HUP 信号靠谱,尤其是当你改了监听端口或用户设置时。
5. 让监控主机和 agent 真正说话:systemd、防火墙与 Nagios 命令联调
5.1 守护进程托管与开机自启
安装包一般会自带 nrpe.service 文件。装完后需要依次执行:
code复制systemctl daemon-reload
systemctl enable --now nrpe
systemctl status nrpe
查看 systemctl status 时,重点看 Active 状态和日志里有没有报错。常见错误包括“start request repeated too quickly”“bind() to 0.0.0.0:5666 failed”,前者多半是 pid 文件目录或者配置文件语法有问题,后者通常说明端口已经被别的进程占用。
启动后可以执行 ss -lntp | grep 5666,确认 NRPE 已经在 5666 端口上监听。这里有个小经验:如果 listen 地址是局部 IP 而不是 0.0.0.0,而你又在配置里开启了 server_address,要确认这个地址是不是监控服务器能够到达的那个地址。有的机器有多块网卡,NRPE 恰好在内网地址上监听,而监控服务器走的是另一个网段,就会出现“端口明明开着但就是连不上的诡异问题”。
5.2 防火墙放行不能拍脑袋
KeyarchOS 默认如果启用了 firewalld,远程连接会被拦截。放行命令也很直接:
code复制firewall-cmd --permanent --add-port=5666/tcp
firewall-cmd --reload
安全一些的做法是限制来源,而不是对全网段开放 5666。如果你的监控服务器就是一个固定 IP,建议这样配置:
code复制firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="10.10.10.6/32" port protocol="tcp" port="5666" accept'
firewall-cmd --reload
这样做的好处是:即使别的机器扫描到你主机上的 5666 端口,也会被防火墙直接丢弃。特别是在业务网卡直接面对办公网、或者机器上还跑着其他业务服务时,这种按来源限制的收口方式能让监控代理的安全姿态好很多。
5.3 从监控服务器端真正拉一次指标
监控服务器端要有一个能发起请求的插件,也就是 check_nrpe。在 Nagios Core 主机上安装方法同样是装 nagios-plugins-nrpe 或单独编译 check_nrpe,装好后我习惯先用命令行手动拉一次:
code复制/usr/lib64/nagios/plugins/check_nrpe -H 10.10.10.8 -c check_load
如果能回到类似于下面的输出,说明整条链路已经通了:
code复制OK - load average: 0.31, 0.42, 0.50|load1=0.310;5.000;8.000;0; load5=0.420;4.000;6.000;0; load15=0.500;3.000;4.000;0
这行输出包含了状态关键字 OK、可读的说明文字、管道符后面的性能数据。Nagios 会把状态关键字当作判断依据,把性能数据交给图形工具绘制曲线。
然后在 Nagios Core 的 commands.cfg 里定义 check_nrpe 命令:
code复制define command {
command_name check_nrpe
command_line /usr/lib64/nagios/plugins/check_nrpe -H $HOSTADDRESS$ -c $ARG1$
}
再在被监控主机的服务定义里写:
code复制define service {
use generic-service
host_name kos-node1
service_description KeyarchOS Current Load
check_command check_nrpe!check_load
}
这样 Nagios 就会按照调度周期定时远程到 KeyarchOS 上拉取 load 指标。一次“能不能连上”和“指标能不能持续上报”是两回事:连上只代表现在能通,持续稳定还需确认 NRPE 服务自启、监控服务器侧没有误报警。
6. KeyarchOS 实测遇过的三类告警:握手失败、连接超时、命令未定义
6.1 CHECK_NRPE: Error - Could not complete SSL handshake
这是我在 NRPE 调试中遇到频率最高的报错,没有之一。看到这个错误时,第一反应不该是“SSL 证书坏了”,而是先确认对端是否真的是 NRPE 在监听。你可以用 nmap -p 5666 10.10.10.8 或者 openssl s_client -connect 10.10.10.8:5666 做个快速验证,看看端口上是不是确实有服务。
如果确认 NRPE 活着但仍然握手失败,通常原因有几种:监控服务器端 check_nrpe 版本和被监控端 NRPE 版本差异过大;NRPE 配置里 allowed_hosts 没放行监控服务器 IP;两端 SSL 库不兼容。解决时把监控服务器 IP 重新核对一遍,再看两边的 NRPE 前后版本,尽量把被监控端和监控服务器端的 NRPE 生态升级到同一代的版本。
6.2 CHECK_NRPE: Socket timeout after 10 seconds
这个报错比握手失败更“物理”,意思是客户端发出去之后,对端在超时时间内没有完成响应。时间超时通常意味着数据包根本没到 NRPE,或者 NRPE 执行命令太慢返回。定位思路是先查防火墙,再查服务,最后查命令。
例如你可以在监控服务器上执行:
code复制telnet 10.10.10.8 5666
如果端口不通,问题基本在防火墙或网络路由。如果端口通,但执行 check_nrpe -H 10.10.10.8 -c check_load 仍然超时,那问题多半出在 NRPE 执行命令时的阻塞。解决方法是先检查 DNS、NTP 这类影响较小的服务是否异常,因为部分 check 插件会尝试反向解析主机名,DNS 不通会拖慢整体返回。实在不行就在 nrpe.cfg 里把 debug=1 打开,重启后在系统日志里看 NRPE 收到请求后执行到哪一步。
6.3 NRPE: Command 'check_mem' not defined
这个报错说明通信已经建立了,但 NRPE 的配置文件里没有找到对应命令。要么是配置里拼写不一样,要么是命令定义被注释掉了,要么是请求里传的命令名多了一个空格。检查方式很直接,登录到 KeyarchOS,执行 grep -E "^command\[check_mem\]" /etc/nrpe/nrpe.cfg,看看能否找到定义。
还有一种情况是插件包根本不存在,比如你在监控服务器请求 check_mem,但被监控端没装相应的内存插件,所以 NRPE 无法执行。你需要在 KeyarchOS 上先把插件安装好,再补上对应的 command 行。
在安装了 nrpe-3.2.1-8 之后,我个人还会额外做一次“命令覆盖自查”:把 Nagios 里配置过的每个服务对应的 command 名拉一份清单,逐个去 nrpe.cfg 里核对,确保没有一条命令只存在于监控服务器的配置里,而在被监控端却找不到定义。这一步做扎实了,后续新增监控项时就很少再被“Command not defined”这类问题打断。
如果你以前一直觉得 Nagios 只能做“能 ping 通就万事大吉”这一层监控,那么 NRPE 值得你多花一点时间。装上之后,KeyarchOS 上那些只有系统内部才清楚的负载、磁盘、进程数、用户数指标,才能正式进入你的监控视野。装上只是第一步,配置和安全策略跟得上才算真正告别监控盲区。
