那天我捡了只猫1. 项目背景与核心价值
在分布式系统监控领域，Signoz作为开源可观测性平台正在快速崛起。这个项目源于我们团队在养殖环境监控系统中遇到的痛点——传统监控工具对龙虾养殖池的微服务集群支持不足，特别是对水质传感器、自动投喂系统等物联网设备的数据采集存在明显短板。
Signoz的MCP（Microservices Control Plane）Server组件是其架构中的核心数据处理单元，负责接收、存储和分析来自各类终端设备的指标（Metrics）、日志（Logs）和追踪（Traces）数据。相比我们之前使用的Prometheus+ELK组合，Signoz提供了三大优势：
- 一体化数据管道：免去了多个系统间的数据同步烦恼
- 原生支持OpenTelemetry标准：与养殖场现有设备对接更顺畅
- 资源占用优化：在树莓派等边缘设备上也能稳定运行
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与前置条件
2.1 硬件配置建议
根据养殖场实际部署经验，推荐以下配置：
- 生产环境：4核CPU/8GB内存/200GB SSD（可处理50+节点数据）
- 测试环境：2核CPU/4GB内存/100GB SSD（适合小型养殖场验证）
特别注意：内存低于4GB时可能触发OOM killer终止关键进程
2.2 软件依赖清单
bash复制# 基础依赖
sudo apt-get update
sudo apt-get install -y docker.io docker-compose git
# 内核参数调整（高并发场景必需）
echo "vm.max_map_count=262144" | sudo tee -a /etc/sysctl.conf
sudo sysctl -p
3. Signoz MCP Server安装详解
3.1 源码获取与配置
bash复制git clone https://github.com/SigNoz/signoz.git
cd signoz/deploy/docker/clickhouse-setup
修改.env文件关键参数：
ini复制# 数据保留策略（养殖数据建议长期保存）
CLICKHOUSE_RETENTION_DAYS=365
ZOOKEEPER_DATA_RETENTION_DAYS=365
# 资源限制（根据硬件调整）
QUERY_MEMORY_LIMIT=4G
MAX_CONCURRENT_QUERIES=20
3.2 容器化部署实战
启动核心服务：
bash复制docker-compose -f docker-compose.yaml -f docker-compose.clickhouse.yaml up -d
验证服务状态：
bash复制docker ps | grep -E 'signoz|clickhouse'
# 应看到6个运行中的容器
4. 养殖场数据接入方案
4.1 OpenTelemetry Collector配置
创建otel-collector-config.yaml：
yaml复制receivers:
otlp:
protocols:
grpc:
http:
exporters:
otlp/signoz:
endpoint: "signoz-otel-collector:4317"
tls:
insecure: true
service:
pipelines:
metrics:
receivers: [otlp]
exporters: [otlp/signoz]
traces:
receivers: [otlp]
exporters: [otlp/signoz]
4.2 设备数据采集示例
水质传感器数据上报代码片段（Python）：
python复制from opentelemetry import metrics
from opentelemetry.exporter.otlp.proto.grpc.metric_exporter import OTLPMetricExporter
from opentelemetry.sdk.metrics import MeterProvider
from opentelemetry.sdk.resources import Resource
exporter = OTLPMetricExporter(endpoint="http://signoz:4317")
provider = MeterProvider(
resource=Resource.create({"service.name": "water-quality-monitor"}),
metric_readers=[exporter]
)
meter = provider.get_meter("aquaculture")
ph_gauge = meter.create_gauge(name="water.ph", unit="pH")
# 模拟数据上报
ph_gauge.set(7.2, {"pond_id": "A3", "sensor_type": "DS18B20"})
5. 运维监控与调优指南
5.1 关键指标监控看板
建议配置的养殖场专属监控项：
| 指标名称 | 告警阈值 | 检测频率 |
|---|---|---|
| 水温异常波动 | ±2℃/小时 | 5分钟 |
| 溶解氧饱和度 | <4mg/L | 实时 |
| 喂食机响应延迟 | >500ms | 1分钟 |
| 数据上报成功率 | <99% | 15分钟 |
5.2 性能调优实战技巧
- ClickHouse批量写入优化：
sql复制ALTER TABLE signoz_logs ON CLUSTER cluster MODIFY SETTING parts_to_delay_insert=150
- 针对高频传感器数据的保留策略：
sql复制CREATE TABLE pond_metrics_buffer AS pond_metrics
ENGINE = Buffer('signoz', 'pond_metrics', 16, 10, 30, 1000)
- 遇到查询超时时的应急方案：
bash复制docker exec -it signoz-query-service \
curl -X POST http://localhost:8080/flush
6. 故障排查手册
6.1 常见问题速查表
| 故障现象 | 可能原因 | 解决方案 |
|---|---|---|
| 数据延迟超过5分钟 | Kafka消费者组偏移量滞后 | 重启otel-collector容器 |
| 仪表盘加载缓慢 | ClickHouse合并操作堆积 | 优化ZooKeeper心跳超时设置 |
| 部分传感器数据缺失 | OTLP导出器缓冲区满 | 调整batch_size参数到200以下 |
| 高CPU占用 | 追踪采样率过高 | 设置采样率为0.1% |
6.2 日志分析实战
定位数据丢失问题：
bash复制# 查看Collector日志
docker logs signoz-otel-collector --tail 100 | grep -A 10 "Export failed"
# 检查ClickHouse写入状态
docker exec -it signoz-clickhouse \
clickhouse-client --query "SELECT last_exception FROM system.replicas WHERE table='signoz_traces'"
7. 养殖场场景深度优化
针对水产养殖的特殊需求，我们开发了以下增强功能：
- 季节性数据压缩策略：
sql复制ALTER TABLE pond_metrics MODIFY TTL
created_at + INTERVAL 3 MONTH TO VOLUME 'cold'
- 水质突变预警规则：
yaml复制# alert.rules
- alert: WaterQualityAnomaly
expr: |
abs(
avg_over_time(water_ph[1h])
- predict_linear(water_ph[6h], 3600)
) > 0.5
for: 15m
labels:
severity: critical
annotations:
summary: "池塘{{$labels.pond_id}} pH值异常波动"
- 喂食周期自动化配置：
python复制# 与自动投喂系统集成示例
def adjust_feeding_schedule(metrics):
if metrics['water_temp'] > 28:
return reduce_feed_by(0.3)
elif metrics['dissolved_oxygen'] < 5:
return delay_feeding(2)