最近一直在折腾物联网设备的数据接入,从传感器上报到云端存储,再到大屏实时刷新,看起来链路不长,但真正把数据稳定存下来、查得动,踩过的坑比想象中多得多。最开始的方案用的是 MySQL 硬扛,每隔几秒一批设备上报,表数据量涨到千万级以后,查询直接卡死,磁盘占用也失控,最后才下决心把存储层换成了专门的时序数据库,同时用 Go 语言把采集端整体重写了一遍。这套系统跑了几个月,接口稳定性和查询体验都有了质的提升,算是把“数据采集 + 存储”这条链路彻底理顺了。
这篇内容我决定完整梳理一遍当时的项目实践,从时序数据库的选型理由、Go 语言采集端的工程化写法,到写入模型、分区策略、降采样规则,以及实际遇到的坑和排查过程,都会拿出来讲。如果你也在做物联网数据接入、设备监控平台或者边缘采集网关,正准备选型或者优化存储架构,这篇文章应该能帮你少走不少弯路。
1. 项目启动:先想清楚要存什么、怎么查
动手写代码之前,我最先做的事不是选数据库,而是把数据特征列了一遍。这个习惯是从一个失败的项目里学来的——上一套系统没想清楚就上线,结果后期存储结构改得欲仙欲死。
1.1 物联网数据的核心特征
物联网场景下的数据,和传统业务数据有一个明显的差别:数据是“按时间批量产生的”,而且基本是追加写入,很少修改。比如一个温湿度传感器,每 10 秒上报一次,一天就是 8640 条记录,一个月将近 26 万条。如果现场有 500 个这样的传感器,单月就是 1.3 亿条。
把这层数据特征摊开看,大概有这几条:
- 写多读少:采集端持续在写,但查询往往是“偶尔看实时曲线”或者“排查某个时间段的异常”。
- 时间维度是核心:几乎所有查询都会带时间范围,要么看最近 5 分钟,要么看过去 24 小时。
- 数据冷热分明:刚写入的数据访问频繁,越老的数据访问越少,但不能直接删,得留作追溯。
- 批量上报:不是一条条来的,往往是一次网络请求带一批数据。
- 标签维度丰富:同一个设备有多个指标(温度、湿度、电量),不同设备属于不同分组,需要灵活的标签过滤。
理解这些特征之后,就能明白为什么不能用传统关系型数据库硬扛——它们的索引模型和存储结构,天生不是为这种“海量小写入 + 时间范围扫描”设计的。
1.2 传统关系型数据库的瓶颈在哪
举例来说,假设我把采集数据存在 MySQL 表里,表结构大概是:
sql复制CREATE TABLE sensor_data (
id BIGINT PRIMARY KEY AUTO_INCREMENT,
device_id VARCHAR(32),
metric VARCHAR(16),
value DOUBLE,
ts TIMESTAMP,
KEY idx_device_ts (device_id, ts)
);
这套结构在初期没问题,设备少、数据量小,SQL 怎么写都行。但等到数据量到了亿级别,问题就出来了:
一是单表数据量过大,即使建了索引,B+ 树的层级增加,随机 IO 变多,按时间范围扫描的效率明显下降。二是写入瓶颈,MySQL 的每行写入都要走事务日志、更新索引,写入吞吐量上不去,采集端一多就会堆积。三是存储膨胀严重,关系型数据库的行存储格式对这种数值型时序数据不友好,即使把 float 压缩,整体占用仍然很夸张。
后来还试过分库分表,按天建表、按设备 hash 路由,确实解决了一部分问题,但代码复杂度上来了:采集端要自己做路由,查询端要做结果合并,跨天查询还要拆 SQL。这套方案只撑了不到半年,就被我放弃了。
1.3 为什么选择时序数据库
就在我纠结到底是“继续在 MySQL 上堆机器”还是“引入新组件”的时候,一个做工业物联网的朋友给我推荐了时序数据库。
时序数据库在架构设计上,几乎就是照着物联网数据特征来的:底层存储针对时间戳做了特殊优化,按时间分区、按列存储,配合专门的压缩算法,相似的数据能压得很小;写入模型也针对“批量、追加”场景做了优化,比传统数据库更适合高并发写入。
更关键的是它的降采样和自动清理能力,让我能把历史数据按精度做分级存储:原始数据只保留一段时间,更老的数据自动聚合成分钟级、小时级的数据,既满足追溯需求,又控制存储成本。
最终我选择基于 Go 语言的生态来搭建整套系统,这个稍后详细讲。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 整体架构与技术选型
整套系统的目标很明确:支持大量物联网设备实时上报数据,提供稳定的写入接口,同时支持 Web 端实时查询和历史数据回溯。基于这个目标,我把系统拆成了三层。
2.1 系统分层设计
我用一张逻辑图来同步最后方案:
采集层是部署在现场的传感器或网关,通过 MQTT 协议接入到消息中间件,避免设备直接跟存储层耦合。应用服务层是核心业务逻辑,负责从消息队列消费数据,做格式解析、数据清洗、单位换算,然后批量化写入时序数据库。存储层则是时序数据库集群,保存原始数据和降采样后的汇总数据。
选择 MQTT 做设备接入,主要考虑物联网场景里网络不稳定、设备功耗受限,MQTT 的轻量级、断线重连机制、QoS 分级是最成熟的方案。这一层单独拆出来,也是为了让设备端和存储端互不影响,即使数据库抖动,设备上报数据也能在消息队列里缓冲住。
2.2 Go 语言在采集服务中的优势
应用服务层我有两个选择:Java 或者 Go。Java 我熟,生态全;Go 那会儿只是粗略了解过语法,并用它写过一些内部工具。但认真评估后,我选择用 Go 重写采集服务。理由很直接。
首先,这个服务的核心是高并发网络 IO。设备数据经过 MQTT broker 转发,最终落到我的采集服务上,说白了就是一个高吞吐的消费者程序。Go 的 goroutine 模型天然适合这种场景,几千上万个连接同时在线时,Go 的调度器能做到轻量级切换,而传统的线程模型在这种规模下内存开销会大得多。
其次,部署简单。Go 编译出来就是一个二进制的可执行文件,扔到服务器上就能跑,没有 JVM 那一堆依赖和调优参数。对我们的运维节奏来说,少一个环节就少一堆麻烦。
还有一个被低估的点:Go 在数据采集场景的标准库支持很扎实,尤其是 encoding/json、net/http、database/sql 这些包,配合 goroutine 能很干净地写出高并发的采集逻辑,不需要引入全套重量级框架。
2.3 时序数据库选型对比
存储层我当时考察了三个主流选择:
InfluxDB 是最早进入视野的,因为它的生态成熟、文档多、社区活跃,而且自带查询语言 InfluxQL,很多 IoT 场景的参考实现都是基于它。它的 TSM 存储引擎对时序数据做了针对性优化,压缩率很高。劣势是开源版有一些限制,高可用方案需要商业版才能获得更好的支持。
TimescaleDB 吸引我的点是它基于 PostgreSQL,如果你不想引入一种全新的数据库,这个方案能让你继续使用 SQL 语法,并且与 PostgreSQL 生态无缝集成,可以复用现有的 BI 工具和数据分析流程。而且它的分区管理是自动的,不需要手动维护大量的分表逻辑。缺点是性能相较专用 TSDB 稍弱,如果要求更高的写入吞吐和更极致的压缩比,需要谨慎评估。
TDengine 是后来进入考察范围的,它在物联网场景上的表现非常突出。它在架构层面就把“设备”这个概念内置了,数据模型采用“超级表 + 子表”的结构,一个设备一张子表,同类设备一张超级表,写入和查询效率都有明显优势,同时还支持 SQL,学习成本比较低。
选型做了不少测试。我搭了一套压测环境,模拟约 2000 台设备,每台设备 10 个指标,每 10 秒上报一轮,分别写入三种数据库,对比了写入吞吐、磁盘占用、按时间范围查询的响应速度。
结果很有意思:单机写入性能 TDengine 最好,查询它的响应也稳定;InfluxDB 的数据压缩最出色,磁盘占用最低;而 TimescaleDB 的优势在功能全面性上,数据查询可以和业务表做 join 处理,比如把设备档案表和时序数据关联查询,这对业务系统来说非常方便。
最终我选了 TDengine,因为我们的场景是标准的物联网设备监控,业务查询模式高度统一,基本都是“按设备查一段时间曲线”,不涉及复杂的表关联,TDengine 的性能优势最能发挥出来。
注意:如果你的查询场景需要联合业务数据做复杂分析,或者你不想引入新的技术栈,不一定非要追性能最强的那个。选型这事关键看自己的场景。
3. Go 采集端的工程化实现细节
架构定了之后,大头工作就是把采集服务写出来。Go 版本我们用了 1.21,技术栈上没引入太重的东西,核心依赖就是 MQTT 客户端库、TDengine 的 Go 连接器、以及一个轻量级的配置管理库。
3.1 Go 工程目录划分
工程结构上,我按“职责”而不是“技术”来分包,这样团队协作更清晰。实际的目录结构大致是这样:
text复制collector/
├── cmd/
│ └── collector/
│ └── main.go # 启动入口,初始化组件
├── internal/
│ ├── config/ # 配置解析
│ ├── mqtt/ # MQTT 订阅与消息处理
│ ├── parser/ # 消息解析 & 数据清洗
│ ├── storage/ # TDengine 写入与查询封装
│ ├── app/ # 业务编排:拉起消费组、处理协程
│ └── metrics/ # 采集服务自身的运行监控
├── pkg/
│ └── types/ # 公共数据结构定义
├── configs/
│ └── collector.yaml
└── go.mod
这个结构的好处是,internal 里的包不会被外部引用,能给后续的单元测试和重构留足空间。核心业务逻辑放在 app 包里,其他包尽量保持无状态,方便独立测试。
3.2 MQTT 订阅与消息分发
和 broker 的交互方面,首先我要规划好 Topic 的层次设计。Topic 的设计关系着后续的扩展性和过滤效率。
我定的 Topic 规范是:
text复制iot/{productKey}/{deviceName}/data
productKey 表示产品品类,比如温湿度计、电表;deviceName 是具体的设备序列号。
这样设计的好处是,可以在 MQTT 层面直接用通配符订阅某一类设备的消息,比如订阅 iot/temp_humidity/+/data,只接收温湿度计数据,方便后续多产品线扩展。
端侧上报的原始 payload 一般长这样:
json复制{
"deviceName": "TH001",
"productKey": "temp_humidity",
"timestamp": 1734567890123,
"data": {
"temperature": 25.6,
"humidity": 58.2,
"battery": 3.7
}
}
在 Go 里我用 github.com/eclipse/paho.mqtt.golang 来订阅 MQTT 消息,核心代码大致是:
go复制func subscribe(ctx context.Context, client mqtt.Client, handler func([]byte)) error {
token := client.Subscribe("iot/+/+/data", 1, func(_ mqtt.Client, msg mqtt.Message) {
handler(msg.Payload())
})
token.Wait()
return token.Error()
}
这里 QoS 设成 1,表示消息至少送达一次。这个选择很关键:QoS 0 可能丢消息;QoS 2 虽然能保证恰好一次,但交互重,资源消耗大,在传感器数据大量上报场景下性价比不高,QoS 1 足够了,重复消息由我们的去重逻辑兜底。
3.3 数据解析与清洗流程
数据解析看着是体力活,但它是埋坑最多的地方。不同设备上报的数据格式很有可能不一致,有 JSON,有二进制,甚至有的网关会加一层自己的封装。
我的解析流程分了三步:先做格式约定,再统一解析。
格式约定:每类设备在接入时,必须注册一个“数据模板”,在代码里其实是结构体,比如:
go复制type TempHumidityReport struct {
DeviceName string `json:"deviceName"`
ProductKey string `json:"productKey"`
Timestamp int64 `json:"timestamp"`
Temperature float64 `json:"temperature"`
Humidity float64 `json:"humidity"`
Battery float64 `json:"battery,omitempty"`
}
统一解析:用 encoding/json 把原始字节流解析到这个结构体,再统一加上内部处理时间戳。
然后进入数据清洗逻辑,这一步往往被轻视,但设备在真实环境中是很“脏”的,经常会有异常值出现。我的清洗规则包括:超出量程范围的值打标记;错误地用 NaN 或 Inf 表示的浮点值剔除掉;连续几个周期完全相同的数据会被判定为“设备卡死”;并主动对时间戳做归一化,避免设备本地时钟偏差打乱时序。
清理完的数据会被封装成统一的结构体,送到下一环节。
3.4 批量写入与背压控制
解析完的数据不能来一条写一条,那样数据库压力大、网络开销也高。我这边用了批量写入模型。
核心思路是,把数据先放进带缓冲的 channel,由独立的写入协程批量取出来,攒够一定条数或者达到时间阈值,再统一写入 TDengine。这个模型显著提升了吞吐。
代码层面大概是下面这个结构:
go复制func (w *Writer) Start(ctx context.Context) {
batch := make([]types.MetricPoint, 0, w.batchSize)
ticker := time.NewTicker(w.flushInterval)
defer ticker.Stop()
for {
select {
case point := <-w.ch:
batch = append(batch, point)
if len(batch) >= w.batchSize {
w.flush(batch)
batch = batch[:0]
}
case <-ticker.C:
if len(batch) > 0 {
w.flush(batch)
batch = batch[:0]
}
case <-ctx.Done():
return
}
}
}
这里关键参数有两个:batchSize 和 flushInterval。
batchSize 我设为 500 条,flushInterval 为 2 秒。这意味着在理想状态下,一个采集实例每 2 秒就会往数据库批量写入 500 条数据。如果采集端连接的设备达到 2000 台,正常情况下每条消息都会转成一个或多个点位,这个吞吐量还是可观的。
背压控制也很重要。当 channel 快满时,说明消费能力跟不上生产速度,继续堆下去只会内存暴涨。我用了有缓冲的 channel,在极端情况下如果 channel 满了,采集协程就会受影响,这时需要监测并触发告警,而不是盲目扩大缓冲。
go复制select {
case w.ch <- point:
default:
metrics.IncDroppedCount()
// 触发告警,这里可以引入日志
log.Warn("channel full, message dropped")
}
这样宁可丢弃一部分数据,也不能把整个服务拖垮。毕竟物联网场景下,数据价值有高低之分,实时的数据比迟到的更有用。
4. TDengine 中的数据建模与写入实现
Go 采集端做完之后,重头戏在存储。TDengine 的数据模型和传统关系型数据库差别很大,建模做得好,查询效率直接翻倍;建模做不好,后面所有麻烦都会暴露出来。
4.1 超级表与子表的关系理解
TDengine 有两个核心概念:超级表(STable)和子表(SubTable)。
超级表相当于一组同类型设备的集合定义,定义了表结构和标签字段;子表是某个具体设备的数据表。超级表是模板,子表是实例,一类的设备共享同一个超级表结构,每个具体的设备对应一张子表。
比如定义温湿度传感器的超级表:
sql复制CREATE STABLE sensor_th (
ts TIMESTAMP,
temperature DOUBLE,
humidity DOUBLE,
battery DOUBLE
) TAGS (
device_name VARCHAR(64),
product_key VARCHAR(32),
location VARCHAR(128)
);
其中 ts、temperature、humidity、battery 是采集的数据列,device_name、product_key、location 是标签列。
每个具体设备建子表时,系统会按设备维度自动创建:
sql复制CREATE TABLE th_001 USING sensor_th TAGS ('TH001', 'temp_humidity', 'Shenzhen-Area-01');
这样做最大的好处是:同一设备的数据在物理存储上是连续且相邻的,查询单台设备一段时间的数据时,只需要扫描该设备对应的子表,用不着全表扫描。
4.2 Go 连接 TDengine 写入数据
TDengine 官方提供 Go 连接器,基于 database/sql 标准接口封装,用起来很顺手。REST 连接方式比较适合跨平台,但性能上原生连接明显更好。
写入的核心代码如下:
go复制func BatchInsert(db *sql.DB, stmt *sql.Stmt, rows []types.MetricPoint) error {
tx, err := db.Begin()
if err != nil {
return err
}
defer tx.Rollback()
for _, row := range rows {
if _, err := stmt.Exec(
row.Timestamp,
row.Temperature,
row.Humidity,
row.Battery,
row.DeviceName,
); err != nil {
return err
}
}
return tx.Commit()
}
写入前需要先通过 db.Prepare 创建预处理语句,这样的好处是避免每次执行都解析一遍 SQL,服务端直接复用执行计划,性能会好很多。这是真实项目中往往会忽略的一点。
TDengine 的时间戳精度需要注意,默认单位是毫秒,但不同版本配置的精度有差异。Go 侧 time.Now() 返回的是纳秒,写入前要转换成毫秒,避免埋下隐患。
go复制func ToMillisecond(t time.Time) int64 {
return t.UnixNano() / int64(time.Millisecond)
}
4.3 数据保留策略与降采样配置
原始数据不可能永久保留,不仅存储成本高,查询也会被历史数据拖慢。TDengine 提供了保留策略,针对这个需求我建了两张超级表:
一张 sensor_th_raw 保留原始数据,keep 设置为 30 天,30 天前自动删除或根据策略处理。另一张 sensor_th_1m 保存分钟级聚合数据,keep 设为 365 天,用于长期趋势分析。
分钟级汇总可以用 TDengine 的连续查询功能自动完成。新建连续查询:
sql复制CREATE CONTINUOUS QUERY cq_1m ON db
BEGIN
SELECT _wstart,
avg(temperature),
avg(humidity),
max(temperature)
FROM sensor_th_raw
INTERVAL(1m)
PARTITION BY device_name
END
这样每过一分钟,系统会自动计算上一分钟的平均值、最大值,并写入对应表。历史数据从 30 天原来的 1.3 亿条,变成只需要保存 4320 条(一天 1440 分钟 × 30 天),压缩率相当可观。
这块能让我们把“实时明细数据”和“历史趋势数据”分开管理,存储成本和查询效率都得到了平衡。
5. 查询能力与业务接口封装
数据存进去了,最终还是要给上层的 Web 应用用。查询接口的设计直接影响前端的体验和后端的资源消耗。
5.1 面向业务封装的查询模式
我们的业务查询场景大致可以分成三类:查设备最新状态、查某个设备一段时间内的历史曲线、查某类设备在某个区域范围内的数据统计。针对这三类,封装了三个不同的查询入口。
每个入口的 TDengine SQL 是经过优化的。
查最新状态:
sql复制SELECT LAST_ROW(temperature), LAST_ROW(humidity)
FROM sensor_th
WHERE device_name = 'TH001';
LAST_ROW 是 TDengine 的专用函数,比先取最大时间再关联查询效率高得多。
查历史曲线:
sql复制SELECT _wstart, avg(temperature)
FROM sensor_th
WHERE device_name = 'TH001'
AND ts >= '2024-01-01 00:00:00'
AND ts <= '2024-01-01 23:59:59'
INTERVAL(5m);
如果直接查原始数据点数会非常多,前端曲线展示没有必要那么密集的数据,5 分钟聚合粒度在视觉上就足够了。
5.2 查询接口的性能优化
性能优化我从两个层面做:
查询层面:始终在 WHERE 条件中带上 device_name 和 ts 范围,充分利用子表独立存储和按时间分片的特性。避免不带标签过滤的查询,否则就会变成一次超级表全扫描。
服务层面:加了一层基于内存的缓存。对于“查设备最近 1 小时 1 分钟粒度数据”这种请求,时效性要求不高,可以把 TTL 设为 10 秒,极大降低数据库压力。前端轮询时,数据基本命中缓存,后端压力会小很多。
Go 侧我用 Gin 框架来做 HTTP 接口网关。接口设计遵循了 REST 风格:
go复制r.GET("/api/v1/devices/:device/metrics", getMetrics)
这个接口接收 start、end、interval 三个参数,动态拼接查询后返回 JSON 给前端。
5.3 查询超时保护与熔断
数据量大之后,偶尔会有一些没写好 where 条件的查询,可能把数据库拖得很慢。为了避免这种慢查询拖垮服务,我做了两层防护:
一层是接口的超时控制,用 context.WithTimeout 限制单次查询最大执行时间,超过返回 503,快速失败。另一层是针对数据库实例的健康检查,如果连续几次 ping 失败或者错误率升高,直接熔断,返回降级提示,防止大量请求同时打在数据库上。
代码层面就是这样:
go复制func queryWithTimeout(ctx context.Context, db *sql.DB, sql string) ([]types.MetricPoint, error) {
ctx, cancel := context.WithTimeout(ctx, 3*time.Second)
defer cancel()
rows, err := db.QueryContext(ctx, sql)
if err != nil {
return nil, err
}
defer rows.Close()
// 解析 rows...
}
6. 高可用部署与横向扩展
这套系统上线后,设备规模还在持续增长,单节点的部署迟早会遇到瓶颈。我在设计架构之初,就给横向扩展留好了空间。
6.1 采集服务的水平扩展
因为数据已经接入了 MQTT,形成了天然的缓冲层,采集服务可以随时横向扩容。
多实例部署之后,需要处理同一个设备的消息分发问题。用 MQTT 的共享订阅特性,可以让多个 collector 实例组成一个消费组,同一时刻一条消息只会被其中一个实例消费。
go复制// 共享订阅 topic:$share/collector_group/iot/+/+/data
client.Subscribe("$share/collector_group/iot/+/+/data", 1, handler)
这样加机器就能线性提升消费能力。
6.2 TDengine 集群规划
TDengine 本身的集群方案在这方面不算复杂:一个 mnode 负责管理节点,多个 dnode 负责实际数据存储,通过 FQDN 进行通信。对于物联网场景,数据分片规则按 vnode 自动分布,管理成本不大。
单节点配置方面,我建议足够的内存来缓存最近的数据块,比如 SSD 要配高一点。时序数据库是 IO 密集型应用,磁盘性能直接影响写入和查询。如果前期预算有限,也要优先保证 SSD 和内存,CPU 倒是其次。
6.3 数据备份与容灾
时序数据库的备份策略和生产库不太一样,因为数据量大,全量备份的成本很高。我的做法是:
原始数据在 TDengine 里只保留 30 天,备份的主要工作反而是把超过 30 天但还没到 365 天降采样周期的数据转存到冷存储。
我写了一个定时任务,每天凌晨将 TDengine 中前一天的数据按设备和时间范围导出成 Parquet 格式,传到对象存储。需要回溯的时候,从对象存储临时拉取,不太影响线上业务。
7. 常见问题与排查技巧实录
这半年多的运行过程中,积累了不少问题排查经验,在这里整理成一份速查表,方便大家直接对照。
| 现象 | 可能原因 | 排查思路 | 解决方案 |
|---|---|---|---|
| 消息大量堆积在 MQTT | 采集服务消费能力不足 | 看 channel 长度指标、goroutine 数 | 扩容 collector 实例;增大 batchSize |
| 写 TDengine 报“too many open tables” | 子表数量超过阈值 | 查看 vnode 数量限制 | 检查是否重复创建子表;优化删表策略 |
| 设备数据不上云 | Topic 订阅不对或者 payload 解析失败 | 从 MQTT 端开启 DEBUG 日志 | 核对 Topic 通配符;用 parser 做单条测试 |
| 查询某个设备曲线很慢 | 超级表查询扫了全部分区 | EXPLAIN 查看执行计划 | 确认 WHERE 是否带标签条件 |
| 存储占用异常暴增 | 数据重复写入或精度过高 | 检查 batch flush 逻辑 | 加去重逻辑;确认时间戳精度 |
| 出现大量乱序数据 | 设备本地时间不准 | 比较上报时间和服务器时间差的分布 | 统一改成设备接入网关时间;配置乱序阈值 |
7.1 一个典型的写入乱序问题
排查乱序数据这个问题,我想拎出来详细讲讲。当时发现某个温湿度设备的曲线在系统里出现了明显的倒挂现象——明明最新的数据点,时间戳却比前面已经写入的数据还早。
一开始以为是设备端的上报时间格式问题,但后来发现,这类设备本地时钟在长时间运行后和真实时间产生了偏差,而且有的设备没有对时功能,会导致它认为的“当前时间”和服务器时间不一致。
后来我采用的方案是:在 MQTT broker 接入层做一层时间矫正。broker 收到消息时,如果发现设备上报时间和服务器当前时间相差超过 5 分钟,直接以服务器的接收时间为准,替换掉消息里的时间戳。
这样处理会让时间戳和应用服务器的接收时间对齐,避免因为端侧时钟问题导致乱序。
7.2 Go 采集服务 CPU 飙升排查记录
有一次采集服务 CPU 莫名其妙从 15% 涨到 85%,排查过程可以分享一下。
最开始怀疑是业务逻辑变慢,加了 pprof 分析后才发现,问题出现在热路径上。我大量使用了 fmt.Sprintf 来拼接指标名和字符串拼接,这在高频消息解析场景下会生成大量临时对象,导致 GC 频繁触发。
定位到问题后,我把热点路径的 fmt.Sprintf 全部替换成了 strings.Builder 或者直接用 strconv.AppendFloat,优化后 CPU 占用降回了 20% 左右。这个例子说明了,Go 在高并发场景下,字符串处理和内存分配是需要特别关注的。
7.3 Go 时区导致的查询 bug
另一个值得记录的坑是时区的问题。
在输出查询结果时,如果 Go 进程的时区是 UTC,而数据库配置是本地时间,前端拿到的时间展示就会整体偏移 8 个小时。这种 bug 经常表现为数据是对的,但曲线的横轴时间不对,排查起来十分隐蔽。
解决方案是在连接数据库时显式配置时区,或者在读取 time.Time 时统一用 time.Local 转换。
我后来把采集服务的 Docker 镜像里默认时区设成了 Asia/Shanghai,并且所有输出到接口的时间都统一转成毫秒级时间戳,由前端根据自己的时区渲染,而不是直接传带时区的时间字符串,问题就彻底消失了。
8. 最后再分享一些心得体会
项目从这个需求立项,到现在稳定运行差不多有几个月。回头再想,对我自己触动最大的不是某个技术细节,而是整个技术选型的思路:不要因为熟悉某个数据库,就把它强行用在所有场景;也不要因为时序数据库很热门,就无脑引入。真正理解自己的业务数据特征,找到和它匹配的存储模型,比什么花哨的技术都重要。
Go 语言在这套系统里扮演的角色让我印象很深。它不像一些脚本语言那样写起来很快,但它在高并发场景下的稳定表现,以及部署上的便利,让它成为了采集服务这种 IO 密集型任务的绝佳选择。团队里有一个新同事没写过 Go,花了不到两周就上手开始改业务代码了,这门语言的简单直接也确实是它的核心优势。
如果你也在规划类似的物联网数据平台,我建议从最小的链路先跑通:一台设备通过 MQTT 发消息,Go 服务消费并批量写时序数据库,Web 接口查询并把曲线显示出来。把这条链路跑通后再去扩充设备数量、优化架构细节,会比自己埋头设计一个大而全的方案高效得多。
