作为一个经常和边缘计算打交道的人,我一直在琢磨怎么把手里的测速服务做出“全网视角”。传统的主机测速,节点固定,网络路径单一,用户一多就卡,数据还没什么代表性。后来我把目光放到了 Cloudflare Workers 上,这个跑在全球 300 多个城市边缘节点的计算平台,天然就是一个遍布全球的“探针网络”。这篇文章就记录了我基于 Cloudflare Worker 构建分布式测速调度系统的全过程,核心会放在 KV 与 D1 的数据层设计上,因为这一层才是决定系统能否“扛住并发、查得快、花得省”的关键,也顺便把我在实际开发中踩过的坑和验证过的调优思路一并分享给想在这个方向动手的朋友。
1. 整体设计与思路拆解:为什么是 Worker、KV 和 D1 的组合
1.1 核心需求解析:分布式测速到底在测什么
在动手写代码之前,得先想清楚我们要构建的“分布式测速调度系统”具体是做什么的。市面上大部分测速工具是单点测速——你连上一个服务器,然后下载一个文件看速度。但分布式的测速系统做的不是这件事,它是让部署在各地边缘节点上的 Worker 协同工作,对一个目标服务器(或一个 CDN 域名、一条专线)进行多地域并发探测,然后把所有节点的测速数据汇总,最终给出一个“全局速度画像”。
这里面有几个核心需求是绕不开的:一是任务调度,你要能让全球几百个 Worker 节点按指令同时发起测速;二是数据上报,每个节点测完的结果要能回到中心端;三是数据存储与查询,历史测速数据要有积累,能按时间、地域、目标服务器维度做趋势分析。当然还有一个很现实的需求——成本控制。Cloudflare Worker 免费额度每天有 10 万次请求,但超出后按请求次数计费,KV 的读写也要钱,D1 的读写行数同样计费。如果你的数据层设计得不好,比如每次测速结果都高频写 D1,成本很快就会超出预期。
所以在这个项目里,我给自己定了三个核心指标:并发调度能力要能支撑至少 200 个 Worker 节点同时动作;数据上报的延迟不能影响下一次测速任务的发起;存储成本要控制在一个合理的范围,不能让一个边缘测速项目跑出天价账单。
1.2 技术选型考量:为什么 KV 和 D1 要搭配使用,而不是只用一种
刚开始设计的时候,我也纠结过:到底是用 KV 还是 D1 来存所有的数据?毕竟 Cloudflare 的存储产品线目前主要就是这两款(严格说还有 R2 对象存储,但那是放文件用的,测速数据是结构化的小字段,用不上)。先快速介绍一下两者的本质区别,这对于后面理解整个架构至关重要。
KV 的全称是 Key-Value Store,也就是键值存储。它的特点是写入和读取都极其快,延迟通常在毫秒级以内,而且按 key 查询的性能是恒定的,不受数据量大小影响。它非常适合存一些“读多写少”或者“只需要按唯一标识取数据”的资料,比如用户会话、配置标记、任务状态位图等。但 KV 有个明显的短板:它不支持复杂的条件查询,你不能说“给我查出所有测速耗时超过 100ms 的节点记录”,因为 KV 只能按 key 精确查,或者按前缀列出 key,想要做聚合和过滤,就得把数据全部拉到本地自己算。
D1 则是 Cloudflare 基于 SQLite 构建的关系型数据库。它支持完整的 SQL 语法,可以用 WHERE 条件过滤、用 GROUP BY 聚合、用 ORDER BY 排序,还支持建索引。这意味着你可以非常方便地查询“本周各个城市节点的平均测速耗时排名”——这种 SQL 在 KV 里你几乎没法高效实现。但 D1 的短板也明显:并发写入能力有限,如果高频写入会有排队阻塞的风险;而且 D1 目前有免费额度和写入行数限制,对高频写入场景来说,成本会比 KV 高出不少。
所以我的设计思路非常明确:用 KV 存放“高吞吐、需幂等去重、并发读多”的数据,比如任务标记、节点状态;用 D1 存放“结构化、需查询聚合、低频写入”的数据,比如测速结果明细和节点元数据。两个存储配合,各司其职。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数据层架构设计:KV 存储的精细划分与 D1 的表结构设计
2.1 KV 存储的核心用法:任务去重标记与节点状态位图
先聊 KV 的用途设计。在我这个系统里,KV 承担了三块职责:第一块是测速任务去重标记,第二块是节点状态记录,第三块是缓存近期测速结果供快速回读。
任务去重标记是最关键的一笔。假设调度的中心 Worker 下发一个测速任务,要求所有边缘节点对目标服务器 speed.example.com 发起 10 次下载测速,任务编号是 task-20250115-001。问题是,如果这个任务在传输中丢失,或者某个边缘节点挂了没有响应,调度器可能要重新下发。这时候如果没有去重机制,同一个任务被节点执行了两遍,不光测速数据重复,还会白白消耗流量和计算资源。
解决方案是在 KV 里写入一个 key,命名为 task:{taskId}:dispatch,value 可以存一个简单的 JSON 字符串,记录下发的目标、次数、时间戳。每个 Worker 节点在收到任务后,先读取这个 key,对比本地的时间戳,如果发现已经执行过且时间一致,就直接返回“已执行”,实现幂等。由于 KV 是最终一致性的,同区域读取基本能保证实时一致,加上分布式锁和任务窗口的配合,实测下来可以做到极大概率去重。
节点状态位图则是另一项设计。全局有 200 个 Worker 节点,每次测速任务需要知道哪些节点在线、哪些节点当前负载高不适合参与。如果我每个节点都存一个独立的 KV key,那么调度器要遍历 200 次 KV 才能拼出完整的节点状态。这太慢了。所以我把所有节点的状态压缩到一个 key 里,命名为 topo:node-status,value 使用位图结构:一个 64 位整数,每一位代表一个节点(1 在线,0 离线),一次 KV 读取就能拿到全部节点的状态。这在 KV 读请求按次计费的背景下,能大幅降低成本。
2.2 D1 表结构设计:测速结果表与节点元数据表的字段规划
D1 的表结构设计直接决定了后续查询的效率和扩展性。我设计了两张核心表:speed_test_results 和 node_metadata。
speed_test_results 表存测速结果明细,字段如下:
sql复制CREATE TABLE speed_test_results (
id INTEGER PRIMARY KEY AUTOINCREMENT,
task_id TEXT NOT NULL,
node_id TEXT NOT NULL,
target_host TEXT NOT NULL,
target_ip TEXT,
download_speed_mbps REAL NOT NULL,
upload_speed_mbps REAL NOT NULL,
latency_ms INTEGER NOT NULL,
packet_loss REAL,
test_time INTEGER NOT NULL,
region TEXT NOT NULL,
country TEXT NOT NULL
);
CREATE INDEX idx_task_time ON speed_test_results(task_id, test_time);
CREATE INDEX idx_region_time ON speed_test_results(region, test_time);
